【Reading Notes】（7.11）Favorite Articles from 2024 November

吞吐量最高飙升20倍！豆包大模型团队开源RLHF框架，破解强化学习训练部署难题（2024年11月01日）
- 在大模型后训练（Post-Training）阶段引入 RL 方法，已成为提升模型质量和对齐人类偏好的重要手段。
- 传统的 RL/RLHF 系统在灵活性和效率方面存在不足，难以适应不断涌现的新算法需求，无法充分发挥大模型潜力。因此，开发一个高效且灵活的大模型 RL 训练框架显得尤为重要。这不仅需要高效地执行复杂的分布式计算流程，还要具备适应不同 RL 算法的灵活性，以满足不断发展的研究需求。
- 字节跳动豆包大模型团队与香港大学近期公开联合研究成果------ HybridFlow，一个灵活且高效的大模型 RL 训练框架，兼容多种训练和推理框架，支持灵活的模型部署和多种 RL 算法实现。
- 实验结果表明，HybridFlow 在各种模型规模和 RL 算法下，训练吞吐量相比其他框架提升了 1.5 倍至 20 倍。
- Sheng G, Zhang C, Ye Z, et al. Hybridflow: A flexible and efficient rlhf framework[J]. arXiv preprint arXiv:2409.19256, 2024.
- https://github.com/volcengine/veRL
2024 AI年度报告发布，附十大预测：人形机器人热度下降，英伟达维持霸主地位（2024年11月03日）
- State of AI发布了2024产业报告，也是调研团队发布的第七份年度报告，从研究进展、行业局势、现有政策、安全问题、未来预测等角度出发，对人工智能行业的现状和预期进行了深度分析。
- 美国对中国实验室实施的制裁对其生产高性能模型的能力影响有限，因为库存、获批硬件、走私和云访问的结合使国内能够构建高性能的（V）LLM，但国内的半导体产业发展仍然较为混乱。
四家亏损严重的芯片龙头企业，前景不妙！（2024年11月04日）

2024年前三季度
- AI芯片龙头寒武纪今年股价暴涨了3倍左右，前三季度亏损超过7亿元。
- 芯片设计龙头芯原股份股价一路下滑，前三季度亏损接近4亿元。
- CPU龙头龙芯中科股价从183元下滑到今天，前三季度亏损3.4亿元。
- 光芯片龙头源杰科技股价从339元到现在150元左右，前三季度亏损55万元，但是第三季度亏损就超过1100万元。
谷歌员工集体打脸劈柴，25%新代码AI生成夸大事实！Linux之父怒斥90%都是营销（2024年11月04日）
- CEO劈柴在Q3财报会议上的一句话，瞬间点燃了全网的激烈讨论。
- 就连Linux之父Linus Torvalds在采访中表示，「AI只不过是一种营销策略。人工智能市场状为90%营销和10%现实」。
商汤执行董事徐冰最新访谈：商汤最近在做什么？数万亿的AI投资能回本吗？（2024年11月04日）
- 现在我们的主要任务是建设AI云，做足准备确保公司能向通用人工智能扩展（scale AI to AGI）。
- 现在我们最大的AI云已经接入了超过5万个GPU
- 至于商汤，我们是独立于互联网巨头之外的（字节跳动、阿里巴巴、腾讯和百度），唯一一个大型 AI 云平台
震撼预警：满血版o1倒计时！奥特曼完整专访流出：o系列疯狂迭代，马上起飞（2024年11月05日）
- 几天前的OpenAI伦敦开发者日上，来自20VC的Harry Stebbings，与Altman开启了线上对谈。
- 他再次强调了，如果企业正在开发一个工具，是为了绕过某个模型的缺点，那么这个工具很快就会被淘汰掉。（可能在OpenAI下一代模型中自然就解决了。）
- 在人们认知误区上，Altman称更多的是我们都还没有直觉去理解在未来世界里AI智能体会是什么样子。
- 比如，不是让AI智能体给一家餐厅打电话订餐， 而是让它同时联系300家餐厅，并找出哪一家对你来说最特别的。不仅如此，在300个地方可以接电话的也是智能体。它可以进行人类无法做到的大规模并行操作。
- Q：通常SaaS是按用户数量收费，但现在AI智能体实际上是在替代人力。考虑到AI智能体可能成为企业劳动力的核心部分，你如何看待未来的定价模式？
- A：对此，Altman推测道，你可以选择使用1个、10个或100个GPU来持续处理问题。这不是按用户数或按智能体数收费，而是基于持续为你工作的计算量来定价。
- Q：你如何看待OpenAI模型如何随着时间的推移继续保持差异化，以及你最想关注哪些方面来扩大这种差异化？
- A：推理是OpenAI目前最重要的关注领域。多模态工作，以及在模型中加入其他对用户非常重要的功能。
- 团队能够反复去做一些全新的、完全未经证实的事情。这是推动人类进步最重要因素之一。
- 关键是要找到适合公司文化和发展阶段的人才。
- 他表示，自己当然会遇到一些无法理解的模型行为，如失败的训练尝试等等。每当我们接近一个技术范式的极限，都必须开辟新的道路。
- Altman表示，人们确实经常用电力来类比AI，但我认为这在很多方面都说不通。如果非要做类比的话，我认为晶体管可能是一个更好的例子。整个科技行业都从晶体管技术中受益。你使用的产品和服务中涉及了大量晶体管，但你并不会把这些公司看作是「晶体管公司」。同样，未来AI可能会无处不在，但不是每个使用AI的公司都会被称为「AI公司」。
- 科学进步不断超出所有人的预期，而社会变化相对缓慢。当然，从长远来看，社会终究会发生巨大的变化。
明星飞行汽车破产，烧光100亿仍难载人试飞...（2024年11月05日）
- 曾估值235亿的独角兽 Lilium（德国），扛不住了。
- 成立9年以来，Lilium累计筹集了14.5亿美元（约103亿元）的资金，腾讯是主要投资人之一。
- 破产的消息在低空领域炸响，任谁都想不到，这家曾被称为低空领域"特斯拉"的公司，没落速度如此之快，甚至就在四个月之前，Lilium才刚刚在中国开了分公司。
- eVTOL 是 Electric Vertical Takeoff and Landing 的缩写，即电动垂直起降飞行器，是一种采用电力驱动、能够垂直起降的新型城市空中交通工具
手机秒拍动画大片，高级运镜效果惊人！Runway两弹更新，火得一塌糊涂（2024年11月05日）
- Gen-3 Alpha 新近连发了两个新功能：可将真人面部表情精确复刻给AI角色的Act-One，以能够实现3D化的AI摄像头控件。
- Act-One还可以创建多轮对话场景。毫不夸张地说，只要有摄像机，一个人，就可以演一台戏！
- AI摄像头控件，用户可以任意选择在场景中移动的方向、角度、速度，将各种相机移动方式和速度变化相结合。
聊聊自动驾驶中的自动标注（2024年11月05日）
- 激光雷达提供点云级别的深度信息，若同时使用双目和激光雷达，这个深度图也可以转换为视差的真值。
- 激光雷达提供障碍物的3D位置和尺寸
- 毫米波雷达提供实例深度（毫米波可提供障碍物的BEV位置和速度。速度在单帧检测中很难用上。另外还需要注意的是，毫米波雷达输出的障碍物位置不一定是障碍物的中心点位置: 一般在障碍物体上，但不能确定是物体的哪一个点。）
零一万物战略骤转！国内聚焦toB，toC先走海外（2024年11月06日）
- 如果只是执着地把所有资源都用来购买芯片，去烧更大的模型，最后应用没有做起来，带来的生态是相对不健康的。
自动驾驶公司扎堆IPO，回报投资人的时候到了（2024年11月06日）
- 地平线和文远知行
- 抽屉协议是私下签订的协议，通常只有协议双方知晓，类似于被放置在抽屉里，不轻易向外界透露
长远看算法岗真的比开发岗香吗？（2024年11月07日）
- 尤其是这几年大陆，芯片行业爆发，很多公司都开始投入去做芯片，殊不知芯片行业是一个非常烧钱的行业，投入巨大，如果没有核心竞争力，很容易血本无归，这个时候就需要优秀的算法工程师，设计具有差异化的算法，才有可能做出性能优异的产品。
- 你就是块砖，哪里需要哪里搬，不好用就扔，你觉得不爽就跳，跳也不成就转行，就这么几个分支而已
国产AI可以拍微电影了！4K、60帧高清画质，自带音效（2024年11月08日）
- 正是智谱刚升级的新清影，电影级效果、模型能力全面提升、自带音效
- 文本生成（GLM）、图像生成（CogView）、视频生成（CogVideoX）、音效生成（CogSound）、音乐生成（CogMusic）、端对端语音（GLM-4-Voice）、自主代理（AutoGLM）。
无人车大战打响！美国萝卜日爆8000单破纪录，中美对决已到关键转折点（2024年11月08日）
- 自动驾驶汽车 Waymo 8月份在旧金山的日均服务单量已超8800单，远超同期的出租车工作日日均6307单。
- 今年3月起，Waymo在旧金山半岛扩大了服务范围。紧接着6月再次获批，在旧金山全域开放无人驾驶出行服务。
- 谷歌母公司 Alphabet 还在加大对 Waymo 投资，为进一步扩张，研发自动驾驶技术注入新的动力。
- 面对 Waywo、特斯拉等「洋萝卜」的奋起直追，中国「土萝卜」还需要跑得更快，飞得更高。
真·打字P图！字节发布新模型SeedEdit，一句话爆改世界名画，可免费体验（2024年11月11日）
- 照片上色、删除
- Shi Y, Wang P, Huang W. SeedEdit: Align Image Re-Generation to Image Editing[J]. arXiv preprint arXiv:2411.06686, 2024.
怎么才能优雅地向博士导师表达「这周科研没什么进展」？（2024年11月11日）
又一家新势力危了！引入华为技术却没能拯救...（ 2024年11月12日）
- 远航汽车，大运集团旗下的高端新能源品牌。
- 风驰天下大运摩托
- 大运董事长远勤山曾表示过，远航不需要太多技术，自己搞先进技术，可能十年也赶不上博世、华为现在的水平，所以要把最优秀的融合在一起，直接买来再整合。
- 一步慢步步慢，远航H8搭载的是高通8155芯片，而零跑、银河等车型，已经搭载了算力更强的高通8295芯片
国产地表最强视频模型震惊歪果仁，官方现场摇人30s直出！视觉模型进入上下文时代（2024年11月14日）
- 生数科技推出的 Vidu 1.5，成为世界首个支持多主体一致性的多模态模型！
- 只要上传多个角色、物体和地点的图片，就能立即生成每个物体一致的场景，人手制作一部大片的时代真的来了吗？
- 这标志着，视觉模型进入了全新的「上下文」时代，AGI离我们更近了。
AI毒液刷屏抖音小红书！闲鱼10元代生成一次，但官网其实免费（2024年11月10日）

PixVerse V3，来自国内AI视频公司爱诗科技。
当审稿人给的意见，你无法修改的时候怎么办？（2024年11月11日）
- Modify the paper
- Teach the reviewer something new
- Out of scope
- 感谢您的建议，这正是我们未来需要努力的方向，我们也正在进行这方面的工作，您将在我们未来的工作中看到这方面的研究
Scaling Laws终结，量化无用，AI大佬都在审视这篇论文（2024年11月13日）
- 研究发现，在较低精度下训练模型（例如INT3和INT4）会导致较高的损失，而随着精度的提高，损失会减少；同时，随着模型规模的增加，损失也会减少。
- 直觉可能是，当你训练更多的数据时，更多的知识被压缩成权重，给定的扰动会对模型性能造成更大的损害。
- 推理时使用较低精度（例如INT3和INT4）会导致性能下降，即损失的增加；而随着精度的提高，损失会逐渐减少，接近没有进行后训练量化的模型性能。
自动驾驶界秋名山车神！CoRL杰出论文让自驾车学会漂移，机器人整出新活（2024年11月13日）

CoRL 是"Conference on Robot Learning"（机器人学习会议）。这是一个专注于机器人学习和相关领域（如机器学习、控制理论、计算机视觉等）的学术会议

在丰田 Supra 和雷克萨斯 LC 500 上进行的大量实验表明，在不同路况下使用不同轮胎时，单一扩散模型可使两辆车实现可靠的自动漂移
刚刚，谷歌宣布35岁Keras之父Francois Chollet离职（2024年11月14日）

单刷CVPR的男人------Xception，深度学习的启蒙老师之一
大模型应用，有哪些简单却巧妙的上分方法？（2024年11月15日）
客观比不过比主观，主观比不过 cherry pick
不做Sora背后：百度的多模态路线是什么？（2024年11月16日）

iRAG巧妙地将认知智能（检索）与生成智能（创作）结合在一起，取长补短，相得益彰。

如今百度"曦灵"数字人、"慧播星"数字人已广泛应用于新闻播报、直播电商等场景。
生成证件照，https://github.com/Zeyi-Lin/HivisionIDPhotos
目标检测和感受野的总结和想法（2024年11月16日）

实际感受野依然是一个超参数，他是会随着训练的过程发生变化，我们无法准确计算出来实际感受野，但是通过分析anchor，实际感受野和理论感受野，我们知道了anchor<实际感受野<理论感受野，所以anchor还是会被理论感受野的大小所限制

Luo W, Li Y, Urtasun R, et al. Understanding the effective receptive field in deep convolutional neural networks[J]. Advances in neural information processing systems, 2016, 29.
实测腾讯元宝2.0：图文视频啥都能搜，论文绘画全搞定（2024年11月17日）
- 背靠腾讯独家的公众号、视频号等高质量内容，元宝搜索的结果非常详细
- 这次元宝2.0更新的另一个亮点是集成了腾讯文档、电脑管家和输入法，各应用生态全部打通！
- 当运行了电脑管家之后，AI助手就会默认在后台运行，你可以在上网冲浪的时候随时搜索、解释或翻译任意关键词。
怎样保证你不是AGI独裁者？马斯克为何退出OpenAI？早期邮件公开了（2024年11月17日）
Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题（ 2024年11月18日）
Karpathy后悔了：2015年就看到了语言模型的潜力，却搞了多年强化学习（2024年11月18日）
- OpenAI 创始成员、研究科学家、原特斯拉前 AI 高级总监、AI 领域的大神 Andrej Karpathy 一直在后悔。后悔自己没有早点带领 OpenAI 开创大模型时代。
- 表征学习，也称为特征学习，在机器学习领域中占据着重要的地位。它是一种将原始数据转换成为能够被机器学习有效开发的数据的技术集合。常用的方法包括主成分分析（PCA）、独立成分分析（ICA）、自动编码（Auto-encoders）、矩阵分解、各种聚类分析及其变形等。
对标o1，Kimi放出了最能打的国产模型（2024年11月18日）

Kimi 的最新一代推理模型 k0-math，在数学能力已实现对标 OpenAI o1-mini 和 o1-preview。
逼真到离谱！1000个人类「克隆」进西部世界，AI相似度85%细节太炸裂（2024年11月19日）
- 通过招募1052名参与者，涵盖了不同性别、年龄、地区等，每人接受GPT-4o采访了2个小时。
- 然后将得到的访谈内容作为文字提示，输入语言模型中，复刻出每个个体对应的AI智能体。
- 所有智能体在综合社会调查中的回答，与原参与者两周后自我复现答案准确率接近85%，并在人格预测、实验复制中表现与人类相当。
登上Nature的AI芯片设计屡遭质疑，谷歌发文反击，Jeff Dean：质疑者连预训练都没做（2024年11月19日）
- 2020 年，谷歌发表了预印本论文《Chip Placement with Deep Reinforcement Learning》，介绍了其设计芯片布局的新型强化学习方法 AlphaChip。在 2021 年，这项研究发表在 Nature 上并开源了出来。
- 此后，AlphaChip 激发了 AI 芯片设计方面的大量工作，并在谷歌母公司 Alphabet 三代 TPU、数据中心 CPU 和其他芯片中部署，并由外部芯片制造商扩展。
- https://github.com/google-research/circuit_training
腾讯AI大牛，被曝投身视频生成创业（ 2024年11月19日）

刘威------腾讯杰出科学家、腾讯混元大模型技术负责人之一，腾讯 AI Lab 早期的三剑客

创业公司，Video Rebirth，视频生成，行业内有快手可灵、爱诗科技、生数科技等团队的AI视频应用
「全球最严榜单」，阶跃拿下中国TOP 1！杀入世界前五，超过GPT-4o紧跟o1-mini（2024年11月20日）
- 刚刚，国际权威榜单LiveBench最新榜单出炉，一个国产黑马闪耀其中。没错，它就是阶跃星辰自研的万亿参数大模型Step-2。Step-2以碾压之势，强势杀入LiveBench全球前五，一举夺得国内TOP 1。
- 值得一提的是，LiveBench 是由图灵奖得主Yann LeCun联手Abacus.AI、NYU、英伟达等多家机构推出的LLM评测基准。其含金量，不言而喻。而且，它被行业誉为「世界上第一个不可玩弄的LLM基准测试」。
- 阶跃星辰创始人、CEO姜大昕博士表示，模型扩大到万亿级别时，MoE几乎是必选项，这是权衡了性能、参数量、训练成本、推理成本等各个维度后的最佳选择。
国产4o大模型，秒懂国风李子柒（2024年11月20日）

昆仑万维的Skyo，基于天工大模型4.0 4o版（Skywork 4o）打造。
实测昆仑万维对话AI「Skyo」，会读诗、知晓雷军摆拍（2024年11月20日）

昆仑万维开发的 Skyo 实时语音对话助手，Skyo 基于背后的天工大模型 4.0 4o 版（Skywork 4o）打造
美国AI曼哈顿计划793页文件曝光！全力研发AGI，十大战略直指中国（2024年11月20日）
3名高中生中了AI顶会NeurIPS！来自人大附中、北师大实验中学、上海星河湾双语学校（2024年11月20日）

大会一共收到了全球高中生提交的330个项目，最终，评出4篇获奖论文，21篇Spotlight，7.5%的中奖率一点不亚于硕士博士的竞争激烈程度。
AI版周扒皮！打字速度慢、鼠标超30秒未动，就被AI「警告」，Karpathy下场评论（2024年11月24日）
GAN之父新冠后惊传罹患双重顽疾！听力减退心动过速，全网求医（2024年11月25日）

除了「GAN」之父的名号，他还是「花书」的作者，这本书原名就叫做「深度学习」

Goodfellow在斯坦福大学计算机科学系读完了本科和硕士，师从AI大牛吴恩达。

博士生涯，就读于加拿大蒙特利尔大学，师从Yoshua Bengio 和 Aaron Courville，
AI推演OpenAI内斗结果：奥特曼仅有20%胜率，马斯克也有机会接盘？？？（2024年11月25日）
和梁朝伟同获港科荣誉博士，黄仁勋与沈向洋对谈Scaling Law、后训练、机器人和爱情（2024年11月25日）
- 11 月 23 日，香港科技大学举行了今年度的学位颁授典礼。英伟达创始人和 CEO 黄仁勋又新增一个荣誉工程学博士头衔，与他一同获得荣誉博士学位的还有著名影星梁朝伟、2013 年诺贝尔化学奖得主 Michael Levitt、菲尔兹奖得主 David Mumford。
- 我们需要后训练，也就是深入学习特定技能的过程。后训练涉及强化学习、人类反馈、人工智能反馈、合成数据生成、多路径学习等多种技术。
- 核心在于，你开始进入一个特定领域的深度学习，试图深入理解其中的某些内容。这就是后训练的过程。一旦你选择了一份职业，你会再次进行大量的学习。
- 然后，在后续阶段，就到了我们所说的 「思考」。这可以被称为 test time scaling。在这个阶段，有些问题的答案可以直截了当地知道，而有些问题则需要你将其分解，逐步追溯到第一性原理 ，再从原点出发，为每个问题找到解决方案。这可能需要你进行迭代，可能需要你分情况讨论，模拟不同的结果。
博世将裁员5500人，汽车行业寒冬来了？（ 2024年11月26日）
大模型创业太累大牛逃回大厂：融资1亿美金捉襟见肘，没日没夜加班胖了30斤（ 2024年11月26日）

Yi Tay，曾是Reka AI联合创始人，也曾是谷歌大模型PaLM、UL2、Flan-2、Bard的重要参与者。
2024全球无人机市场洞察报告（ 2024年11月27日）

微型化、高速长续航化、智能化
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度（2024年11月27日）
- Kaplan J, McCandlish S, Henighan T, et al. Scaling laws for neural language models[J]. arXiv preprint arXiv:2001.08361, 2020.
- 百度，Hestness J, Narang S, Ardalani N, et al. Deep learning scaling is predictable, empirically[J]. arXiv preprint arXiv:1712.00409, 2017.
周鸿祎黑客短剧震撼首秀，直接带火纳米搜索！搜学写创，开启AI搜索3.0时代（2024年11月28日）
- 11月初，ChatGPT正式推出AI搜索体验，成为一款搜索引擎；11月中，奥特曼正式官宣ChatGPT新域名------chat.com，据称为此豪掷了1500-2000万美金。
- 我们可以根据其中的「AI含量」将路线简单分为三个阶段------1.0（网页搜索引擎）、2.0（答案生成引擎）、3.0（多模态创作引擎）。
- 拍照问问
当AI创造AI，就是库兹韦尔「奇点」临近时？人类正处于自我改进AI爆炸边缘（2024年11月28日）
男生看见雷军路过，直接冲过去递简历，结果...（2024年11月28日）
吴恩达出手，开源最新Python包！助力开发者大模型开发！（2024年11月29日）
pip install aisuite

统一接口设计，支持多个 AI 提供商的模型

当前，aisuite 支持的提供商包括：OpenAI、Anthropic、Azure、Google、AWS、Groq、Mistral、HuggingFace、Ollama
端到端已来，智驾仿真测试该怎么做？（2024年11月29日）

过去，智能驾驶方案一直是按照感知、决策、规划、控制这类规则驱动（rule-based）的模块化方法推进，然而规则驱动的模块化方案存在"规则难以穷举、ODD边界模糊、扩展与维护升级困难"等局限性。因此端到端的学习驱动（learning-based）方案应运而生。
美芯片新禁令下周出台，100+公司或列入实体清单！（2024年11月29日）
深入浅出，算法工程师的职业生涯发展之路（2024年11月30日）
- 夯实技术基础阶段（工作1-3年）
- 解决业务问题阶段（工作4-5年）
- 提升软实力阶段（工作6-8年）
- 扩大影响力阶段