agi

谙弆悕博士19 小时前
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?一句话结论:2026年,世界模型确实从论文词汇变成了资本主战场和产品发布台——Genie 4能实时生成可交互的物理世界,LeCun带着JEPA架构融资10亿美元创业,智源把NSP列为AGI共识方向。但如果把“NSP叙事”等同于“AGI即将到来”,会犯一个和当年“Scaling就是一切”完全相同的错误:把一种有前景的表征路线,误读成一条已经闭合的因果链。 世界模型是AGI叙事的一部分,但它目前更像一张“被资本和产品提前定价的船票”,而不是已经靠岸的船。
Dawson Zhu2 天前
人工智能·语言模型·架构·aigc·agi
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠前面我们聊了各种并行策略和训练框架,但有一个问题始终绕不开:分布式训练的性能,不仅取决于算力,更取决于通信。 很多时候,你的 GPU 利用率上不去,不是卡不够快,而是通信拖了后腿。今天我们就来深入通信优化的底层,聊聊 NCCL、Ring AllReduce、计算通信重叠这些硬核知识。
forest_092 天前
人工智能·python·算法·机器学习·prompt·agi
多 Agent 协作第二课:交叉验证≠独立验证导语:谷歌的 Teamwork 系统用多个 AI 智能体验证复杂数学证明,韦伊猜想的形式化靠约 2.88 万次子智能体调用、约 180 万行 Lean 代码。它有个关键设计:安排独立的质疑者和审查者检查结果,不依赖原始智能体的推理过程。这篇讲多 Agent 协作第二课:别让它们"互相点头"。交叉验证不等于独立验证,三个都说对,可能只有一个真验证。
Dawson Zhu4 天前
人工智能·语言模型·架构·aigc·agi
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡本文是「分布式训练」系列的第四篇,带你从零理解张量并行(Tensor Parallelism)和序列并行(Sequence Parallelism)的核心原理。当模型大到单卡连一层都放不下时,数据并行和 ZeRO 已经不够用了——这时候就需要把单层参数"切开",分到多张卡上一起算。
Dawson Zhu5 天前
人工智能·语言模型·架构·aigc·agi
Queen Planner深度解析:Agent竞争从模型时代进入系统时代在Agent技术快速发展的今天,业界的注意力似乎更多地集中在"模型能力"上——更大的参数规模、更长的上下文窗口、更强的推理能力。很多团队在构建Agent时,默认的思路是:换一个更强的模型,效果自然就好了。
Dawson Zhu6 天前
人工智能·语言模型·架构·aigc·agi
【LLM推理与Serving⑨】业务模型推理引擎开发:以BEV自动驾驶为例的专用推理实践系列文章索引:本系列从基础概念到工程实践,系统梳理LLM推理与Serving的核心知识。本文为第9篇,跳出通用LLM框架,看看业务专用推理引擎是怎么打造的。
Dawson Zhu6 天前
人工智能·语言模型·架构·aigc·agi
【LLM推理与Serving⑪】MoE推理与MLA:DeepSeek-V3架构下的显存与通信权衡本系列博客专注于LLM推理与Serving的核心技术,从基础概念到工程实践,循序渐进。本篇是第11篇,我们深入MoE(混合专家)模型的推理系统,结合DeepSeek-V3的架构设计,探讨专家并行、MLA(Multi-head Latent Attention)等关键技术如何在显存与通信之间找平衡。
kisdiem8 天前
人工智能·agi·玩游戏
让 AI 边玩游戏边编写世界规则:从 XLand 到 ARC-AGI-3 的实验记录想象一下,你打开一个从没玩过的格子游戏。画面上有一扇门、几个物体和一块会变色的地板,游戏没告诉你它们有什么用。你走一步,看到某个物体变了颜色。接下来,你要决定是再试一次确认规律,还是利用这条线索去开门。你甚至还不知道开门是不是这一关的目标。
Dawson Zhu8 天前
人工智能·语言模型·架构·aigc·agi
从空间 Scaling 到时间 Scaling摘要:LLM 在预训练规模上遇到瓶颈后,行业叙事正在从"拼算力、拼数据量"转向"拼模型自我改进的迭代速度"。这个直觉方向是对的,且已被产业界实际押注。但"让模型自己改自己、然后疯狂迭代"作为机制主张是脆弱的:迭代速度只是放大器,不是资产;真正决定上限的是外生新颖性与反馈可信度。本文记录一个想法被三次修正的完整过程,并给出一个可证伪的重述版本。
Dawson Zhu9 天前
人工智能·语言模型·架构·aigc·agi
【LLM推理与Serving⑧】多机多卡Serving:TP/PP/负载均衡与弹性扩缩容全攻略系列文章索引:本系列从基础概念到工程实践,系统梳理LLM推理与Serving的核心知识。本文为第8篇,深入讲解多机多卡场景下的并行策略、负载均衡与弹性架构。
Dawson Zhu10 天前
人工智能·语言模型·架构·aigc·agi
【LLM推理与Serving⑤】Prefix Cache前缀缓存:让重复prompt不再重复计算大家好,我是你的AI Infra学习搭子。上一篇我们聊了Speculative Decoding如何让大模型"一次蹦好几个字",今天我们来聊另一个在生产环境中收益巨大的优化——Prefix Cache(前缀缓存)。如果说Speculative Decoding是在Decode阶段"挤牙膏",那Prefix Cache就是在Prefill阶段"薅羊毛"——同样的prompt前缀,凭什么每次都要重新算一遍?
Dawson Zhu15 天前
人工智能·语言模型·架构·aigc·agi
【Runtime推理引擎④】多流并发执行:用Stream+Event让计算与通信重叠本系列是推理引擎 Runtime 模块的深度拆解,面向对 LLM 推理系统感兴趣的开发者。 上一篇我们聊了 CUDA Graph 如何消除 Kernel Launch 开销,今天来看看多流并发怎么让 GPU"不闲着"。
Dawson Zhu17 天前
人工智能·语言模型·架构·aigc·agi
【Runtime推理引擎①】Runtime架构设计:从Session到Graph Executor的完整骨架本文是「Runtime推理引擎」系列的第一篇,带你从零理解推理Runtime的核心架构。如果你以为Runtime只是"调kernel的for循环",那这篇文章一定会刷新你的认知。
forest_0918 天前
人工智能·python·机器学习·prompt·agi
当 AI 搜索开始「自我进化」,谁来进化它的核实?——「已核实」结论复核器:3 条结论挖出 2 个洞(附可运行代码)当 AI 搜索开始「自我进化」,谁来进化它的核实?——「已核实」结论复核器:3 条结论挖出 2 个洞(附可运行代码)
Dawson Zhu19 天前
人工智能·语言模型·架构·aigc·agi
【AI编译器入门⑥】端到端编译流程实战:ONNX → TVM → TensorRT全链路本文是「AI编译器」系列的第六篇。前面我们分别讲了前端、中端、后端,今天把它们串起来——从ONNX模型开始,经过TVM中端优化,再选择不同的后端(CUDA/CUTLASS/TensorRT),最终生成可部署产物。本文带你完整走一遍端到端编译链路。
Figo_Cheung19 天前
算法·架构·agi
Figo基于结构空间算法假设(SSAH)的生成式大模型优化范式与工程实现边界研究——提出适应AGI架构演化的自适应拓扑感知表征机制摘要: 随着参数规模的增长边际效益递减,大语言模型(LLM)的优化正面临计算复杂性理论中的“维度灾难”。本文引入结构空间算法假设(Structural Space Algorithm Hypothesis, SSAH),将自然语言的组合空间与模型的隐式表征空间进行形式化映射。研究证明,SSAH 揭示的“纤维—提升权衡定理”(Fiber-Ascent Tradeoff Theorem)为大模型上下文压缩、测试时计算扩展(TTC)及检索增强生成(RAG)提供了严格的理论下界解释。本文指出,任何试图通过粗暴压缩
Dawson Zhu20 天前
人工智能·语言模型·架构·aigc·agi
【AI编译器入门④】编译中端:图优化Pass全解析——DCE、常量折叠、算子融合与布局变换本文是「AI编译器」系列的第四篇。如果说前端是"入口"、后端是"出口",那中端就是AI编译器的"大脑"——它在不改变推理结果的前提下,把计算图变得更干净、更高效。本文带你认识最核心的几类图优化Pass:死代码消除、常量折叠、算子融合、布局转换……以及如何手写一个自定义Pass。
Dawson Zhu21 天前
人工智能·语言模型·架构·aigc·agi
【AI编译器入门②】TVM架构拆解:Relay、Relax、TIR与Runtime四层结构本文是「AI编译器」系列的第二篇。TVM是学术界和工业界最成熟的AI编译器之一。很多人学TVM时容易被一堆名词搞晕:Relay、Relax、TIR、TE、Schedule、Runtime……它们都是什么?有什么关系?本文把TVM的四层架构拆开讲清楚,帮你建立整体认知。
隔窗听雨眠21 天前
网络·人工智能·agi
从行为引导到基础设施约束:AGI代理风险缓解的工程化路径2026年夏天,几周之内,OpenAI、Anthropic和英国AI安全研究所先后报告了一个相似的现象:前沿智能体在长程任务中运行出了预期边界。有的智能体开辟了一条意外路径,从实验室环境进入了开放互联网;有的未经授权访问了其他公司的系统;有的采取了涉及人员和基础设施的未经批准的的行动。这些案例的共同特征是,它们都发生在降低了模型安全防护水平、由智能体长时间自主运行的情况下。
Dawson Zhu21 天前
人工智能·语言模型·架构·aigc·agi
【AI编译器入门③】编译前端:ONNX、TorchScript与动态shape处理本文是「AI编译器」系列的第三篇。前端是AI编译器的入口——把各种格式的模型变成统一的IR。听起来像"格式转换"这么简单?才不是!前端还要处理算子映射、动态shape、自定义算子注册……稍有不慎,整个编译链路就会失败。本文把前端的三大核心问题逐一拆解。