技术栈
语言模型
Dawson Zhu
2 小时前
人工智能
·
语言模型
·
架构
·
aigc
·
agi
从空间 Scaling 到时间 Scaling
摘要：LLM 在预训练规模上遇到瓶颈后，行业叙事正在从"拼算力、拼数据量"转向"拼模型自我改进的迭代速度"。这个直觉方向是对的，且已被产业界实际押注。但"让模型自己改自己、然后疯狂迭代"作为机制主张是脆弱的：迭代速度只是放大器，不是资产；真正决定上限的是外生新颖性与反馈可信度。本文记录一个想法被三次修正的完整过程，并给出一个可证伪的重述版本。
xiaoye-duck
2 小时前
开发语言
·
网络
·
c++
·
语言模型
《C++ 项目：手写大模型接入 SDK》Ollama接口设计（上）：初始化、全量响应实现和测试
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
xiaoye-duck
7 小时前
开发语言
·
网络
·
c++
·
语言模型
《C++ 项目：手写大模型接入 SDK》LLMManager架构设计与实现
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
Dawson Zhu
10 小时前
人工智能
·
语言模型
·
架构
·
aigc
·
agi
【LLM推理与Serving⑧】多机多卡Serving：TP/PP/负载均衡与弹性扩缩容全攻略
系列文章索引：本系列从基础概念到工程实践，系统梳理LLM推理与Serving的核心知识。本文为第8篇，深入讲解多机多卡场景下的并行策略、负载均衡与弹性架构。
硅谷秋水
11 小时前
人工智能
·
机器学习
·
语言模型
·
机器人
OpenRUA 方法分析
论文：OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies，UCL / CMU，arXiv 2610.02459, 2026.10.
Bode_2002
12 小时前
人工智能
·
语言模型
·
架构
大语言模型与运筹规划双闭环共生（LLM-OR）：体系架构、理论机理与落地实践
在现代复杂智能决策系统中，纯数据驱动的“联结主义（Connectionism）”与纯规则驱动的“符号主义（Symbolism）”均面临难以跨越的技术瓶颈：
Dawson Zhu
1 天前
人工智能
·
语言模型
·
架构
·
aigc
·
agi
【LLM推理与Serving⑤】Prefix Cache前缀缓存：让重复prompt不再重复计算
大家好，我是你的AI Infra学习搭子。上一篇我们聊了Speculative Decoding如何让大模型"一次蹦好几个字"，今天我们来聊另一个在生产环境中收益巨大的优化——Prefix Cache（前缀缓存）。如果说Speculative Decoding是在Decode阶段"挤牙膏"，那Prefix Cache就是在Prefill阶段"薅羊毛"——同样的prompt前缀，凭什么每次都要重新算一遍？
lisw05
2 天前
人工智能
·
语言模型
·
自然语言处理
理解推理大语言模型的可监控性！
要理解推理大语言模型的可监控性，我们需要从“为什么难”以及“怎么做到”两个层面来拆解。传统的大语言模型（如早期的GPT系列）通常是一次性给出答案。而推理模型（如OpenAI o1、DeepSeek-R1等）的核心特征是 “思维链”——它们在给出最终答案前，会先进行一段内部的、多步骤的推理过程。
xiaoye-duck
2 天前
开发语言
·
网络
·
c++
·
语言模型
《C++ 项目：手写大模型接入 SDK》本地 Ollama 部署与适配
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
硅谷秋水
2 天前
人工智能
·
科技
·
语言模型
面向科学的科学AI智能体：任务、架构、评估与挑战综述
论文：AI Agents for the Science of Science: A Survey of Tasks, Architectures, Evaluations, and Challenges（东北大学 Network Science Institute），发表于 Findings of ACL 2026。
xiaoye-duck
3 天前
开发语言
·
网络
·
c++
·
语言模型
《C++ 项目：手写大模型接入 SDK》Gemini接口设计（上）：初始化、全量响应实现和测试
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
xyzzklk
3 天前
网络
·
人工智能
·
爬虫
·
ai
·
语言模型
·
自然语言处理
·
安卓
在Open-WebUI中提升向量化速度
在之前的内容中，我们完成了一则壮举——使用Open-WebUI在一台旧安卓手机上搭建了一个完整的、专业级的AI聊天平台。然而，当前的网站存在一个极其影响用户体验的问题，就是每当用户在对话中开启网页搜索（Web Search）时，即使是一个简单的提问都需要等待20分钟以上才能生成响应。
硅谷秋水
4 天前
人工智能
·
机器学习
·
语言模型
·
机器人
AgenticRoboRL：将“编程智能体”后训练引入智能体化机器人领域
论文：AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics，2026年10月来自中佛罗里达大学、南加州大学和密歇根州立大学。
硅谷秋水
4 天前
人工智能
·
机器学习
·
语言模型
DiscoveryRSI：通过递归学习发现有价值的假设
26年10月，论文“DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses”，来自PhAI Labs、香港中文大学、密歇根大学、新加坡国立大学、复旦大学、北京大学人民医院、北京大学、斯坦福大学、香港科技大学、加州大学圣塔芭芭拉分校、东南大学、哈佛医学院、圣保罗联邦大学、伊利诺伊大学厄巴纳-香槟分校 (UIUC)、麻省理工学院 、牛津大学和普林斯顿大学。
xiaoye-duck
4 天前
网络
·
c++
·
语言模型
·
chatgpt
《C++ 项目：手写大模型接入 SDK》ChatGPT接口设计（下）：流式响应实现和测试
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
lisw05
4 天前
人工智能
·
学习
·
语言模型
作为人类代理的大语言模型及其角色分类！
首先需要明确一个核心概念：“人类代理”在这里通常指代的是“智能体”或“Agent”，即LLM不仅仅是一个被动的问答机器，而是能够主动感知环境、进行规划、调用工具并执行任务来完成用户目标的自主实体。
xiaoye-duck
5 天前
开发语言
·
网络
·
c++
·
语言模型
《C++ 项目：手写大模型接入 SDK》DeepSeek接口设计（下）：流式响应实现和测试
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
飞猫的边缘AI
5 天前
人工智能
·
语言模型
·
cnn
·
transformer
·
边缘ai
边缘AI芯片的规则变了：从跑CNN到跑LLM和VLM
如果你关注边缘AI芯片，最近有个明显变化：边缘设备跑的东西跟几年前不一样了，以前跑CNN（卷积神经网络），现在跑LLM（大语言模型）和VLM（视觉语言模型）。
xiaoye-duck
5 天前
网络
·
c++
·
语言模型
·
chatgpt
《C++ 项目：手写大模型接入 SDK》ChatGPT接口设计（中）：全量响应实现和测试
🔥小叶-duck：个人主页❄️个人专栏：《Data-Structure-Learning》《C++入门到进阶&自我学习过程记录》 《Linux系统从入门到实践》《Linux网络从入门到实践》 《Qt 方寸极境》 《MySQL》
隔窗听雨眠
6 天前
人工智能
·
语言模型
·
自然语言处理
大语言模型推理效率的多维优化与部署取舍
大语言模型的推理成本，正在成为决定其能否从演示走向规模化部署的核心变量。一个参数规模达到数百亿的模型，单次生成可能涉及数十次前向传播，每一次都需要将全部权重从显存搬运到计算单元。当并发请求数量上升时，这种重复的权重搬运会迅速耗尽显存带宽，使图形处理器的计算单元陷入饥饿状态。推理慢的根源，在多数情况下不是算力不够，而是数据搬运的速度跟不上计算的速度。