llm

liulilittle17 小时前
人工智能·算法·机器学习·llm
归一化:激活函数
smartfish_liu17 小时前
llm·agent
apl_LLM_agent_harness架构设计【核心哲学】 彻底抛弃 JSON、Function Call、结构化 API。整个系统只使用一种通用语言: 自然语言(人话)。LLM 是唯一的翻译官,APL 仅充当文本邮差。
only-qi18 小时前
人工智能·llm
大模型应用如何保证实时性和多轮对话一致性目录引言核心解析一、实时性优化:从模型到工程的全链路加速二、多轮对话一致性:让AI"记住"并"理解"上下文
武子康19 小时前
人工智能·llm·agent
WebRTC 已经双向,语音 Agent 为什么还会抢话?一个语音 Agent 的 WebRTC 指标可以全部正常,仍然像一个不会听人说话的客服。麦克风一直上传,扬声器也一直下载,连接的确是双向的。可用户只是说了声“嗯”,系统立刻把回答掐断;用户说“不是杭州,是青岛”,模型已经停了,播放器却又多播半句;用户没有打断,只是旁边的人说话,后台却创建了一个新回合;更隐蔽的情况是声音停了,但对话历史仍记录了那段未被用户听见的回答,下一轮模型会基于一段不存在的共同上下文继续推理。
liulilittle1 天前
人工智能·算法·机器学习·ai·llm
反量化:反量化Q8零(q8_0)
武子康2 天前
人工智能·llm·agent
从生成一张图到交付一套资产:怎样验收 AI 图片的连续可编辑性事实复核截止:2026 年 8 月 1 日;发布前于 2026 年 8 月 8 日重新核对来源可达性与产品状态边界。
武子康2 天前
人工智能·llm·agent
Code Mode 什么时候更省:别只数工具调用,要数模型往返判断 Code Mode 是否更省,最容易犯的错误,是盯着“工具调用了多少次”。同样读取 10 个文件,可以是模型发起 10 次串行决策,也可以是模型先写一个有界程序,让程序完成 10 次读取、筛选和聚合,再把一份压缩结果交还模型。两种方案的工具调用数都可能是 10,但模型往返、重复上下文和中间输出完全不同。
hust_wangyajun2 天前
ai·llm·agent·mcp
Function-Call / Skill / MCP-Server / ReAct 范式深度辨析现在做Agent开发,几乎一定会碰到四个高频名词:Function-Call、Skill、MCP-Server、ReAct。 很多人会把它们放在同一维度对比,实际上它们分属完全不同层级:
only-qi2 天前
人工智能·机器学习·ai·llm
大模型微调流程深度解析:从面试题到工程实践目录引言:为什么微调是大模型工程化的核心环节?1. 核心解析:大模型微调的9步标准流程步骤1:确定任务和目标
AINative软件工程2 天前
后端·llm·前端工程化
LLM 应用的依赖注入工程实践:解耦 Client、Prompt 和 Tool Registry,让 AI 系统真正可测试可替换作者按:我们团队有一个 LLM 应用上线后跑了 3 个月,等到要切换模型供应商的时候,才发现 LLM 客户端实例被散落在 17 个文件里,单元测试覆盖率是 0%,因为没法 mock。这篇文章就是为了不让你重蹈覆辙。
ltl2 天前
llm
PagedAttention 与 Continuous Batching原文发布于 quant67.com,转载请保留出处。本篇分工(与第 13 篇互补):本篇只讲 KV block 分页 + 迭代级调度 两条机制——Continuous Batching、PagedAttention、Chunked Prefill、Prefix Caching 及其内核耦合;不做 vLLM / SGLang / TensorRT-LLM 的产品横评。引擎选型、生态与部署模式见下一篇《vLLM / SGLang / TensorRT-LLM / TGI 对比》。
@atweiwei4 天前
开发语言·后端·rust·llm·agent·rag
用 Rust 写 LLM Agent:原生工具调用、检索纠错、自适应路由、深度研究、多步规划为什么一个 Agent 框架要实现 6 种 Agent?为什么不是 1 种通吃的?每种背后的真实痛点是什么?该选哪个?能组合吗? 本文不讲代码,只讲思路。基于 langchainrust v0.8.0 的实践。
DigitalOcean3 天前
llm·agent
在 DigitalOcean 如何提示词缓存:降低 AI 推理成本与延迟在调用大模型 API 时,很多成本其实花在了“重复阅读”上。例如,一个企业知识库应用可能会在每次请求中重复发送相同的系统提示词、工具定义和业务规则;一个 Coding Agent 也会不断把项目说明、代码上下文和历史对话重新提交给模型。即使真正变化的只有用户最后输入的一句话,模型仍然需要重新处理前面的大段内容。
only-qi3 天前
人工智能·ai·llm·agent·react
美的AI Agent面试题的解析与思考近期整理了美的AI Agent方向实习面试全套真题。整套题目看似基础、偏向概念,但每一题都在筛选真正懂工程落地、而非只会背理论的候选人。
武子康3 天前
人工智能·llm·agent
VLA 落地先签动作合同:从视觉语言输入到可执行控制指令VLA 能输出动作,不代表它已经能接到真实机器人。输入必须带时间和版本,动作必须声明坐标、单位、范围、频率、归一化与有效期,执行层还要核对安全责任。本文比较五类动作表示和四类动作生成路线,给出跨本体适配与项目启动清单。
武子康3 天前
人工智能·llm·agent
SWE-1.7 的提升究竟来自哪里?接受大量强化学习后训练的 Kimi K2.7 为起点,继续进行大规模 RL一个团队把 Agent 模型从 A 换成 B,任务成功率明显上升,最容易出现的结论是:新模型的权重更强,所以换到任何系统里都能得到同样提升。
用户469368483203 天前
llm·agent
kimi-code 深度掌握系列文章-工具系统:从注册到执行(六)ToolManager 是 Agent 与外部世界交互的桥梁。它位于 packages/agent-core/src/agent/tool/,是 Agent 类的核心成员之一。在一个 turn 的 loop 中,LLM 返回 tool_use 停止原因后,loop 会查询 ToolManager 获取可执行的工具集合,完成工具调用的分配与执行。
今日无bug3 天前
llm·nlp
用 Prompt 做 NLP 任务开发:几分钟构建一个推理系统仅用几分钟,我们就可以构建多个用于对文本进行推理的系统,而以前这需要熟练的机器学习人员数天到数周的时间。这就是 Prompt 工程带来的效率革命。