llm

hboot4 小时前
后端·langchain·llm
AI工程师第六课 - RAG检索增强生成学习代码记录仓库第五课中使用OpenAI调用模型DeepSeek 代码,作为基准测试代码:LLM 不知道你的私有数据。
用户469368483209 小时前
llm·agent
kimi-code 深度掌握系列文章-对话循环TurnFlow(五)如果 Agent 类是一个乐团的指挥,那么 TurnFlow 就是指挥挥动的手臂 — 它负责将乐谱上的每个音符变为实际的演奏。从用户按下回车那一刻起,到 Agent 吐出最后一个字,TurnFlow 掌管了期间的每一个决策、每一次 LLM 调用、每一个工具的调度。本文深入剖析这个核心循环引擎的完整生命周期。
孙启超16 小时前
人工智能·llm·agent·react·observation·rag·plan-execute
【AI应用开发】 Agent篇(三):规划推理:ReAct 与 Plan-Execute工具调用让 Agent 有了"手",但还是不够聪明——面对复杂任务,它需要知道先做什么、后做什么、遇到意外怎么办。
lucas_AI10 小时前
llm·agent
Skill-α:教 Agent 学会自己'改说明书'💡 一句话带走:Skill-α 把 agent skill 的生成变成"一步步改",用 rollback reward(编辑前后在同一任务上跑一遍对比)给每次编辑打分,绕开了"skill 没有天然监督信号"这个本质难题。如果你在做 agent、正头疼 skill 怎么积累而不是手写,这篇值得读。 \
DigitalOcean11 小时前
llm·agent
多款模型最高直降 50%:DigitalOcean 无服务器推理大降价对于正在把大模型接入应用的团队来说,模型能力固然重要,但 API 调用成本仍是团队最关心的一项。尤其是 AI 编程、客服机器人、内容生成、代码辅助和 AI Agent 这类高频场景,单次请求便宜几厘钱看似不多,乘上每月数千万甚至数亿 Token 后,就会变成一笔不小的支出。
罗高11 小时前
llm·agent
Hermes Agent Token 机制深度解析从一个简单的问题出发,逐层深入 Hermes Agent 的源码,完整拆解 LLM Agent 框架如何管理 token 预算、上下文窗口、自动压缩、图片处理与 API 请求构建的全流程。
众人皆醒我独醉11 小时前
面试·llm·ai编程
Ray Serve:把 LLM 推理当"分布式 Actor"调度——不是 Kubernetes,是 Python 原生LLM 推理服务系列 · 第 5 篇KServe 的思路是把推理包装成 Kubernetes 原语——Deployment、Service、HPA、Istio VirtualService。这套方案在"模型即微服务"的场景里非常成熟,但它有一个隐含假设:推理是独立的、无状态的、请求-响应的。
玉鸯11 小时前
前端·llm·agent
界面用完即消失:Agent 生成式 UI 的短暂性哲学与前端工程的未来导读:我的前面一篇文章讲了 AG-UI 协议——Agent 后端和前端的通信标准。但协议只是管道。管道里流的是什么?当 Agent 不仅能发文本,还能发组件描述、发完整界面时,"通信"这个词本身就不够用了。本文讨论生成式 UI 的架构哲学:三种控制模式、短暂性界面的意义,以及前端开发范式的转变。
组合缺一11 小时前
llm·agent·ai编程·solon·claudecode·opencode
SolonCode v2026.8.4 发布:界面字体可调、22 种语言、记忆搜索增强打开终端就能上岗的全中文编码智能体,这一轮把「看得清、用母语、记得住」三件事一次补齐。SolonCode 是杭州无耳科技研发的企业级终端编码智能体——一位全中文驱动的数字员工,自主理解需求、规划步骤、编写代码。不挑模型、不挑平台,curl 一行装完即用。
用户4693684832012 小时前
llm·agent
kimi-code 深度掌握系列文章-Agent 类编排者(四)在 kimi-code 的架构中,没有比 Agent 类更中心的模块了。它就是乐团的指挥,不亲自演奏任何乐器,却协调着所有的乐手——15 个以上的子系统——在正确的时机发出正确的声音。本章深入 Agent 类的内部构造,拆解它如何将一组互相依赖的服务编织成一个能完成完整对话循环的有机整体。
牧艺12 小时前
llm·agent·next.js
Knowledge Studio 本地开源版:对标百炼 RAG 控制台的架构、重难点与差异发布日期:2026-08-06 标签:RAG / Knowledge Studio / pgvector / Ollama / Next.js / 工程实践 项目:jiaxiantao/knowledge-studio · 静态预览:jiaxiantao.xyz/knowledge-s…
谢白羽13 小时前
分布式·架构·llm·vllm·sglang
SGLang源码剖析-2-sglang双层体系架构全景SGLang 与 vLLM、TensorRT-LLM 等推理框架的核心差异在于:SGLang 不只提供高性能 serving engine,还提供面向 LLM 应用编排的前端语言层。它既能作为后端推理引擎使用,也能通过前端语言表达多轮、多分支、结构化的 LLM 交互程序。
扯蛋43814 小时前
javascript·llm·agent
langchain1.x 时代的记忆系统 (二)短期记忆 - thread-based checkpointerLangChain.js 1.x 的"短期记忆"就是:给 createAgent 配一个 checkpointer ,每次 invoke 时带上 thread_id ,框架自动帮你存取这条 thread 的完整消息历史。不用再自己维护 sessionId → messages[] 的字典。
孙启超19 小时前
人工智能·llm·agent·rag·query·ai应用开发·rerank
【AI应用开发】Query 改写、Rerank 在 Agent 系统里起到什么作用?Query 改写解决"搜不准"的问题——把用户的口语/模糊表达变成适合检索的精确查询。Rerank解决"排不好"的问题——对初步召回的文档重新排序,把最相关的排到前面。
Bolt14 小时前
llm·agent·bun
一个超级简单的 coding agent,100 行就可以做任何事当你把「写代码」这个能力交给 LLM 自己,而不是替它想好每一种工具——你得到的不是一个 demo,而是一个真正能做任何事的 agent。
孙启超16 小时前
人工智能·python·算法·llm·agent·loop·ai应用开发
【AI应用开发】Agent 无限 loop(反复调用同一个工具)如何规避?核心思想:不要把防止 Loop 仅当作 Prompt 工程问题——必须在代码层面建立多层防线。LLM 不会主动停下来,要靠系统强制停下来。
孙启超17 小时前
大数据·人工智能·llm·agent·rag·幻觉·ai应用开发
【AI应用开发】怎么降低 Agent 幻觉?有几种可行方案?Agent 比普通 LLM 更容易产生幻觉,因为 Agent 在多步推理中每一步都可能产生幻觉,然后后续步骤基于虚假信息继续推理,形成"幻觉级联"(Hallucination Cascade)。
得物技术17 小时前
javascript·架构·llm
实战从零开始构建一个Coding Agent:Violin |得物技术从 24 年冬天开始,各类 coding agent 层出不穷——从 Gemini CLI 的起步,到 Claude Code 的尝试,再到如今 Codex、OpenCode、PI、Qoder 等百花齐放。
林泽毅19 小时前
人工智能·深度学习·机器学习·llm·强化学习
PyTRIO快速入门实战篇(二):用 GRPO 提升 GSM8K 数学推理准确率用 PyTRIO 对 Qwen3.5-4B 进行 50 step 的 GRPO 训练。在 GSM8K test split 的前 100 道题上,模型的准确率从 79% 提升到 95%,训练与评估总成本仅 1.7 元。
AINative软件工程20 小时前
后端·llm·ai编程
LLM 多租户 Quota 工程实践:Token 配额、用量预警与自动熔断的生产设计我们的 LLM 平台上线三个月后,收到了第一封愤怒的邮件。不是用户投诉 AI 回答质量差,而是某个大客户的 CTO 亲自写来的:"你们的系统今天早上把我们整个月的 token 配额烧完了,现在所有功能都 503 了,损失自己算。"