llm

救救孩子把2 小时前
安全·llm·rag·fine-tuning·qlora
RAG 还是 Fine-Tuning？从语义切分、QLoRA 到安全防护的企业级 LLM 优化实战摘要： 企业级大模型应用究竟应该选择 RAG，还是 Fine-Tuning？本文从实际工程问题出发，深入分析两种技术的适用场景，并通过 Python 实现语义切分、BGE-M3 本地向量检索、4-bit QLoRA 微调、Prompt Injection 防护和混合路由架构，最后讨论如何利用评测体系与基础设施优化大模型的准确率、延迟和运行成本。
slacker-kian4 小时前
ai·langchain·llm·agent·rag
RAG 实战：用 LangChain + LLM 对私有文档做摘要提取本次实践是一个完整的 RAG（Retrieval-Augmented Generation，检索增强生成）落地实验：对一份包含 9 项政策的公司内部文档（companyPolicies.txt），走完 加载 → 切分 → 嵌入 → 存储 → 检索 → 生成 的索引与问答全链路。LLM 通过 OpenAI 兼容协议接入，嵌入用 HuggingFace 的 BGE 模型 + Chroma 向量库，链路依次经历三代形态：RetrievalQA 问答链 → 提示词模板压制幻觉 → ConversationalRe
goehou7 小时前
llm·agent·日志·trace·可观测性
Agent 卡在第三步，怎么查，一次请求的可观测性用户报障，说机器人答得很奇怪。你去翻日志，只看到一行请求进来、一行响应出去，中间调了哪些工具、喂给模型什么上下文、token 花在哪里，一概不知。于是开始复现，复现不出来，再猜，猜错两轮，一天过去了。
goehou7 小时前
llm·agent·数据脱敏·隐私合规·工程实践
Agent 把用户地址发给了模型，数据脱敏该在哪一层做上线前的最后一眼，我在日志里看到用户完整的收货地址、手机号，还有一段自述病史。这些内容来自用户主动输入，被原样拼进了提示词，发给了模型服务商，又原样落进了日志系统。没人做错什么，每一步都按设计运行，只是设计里没有脱敏这一层。
先吃饱再说7 小时前
人工智能·langchain·llm
LangGraph 状态图：从节点、边到中断恢复，手写一个多 Agent 工作流摘要：LangChain 拼乐高，LangGraph 画图纸。复杂 Agent 需要分支、循环、并行、人工审批和状态持久化，这些用线性链做不到。本文从状态图三要素出发，拆解 Annotation、Reducer、条件边、Checkpointer 与 Interrupt，带你从零手写一个可编排的多 Agent 工作流。
AI技术新视界8 小时前
人工智能·llm·1024程序员节·rsi
递归自我改进（RSI）是什么本文深入解析了“递归自我改进”（RSI）这一AI前沿概念，指出其核心在于让AI系统参与并优化自身未来的研发流程，而非仅作为辅助工具。文章通过对比约翰·冯·诺依曼的自复制机器与I.J. Good的“智力爆炸”理论，厘清了RSI的历史渊源。重点区分了当前流行的“自我改进智能体”（侧重工作流优化）与真正的RSI（侧重模型构建底层逻辑改进）。结合Anthropic的代码自动化、Recursive的研究系统以及Sakana AI的长期实验，文章强调2026年的RSI仍处于早期阶段，主要体现为训练效率、基准测试和代码
冬奇Lab20 小时前
人工智能·开源·llm
一天一个开源项目（第246篇）：rec —— Recursive 自研的本地推理引擎，在 Mac 上跑 Flint 编码模型，称比 llama.cpp 快 1.4–2.6 倍"Our lightning-fast inference engine."这是"一天一个开源项目"系列的第 246 篇文章。今天带你了解的项目是 rec（recursive-oss/rec）。
嘎嘎风1 天前
gpt·llm·源码阅读
MiniMind 学习笔记之 25 Web UI 与 LLaMA-Factory：两条“不写代码”的路径上承〔24 · 社区生态：围绕一个项目长出来的森林〕。前面二十四篇，训练靠命令行，对话靠 eval_llm.py。但命令行对不熟悉的人不友好。这一篇讲两条“不写代码”的路径：MiniMind 自带的 Streamlit Web UI，让你在浏览器里和模型对话；LLaMA-Factory，让你用图形界面完成 SFT / DPO / PPO 的微调。两条路都基于同一个前提：模型已经转换成 HuggingFace 格式。
沛东的认知和实践1 天前
llm·agent
模型会自己伪造工具结果：一次 Agent 评测暴露的 Harness 工程问题——从一句 `count=0`，看模型输出、工具执行和上下文权威的边界30 秒判断：Agent 说“我调用了工具”，不等于工具真的执行过；模型在文本里写下一条 Observation，也不等于系统得到了真实工具结果。只要 Harness 把这段文本原样放回下一轮上下文，模型虚构的“事实”就可能变成后续推理的依据。提示词能要求模型遵守协议，但只有 Harness 能保证协议真的被执行。
ZhengEnCi1 天前
面试·llm·mcp
MCP与Function Calling怎么选：大模型工具调用三种方式的面试级对比三种工具调用方式根本不在一个层级：Function Calling（函数调用）是模型输出结构化参数的能力，内置工具是平台送的现成货，MCP（Model Context Protocol，模型上下文协议）是把外部程序接进来的通信协议。选错的典型代价是延迟变高、上下文被撑爆，而不是「谁更先进」。
中趴菜1 天前
llm
资料检索 1｜直接放入全文、按需读文件和先检索，有什么区别？假设你给个人资料助手两份读书会通知，问报名截止日期。把两份正文一起交给模型，就能让它依据这些材料回答。
自养Agent1 天前
人工智能·大模型·llm·prompt
Agent Harness 从用到会造：prompt 不是问句，是控制面板这是《Agent Harness 从用到会造》第 1 讲。大多数人第一次写 system prompt 的时候，脑子里想的是「我该怎么把需求说清楚」。于是他们写出一段礼貌、完整、像产品需求文档一样的文字，然后盯着模型的输出，觉得哪里不对，又说不上来哪里不对。
清如许.1 天前
人工智能·大模型·llm
提示缓存（Prompt Caching）是如何工作的？提示缓存（Prompt Caching）是一种技术：模型把 prompt 中重复出现的那部分已经算过的工作保存下来，下次直接复用这份保存的结果，而不必从头再算一遍。
愤怒的代码1 天前
人工智能·llm·agent
读懂大模型的"记忆"：KV Cache 到底是什么？大模型每生成一个 token，都要从头开始计算吗？ 为什么加了一块小小的缓存，生成速度就能快几十倍？ 这篇文章用最通俗的方式，把 KV Cache 一次讲透。
Cosolar1 天前
人工智能·llm·agent
上下文工程的第一公里：LangChain 讲透 Agent 检索的三大坑与六套解法开卷考试里最难的，从来不是没有答案，而是答案太多、你不知道该翻哪一页。LangChain 在 2026 年 10 月 24 日的官方博客里，把这件事讲得很直白：Agent 的上下文工程，第一步不是"怎么写 prompt"，而是"怎么把正确的信息拿进来"。检索做不好，后面的压缩、摘要、记忆管理全是在给垃圾信息做精装修。
lucas_AI1 天前
llm
GEPA 优化出来的提示词为什么又臭又长？ESPO：先诊断，再动手，投票定生死💡 一句话总结：进化式提示词优化器普遍患「通胀病」——每轮加规则、越优化越长。ESPO 用「一轮诊断全部错误 → 四策略出候选 → bootstrap 投票定生死」三步治好它：平均超过 GEPA 3.76 个点，提示词还短了 47%。搞 prompt 工程的人可以直接抄作业。
Y Shy2 天前
机器人·llm·嵌入式·agent
2026.10 在受限的嵌入式机器人设备中使用LLM Agent国庆前调试机器人设备，再次感觉非常痛苦：不能联网、性能弱不能部署本地AI大模型，debug 效率极低。
米小虾2 天前
人工智能·llm
KV 缓存全场景剖析KV（Key-Value）缓存不是一个"优化技巧"，而是贯穿大模型推理、推理服务、Agent 构建的一条结构性约束。下面按场景拆开讲。
Behavior2 天前
llm·aigc·vibecoding
Kimi K3.1 疑似现身 LMArena：匿名代号 Kibitz、SGLang 单日六条加固 PR，月底有望官宣2026-10-22 凌晨，LMArena 上多出两个匿名模型：Kibitz 和 Kalmia。名字不带任何厂商前缀，对战记录很快被截图传开。圈子里普遍的判断是，Kibitz 是月之暗面给 Kimi 新模型起的匿名代号，K3.1 在预热。
用户8314550980312 天前
人工智能·llm
注意力稀释，上下文变长时模型在公式里丢了什么模型已经把上下文窗口卷到百万 token，用起来却是另一回事：喂得越长，答得越不靠谱。这个现象有几个流行的名字：上下文腐烂（context rot）、注意力稀释、信噪比下降。