llm

AI技术新视界

大模型推理延迟与吞吐量优化指南本文深入剖析了大语言模型（LLM）推理阶段的核心性能指标与优化策略。文章指出，随着具备复杂推理能力的模型兴起，“测试时计算”成为提升AI表现的关键，但也带来了更高的延迟成本。作者详细拆解了影响推理效率的三大核心指标：延迟（Latency）、吞吐量（Throughput）及首字延迟（TTFT），并揭示了Transformer架构中“预填充”与“解码”阶段的性能瓶颈差异。此外，文章对比了实时、批量及边缘推理等不同应用场景，系统梳理了量化、KV缓存、投机解码等主流加速技术，以及硬件加速的最新趋势。对于开发者而言

むはちひつなゃ初见

LLM API 上线 FAQ 与排障清单：从 401/429 到 fallback 验收--- title: LLM API 上线 FAQ 与排障清单：从 401/429 到 fallback 验收 --- # LLM API 上线 FAQ 与排障清单：从 401/429 到 fallback 验收 ViralAPI 是面向开发者、小团队和自动化业务场景的 OpenAI-compatible 多模型 API 网关，支持按场景接入 Claude、GPT、Gemini 等模型，并提供不同稳定性与成本分组选择。这份清单面向准备把 AI 客服、内容生成、数据分析、内部工具、批量自动化或 SaaS

宏技能一失败就抓瞎？给 Coding Agent 的技能库装个「降级键」💡 一句话总结：把 Agent 技能的「粒度」当作运行时控制变量——该用微工具时用微工具、该用宏技能时用宏技能、宏失败时自动降级补救，试点实验里 100% 成功率的同时把 token 成本压掉一半。做 Agent 框架和技能库的工程师值得深读。

一次 Skill 评测的复盘：我推翻了一份现成的模型选型结论，然后自己造了个评测平台前阵子团队里出了一份「高频 Skill 模型适配评估」，给 Jira Skill 的 8 个任务场景（D1-D8）各选出了一个最佳模型。报告里有表格、有准确率、有 Token 和耗时对比，格式齐整，结论清晰。

Introducing Kimi K3.1 Pro——隆重推出 Kimi K3.1 ProKimi K3.1 Pro：K3.1 系列首款模型，3T 级开放权重，100 万 token 上下文窗口，在编程、3D 创作、金融研究、智能体能力上全面提升。

AI Agent工具调用防护层怎么写-一份能直接跑的Python四层拦截实现四层防护不用从零设计。下面这 150 行 Python 就是完整骨架，只依赖标准库，复制进 guard.py 直接运行，五个典型场景会依次打印出每一层在哪一步拦下调用——参数名幻觉、类型错误、越权、硬禁、重复调用，一条不漏。

AI Agent工具误调用怎么解决-从参数校验到高危二次确认的四层工程防线AI Agent 乱调工具，靠改 prompt 治不好。实测数据摆在这里：模型单工具调用准确率约 95%，工具数涨到 20 个以上就掉到 65%–78%，而规模化后 60%–75% 的失败根本不是选错工具，是参数填错。这篇按「根因 → Schema 约束 → 分类隔离 → 权限白名单 → 运行时风控 → 高危二次确认」拆成四层工程防线，每层都给可落地的判断依据，也说清每层在什么情况下会失效。

墨抒颖 msy.plus

矩阵、注意力与 GPU：拆解 DeepGEMM 与 FlashMLALLM 推理的时间几乎都花在矩阵乘上。一层 Transformer 里，Q/K/V/O 四个投影是四个 GEMM，MLP 的两个线性层是两个 GEMM，注意力本身还是两个 GEMM。一个 token 走完一层，绝大多数 FLOPs 都在做 C = A × B C = A \times B C=A×B。

救救孩子把

RAG 还是 Fine-Tuning？从语义切分、QLoRA 到安全防护的企业级 LLM 优化实战摘要：企业级大模型应用究竟应该选择 RAG，还是 Fine-Tuning？本文从实际工程问题出发，深入分析两种技术的适用场景，并通过 Python 实现语义切分、BGE-M3 本地向量检索、4-bit QLoRA 微调、Prompt Injection 防护和混合路由架构，最后讨论如何利用评测体系与基础设施优化大模型的准确率、延迟和运行成本。

RAG 实战：用 LangChain + LLM 对私有文档做摘要提取本次实践是一个完整的 RAG（Retrieval-Augmented Generation，检索增强生成）落地实验：对一份包含 9 项政策的公司内部文档（companyPolicies.txt），走完加载 → 切分 → 嵌入 → 存储 → 检索 → 生成的索引与问答全链路。LLM 通过 OpenAI 兼容协议接入，嵌入用 HuggingFace 的 BGE 模型 + Chroma 向量库，链路依次经历三代形态：RetrievalQA 问答链 → 提示词模板压制幻觉 → ConversationalRe

Agent 卡在第三步，怎么查，一次请求的可观测性用户报障，说机器人答得很奇怪。你去翻日志，只看到一行请求进来、一行响应出去，中间调了哪些工具、喂给模型什么上下文、token 花在哪里，一概不知。于是开始复现，复现不出来，再猜，猜错两轮，一天过去了。

Agent 把用户地址发给了模型，数据脱敏该在哪一层做上线前的最后一眼，我在日志里看到用户完整的收货地址、手机号，还有一段自述病史。这些内容来自用户主动输入，被原样拼进了提示词，发给了模型服务商，又原样落进了日志系统。没人做错什么，每一步都按设计运行，只是设计里没有脱敏这一层。

先吃饱再说

LangGraph 状态图：从节点、边到中断恢复，手写一个多 Agent 工作流摘要：LangChain 拼乐高，LangGraph 画图纸。复杂 Agent 需要分支、循环、并行、人工审批和状态持久化，这些用线性链做不到。本文从状态图三要素出发，拆解 Annotation、Reducer、条件边、Checkpointer 与 Interrupt，带你从零手写一个可编排的多 Agent 工作流。

AI技术新视界

递归自我改进（RSI）是什么本文深入解析了“递归自我改进”（RSI）这一AI前沿概念，指出其核心在于让AI系统参与并优化自身未来的研发流程，而非仅作为辅助工具。文章通过对比约翰·冯·诺依曼的自复制机器与I.J. Good的“智力爆炸”理论，厘清了RSI的历史渊源。重点区分了当前流行的“自我改进智能体”（侧重工作流优化）与真正的RSI（侧重模型构建底层逻辑改进）。结合Anthropic的代码自动化、Recursive的研究系统以及Sakana AI的长期实验，文章强调2026年的RSI仍处于早期阶段，主要体现为训练效率、基准测试和代码

一天一个开源项目（第246篇）：rec —— Recursive 自研的本地推理引擎，在 Mac 上跑 Flint 编码模型，称比 llama.cpp 快 1.4–2.6 倍"Our lightning-fast inference engine."这是"一天一个开源项目"系列的第 246 篇文章。今天带你了解的项目是 rec（recursive-oss/rec）。

MiniMind 学习笔记之 25 Web UI 与 LLaMA-Factory：两条“不写代码”的路径上承〔24 · 社区生态：围绕一个项目长出来的森林〕。前面二十四篇，训练靠命令行，对话靠 eval_llm.py。但命令行对不熟悉的人不友好。这一篇讲两条“不写代码”的路径：MiniMind 自带的 Streamlit Web UI，让你在浏览器里和模型对话；LLaMA-Factory，让你用图形界面完成 SFT / DPO / PPO 的微调。两条路都基于同一个前提：模型已经转换成 HuggingFace 格式。

沛东的认知和实践

模型会自己伪造工具结果：一次 Agent 评测暴露的 Harness 工程问题——从一句 `count=0`，看模型输出、工具执行和上下文权威的边界30 秒判断：Agent 说“我调用了工具”，不等于工具真的执行过；模型在文本里写下一条 Observation，也不等于系统得到了真实工具结果。只要 Harness 把这段文本原样放回下一轮上下文，模型虚构的“事实”就可能变成后续推理的依据。提示词能要求模型遵守协议，但只有 Harness 能保证协议真的被执行。

MCP与Function Calling怎么选：大模型工具调用三种方式的面试级对比三种工具调用方式根本不在一个层级：Function Calling（函数调用）是模型输出结构化参数的能力，内置工具是平台送的现成货，MCP（Model Context Protocol，模型上下文协议）是把外部程序接进来的通信协议。选错的典型代价是延迟变高、上下文被撑爆，而不是「谁更先进」。

资料检索 1｜直接放入全文、按需读文件和先检索，有什么区别？假设你给个人资料助手两份读书会通知，问报名截止日期。把两份正文一起交给模型，就能让它依据这些材料回答。