llm

llm模块二结构化输出 LangChain 结构化输出完全指南：从 JSON 解析到 withStructuredOutput做过 LLM 应用开发的同学一定遇到过这样的场景：你让大模型返回 JSON，它偏偏给你套一层 ```json ``` 的 Markdown 代码块；你想拿到一个数组，它却返回了一段自然语言描述。如何让大模型的输出"听话"，是所有 AI 应用从 Demo 走向生产的第一道坎。

体检报告上一堆箭头看不懂？背后的逻辑就是随机森林：一群树投票，比一棵树靠谱上个月陪朋友去体检，报告出来满纸红色向上箭头，胆固醇、甘油三酯、心率全飘红。他抓着报告问我：AI 不是挺会读影像的吗？怎么不把这套系统普及到体检报告解读上？

我用DSH高效管理了我的prompt收藏不知道你在收藏prompt的时候，是否有这样的问题困扰：因为管理prompt太费劲，我用DSH把自己收藏的 2400+ 条 prompt 做成了一个可检索的本地仓库：文件即数据，中文概述当语义层，关键词 + 向量双路检索，一句大白话就能定位到能直接用的prompt。

CoderJia程序员甲

GitHub 热榜项目 - 周榜(2026-09-12)生成于：2026-09-12共发现热门项目： 21 个Token赞助：siliconflow前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。

LLM Gateway科普：大模型统一接入与治理，究竟解决了什么LLM Gateway，也就是大模型网关，指应用与模型之间的上下文感知治理中间件。它解决的不是“能不能调通”这个问题，而是多个大模型规模化使用之后“怎么管、怎么控、怎么看”。当一支团队从试用单个模型转向多模型、多项目、多人员稳定使用，接入代码重复、密钥散落、成本无法归因、故障难以定位这些问题会集中出现。本文从核心问题、定义边界、统一接入能力、与 API 网关的差异、适用团队和限流配额六个维度展开，帮助读者判断是否引入以及从哪些维度评估。

[实践]-本地大模型 + MCP + Agent 对接 SAP OData API 实现Web Chart APP从零搭建一个完全本地化的智能助手：用 Qwen 本地大模型做大脑，用 MCP 协议把 SAP OData 接口封装成工具，让 Agent 自主决策、调用工具、查询 SAP 真实数据，最终在 Web UI 上实现Chart App，呈现答案与调用轨迹。

重建 AI 认知第 6 篇：RAG——答案不在"检索 + 生成"这四个字里RAG 不是一个新技术。它的核心那块——把文字变成坐标，然后找坐标最近的邻居——1970 年代的搜索引擎就在用了。2013 年 Word2Vec 让"词变向量"成为主流，2019 年前后 Milvus、Pinecone 这类专业向量数据库陆续出现，2020 年 RAG 的论文发表，比 ChatGPT 还早两年多。今天说的 RAG，本质是把这套几十年的老检索技术，拼在了一个新的生成模型前面。

Omarchy 将研发基础设施迁移至 DigitalOcean 云平台Omarchy 是由 Ruby on Rails 创始人 David Heinemeier Hansson（DHH）发起的一款 Linux 桌面发行版，它基于 Arch 和 Hyprland 打造主打“开箱即用的开发者工作站”体验——无需折腾配置，开机即可获得一套以键盘为中心、视觉精美的开发环境。现在，其生产流水线、打包构建、PR 审查智能体和 QA 测试，都运行在 DigitalOcean 上。

vllm教程-19-模型架构基础仓库地址：github.com/hhk-png/cyc…本章目标：把 vLLM 服务的那"一堆模型"讲清楚。前几章反复出现的 num_kv_heads、head_dim、GQA、MLA、RoPE、MoE 等术语，在这里一次性系统讲透——它们直接决定 KV cache 大小、attention 内核怎么写、模型能不能塞进一张卡。读完本章，你会明白"为什么 70B 模型的 KV 只比 8B 大 2.5 倍""为什么 DeepSeek-V3 的 KV cache 那么小""为什么 vLLM 要对不同模型写不同的

Docker + Milvus，数据库永久存放记忆，让对话历史永不丢失全文导读：内存记忆会丢、文件记忆搜不准、截断总结丢信息——这是所有AI应用都会遇到的"记忆困境"。本文将带你从Docker环境启动开始，一步步用Milvus向量数据库构建一个可检索、可持久化、能语义搜索的"长期记忆系统"。特别地，本文会重点澄清三个新手最容易踩坑的概念：字段定义与索引的区别、为什么只需要一个索引、IVF_FLAT与COSINE到底是不是二选一。读完本文，你将掌握企业级AI记忆架构的完整落地流程！

Prefactor 从“看见 Agent”到“拦住 Agent”：实时评估如何重构 AI Agent 的生产可靠性目录一、Prefactor 为什么值得讨论：Agent 的可靠性问题已经从“输出质量”升级为“执行治理”

withStructuredOutput 一行封装的背后：method 三选一 + 方法总表系列第 4 篇。第 3 篇手写 bindTools 拿到了 tool_calls.args，但你看——要自己建工具对象、自己判空、自己担心模型不配合。LangChain 把这些都封装进了一个方法：withStructuredOutput。

小智发出 abort 后，旧声音为什么还可能继续？场景：小智（xiaozhi-esp32）设备被打断后仍听到一点旧声音。结论：仅凭 Abort speaking 日志分不清是服务端没取消还是客户端没停播；要按入口、模式、监听、ResetDecoder、generation、已取输出六步定位责任边界。产出：5 步排查时间线 + 16 行错误速查卡。适用版本：78/xiaozhi-esp32，固定 commit 6240b777aaa2bc0cad43a4ce25b30de23f36ad00（核验日期 2026-09-10）；ESP-IDF v6.0 /

LLM 选型指南：Agent 场景下大模型的核心能力评估框架摘要Agent 场景下的大模型选型，绝不是跑几个 Benchmark 那么简单。ChatBot 时代，模型只需要"回答得好"；Agent 时代，模型还要"行动得对"——工具调用是否稳定、多轮上下文是否连贯、长程任务是否不跑偏、成本是否扛得住，每一项都可能成为系统级瓶颈。本文从推理能力、工具调用稳定性、上下文管理、成本效率四大维度出发，构建一套可操作的 Agent 模型评估框架，并对 GPT-5、Claude Opus 4、DeepSeek-V4、Qwen3.5 四款主流模型在 Agent 场景下的表现进行

ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory论文阅读今天分享的论文是《ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory》

SGLang 和 vLLM，拿自己的请求测一轮再选场景：团队准备部署一个模型，收到 SGLang 跑分和 vLLM 吞吐两张图，要选框架。结论：别人榜单不能直接读，先让两边处理同一批业务请求再比。产出：6 步选型方法论 + 公平比较条件表 + 4 种请求形态建议 + 12 行错误速查卡。适用版本：SGLang v0.5.19（2026-09-05）/ vLLM v0.25.1 稳定版（2026-07），vLLM 文档为 latest 开发预览，部署时仍须核对安装版本。

买房怕买贵？我把真实成交价丢进决策树，看它到底按什么给房子定价买房这件事，最让人心里没底的不是首付，是价格。同一栋楼，楼上比楼下贵八万；面积差不多的两套，一套挂 280 万，一套挂 350 万。中介讲得头头是道，可听完你还是不知道自己掏的钱到底值不值。

为什么大模型回答总是一个字一个字蹦出来？聊聊 SSE 流式输出与 BFF 层的那些事你有没有好奇过，ChatGPT、DeepSeek 这些大模型的回答，为什么不是一次性返回，而是一个字一个字地"蹦"出来？这背后藏着前端、后端、甚至一个"中间层"的精妙协作。今天我们就来拆解它。

苹果刚发布 iPhone Duo，可 3104 款手机参数一聚类，参数分了档，价格却不匹配苹果前两天发布了 iPhone Duo，它家第一款折叠屏，一万六起步。折叠屏看着像手机里的异类，这让我好奇一件事：抛开品牌和价格标签，单看参数，几千款手机到底能不能自己聚成几档？

程序猿编码

LLM 技术迁移音频领域：基于 GGML 搭建 Roformer，端侧音乐人声分离实现详解这是一套纯C++实现的音乐源分离推理引擎，底层基于ggml轻量级张量计算库构建，完整支持BS Roformer与Mel-Band-Roformer两种主流音频分离架构，核心能力是从音乐音频中精准提取人声轨与伴奏轨。