llm

冬奇Lab10 小时前
人工智能·llm·mcp
MCP 系列(01):MCP 是什么——为什么 Function Calling 不够你给 Claude 接入了 Jira 工具,能查工单、创建 Issue、更新状态。代码跑通了,团队很满意。
冬奇Lab10 小时前
人工智能·rust·llm
每日一个开源项目(第154篇):Warp - 从‘好看的终端‘到 Agentic 开发环境"终端正在成为多 Agent 开发者工作流的中枢,而不只是一个命令运行器。"这是"每日一个开源项目"系列的第154篇文章。今天的主角是 Warp——2026 年 4 月宣布开源的 Rust 终端,以 OpenAI 作为发起赞助商,定位从"现代终端"升级为"Agentic 开发环境"。
元Y亨H15 小时前
llm·mcp
Model Context Protocol (MCP) 全方位解析在过去的一年里,我们见证了 LLM(大语言模型)从“能说会道”演进到了“能干活”(Function Calling/Agent)。然而,开发者们很快遇到了一个巨大的瓶颈:集成的碎片化。
程序喵大人15 小时前
人工智能·深度学习·llm·transformer
【AI专栏】图解Transformer - 第04章:LLM生成博主介绍:程序喵大人前三章已经把 Transformer 里最重要的内部动作讲完了:token 变成向量,向量带上位置,self-attention 读取上下文,multi-head 从多个角度看,FFN 继续加工,Residual 和 Norm 让很多层 Block 可以稳定堆起来。
Token炼金师19 小时前
人工智能·系统架构·llm·负载均衡·容灾·kv cache·prefix cache
服务的骨架:网关、负载均衡、容灾、弹性与多机房 —— 推理系统架构五柱推理系统架构决定服务可用性与扩展性。本文从网关设计、负载均衡策略、高可用容灾、弹性伸缩、多机房部署五个切口,给出源码级实现与企业级推理服务架构决策框架。
羞儿1 天前
llm·quantization·flash attention·pagedattention·multi-lora
llm-algo-8深入探讨的 Triton Flash Attention、PagedAttention、W8A16 Quantization GEMM 以及 Multi-LoRA 四大核心算子,你已经触及了现代大模型推理引擎(如 vLLM, SGLang, TensorRT-LLM)最底层的“四根支柱”。
程序员cxuan20 小时前
数据库·人工智能·大模型·llm·oceanbase
OceanBase 为什么要做 AI 数据库?过去三年,AI 的变化太快了,确实太快了,让大家对于 AI 的需求量和 token 消耗成指数级增长。
掉鱼的猫21 小时前
java·llm·agent
代码审查 Agent Harness 实战:AI 自动 Code Review如果你在团队里做过 Reviewer,大概率经历过这些场景:上午打开 GitHub,10 个 PR 等着你,每个 PR 上千行变更,业务逻辑弯弯绕绕,你一个一个文件翻,看到眼睛发酸;好不容易审到一半,业务方过来说"这个 PR 今天必须合",你只能加速扫读,结果低级 bug 溜进了生产环境;更别提那些缩进混乱、命名随意、硬编码密钥的"风格问题"——你说吧显得啰嗦,不说吧又膈应。
Token炼金师21 小时前
人工智能·深度学习·llm
工程基础设施层:MLOps闭环断裂让模型上线即裸奔模型训完没人盯、回滚漏切数据翻车、监控只盯GPU不盯效果。本文从某风控模型真实复盘切入,剖析MLOps链路断裂、三态不一致、监控盲区三个痛点,给出闭环pipeline、三元组版本绑定、效果监控+漂移检测的量化方案。
先吃饱再说21 小时前
langchain·llm·agent
手写一个 mini-cursor:LangChain Agent 开发完全实战摘要:Cursor 能自动写代码、创建项目、执行命令,背后靠的是 Agent + Tool 的组合。本文从零搭建一个 mini-cursor,实现文件读写、目录列表、命令执行等核心 Tool,并用 LangChain 构建 ReAct 循环。读完你会理解 AI 编程助手的底层原理。
chanalbert21 小时前
llm·agent
Agent Skill 工程化指南(三):运行与生效 — 运行时的全链路机制一句话定位:读完这篇,你将完整理解从"用户说了一句话"到"Skill 返回结果"之间发生的每一件事,包括匹配、加载、安全校验、执行和监控。
武子康1 天前
人工智能·llm·agent
调查研究-222 PagedAttention 详解:vLLM 如何像操作系统一样管理 KV CachevLLM 之所以成为 LLM Serving 里的标志性方案,核心不在于它改变了模型结构,也不在于它让每一次矩阵乘法突然变快,而在于它抓住了在线推理里最关键、最容易被低估的资源:KV Cache。
武子康1 天前
人工智能·llm·agent
调查研究-221 KV Cache:LLM 推理服务真正的显存黑洞LLM Serving 的核心瓶颈,很多时候不是模型权重,而是 KV Cache。模型权重是固定的。一个 14B 模型用 BF16 大约 28GB 权重,部署前就知道要占多少显存。但 KV Cache 是动态增长的:请求越多、上下文越长、输出越长,它越大。在线高并发时,系统真正容易失控的就是这部分。
带刺的坐椅1 天前
java·ai·llm·agent·solon·harness
多 Agent 协作实战:任务编排与子代理系统在构建智能应用的过程中,我逐渐发现一个残酷的真相:单个 Agent 的能力存在天花板。即便你给了它最强大的模型、最丰富的工具集、最详尽的系统提示,它仍然会在某些场景下力不从心。
Token炼金师1 天前
人工智能·llm·prompt·react·function call·cot·few-show
提词的艺术:Few-shot、CoT、Function Calling、ReAct 与自洽性 —— Prompt 工程六技Prompt 工程是释放大模型能力的关键技术。本文从 Few-shot 学习、思维链 CoT、函数调用 Function Calling、ReAct 推理行动、自洽性 Self-Consistency、Prompt 模板工程六个切口,给出源码级实现与企业级 Prompt 决策框架。
Token炼金师1 天前
人工智能·深度学习·llm·embedding·chunk·graphrag·rerank
知识的外挂:分块、Embedding、Rerank、GraphRAG 与多路融合 —— RAG 检索增强六脉RAG 是大模型接入外部知识的核心架构。本文从文档分块 Chunking、向量化 Embedding、检索 Rerank、GraphRAG 图谱增强、多路召回与融合、生产级 RAG 流水线六个切口,给出源码级实现与企业级 RAG 决策框架。
weigangwin1 天前
人工智能·opencv·ai·llm·memory·ai agent·mem0
采用 mem0 之前,先决定 Agent 到底允许记住什么mem0 吸引人的地方很直接:给 AI assistant 和 agent 提供长期记忆层。但真正的采用风险也在这里。Memory 不是一个普通功能,它会变成控制面。第一步不应该问 agent 能不能 add/search memory,而应该问:哪些事实允许被写入,谁以后能读到,过期事实如何降权,删除是否真实生效,以及一次回答被 memory 影响时有没有证据。
元Y亨H2 天前
llm
深度解析 AI Agent 的记忆系统如果说大语言模型(LLM)是 AI Agent 的逻辑大脑,那么**记忆系统(Memory System)**就是它的知识库与情感纽带。
DogDaoDao2 天前
人工智能·语言模型·自然语言处理·llm·github
LLM:用一条命令统一所有大语言模型的 CLI 工具深度解析 simonw/llm 项目——12.2k Star、63 个版本迭代、50+ 插件生态,如何成为终端 AI 工具的事实标准。
ZhengEnCi2 天前
llm
LLM01-大模型API调用平台性价比深度分析本文档基于 2026 年最新市场数据,从价格、模型能力、平台稳定性、合规性等多个维度,深度分析国内外主流大模型 API 调用平台的性价比表现,为个人开发者提供科学的选型指南 🎯