llm

中杯可乐多加冰

RAG 深度实践系列（七）：从“能用”到“好用”——RAG 系统优化与效果评估在 RAG 深度实践系列的前几篇文章中，我们已经完成了从理论架构到动手搭建，再到企业级平台部署的全过程。RAG（Retrieval-Augmented Generation，检索增强生成）技术，作为连接大语言模型（LLM）与企业私域知识的桥梁，无疑是当前 AI 领域最具潜力的应用范式之一。

【LLM】大模型数据清洗&合成&增强方法【大模型数据工程进展】主要讲的故事是大模型增强型数据准备展开系统性综述，围绕数据清洗、数据集成、数据增强三大任务，分析从传统基于规则的方法向提示驱动、上下文感知、智能体为核心的范式转变。Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs，https://arxiv.org/pdf/2601.17058，

FPGA 在大模型推理中的应用我在之前详细讲过FPGA在AI中的优势，如果我们要利用它的优势，去优化大模型推理过程，应该有哪些方案（只是理论推导）。下面简单罗列一下：

【AI黑话日日新】什么是大模型的test-time scaling？摘要：大语言模型（LLM）的性能提升长期依赖“参数扩容、数据增量、训练加算”的训练时缩放（Training-Time Scaling）范式，但该路径面临成本指数级增长、边际收益递减的瓶颈。Test-Time Scaling（TTS，测试时缩放/推理时扩展）作为全新技术范式，无需重新训练模型、不修改权重，仅在推理阶段通过投入额外计算资源、优化推理策略或引入外部验证，即可实现模型输出精度、鲁棒性与推理能力的显著提升。本文从核心定义、本质原理、主流算法分类、数学推导、工程代码实现、性能应用、挑战与未来方向，全面

vLLM、SGLang 融资背后，AI 推理正在走向系统化与治理最近，推理引擎领域出现了两件具有标志意义的事件：vLLM 和 SGLang 相继走向公司化。vLLM 核心团队成立 Inferact，完成 1.5 亿美元融资，估值达 8 亿美元：

大模型幻觉治理新范式：SCA与[PAUSE]注入技术的深度解析与创新设计自以GPT系列为代表的大语言模型（LLMs）崛起以来，其展现的非凡语言生成与理解能力已深刻重塑了人机交互的范式。然而，一个幽灵始终徘徊在AI世界的上空——幻觉（Hallucination）。它特指模型生成的内容在语法上流畅连贯，逻辑上看似严谨，实则与输入源信息（忠实性）或客观事实（事实性）严重不符的现象。正如Gartner在2024年报告中所警示，幻觉与模型滥用已成为生成式AI的两大核心风险。在医疗诊断、法律咨询、金融分析等高风险场景中，一个微小的幻觉便可能引发决策误导、信任崩塌乃至严重的社会伦理危机。例

基于 Spring AI 与 Streamable HTTP 构建 MCP Server 实践面向专家读者的实战文章，目标是把“模型驱动工具调用（MCP）”从协议、架构到工程落地完整走通。本文强调可扩展、可观测与生产级交付。

【AI黑话日日新】什么是隐式CoT？摘要：链式思考（CoT）是大语言模型（LLM）实现复杂推理的核心技术，但显式CoT依赖生成冗长自然语言推理步骤，带来巨大token开销、推理延迟与显存占用，严重制约其在实时场景、边缘设备与大规模部署中的落地。隐式CoT（Implicit CoT）将推理过程编码在模型连续隐藏嵌入空间中，跳过显式token生成，直接输出最终答案，在保留推理能力的同时实现效率量级提升。本文从原理、主流实现、性能效率、核心挑战与未来方向，全面解析隐式CoT这一LLM推理效率革命的关键范式，为工程落地与学术研究提供参考。

一个处女座的程序猿

CV之VLM之LLM-OCR：《DeepSeek-OCR 2: Visual Causal Flow》翻译与解读CV之VLM之LLM-OCR：《DeepSeek-OCR 2: Visual Causal Flow》翻译与解读

自己动手从头开始编写LLM推理引擎(9)-KV缓存实现和优化在大语言模型的推理过程中，生成每个token都需要计算之前所有token的注意力权重。如果不使用缓存，每次生成都需要重新计算所有历史token的Key和Value，这会导致巨大的计算开销。KV缓存（Key-Value Cache）技术通过缓存历史token的K和V，在后续生成中只计算新token的K和V，从而大幅提升推理性能。

小杨互联网

LLM应用三大隐形风险与防护方案详解构建一个聊天机器人原型只需几小时，但要安全部署到生产环境，则需要数周的安全规划。传统软件安全关注服务器攻击和密码泄露，而大型语言模型（LLM）应用引入了一类全新的威胁——这些威胁隐藏在AI逻辑本身中悄悄运作。

小汤圆不甜不要钱

「Datawhale」RAG技术全栈指南 Task 5这个项目挺有意思，基于 GitHub 上的「程序员做饭指南」搭建一个智能食谱问答系统。目标很接地气——解决每天"今天吃什么"的世纪难题。数据是 300 多个 Markdown 格式的菜谱文件，结构统一，非常适合做 RAG。

五点钟科技

Deepseek-OCR：《DeepSeek-OCR: Contexts Optical Compression》论文要点解读最近幻方又在搞事情了，一篇关于通过视觉进行语言理解的论文火遍圈子。迫不及待看了看论文，发现他们真是一支十分聪明又十分善于思考的团队，不得不佩服！

【AI黑话日日新】什么是AI智能体？本文将从定义、核心能力、技术架构、与传统AI的区别及应用场景，全面解析AI智能体，帮助开发者与技术爱好者理解这一AI领域的核心演进方向。

【LLM】多模态智能体Kimi-K2.5模型Kimi K2.5 是 Moonshot AI 发布的开源多模态智能体模型，旨在推动通用智能体智能（General Agentic Intelligence）的发展。该模型采用原生多模态架构，通过文本与视觉的联合优化，以及创新的Agent Swarm（智能体集群）框架，在推理、编程、视觉理解和智能体任务上达到了业界领先水平。

【架構優化】拒絕 LLM 幻覺：設計基於 Python 路由的 AntV 智慧圖表生成系統在開發 Dify 數據助理過程中，直接將原始數據（如 BigQuery JSON）丟給 LLM 並期望其產出精確的圖表代碼，往往是穩定性的噩夢。雖然 MCP 提供了便利，但在處理大規模數據或複雜語意時，常會遇到 Token 溢出、數據類型錯誤或圖表類型誤判。

【AI黑话日日新】什么是skills？Claude Code 中的 Skills 是一套可定制化的扩展机制，本质是将专业知识、任务流程、可执行代码等打包成独立模块，供 Claude 根据上下文自动或手动调用，以完成特定专业任务。以下从核心定义、特性、结构、使用方式等方面详细介绍：

国家一级假勤奋大学生

InternVL系列 technical report 解析论文链接： [2312.14238] InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks

张量并行和流水线并行原理深入理解与思考MLP 通常由两个线性层组成： A A A 层（升维）和 B B B 层（降维）。第一步：Linear 1 —— 列并行

CoderJia程序员甲

GitHub 热榜项目 - 日榜(2026-01-30)生成于：2026-01-30共发现热门项目： 14 个榜单类型：日榜本期GitHub热榜显示AI智能体开发依然是绝对焦点，跨平台个人助手、多智能体协作平台和专业化工具链项目表现抢眼。具体趋势体现在三个方面：首先，可定制化个人AI助手（如moltbot、kimi-cli）持续走热，强调全平台兼容和代码驱动。其次，智能体能力边界拓展成为关键，围绕记忆增强（memU）、系统提示词逆向（system_prompts_leaks）和标准化协议（MCP）的创新工具涌现，助力开发者突破大模型固有局限。最后，开源社区正积