语言模型

一枚爱吃大蒜的程序员

CSDN文章-注意力约束QLoRA教育大模型微调📌 论文原题：基于注意力约束QLoRA与指令样本增强的大模型微调方法研究 📌 核心成果：BLEU 44.1 / ROUGE-L 47.8 / F1 77.3% / 准确率 79.1%，较原生QLoRA提升5.6~10.6个百分点，峰值显存仅8.9GB，推理延迟130ms 📌 适用场景：职业院校、中小型教育机构等低资源条件下的垂直领域大模型微调

海上小飞龙

大模型推理的两阶段：一次 Prefill，加上多次 Decode你跟 DeepSeek、通义、GPT 这类大模型聊过天，应该都见过那个画面——问完问题，字是一个一个往外蹦的，像有人在你对面现想现说。

离散与连续的博弈：从BM25到向量检索的工程演进与系统融合在RAG（检索增强生成）与大模型搜索召回的面试中，“BM25与向量检索的区别"几乎是必考题。常见的回答往往是"BM25是关键词匹配，向量检索是语义匹配”。这个答案没错，但它仅仅停留在教科书层面，未能触及工业级检索系统的工程本质。

JEPA-WAM：基于联合嵌入世界建模的VLA策略学习26年8月来自人大、星源智（XYZ Embodied AI）、数据工程知识工程重点实验室、数据库商务智能研究中心、深圳高级技术研究中心和清华AIR研究所的论文“JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling”。

知识图谱与 Palantir Ontology：同一套「实体—关系」表象下，两种截然不同的工程范式说明：本文面向数据平台与知识工程从业者，从数据模型、存储与更新、查询与推理、治理与执行四个可验证的工程维度，对比 RDF/OWL 知识图谱与 Palantir Ontology（本体）的差异。文中对 Palantir 产品能力的描述均基于其公开官方文档，对其商业性能数字（如某白皮书中的延迟、吞吐指标）不作二次背书，建议读者以自身压测为准。

LlmCraft｜大模型工程实践

09 大语言模型（LLM）演进与 Prompt 入门系列文章目录01 NLP入门：什么是自然语言处理 ✅02 文本预处理：从原始文本到干净语料 ✅03 文本向量化：词袋模型与 TF-IDF ✅

Kafka 在 AI Agent 系统中的应用：任务队列与事件总线的角色辨析及工程实践AI Agent（智能体）通常被描述为“感知—规划—行动”的循环：接收用户输入或环境事件，调用大模型推理，再借助工具（检索、数据库、HTTP 接口、代码执行等）完成任务。一个看似简单的对话请求，背后可能串联多次 LLM 调用、知识库查询、工具调用和结果汇总，端到端耗时从几百毫秒到几十分钟不等。

大模型微调学习（二）这页主要说明：对 GPT-3 这种超大模型进行全参数 Fine-tune，成本非常高。“噩梦”主要体现在三个方面：

木圭的AI时代指南

AI江湖录②·池鱼摘要：七月十七日凌晨，月之暗面开源发布三万亿级模型 Kimi K3，以每百万 token 输出一百元的定价，把国产大模型的定价从"比谁便宜"推向"比谁值"。两天内，智谱跌四成二、MiniMax 跌两成四，港股 AI 板块蒸发约两千八百五十五亿港元，美股 AI 板块同步下挫。但石头只是导火索——解禁、配售、机构浮亏早已让池底开裂。十三天后，挨过打的智谱学会了涨价，阿里连夜改牌，腾讯、小米沉在水底，OpenAI、Anthropic 被证明贵得有理。一池子的鱼各自站队，而点火的那位，早已上岸去敲港交所的门。

大语言模型的本质：从条件概率预测到能力涌现的技术剖析“大模型的本质是什么？”——这是很难回答的问题。回答“它是一个神经网络”过于浅显，回答“它是一个聊天机器人”又过于片面。

【智能体】Agent的四种设计模式之：React（2026最新版）小屌丝：鱼哥，我最近写了个 Agent，让它查天气，结果你猜怎么着？它直接给我编了个假天气！北京今天明明 35 度大晴天，它告诉我"北京今天小雨 18 度，记得带伞"。我当场就裂开了…… 小鱼：（扶额）兄弟，你这是让模型"闭卷考试"啊。LLM 的知识是 cutoff 的，它又不会真的去查天气预报，可不就瞎编嘛。小屌丝：那我该咋办？总不能我手动帮它查吧？小鱼：你得让它学会 “边想边干”。就像你打游戏，不是一上来就冲boss，而是先观察一下——“这怪会喷火，我得绕后"→ 绕后 → 发现它屁股也会喷火 →

DM今天肝到几点？

AI 安全进入「攻防同频」：Gemini 3.8 Flash Cyber 上线、Astra 触及关键级、HiddenLayer 融资 1 亿美元9 月 2 日到 3 日这两天，安全相关的新闻密度异常高：同一时间，另一条新闻提供了刺眼的反面注脚：黑客在暗网兜售 1.53 亿份美国驾照扫描件。

大模型微调学习（一）大模型微调是当前 AI 应用落地中最核心的技术路径之一。它指的是在已经预训练好的大语言模型（LLM）基础上，使用特定任务的数据继续训练，让模型从"通用文本续写器"转变为能够精准执行特定任务的"任务执行器"。本章将从整体流程、模型选择、数据准备和技术路线四个维度，系统性地梳理大模型微调的全貌。

多Agent系统共享记忆架构：从存储范式到分布式共识的技术剖析随着大语言模型（LLM）驱动的Multi-Agent系统从实验性项目走向生产级部署，Agent间的**共享记忆（Shared Memory）**机制逐渐成为架构设计的核心难题。本文从一道字节AI算法岗面试题出发，系统性拆解多Agent共享记忆的分层存储模型、状态同步协议与读写冲突解决方案，对比中心化"黑板模式"与去中心化"联邦记忆协议"两类主流架构的取舍，并给出可落地的工程实现要点（语义向量检索、Gossip协议、TTL/跳数控制、信任加权共识、ABE属性基加密）。

从虚拟内存到 Agent 记忆：把大模型的“脑补“变成“查表“如果操作系统没有虚拟内存，进程只能挤在狭小的物理内存里，互相踩踏，系统崩溃。如果大模型没有外部记忆，Agent 只能把所有知识塞进上下文窗口，互相污染，幻觉频发。

weixin_44626085

基于熵的选择性智能体引导：从非完美视觉语言模型教师学习自主策略arXiv:2609.01567v1视觉语言模型（VLM）可以为交互式决策任务提供强大先验，但直接将VLM当做策略使用存在开销高、鲁棒性差的缺陷：每一步都需要调用模型、无法从环境交互中迭代提升，还会反复出现系统性错误。本文研究如何从在线、开销昂贵、存在缺陷但具备信息增益的VLM教师中，训练轻量化自主强化学习（RL）策略。本文提出**(\mathcal{S})(\mathcal{A})GE（(\mathcal{S})elective (\mathcal{A})gent Guidance via Entrop

大模型任我行

蚂蚁：金融文档解析新范式📖标题：FinixDoc: Rethinking Financial Document Parsing Beyond Saturated Benchmarks 🌐来源：arXiv, 2608.22842v1

如何编写一个数据分析 Skill：完整拆解一个案例前两篇讲了"怎么写 Skill"和"该选什么来写"。这篇不空谈了，拿数据分析当样板，从头到尾走一遍：从需求定义、流程设计、脚本与模型的职责划分，到验收标准，把一个能稳定产出报告的 Skill 是怎么"长"出来的，一步步拆给你看。数据分析恰好是绝佳的案例——它同时包含确定性部分（计算）和不确定性部分（归因），正好覆盖 Skill 设计的全部要素。

Science Advances｜大语言模型增强宏基因组酶功能注释宏基因组数据具有重要的生物学潜力，但其功能解读常受限于不完整的蛋白功能注释。准确的酶功能注释对于阐释宏基因组数据集中微生物群落的代谢能力至关重要。为应对这一挑战，作者开发了 FEDKEA（fine-tuned ESM-2 and distance-based KNN for Enzyme Annotation，基于微调 ESM-2 与距离 KNN 的酶注释工具），并提供配套的 Web 平台。此外，作者设计了一套用户友好的、基于 FEDKEA 的宏基因组流程 MEnzMap（Metagenomic Enzy

Agent 持续进化：从学习信号到参数更新的工程化路径Agent 面临一个鲜明的能力悖论：它可以零样本解决从未见过的复杂任务，却可能在处理了一万次相似任务之后，第二天仍然犯下第一天的错误。能否自主从经验中学习，正在成为 Agent 从"会完成任务"走向"能够可靠工作"的关键能力。本文从学习信号获取、四种更新方式、持续进化闭环以及安全边界等角度，对 Agent 持续进化的工程化路径进行技术分析。