语言模型

audyxiao0011 小时前
人工智能·语言模型·多模态·时间序列
让大语言模型先读懂外部事件:一种文本增强与正则扩散对齐的多模态时序预测框架本文分享一篇2026年人工智能领域国际期刊Knowledge-Based Systems发表的论文《TRDA-TS: Text reinforcement and regularized diffusion alignment for LLM-empowered multimodal time series forecasting》。该论文针对大语言模型用于多模态时间序列预测时,外部事件文本利用不足以及文本与数值时序之间存在跨模态错配等问题,提出了TRDA-TS预测框架。该模型首先在数值分支中提取多尺度和
Dawson Zhu2 小时前
人工智能·语言模型·架构·aigc·agi
大模型推理的三维本质:原理解析与工程实践大语言模型(LLM)的推理效率直接决定了其从实验室走向规模化部署的可行性。然而,工业界对推理瓶颈的认知长期停留在"GPU算力不够"的表层,忽视了推理阶段内在的结构性矛盾。本文基于对大模型推理阶段的系统性分析框架,从数学本质(自回归生成的马尔可夫链过程)、系统本质(Prefill与Decode两阶段交替的计算/访存异构性)和数据本质(KV Cache生命周期管理)三个维度,剖析推理性能瓶颈的根源,并梳理FlashAttention、PagedAttention、连续批处理、投机解码、权重量化等核心工程优化技
云和数据.ChenGuang3 小时前
人工智能·深度学习·机器学习·语言模型·fastapi
langchain4j的RAG入门LangChain‑Python 有 RecursiveCharacterTextSplitter;但 LangChain4j(Java)1.8.x 没有叫这个名字的公开类!
Funny_AI_LAB3 小时前
人工智能·经验分享·语言模型·重构
重构 Coding Agent:当 LLM 没有 KV Cache 时,上下文工程该怎么做?如果有一天,大语言模型(LLM)的 KV Cache 彻底消失,你会如何重新设计一个 Coding Agent?
Xuantong_906 小时前
人工智能·语言模型·重构
拆解 Claude Sonnet5.5 底层设计:自适应思考、子智能体协同,Anthropic 如何重构中端大模型推理范式2026 年 9 月 28 日,Anthropic 正式发布 Claude Sonnet5.5,这一代模型最值得深挖的不是跑分数字,而是底层推理架构的调整。在 Sonnet5.5 身上,Anthropic 把 “自适应思考(Adaptive Thinking)” 作为默认机制,再加上原生支持多子智能体协同,彻底改变了 Sonnet 系列过去 “单轮静态推理” 的模式。理解这套底层设计,才能看懂为什么它在编码、多步骤任务上实现越级表现,同时理解它存在的短板根源。
空 白II18 小时前
人工智能·语言模型·自然语言处理
9.26 大语言模型研究简报:把 Agent 开发做成“数据—训练—Harness”闭环公开时间(北京时间):2026 年 9 月 24 日 22:38 机构:Alibaba Token Hub / MAI Team 状态:论文预印本 + 技术报告
倔强的石头1061 天前
语言模型·bert·transformer
【Transformer】BERT_双向预训练语言模型的开端摘要:BERT 是理解型预训练语言模型的里程碑。它不像 GPT 那样从左到右预测下一个 token,而是使用 Encoder-Only Transformer 双向阅读整段文本,并通过 Masked Language Modeling 学习上下文表示。BERT 让“先在海量文本上预训练,再在具体任务上微调”成为 NLP 的主流范式,也为今天的 embedding、rerank、分类、信息抽取等系统打下基础。本文从 BERT 出现前的 NLP 困境讲起,解释 Encoder-Only、MLM、NSP、[CL
Dawson Zhu1 天前
人工智能·语言模型·架构·aigc·agi
一种多Agent权限管控与风险控制架构随着大语言模型(LLM)驱动的 Agent 系统在企业级场景中的快速落地,多 Agent 协作架构的安全治理问题日益凸显。当系统中存在多个自主决策的 Agent 时,权限失控、工具滥用、跨租户数据穿透等安全风险呈指数级增长。本文系统梳理了一种基于三级权限分类、多租户沙箱隔离与全局监督 Agent 的分层安全机制,并从工程实践角度分析其设计思路、实现要点与局限性。
Dawson Zhu1 天前
人工智能·语言模型·架构·aigc·agi
Agent系统工程质量评估体系:原理解析与工程实践随着大语言模型(LLM)驱动的Agent系统在企业级应用中的快速部署,如何量化评估Agent系统的工程质量成为一个亟待解决的工程问题。与传统的确定性软件不同,Agent系统具有内在的非确定性特征——同一输入在不同运行中可能产生不同的输出路径和结果,这使得传统的软件测试和评估方法面临根本性挑战。
阡陌数智2 天前
人工智能·语言模型·性能优化·推荐算法
大模型推理抖动深度剖析:生产环境下时延波动根因定位与根治方案大模型服务从 POC 试点走向规模化生产,稳定性往往是最大拦路虎。不少团队完成压测后,GPU 利用率、平均 RT 都满足预期,接入真实业务流量后,间歇性出现时延陡增、流式输出卡顿、偶发请求超时熔断。抖动问题复现难度高,普通监控只能看到时延异常,很难直接定位根因。很多工程师第一反应怀疑 GPU 硬件或者推理内核,实际生产中纯粹内核缺陷占比很低,绝大多数抖动来自缓存、流量、调度、软硬件交互的组合问题。
Zzj_tju2 天前
人工智能·深度学习·语言模型
混合检索为什么有效:RRF 改变了哪些排名?——SciFact 开发集冻结排名实验冻结的 MiniLM 稠密检索平均低于 BM25,却在一些查询上获胜。这给出一个自然问题:能否把两路优势合起来?BM25 依赖词项匹配,稠密检索将文本编码为向量,再比较向量相似度。两者有不同的失误模式,但“不同”并不自动等于“互补有效”。
AI浩2 天前
人工智能·语言模型·自然语言处理
Migician:揭示多模态大语言模型中自由形式多图定位的魔力https://arxiv.org/pdf/2501.05767多模态大语言模型(MLLMs)的最新进展显著提升了其对单图像的细粒度感知能力以及对多图像的一般理解能力。然而,现有的 MLLMs 在复杂的多图场景中实现精确定位(Grounding)方面仍面临挑战。为此,我们首先探索了一种思维链(CoT)框架,将单图定位与多图理解相结合。虽然该方法部分有效,但由于其非端到端的特性,仍然不稳定且难以捕捉抽象的视觉信息。因此,我们推出了 Migician,这是首个能够在多张图像间执行自由形式且精确定位的模型。为支
硅谷秋水2 天前
人工智能·机器学习·语言模型·自然语言处理
从语言模型到作用于世界的系统:智能体AI在数字、社交、虚拟及物理环境中的进展与局限26年9月的综述论文“From Language Models to World-Acting Systems: Progress and Limits of Agentic AI across Digital, Social, Virtual, and Physical Environments”。
喜欢打篮球的普通人2 天前
语言模型
MiniMind 学习笔记(二):Pretrain 导言——从零理解 LLM,先想清楚这几个问题学习 LLM 最容易犯的错误,就是一头扎进训练代码的局部细节里。这一章的目标不是立刻进入大模型细节,而是先回答一个更基础的问题:当我们说"从零开始理解一个 LLM 的预训练流程"时,到底需要先想清楚哪些问题?
Carl_奕然2 天前
人工智能·设计模式·语言模型
【智能体】Loop 的四种设计模式之:Agent Loop(2026 最新版)小屌丝:鱼哥,我昨天上线了一个 Agent,让它"帮我把这周的周报整理出来发群里"。结果你猜怎么着?小鱼:它给你把周报写得天花乱坠?
艾莉丝努力练剑2 天前
网络·c++·人工智能·学习·语言模型
【AI大模型接入SDK】ChatSDK架构设计与实现🎬 艾莉丝的简介:通俗类比:做菜场景项目原有三大独立模块:会话管理内部持有数据管理对象,会话管理与数据管理可以视作一个逻辑单元。
user_admin_god2 天前
java·人工智能·spring boot·语言模型
第 10 篇:拼上下文与生成——预算、边界与防幻觉第 09 篇结尾留了一句:把挑出来的几条拼成提示词,还有它自己的问题—— 总共能放多少字、超了砍谁、资料不够时怎么让模型坦白说不知道。 这一篇就用实测把这三件事逐个定下来。
奇思妙想聪明勤奋的小羊8 天前
人工智能·python·学习·语言模型
DeepAgents第5章:子Agent 与上下文隔离—让 Agent学会委派第四章Agent的任务规划解决了“复杂任务如何拆分和记录进度”的问题,但如果所有子任务都由主 Agent 自己执行,搜索结果、文件读取、工具调用和中间分析仍然会不断进入主 Agent 的上下文。例如,一个研究任务可能需要多次网络搜索、文件写入和内容整理,这些中间过程本身可能产生大量 Token,而主 Agent 最终真正需要的往往只是研究结论。
IZero078 天前
python·语言模型
Jev 与 Laya整理日期:2026-09-21 来源:github传统大模型(GPT、Claude、DeepSeek)的目标一直是「跟人聊天」和「帮人干活」,本质是逐字生成文本。
喜欢打篮球的普通人8 天前
语言模型
MiniMind 快速上手(一):环境准备与项目结构对于一个项目,最好的学习办法就是最快地把它跑起来。先不纠结细节,把环境搭好、把代码跑起来,再慢慢理解它的细节和原理。本文是 MiniMind 学习笔记的开篇——环境准备与项目结构。