大语言模型

xiezhr1 天前
ai·大语言模型·token·上下文·幻觉·提示词工程
别被AI吓到!一文看懂AI到底是什么?这两年,不管你刷朋友圈、刷视频、看新闻还是逛B站,"AI"两个字无处不在。ChatGPT能写文章,Midjourney能画画,Sora能做视频,Claude Code、OpenCode可以写代码,还有各种AI能做PPT、陪孩子练英语……
小曾不摆烂2 天前
人工智能·自然语言处理·大语言模型·agent
Agent经典论文——ReAct框架目录1、论文概述1.1 研究背景1.2 现有方法局限1.3 核心贡献1.4 摘要2、ReAct方法2.1 智能体与环境交互的一般设置
山科智能信息处理实验室3 天前
大语言模型·交通流量预测·自适应超图
(KDD-2025)STH-SepNet:轻量化大模型与自适应超图融合方法主要内容:这篇论文提出了时空预测框架 STH-SepNet ,通过将时间建模与空间建模解耦,分别使用轻量化大语言模型捕捉时间趋势,并利用自适应超图建模动态空间依赖和高阶节点关系。实验表明,该方法在多个真实交通与城市出行数据集上取得了较优预测效果,同时保持较高计算效率。总体来看,论文证明了在时空预测任务中,合理的结构分工比单纯扩大模型规模更具实际价值。
deephub4 天前
人工智能·大语言模型·agent·langgraph
2026年的 ReAct Agent架构解析:原生 Tool Calling 与 LangGraph 状态机ReAct(Reason + Act)架构要解决的问题是开放式研究里最经典的问题。本文要做的是一个 Research Brief Agent:会上网搜索、抓取真实 URL、压缩证据,最终产出一份带真实引用的结构化简报。重点不在于功能,而在于 正确写法——不再依赖那种脆弱的 “Thought: / Action:” 字符串解析。
deephub4 天前
人工智能·langchain·大语言模型·langgraph
LangChain 还是 LangGraph?一个是编排一个是工具包现在介绍LangGraph 和 LangChain 的文章。每一篇的结论都差不多:简单流程用 LangChain,复杂的用 LangGraph。
youcans_5 天前
人工智能·大语言模型·技术报告·deepseek v4
【DeepSeek论文精读】18. DeepSeek-V4:迈入百万上下文的普惠智能]欢迎关注 【AIGC论文精读】原创作品 【DeepSeek论文精读】1. 从 DeepSeek LLM 到 DeepSeek R1 【DeepSeek论文精读】13. DeepSeek-Coder-V2: 突破闭源模型在代码智能领域的障碍 【DeepSeek论文精读】18. DeepSeek-V4:迈入百万上下文的普惠智能
神州数码云基地5 天前
人工智能·llm·ocr·大语言模型·deepseek
告别传统OCR瓶颈,DeepSeek-OCR如何重塑文档智能?在文档数字化与智能处理场景中,OCR技术至关重要。传统OCR在处理长文档与复杂版面时存在精度低、成本高的瓶颈。笔者在调研中发现DeepSeek-OCR推出“上下文光学压缩”范式,能高效编码长文本,被誉为AI的“JPEG时刻”。
deephub6 天前
人工智能·python·大语言模型·ai幻觉
LLM 幻觉的架构级修复:推理参数、RAG、受约束解码与生成后验证大型语言模型可以写代码、起草合同、总结论文,但它有一个致命缺陷:撒谎的时候极其自信。这就是我们所说的幻觉,它是一个跨层级的问题:推理参数、系统架构、生成策略、生成后验证、模型训练、持续评估,每一层都有份,所以不能把它当成单点问题来处理。
J_bean8 天前
人工智能·ai·llm·大语言模型·token
大语言模型 API Token 消耗深度剖析在调用大语言模型(LLM)API 时,Token 统计不仅是计费的唯一依据,更是评估模型推理深度、响应延迟及上下文窗口管理的关键指标。本文旨在通过源码解析,帮助开发者彻底理解 Token 的消耗逻辑。
BE东欲8 天前
大语言模型·ai模型部署·视觉推理
Llama-3.2V-11B-cot镜像部署一文详解:解决torch版本冲突与依赖兼容问题你是不是也遇到过这种情况?好不容易找到一个功能强大的AI模型镜像,比如这个支持图像理解和逐步推理的Llama-3.2V-11B-cot,结果一运行就报错,各种版本冲突、依赖问题让人头疼。
deephub8 天前
人工智能·大语言模型·agent·记忆
为生产级 AI Agent 构建持久化记忆:五阶段流水线与四种设计模式每一次 LLM 调用都是无状态的。模型读上下文窗口,生成响应然后忘掉一切。这对单轮问答没问题。对下列任何一类 Agent,这都是致命的:
deephub9 天前
人工智能·prompt·大语言模型·claude
【无标题】Claude 4.7刚发布不久他的Prompt就已经被Hack出来了,仔细看 Claude 的系统设计会发现一件有意思的事:它不只追求聪明,还在试图约束自身的行为。
_张一凡10 天前
llm·aigc·大语言模型·大语言模型微调
【大语言模型学习】2026年最适合新手的小型LLM训练项目全指南:从26M到1B,3块钱就能从头训练在大模型动辄千亿参数、训练成本动辄百万的今天,小型大语言模型 (Small LLMs) 已经成为 AI 学习者和个人开发者的最佳切入点。它们不仅训练成本极低、速度快,还能让你完整掌握从预训练到对齐的全流程,真正理解大模型的内部工作原理。
mpr0xy10 天前
人工智能·ai·大语言模型·qwen·deepseek
《AI怎么一步步变聪明的?》系列(六)中国大模型崛起之路:从“追赶者”到“解题人”站在2026年4月的春光里,当我们翻开最新的行业简报,一个足以载入史册的数据跃然纸上:中国AI大模型的周Token调用量,已经连续四周碾压美国,甚至在OpenRouter这类全球聚合平台上,中国大模型的消耗占比高达61%。
带娃的IT创业者10 天前
大语言模型·性能测试·opus·anthropic·token成本
Opus 4.6 vs 4.7:社区匿名实测揭示Token成本差异在大语言模型(LLM)的应用开发与部署中,Token不仅是计费的基本单位,更是衡量模型性能与资源消耗的核心指标。对于企业级应用而言,哪怕是微小的Token计数差异,在规模化调用下都会被无限放大,最终转化为巨额的账单差异。
墨心@11 天前
pytorch·语言模型·大语言模型·datawhale·组队学习
pytorch 与资源核算问题: 假设你是一个 AI 工程师,老板问你:“在 1024 张 H100 显卡上,训练一个 70B(700亿参数)的模型,数据量是 15T(15万亿 tokens),大概要多久?” 直接跑去写代码测试,那可能几天甚至几个月都出不来结果。因此,我们需要学会“Napkin math”(餐巾纸计算,即快速估算)。
亿风行13 天前
大语言模型·多轮对话·推理优化·sglang
实测SGLang的RadixAttention技术,缓存效率飙升SGLang不是又一个LLM推理框架的简单复刻,而是一次针对真实部署瓶颈的精准手术。当多数框架还在优化单请求延迟时,SGLang把刀锋对准了更隐蔽也更致命的问题:KV缓存的重复计算与内存浪费。尤其在多轮对话、批量API调用、结构化输出等高频场景中,传统注意力机制像一辆不断空转的发动机——算力在反复咀嚼相同的历史token,GPU显存被冗余缓存填满,吞吐量卡在瓶颈线上纹丝不动。
Lucy-Fintech社区13 天前
大语言模型·gemma·ai部署·显存管理
Gemma-3-12b-it显存精细化管理实战:动态释放+缓存清理自动化脚本如果你正在本地运行像Gemma-3-12b-it这样的大模型,可能已经遇到了一个头疼的问题:显存不够用。刚开始对话时一切正常,但随着对话轮次增加,或者处理了几张图片后,程序开始报错,提示显存不足,甚至直接崩溃。
明月夜&14 天前
git·vscode·ubuntu·docker·大语言模型·智能体
Ubuntu 20.04 Docker 部署 Ollama + DeepSeek-Coder:本地 AI 编程助手实战想在本地拥有一套完全属于自己的 AI 编程助手,无需联网、无惧数据隐私问题?本文手把手带你从零开始在 Ubuntu 20.04 上搭建基于 Docker 的 Ollama 运行环境,并部署 DeepSeek-Coder-V2 模型。内容涵盖 Docker 安装、国内镜像加速配置、Ollama 容器化部署、模型数据持久化、Python 调用环境(LangChain + Chroma),以及通过 SSH 连接 Gitee 仓库的完整流程。
偏偏无理取闹14 天前
大语言模型·ai部署·多语言对话
Llama-3.2-3B开箱体验:Ollama部署+多语言对话实测Llama-3.2-3B是Meta最新推出的轻量级多语言大模型,专门针对对话场景进行了优化。这个3B参数的模型在保持较小体积的同时,提供了相当不错的文本生成能力,特别适合本地部署和快速响应场景。