语言模型

程序猿编码

不用GPU，不用多线程，我用C++20手写了一个Gemma 3推理引擎现在跑大模型，大家的默认思路是：上GPU、开多线程、调各种推理框架。但有时候你只是想在自己的笔记本上快速试个东西，或者你的场景根本不允许用GPU（比如嵌入式设备、边缘计算节点）。这时候，CPU单线程推理就成了唯一选择。

云和数据.ChenGuang

fastapi的参数剖析先记住核心结论：假设模型前端请求体：{"title": null}只过滤请求里没有提交的字段输出结果：

SpringAI + Ollama 本地大模型Ollama 是轻量化本地大模型部署工具，支持一键部署 Qwen、Llama、LLaVA 等各类开源模型，无需复杂算力与编译配置，可实现本地私有化、零网络开销、数据不外泄的大模型推理能力。SpringAI 是 Spring 官方标准化 AI 开发框架，提供统一的模型调用抽象 API，可无缝适配云端模型与本地 Ollama 模型，实现业务代码无感切换。

浅谈JiuwenSwarm安装重要提醒：安装完成并不代表直接可用，需要先完成模型配置。请参考配置信息进行模型配置适用于 Windows 和 macOS 用户，希望开箱即用、不想自行配置 Python / Node.js 环境。从 gitcode Release 下载对应平台的安装包即可。从 Release 页面下载。

ZJU_统一阿萨姆

【推理优化】连续批处理：当推理吞吐量遇到天花板假设你正在为一个在线翻译服务部署一个基于 7B 参数的大语言模型。单个请求进来，模型逐 token 地生成回答——先算第一个词，再算第二个词，如此往复。此时观察 GPU 的利用率，你会看到一个令人不安的数字：往往只有 10%-30%。服务器在烧钱，算力却在大部分时间里闲置。问题出在哪里？

【无标题】设想这样一个场景。一个长期运行的 AI Agent 正在处理任务。此时，系统发现检索组件效果不好，于是生成了一个新版本，准备在不中断当前会话的情况下替换旧组件。

寥落半伤感

codex接入deepseek+VLM视觉语言模型教程一、Codex接入deepseek：deepseek官方教程：1、运行前请确保已安装Codex CLI或ChatGPT桌面端，并至少运行过一次（即 ~/.codex 目录已存在）

测开小菜鸟

从AI概念到LLM评估：全面解析大型语言模型的能力与评价摘要：人工智能领域术语繁多、层级复杂，初学者往往难以理清 AI、机器学习、深度学习与大语言模型之间的关系。本文首先通过“AI 概念金字塔”厘清这四个核心概念的技术演进脉络，然后系统拆解大语言模型的三个能力层次（基础功能、智能能力、安全与伦理），最后从准确性、有用性、无害性、一致性四个维度构建评价体系，辅以具体示例，帮助读者快速建立对大模型的完整认知框架。

ZJU_统一阿萨姆

【推理优化】推理的本质：prefill 与 decode 两阶段要理解大语言模型的推理优化，首先要回答一个看似简单的问题：模型到底是如何「写」出一段话的？答案藏在一个数学约束里——自回归（Autoregressive）。

江畔柳前堤

LLM 量化与剪枝完全指南：从比特级数学到生产级内核元信息定义：模型压缩（Model Compression）指在不显著损害模型能力的前提下，降低模型的存储占用、计算量或能耗的技术总称，核心手段包括量化、剪枝、知识蒸馏与架构改良。

还不秃顶的计科生

具身智能论文学习1：PaLM: Scaling Language Modeling with Pathways正式发表于 Journal of Machine Learning Research（JMLR），Volume 24，2023年，全文约113页。

DM今天肝到几点？

英伟达发布 Nemotron 3.5 Lightning：31.6B 参数的“闪电”开源模型，本地智能体的新引擎摘要：2026 年 8 月 11 日，NVIDIA 推出 Nemotron 3.5 Lightning——一款 300 亿（31.6B）参数的开放权重混合专家（MoE）模型。它只激活 3.6B 参数，却跑出了近 670 tokens/秒的推理速度，性能对标 gpt-oss-120b。本文整合英伟达官方博客、Artificial Analysis 等公开信息，带你一文看懂这款“为本地智能体而生”的模型。

GSPO：重新定义大语言模型的强化学习训练范式强化学习（RL）已成为拓展语言模型能力、增强其深度推理与问题求解能力的关键技术范式。通过大规模强化学习，语言模型能够发展出解决竞赛级数学和编程等复杂问题的能力。然而，要成功实现RL的规模化扩展，首要前提是维持稳定且鲁棒的训练过程。

DM今天肝到几点？

Meta 开源 Muse Glimmer：30B 本地 Agent 模型技术深度解读稠密架构 + DFlash 投机解码，如何在消费级 GPU 上跑起完整的 Agent 工作流CSTN 技术分享 · 2026年8月11日

小王不叫小王叭

Blip2：使用冻结图像编码器和大型语言模型的Bootstrapping图像预训练-2301code：https://github.com/salesforce/LAVIS/tree/main/projects/blip2

给AI装上“眼睛”：一文讲透视觉语言模型（VLM）这些能力的背后，是一种正在改变AI交互方式的技术——视觉语言模型（Vision-Language Model，简称VLM）。

大模型应用开发教程01 | 专栏导读与学习路线本教程专为具备 Python 基础的开发者设计，旨在通过 “理论先行，实战为主，项目驱动” 的方式，帮助你从零开始掌握大语言模型 (LLM) 的应用开发。

国产全模态开源潮：从语言模型到视频模型，中国开源生态再升级过去72小时，国内AI圈出现了一种值得记录的现象：密集发布的不只是新模型，而是开源权重正在从语言模型一路延伸到视频、全双工音视频等更复杂的模态。对开发者与企业来说，这意味着「自选、自部署、自定制」的选项以前所未有的速度变多；对从业者来说，理清这条主线，比追单条快讯更有价值。

＜六＞ChatGPT到底叫什么？——语言模型接着上篇<五>Token与幻觉——为什么ChatGPT聊着聊着就飘了继续，前几篇一直在说 ChatGPT 是"函数"、是"文字接龙"。说实话，这些说法虽然好理解，但总感觉不太正式——它到底有没有个正经的学名？

AI人工智能+

智能文档抽取系统通过“视觉感知+大模型认知“双引擎架构，实现非结构化文档的自动化处理现如今绝大多数企业、政务机构、医疗机构的业务数据，都存储在合同、票据、证照、表单、病历、流水单等非结构化文档当中。传统人工录入、手动摘抄关键字段的处理模式，耗时久、出错率高、难以应对海量版式杂乱的文件。一种基于计算机视觉、OCR 识别与大语言模型融合算法的智能文档抽取系统，打通 “图像识别‑版面解析‑语义理解‑结构化输出” 全链路，把繁杂的纸质、电子文档自动拆解成标准化可用业务数据，解决各行各业非结构化文档的数据提取难题。