llm

合规项目大模型如何部署？硬件选型 + vLLM/LMDeploy 实战如果你正接手一个合规项目——数据不能出域、访问要能审计、服务要能自己运维，大模型在内网落地——下面这些事，是不是也让你头疼过：

如何实现基于 WebSocket Agent 的断线重连与状态恢复最近在做业务Agent开发时，遇到这样一个问题，当用户在 AI 流式输出过程中关掉页面、切换网络、或者刷新浏览器后，我们如何保证对话不丢失、状态可恢复。本文分享一下我们的实现方案。

从N-gram到Transformer：大语言模型架构演进之路2023年以来，ChatGPT、GPT-4、Claude、Llama 这些名字频繁出现在我们的视野中。它们能写代码、翻译文档、创作故事，甚至通过律师资格考试——这一切能力的核心引擎，就是大语言模型（Large Language Model, LLM）。

【LLM应用可靠性】2-RAG 生产失败模式：如何避免检索生成系统的性能退化许多 RAG（检索增强生成）系统在上线初期检索准确且响应迅速，但在运行一段时间后，可能会面临检索偏离、引用失效以及运行成本增加等问题。本文将系统梳理 RAG 在生产环境中的 12 大痛点与 9 种典型失败模式，并提供对应的工程治理方案。

用数据工程与策略，推动模型持续进化｜字节跳动招聘全栈研发工程师 - AI 数据与安全大模型继续进步，不只是算法问题。模型还缺什么能力？应该学习什么数据？如何规模化生产高质量数据？又如何验证训练后模型真的变强了？

Datawhale Hello-ROCm学习：初探Gemma4 #AMDev #Datawhale又到了和DataWhale一起学习的时候咯，这次我们的主题主要围绕ROCm展开今天就先从ROCm和Gemma4来开始吧

AI-Coding：2026世界杯实时看板2026 FIFA 世界杯开赛，周末一边看一边VIBE搭了一个纯静态、无后端的实时数据看板，开源在 GitHub。

提示工程已死，指令架构永生：深度复盘 GPT-5.5 与 Claude 4.7 带来的范式转移早期的提示工程常被视为一种“脆弱的玄学”或是“摸彩票”式的尝试，开发者在反复试错中寻找能触发正确答案的“咒语”。然而，随着 GPT-5.5 与 Claude 4.7 的发布，生成式 AI 已正式从文本续写的“概率机器”进化为对模型内部逻辑路径进行精确导航的“确定性执行引擎”。我们正在经历从随机的提示（Prompting）到严谨的“指令架构（Instruction Architecture）”的范式转移。现在的核心不再是文字的堆砌，而是构建一套精密的逻辑协议。

Claude Fable 5 下架背后的真正问题：越狱是每个大模型的阿喀琉斯之踵2026年6月9日，Anthropic 发布了 Fable 5。三天后的傍晚，美国东部时间6月12日，一封来自商务部的信件被送到 Anthropic 总部。措辞很直接：立即禁止所有外国公民访问 Fable 5，包括 Anthropic 自己的外籍员工。整个模型下线。从发布到被封杀，不到96小时。

砍光二叉树

一文打通 AI 认知：LLM、Agent、MCP、Skill 完整体系很多开发者刚接触AI时，被大模型、Agent、MCP、Skill一堆新概念搞得一头雾水：ChatGPT只是大模型吗？Agent和普通聊天机器人区别在哪？MCP为什么被称作AI界USB-C？各个组件之间到底怎么配合工作？本文先完整梳理AI70余年发展历程，用大白话拆解早期晦涩技术概念，再逐个详解当下AI基础核心知识点及核心技术，最后串联完整运行链路。全文无复杂公式、无晦涩术语，零基础也能读懂，轻松建立清晰的AI底层全局认知，后端、算法、应用开发同学均可收藏。

图像伪造识别和定位论文地址：https://arxiv.org/pdf/2410.02761FakeShield 处理图像的步骤如下：

一个基于 Python 的轻量级 LLM（大语言模型）API 客户端程序：从API交互到LLM应用架构一个基于 Python 的轻量级 LLM（大语言模型）API 客户端程序，其核心功能是通过 HTTP 协议与大语言模型服务进行交互，实现用户输入提示词（Prompt）并获取模型生成结果的能力。程序采用极简设计理念，仅依赖 requests库完成网络通信，通过预配置的服务器地址和认证令牌实现身份验证，最终以 JSON 格式处理响应数据。

一文讲透 LLM 真实运行内核，这篇长文值得逐字细读！原文：How LLMs Actually Work，作者 0xkatoTL;DR：这篇文章把基于Transformer架构的大语言模型，完整拆解成九大运行环节，从输入内容到输出结果讲解得一清二楚，分别是分词、嵌入、位置编码、注意力机制、多头注意力、前馈网络、残差流与归一化、下一词预测循环。

LLM-RAG(大厂面试常问问题)RAG 是什么？为什么需要 RAG？ RAG 的完整链路是怎样的？向量检索的原理是什么？向量数据库怎么选？Milvus、FAISS、Qdrant 各自适合什么场景？纯向量检索有什么问题？为什么需要混合检索？ Rerank 是什么？为什么检索之后还要重排序？ Chunk 怎么切？切大了切小了各有什么问题？ Embedding 模型怎么选？中文场景选什么？ RAG 的幻觉怎么处理？ RAG 检索效果不好怎么优化？ Agentic RAG 是什么？和普通 RAG 有什么区别？

Agent 系列（19）：Harness 完整体系——8 层防护框架全景第 17 篇介绍了 Harness 的五个要素：动作空间、人工检查点、执行边界、审计日志、回滚。五要素是骨架，能处理大多数场景。

Hermes Agent深度探索：一个会自我沉淀经验的终端智能体第一次打开 Hermes Agent，很多人会把它归类成“带工具调用的命令行 AI 助手”。这个判断并不算错，但它只描述了最外层的使用体验。真正深入源码之后，你会发现它更像一个面向长期运行的 Agent 运行时——模型只是其中一个组件，工具、会话、记忆、技能、插件、安全策略、多平台入口和状态恢复共同构成了完整系统。

让AI精确修改视觉可见的细节是繁琐的还是忍不住想上手怪不得Sora做不下去，Sora的客服处理投诉肯定很累。

【LLM技术全景】开源大模型生态：如何选择适合你的基座模型？摘要：本文是《LLM技术全景：从Token到部署》系列第六篇。随着LLaMA开源引爆生态，现在已有数十个开源大模型可供选择。但"选择困难症"也随之而来：LLaMA、ChatGLM、Qwen、DeepSeek、Mistral……到底哪个更适合我的项目？本期将系统对比主流开源模型的技术特点、中文能力、部署成本，并提供一套"模型选择决策树"，帮助开发者在2026年做出最合适的技术选型。

LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model论文链接：https://arxiv.org/pdf/2304.15010大语言模型（Large Language Model，LLM）的落地应用中，轻量化微调是平衡性能、算力与部署成本的核心技术路线。相较于全参数微调、低秩自适应（Low-rank adaptation，LoRA）[1] 等主流方案，Adapter 架构以模块化、高兼容性的特点，被广泛应用于 LLaMA[2] 等开源大模型的下游迁移任务。

一个工程师的 LLM 理论入门：Transformer、Attention 和 Tokenization（不带公式）你不做算法研究，但你写 Agent。理解 LLM 怎么工作，能帮你写出更好的 @Tool 描述、更准的 SystemMessage、更省的 Prompt。