大语言模型

加速LLM大模型推理，KV缓存技术详解与PyTorch实现随着大型语言模型(LLM)规模和复杂度的指数级增长，推理效率已成为人工智能领域亟待解决的关键挑战。当前，GPT-4、Claude 3和Llama 3等大模型虽然表现出强大的理解与生成能力，但其自回归解码过程中的计算冗余问题依然显著制约着实际应用场景中的响应速度和资源利用效率。

【学习资源】知识图谱与大语言模型融合知识图谱与大型语言模型结合参数知识和明确知识的可用性会带来一些机会和愿景。分享一些知识图谱和大语言模型融合的论文和文章、实践案例、关键技术和实用工具。

SecMulti-RAG：兼顾数据安全与智能检索的多源RAG框架，为企业构建不泄密的智能搜索引擎本文深入剖析SecMulti-RAG框架，该框架通过集成内部文档库、预构建专家知识以及受控外部大语言模型，并结合保密性过滤机制，为企业提供了一种平衡信息准确性、完整性与数据安全性的RAG解决方案，同时有效控制部署成本。

基于Playwright的浏览器自动化MCP服务github.com/executeautomation/mcp-playwright 是一个基于 Playwright（微软开源的跨浏览器自动化测试框架）的 Model Context Protocol (MCP) 服务，核心功能是将浏览器自动化能力集成到大语言模型（LLM）的工作流中，使LLM能够通过调用该服务实现对网页的自动化操作（如浏览、数据提取、表单提交、截图等）。其本质是在LLM与浏览器之间建立桥梁，让AI具备处理动态网页内容的能力。

维度攻城狮

通过DeepSeek大语言模型控制panda机械臂，听懂人话，拟人性回答。智能机械臂助手又进一步啦通过使用智能化的工作流控制系统来精确操控机械臂，不仅能够基于预设算法可靠地规划每个动作步骤的执行顺序和力度，确保作业流程的标准化和可重复性，还能通过模块化的程序设计思路灵活地在原有工作流中插入新的控制节点，这种可扩展的架构设计使得系统能够在不影响既有功能稳定性的前提下，便捷地集成诸如视觉识别、力反馈调节或协同作业等进阶功能模块，从而持续提升机械臂在复杂工业场景中的适应性和多功能性。

低配置电脑预训练minimind的实践minimind是一个轻量级的LLM大语言模型，项目的初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始，从零开始亲手训练一个极小的语言模型。对于很多初学者而言，电脑配置仅能够满足日常工作，为了学习大预言模型，特别是在入门和学习基本原理阶段，用低配置的电脑能不能进行minimind模型的预训练呢？答案是可以，下面笔者一步一步来展示预训练的过程。

微调灾情分析报告生成模型考虑到数据量（84篇报告）对于14B模型来说非常有限，直接进行传统微调会面临严重的过拟合问题。我们将采用 QLoRA (Quantized LoRA) 技术，它是一种高效的参数微调方法，允许在量化后的模型上进行 LoRA 微调，极大地降低了计算资源需求，并减轻了过拟合风险。同时，我们将构建代码，展示如何加载模型、准备数据（模拟真实场景下的数据格式）、进行微调、保存模型以及进行基本的测试和推理。

CLIMB自举框架：基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用尽管优化预训练数据混合对大型语言模型(LLM)的性能有显著影响，但确定最优数据配比仍然是一个亟待解决的挑战。为应对这一问题，英伟达提出了一种名为CLIMB(CLustering-based Iterative data Mixture Bootstrapping)的自动化框架，该框架能够在预训练环境中系统地发现、评估并优化数据混合策略。CLIMB通过在语义空间中嵌入并聚类大规模数据集，并结合小型代理模型与性能预测器，迭代搜索最优数据混合比例。

小白跃升坊

干货分享｜智能问数方案及步骤详解DeepSeek-R1的发布掀起了AI智能变革的浪潮。在过去几个月里，MaxKB开源企业级AI助手已经帮助大量企业和组织快速落地了DeepSeek，让AI在不同的行业土壤中产生持续、可度量的业务价值。

为什么vllm能够加快大模型推理速度？vLLM加速大模型推理的核心技术原理可分解为以下关键创新点：KV Cache分页机制‌ 将传统连续存储的KV Cache拆分为非连续内存页，类似操作系统内存分页管理，消除内存碎片并实现动态分配。13B模型单请求KV Cache从1.6GB降至可弹性扩展的块状存储内存共享优化‌ 相同前缀的请求（如多用户问相似问题）可共享KV Cache内存页，降低重复计算

猫先生Mr.Mao

2025年3月AGI技术月评｜技术突破重构数字世界底层逻辑〔更多精彩AI内容，尽在「魔方AI空间」，引领AIGC科技时代〕本文作者：猫先生——当「无限照片」遇上「可控试穿」，我们正在见证怎样的智能革命？

从零开始用Pytorch实现LLaMA 4的混合专家（MoE）模型近期发布的LLaMA 4模型引入了混合专家（Mixture of Experts, MoE）架构，旨在提升模型效率和性能。尽管社区对LLaMA 4的实际表现存在一些讨论，但MoE作为一种重要的模型设计范式，继Mistral等模型之后再次受到关注。所以我们将使用Pytorch逐步从零开始实现一个简化版的LLaMA 4 MoE模型。通过详细的代码实现和解释，我们将深入理解MoE架构的关键组件及其工作原理。为便于跟踪执行流程，代码中将包含必要的打印输出。

小白跃升坊

Chat to MySQL 最佳实践：MCP Server 服务调用通过 1Panel+MaxKB 两个开源工具结合 MCP 服务实现 Chat to Mysql。安装说明：https://1panel.cn/docs/installation/online_installation/

岁月如歌，青春不败

AI智能体开发与大语言模型的本地化部署、优化技术大语言模型不仅在自然语言处理领域带来了突破，也为智能体的构建、自动化任务执行等多种应用场景提供了前所未有的可能。随着OpenAI的GPT系列模型的迭代升级，以及Llama、DeepSeek等开源大语言模型的不断涌现，智能体技术的应用已经深入到科研、教育、商业等多个领域，影响深远。第一：智能体(Agent)入门

小白跃升坊

让 AI 对接 MySQL 数据库实现快速问答对话通过 AI 连接 MySQL 结构化数据库表，预期实现通过AI对话数据库表，快速了解数据情况，能够进行简单的汇总统计，快是实现问答。

小白跃升坊

在MaxKB中实现准确的Chat TO SQL（BI）主要面向考试成绩管理系统(目前支持旭日图、仪表盘柱状图、桑基图、漏斗图、河流图、数据聚合图、散点图、南丁格尔玫瑰图、饼状图、环形图、堆叠柱状图、堆叠折线图、堆叠面积图、面积图、折线图)

【AI模型核心流程】(一)大语言模型输入处理机制详解与常见误解辨析大语言模型（LLM）如GPT、BERT、LLaMA等，已成为自然语言处理领域的核心技术。然而，许多开发者对其底层输入处理机制存在误解，尤其是从自然语言文本到模型可理解的向量表示这一过程。本文将从技术细节出发，解析大语言模型处理用户输入的真实流程，并澄清常见的理解误区。

小白跃升坊

如何优化和提高MaxKB回答的质量和准确性？目前 ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等在各行各业的都有着广泛的应用，但是由于大模型训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这个导致了在实际应用场景中会发现，通用的基础大模型基本无法满足我们的实际业务需求，普遍都存在着知识的局限性比如专业领域知识缺失，上下文词不达意（一本正经地胡说八道）等。为了解决这些问题，目前主要有两种解决方案：

SWEET-RL：基于训练时信息的多轮LLM代理强化学习框架SWEET-RL（Step-WisE Evaluation from Training-time information，基于训练时信息的逐步评估）是多轮大型语言模型（LLM）代理强化学习领域的重要技术进展。该算法相较于现有最先进的方法，成功率提升了6%，使Llama-3.1-8B等小型开源模型能够达到甚至超越GPT-4O等大型专有模型的性能水平。本文将深入分析SWEET-RL如何改进AI代理在复杂协作任务中的训练方法。

微软 GraphRAG 项目学习总结微软2024年4月份发布了一篇《From Local to Global: A GraphRAG Approach to Query-Focused Summarization》（GraphRAG：从局部到全局的查询式摘要方法）论文，提出了一种名为GraphRAG的检索增强生成（RAG）方法，用于查询式摘要任务。传统的RAG方法主要基于局部检索和生成，可能会忽略不同检索片段之间的全局关系，导致生成的摘要缺乏整体连贯性和深度。GraphRAG 结合了知识图谱构建、检索增强生成和查询聚焦摘要技术，将检索到的文