语言模型

大模型面试题：混合精度训练的缺点是什么我整理好的1000+面试题，请看大模型面试题总结-CSDN博客或者https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

CANN加速语音识别ASR推理：声学模型与语言模型融合优化自动语音识别（Automatic Speech Recognition，ASR）是一种将语音转换为文本的技术，在语音助手、会议记录、字幕生成等领域有着广泛的应用。ASR系统通常包含声学模型、发音词典和语言模型三个核心组件。声学模型将音频特征转换为音素序列，语言模型根据音素序列预测文本。这两个过程都涉及复杂的神经网络计算，计算量巨大，推理速度慢，限制了实时应用。CANN针对ASR推理推出了全面的优化方案，通过声学模型优化、语言模型优化和融合优化，显著提升了ASR推理的性能和准确率。

6.1 核心组件（Agent）Agents 结合语言模型与工具，构建能够推理任务、决策工具使用，并逐步推进解决方案的系统。create_agent 提供了可直接用于生产环境的 Agent 实现。

CANN与大模型推理：在边缘端高效运行7B参数语言模型的实践指南随着大语言模型（LLM）从云端走向边缘，如何在资源受限的设备上高效部署数十亿参数的模型，成为AI工程化的新前沿。传统方案依赖GPU集群，但功耗、成本和延迟难以满足本地化场景需求。而CANN（Compute Architecture for Neural Networks）凭借其异构计算能力与深度优化栈，正为边缘大模型推理提供一条可行路径。

陈天伟教授

人工智能应用- 语言理解：05.大语言模型正因为具备超长上下文的处理能力，这些模型在生成语言时显得更加合理。例如，在“天气凉了”的语境下，生成“准备过冬”显然比“准备过夏”更合适；同样，在“心情不好”的情况下，生成“有点生气”比“有点高兴”更符合常理。

晚霞的不甘

守护智能边界：CANN 的 AI 安全机制深度解析当一个 AI 模型被部署到边缘设备或第三方服务器时，它就不再“安全”。攻击者可能：在金融风控、身份认证、军事安防等场景中，这类风险不可接受。

CANN ops-nn 算子解读：大语言模型推理中的 MatMul 矩阵乘实现本文基于 CANN ops-nn 仓库中的 MatMul 算子实现，解析其在 AIGC 大语言模型（LLM）推理场景中的核心优化技术。

SQLite + LLM：大模型应用落地的轻量级数据存储方案【个人主页：玄同765】大语言模型（LLM）开发工程师｜中国传媒大学·数字媒体技术（智能交互与游戏设计）

作为后端开发你不得不知的 AI 知识——RAG我们知道，大模型的知识都是固化的，它不认识你公司的最新产品，而 RAG 就是为模型提供知识库的一种有效方法。

CANN优化LLaMA大语言模型推理：KV-Cache与FlashAttention深度实践大语言模型（LLM）的推理性能一直是AIGC应用的核心挑战之一。LLaMA作为Meta推出的开源大语言模型，其推理过程涉及大量的矩阵乘法、注意力计算和内存访问操作。CANN针对LLaMA推理场景推出了专门的优化方案，通过KV-Cache技术减少重复计算，通过FlashAttention降低内存占用，通过算子融合提升计算效率。本文将深入剖析CANN如何优化LLaMA推理，重点讲解KV-Cache、FlashAttention和算子融合的具体实现。

5. LangChain设计理念和发展历程LangChain 的存在旨在成为最易于上手的大语言模型（LLM）开发工具，同时兼具灵活性与生产环境适配能力。

大模型面试题：大模型的训练和推理中显存和计算量的情况我整理好的1000+面试题，请看大模型面试题总结-CSDN博客或者https://gitee.com/lilitom/ai_interview_questions/blob/master/README.md

Transformer实战——Transformer跨语言文本分类我们已经了解了跨语言模型能够理解不同语言，并且相似的句子(无论为何种语言)在语义向量空间中彼此接近。但问题在于，如何在样本较少的情况下，利用这种能力来解决实际问题。

从0到提交，如何用 ChatGPT 全流程参与建模比赛的在我真正开始用 AI 参与一场数学建模比赛之前，我对它的预期其实不高。一开始，它不过是我们计划中的“润色工具人”：负责最后三页的英语论文润色、生成几张美观的图表，顺便润色一下摘要。

氨基酸序列表示法，蛋白质序列表达计算机中机器学习大语言模型中的表达，为什么没有糖蛋白或者其他基团磷酸化甲基化乙酰化泛素化蛋白质的表达方式主要有以下几种：在我们创建的deepseekr1词库中，使用了以下特殊标记：这些表达方式在不同的应用场景中各有优势，我们之前创建的词库主要用于机器学习模型的蛋白质序列处理。

陈天伟教授

人工智能应用- 语言理解：06.大语言模型更重要的是，大语言模型通过超长上下文学习，形成了对语言的某种理解，这种理解让它打破了人类语言的壁垒，可以从我们积累了数千年的文字资料中汲取知识，从而表现出超乎预期的智能。具体表现在以下几方面：

【AI平台】- 基于大模型的知识库与知识图谱智能体开发平台结合LightRAG知识库的知识图谱智能体平台。一个集成LightRAG知识库和知识图的代理平台。构建LangChain v1 + Vue + FastAPI，支持DeepAgents、MinerU

陈天伟教授

人工智能应用- 语言理解：09.大语言模型代码生成和扩展能力：GPT 可以根据任务要求生成代码，实现强大的扩展能力。例如，它可以生成代码来控制外围设备，大大拓展了语言模型的应用领域。

陈天伟教授

人工智能应用- 语言理解：07.大语言模型少样本学习（Few-Shot Learning）：GPT 可以通过学习少量示例，推断出任务逻辑并给出正确答案。这种能力也被称为“上下文学习”（In-Context Learning, ICL）

如何在国内合规、稳定地使用GPT/Claude/Gemini API？中转服务全解析国内许多开发团队和企业在尝试集成GPT、Claude或Gemini等国际主流大模型时，常常会面临一个现实矛盾：技术上的强烈需求与网络访问上的客观限制。直接调用官方接口，不仅时常受到网络波动的影响，延迟和中断问题也让生产级应用变得遥不可及。在此背景下，API中转服务作为一种务实的技术方案逐渐普及，它核心是帮助开发者在符合常规技术路径的前提下，更顺畅地利用这些先进的AI能力。