nlp

宿州派大星

[NLP实战] 基于PyTorch实现N-gram词嵌入模型：输入4个词预测第5个词在自然语言处理（NLP）的入门学习中，构建一个语言模型来预测下一个词是非常经典的实战任务。本文将基于一道人工智能大赛的真题（“AI报道”文本预测），带大家从零实现一个基于词嵌入（Embedding）的神经网络语言模型。我们的目标是：输入文件中的任意连续4个单词，模型输出第5个单词。

【LLM】第六章：LangChain框架中的大模型的创建与调用说明：本章的环境安装在第一章已经进行了详细的说明了。需要环境搭建好，才好运行本篇的代码。官方参考文档：英文文档：Models - Docs by LangChain 中文文档：https://docs.langchain.org.cn/oss/python/langchain/models

实验 2-6 豆包版复现分析：Agent Skills 从论文生成演示文稿实验 2-6 的对象是固定版本（69c0b1a）的 Anthropic 官方 PPTX Skill + 一篇真实学术论文 PDF，由支持 Skills 的智能体运行时执行：Agent 启动时只看到 Skill 元数据，通过渐进式披露（元数据 → 完整 SKILL.md → html2pptx.md 细则）逐层加载，使用官方 scripts/html2pptx.js 与 scripts/thumbnail.py 工作流，从 Attention Is All You Need （arXiv:1706.037

大语言模型面试和题解，Context Engineering 怎么做？长 Prompt、动态上下文与 Memory 管理更系统：把上下文视作数据结构，设计加载/替换/淘汰策略。实验 (Liu et al. 2023) 发现：

【CS336】Lecture 2 PyTorch 与资源核算（Resource Accounting）我们的核心目标是在给定有限资源（算力、内存、数据）的情况下训练出最好的模型，数据在本课程中不是真正的瓶颈，目标是最大化训练的计算效率。在优化计算效率之前，我们需要理解某一个具体计算的效率，因此，需要理解其计算特性和内存特性。问题 1：在 1024 张 H100 上训练一个 700 亿参数、1.5 万亿 token 的模型需要多长时间？

基于Python与NLP的新闻事件信息抽取实战：从NER到时空标准化1. 这篇文章真正要解决的问题如果你身为一名开发者, 或许已惯于从技术博客、官方文档以及Issue那里获取信息。然而你可曾思索过, 怎样在海量的、并非结构化的新闻文本里, 自动把关键事件、实体以及关系提取出来, 且将其转变为结构化的数据, 用以供后续的分析、预警或者知识图谱构建呢? 这可不单单是新闻编辑室的需求, 更是舆情监控、风险感知、智能客服甚至AI Agent理解现实世界动态的核心能力。

LlmCraft｜大模型工程实践

08 预训练语言模型：BERT 与 GPT系列文章目录01 NLP入门：什么是自然语言处理 ✅02 文本预处理：从原始文本到干净语料 ✅03 文本向量化：词袋模型与 TF-IDF ✅

序列数据怎么喂给神经网络？用循环神经网络RNN拆开一个时间步关键词：RNN、循环神经网络、序列建模、PyTorch、隐藏状态、时序分类如果你之前的工作主要是图像分类、表格预测或推荐排序，第一次接触序列建模时，往往会下意识想把序列「拍平」成一个固定向量：把 100 个时间步、每步 8 维的特征，直接展开成 800 维 Dense 输入。但这条路在真实的序列任务里基本走不通，因为序列问题有三条硬约束。拍平思路本质上是在假设「每个特征维度都是独立的」，而序列里恰恰没有哪个维度是独立的——它们按时间彼此咬合。

RNN记不住长序列怎么办？用 LSTM 三门一通道接旁路关键词：LSTM、门控循环单元、梯度消失、细胞状态、遗忘门偏置、序列建模、PyTorch适读人群：正在做时序分类、设备异常检测、对话意图识别等序列任务的 Python 工程师；以及想弄清「为什么 RNN 训练到一半准确率卡在随机基线」的 AI 应用开发者。

多语言内容审核如何避免误翻译：语种检测、纠错与情感分析编排多语言内容审核如何避免误翻译，真正困难的通常不是完成一次 API 调用，而是让结果可以校验、失败可以定位、后续能够回到原始证据。本文围绕“如何在翻译前识别语种，并把纠错、格式化和情感分析接入人工审核”给出一套可以直接落到任务状态和数据契约上的实现方式。

中文 BERT 多任务分类项目：从模型结构到训练细节项目将评论分析拆成三个独立分类任务：投诉分流四分类、虚假评论二分类、广告骚扰二分类。每个任务使用自己的训练数据和分类头。

知网 AIGC 检测在罚什么：均匀句长、低指代、零口癖，并不等于「用过 ChatGPT」图：千笔-AIWritePaper · https://www.aiwritepaper.com答辩前一周，导师把检测截图丢进群里：「方法章整段黄了，你是不是整章贴生成器？」学生打开本地草稿，才发现那一章是按学院模板句改了三遍的手写稿。另一种常见场面更拧巴：真用过大模型起过提纲的同学，正文里塞满实验参数与失败记录，报告反而相对干净。这两种结果放在一起，说明同一件事：检测器在给文本的统计与文体指纹打分，并不是在查你的浏览器历史。

从 102M 到 34M：BERT 到 BiLSTM 的完整知识蒸馏实现BERT 语义能力强，但参数量约 102M，模型文件约 390MB。直接部署会带来较大的内存占用和推理成本。

LlmCraft｜大模型工程实践

03 文本向量化：词袋模型与 TF-IDF系列文章目录01 NLP入门：什么是自然语言处理 ✅02 文本预处理：从原始文本到干净语料 ✅03 文本向量化：词袋模型与 TF-IDF ✅

【openvino】tinybert基于openvino服务化部署（四）与tinybert-mediapipe的文件夹结构完整一样，只有部分文件需要更改：其实配置文件config.json基本不变，只是改了name和base_path而已，其它保持不变

啊阿狸不会拉杆

《自然语言处理：基于大语言模型的方法》第1章绪论读书笔记1.1 自然语言处理的概念1.2 自然语言处理的难点1.3 自然语言处理任务体系1.3.1 任务层级1.3.2 任务类别

Nano-VLLM全代码解析笔记(10)-GemmaRMSNorm和MRoPE本节参考资料：VLLM源码Transformers源码(49 封私信) Qwen3.5 架构最全拆解：Linear Attention 源码配图解析、Gated DeltaRule 公式源码逻辑介绍、Full Attention与 MoE 模块算子流程解析 - 知乎

Nano-VLLM全代码解析笔记(2)-block_manager[1]Nano-VLLM全代码解析笔记(1)-sequence[2]Nano-VLLM全代码解析笔记(2)-block_manager

小女孩真可爱

GPT(1)----------从零实现 GPT 模型以生成文本本文用于记录和学习GPT搭建，以及一个训练优化的技巧，对于基础知识需自行去补充。## 1. 概述本文档描述一个完整的 GPT (Generative Pre-trained Transformer) 语言模型实现。该实现对应 **GPT-2 Small(124M 参数)** 的标准结构,涵盖从 token 输入到生成文本的完整流程。