nlp

改进Word2Vec：从“暴力计算”到“聪明学习”上一篇，我们用一个“填空游戏”教会了模型预测单词——这就是经典的 CBOW 模型。但我们的模型有个“小毛病”：它太“笨”了，每次都要把整个词表过一遍，像个学生每次考试都要把字典从头到尾背一遍。今天，我们就来给它“升级装备”，让它变得更聪明、更高效！

大模型原理与实践：第一章-NLP基础概念完整指南_第2部分-各种任务（实体识别、关系抽取、文本摘要、机器翻译、自动问答）第一章 NLP基础概念完整指南第二章 Transformer 架构原理第三章预训练语言模型第四章大语言模型

LLM 笔记 —— 03 大语言模型安全性评定本文探讨了大型语言模型的四个关键问题：1）错误信息问题，可通过事实核查和有害词检测补救； 2）固有偏见问题，提出了使用红队模型检测偏见的方法； 3）AI生成内容识别难题，讨论了分类和水印技术； 4）模型安全风险，分析了越狱攻击和提示注入等攻击手段。

大模型原理与实践：第三章-预训练语言模型详解_第1部分-Encoder-only（BERT、RoBERTa、ALBERT）第一章 NLP基础概念完整指南第二章 Transformer 架构原理第三章预训练语言模型第四章大语言模型

NLP学习系列 | 构建词典在 NLP 系统中构建词典，核心是围绕 “适配任务、数据驱动、可控质量”pip install torch==2.1.2 torchtext==0.16.2

Day31_【 NLP _1.文本预处理 _(1)文本处理的基本方法】文本预处理：文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求。主要环节包括如下：

冰糖猕猴桃

【AI】详解BERT的输出张量pooler_output在介绍pooler_output之前我们先看一个简单的文本分类的案例：在前向传播的过程中我们使用了 outputs.pooler_output ，为什么这样用呢？下面我们先通俗的介绍什么是pooler_output，再详细聊pooler_output是怎么来的，为什么用pooler_output。

公共安全事件分析-3聚焦在把 LLM／神经网络 + 符号 / 逻辑 / 因果 + 时空 + 知识图谱这几块统一起来的工作Survey /理论 /基础资源

中科逸视OCR

当OCR遇见NLP：解析深度学习发票识别中的语义理解与关系抽取模块在数字化转型的浪潮中，企业每天都需要处理海量的纸质和电子发票。传统的人工录入方式效率低下、成本高昂且易出错，已成为财务流程自动化的巨大瓶颈。随着人工智能技术的成熟，基于深度学习的智能发票识别技术应运而生，正彻底变革着企业的财务和数据管理方式。

Prompt提示工程上手指南(六):AI避免“幻觉”（Hallucination）策略下的Prompt这是本系列的第六篇文章，在这篇中我们需要了解并处理语言模型最为棘手的问题，也就是AI"幻觉”（Hallucination）问题。在大型语言模型和聊天机器人的世界里，"幻觉"现象指的是这些智能系统有时会基于给定的提示，创造出并不存在的信息或事实。简而言之，就是这些先进的AI在对话过程中可能会偶尔"脱轨"，提供与问题无关的回答，或者讲述一些与现实不符的内容。这种现象反映了AI在理解和生成语言时，尽管它们通常表现出色，但有时仍会犯错或产生与期望不符的输出。

【从零开始】14. 数据评分与筛选书接上回，上一章我们完成了“非问答”类数据的数据增强后库内增加了 200w 数据。接下来，应该继续做“数据蒸馏”从商用大模型那里提取垂直领域的数据，但这样无疑违背了“零成本”的初衷了。

GPT 系列论文1-2 两阶段半监督 + zero-shot promptGPT，GPT-2，GPT-3 论文精读【论文精读】--B站GPT前三和 Transformer还有BERT 时间轴。

Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现在Transformer架构的工程优化中，注意力机制的计算效率是核心瓶颈之一。标准的缩放点积注意力（Scaled Dot-Product Attention）存在 O(T²d) 的时间复杂度和内存占用问题——当序列长度T超过1k时，显存消耗会急剧增加，甚至导致训练中断。为解决这一问题，FlashAttention-v2通过分块计算和LogSumExp数值优化，在保持精度的前提下，将显存占用降低至O(Td)，同时通过硬件感知优化提升计算速度。

【从零开始】13. 数据增强（Data Augmentation）书接上回，上一章我们简单地过了一遍如何获取训练数据并通过代码将数据保存到 Elasticsearch 中了，但是保存下来后发现数据量还是不够（总数据量 22w+），这个时候可以选择采用数据增强技术来补充训练数据。

NLP（自然语言处理， Natural Language Processing）让计算机能够理解、解释、操纵和生成人类语言，从而执行有价值的任务。关注社区：Hugging Face、Papers With Code、GitHub 是现代NLP学习不可或缺的资源。许多最新模型和代码都在这里开源。

【从零开始】12. 一切回归原点各位新老朋友，好久不见了。距最后一次更新已有差不多一年的时间了。这期间发生了很多事儿，一度让我走进了人生低谷。现在，一切都已经过去，热爱分享、与君共勉仍是我的初心。一切都“从零开始”吧，这样也不错。

自然语言处理（NLP）之n-gram从原理到实战自然语言处理（NLP）之n-gram从原理到实战内容概要：n-gram都能做什么n-gram的数学原理

老马啸西风

v0.29.2 敏感词性能优化之基本类型拆箱、装箱的进一步优化的尝试v0.29.0 敏感词性能优化提升 14 倍全过程v0.29.1 敏感词性能优化之内部类+迭代器内部类

老马啸西风

v0.29.1 敏感词性能优化之内部类+迭代器内部类v0.29.0 敏感词性能优化提升 14 倍全过程v0.29.1 敏感词性能优化之内部类+迭代器内部类

提示词工程（Prompt Engineering）的崛起——为什么“会写Prompt”成了新技能？🐾猫猫扒着屏幕：“喵？咱写的这句 Prompt 怎么又跑偏啦？明明只是想让它帮忙写一段 Python 代码，它偏要给咱写论文摘要……” 🦊狐狐眯着眼，声音带点冷意：“因为你的提示词不够清晰，模型在无限空间里乱游走了。Prompt 工程，不是随便说一句‘帮我写’就够的。”