bert

一只废狗狗狗狗狗狗狗狗狗

自监督式学习模型简介：首先我们要理解监督学习和自监督学习之间的区别：监督学习是有人工设定好的label标签，而自监督学习一开始是没有label的

BERT自然语言处理框架深度解析：从Transformer到双向预训练模型在BERT出现之前，NLP领域主要面临两大痛点：传统RNN的串行计算瓶颈与word2vec词向量的静态表示问题。

金牛的技术笔记

BERT增量微调实战：冻结BERT，用ChnSentiCorp训练中文情感分类器这篇文章用BERT做一个中文情感分类的小项目，给模型一条评价，让它判断是好评还是差评。数据用的是开源的ChnSentiCorp数据集，用到的方法是微调。先安装需要的依赖。

爱吃火鸡面呀

BERT 从入门到实战：为什么需要它、核心原理与工程落地全解析摘要：本文从传统 RNN 与 Word2Vec 的痛点出发，系统梳理 BERT 的破局思路、MLM 与 NSP 两大预训练任务、双向性与微调范式，并深入拆解其底座 Transformer 的 Encoder 结构，包括 Self-Attention、Multi-Head Attention、位置编码、Add & Normalize 与 Feed Forward。最后给出 BERT 模型家族选型、环境配置踩坑与 GLUE 微调实战的关键参数说明，帮助读者从原理到工程完整跑通一遍。

ai大模型-探索者

意图识别三选一（BERT微调、LLM+Prompt、Jev）一句话总结：这三条路不是"谁更先进"，而是在"数据、速度、成本、可改性"四个约束下的不同解法。BERT 微调是封闭意图集里的性价比之王（毫秒级、近乎零边际成本，但要标注数据、加个新意图就得重训）；LLM + Prompt 是零样本时代的瑞士军刀（改个字就能加意图、还能解释理由，但慢且贵）；Jev 是专门为"判断"设计的决策模型（70–500ms、输出带校准置信度、永远不给你编标签，但中文偏弱、不能微调）。先问自己三个问题：意图封闭吗？有多少标注数据？QPS 多高？答案基本就出来了。

智码看视界

深度学习：文本分类任务——从传统机器学习到深度学习文本分类是 NLP 最广泛的应用：垃圾邮件识别、新闻归类、情感分析、意图识别……输入一段文本，输出一个类别。

BERT预训练模型（Encoder-Only架构）目录1.模型架构2.BERT Tokenizer3.预训练任务3.1.MLM Task3.2.NSP Task

布吉岛的石头

Java 程序员第 49 阶段11：Java 接 BERT：用 ONNX Runtime 做句向量推理在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

打工仔折腾 AI

从Attention到BERT：双向预训练语言模型到底解决了什么问题几年前我做过一个情感分类的小任务，数据量不大，大概几千条中文评论。当时第一反应是用 Word2Vec 训练词向量，再套一个 LSTM 做分类。结果跑出来准确率一直卡在 80% 出头，怎么调都上不去。

布吉岛的石头

Java 程序员第 49 阶段5：BERT 预训练目标 MLM+NSP 的工程含义在大模型工程落地里，这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理，一旦线上出问题就无从下手。先把「为什么重要」说清楚，后面才好理解它怎么用。

倔强的石头106

【Transformer】BERT_双向预训练语言模型的开端摘要：BERT 是理解型预训练语言模型的里程碑。它不像 GPT 那样从左到右预测下一个 token，而是使用 Encoder-Only Transformer 双向阅读整段文本，并通过 Masked Language Modeling 学习上下文表示。BERT 让“先在海量文本上预训练，再在具体任务上微调”成为 NLP 的主流范式，也为今天的 embedding、rerank、分类、信息抽取等系统打下基础。本文从 BERT 出现前的 NLP 困境讲起，解释 Encoder-Only、MLM、NSP、[CL

LLM之Agent（103）｜当「快思考」遇上「深理解」：Laya 和 BERT 到底有什么区别？一个让我愣住的问题几个月前，我在 GitHub trending 上看到了一个项目：Laya — "Multilingual, non-autoregressive System 1 decision engine. Typed decisions over 100+ languages in a single forward pass — 33 ms — trained with reinforcement learning against strictly proper scoring rules."

ai大模型-探索者

BERT模型-蒸馏实战配套项目：今日头条新闻 10 分类（BERT 教师 + BiLSTM 学生）。你已经训练出一个很准的 BERT 模型（409MB，准确率 95%+），但上线时遇到问题：

ai大模型-探索者

BERT模型压缩-量化实战配套项目：今日头条新闻 10 分类（BERT 微调模型）。你辛苦训练的 BERT 模型有 409MB，效果很好（准确率 95%+），但是——

bert的架构解析结构介绍：简介：设置场景（词汇表大小=5，维度=2，句子“我 [MASK] 自然”）。步骤1：嵌入 + 位置编码（具体数字）。

模型压缩实战：BERT 量化从 390MB 到 146MB 的实践模型训练通常使用 FP32 浮点数。它精度高，但参数占用空间较大。量化可以使用更低位数的数据表示参数，从而减少模型体积，并在部分硬件上提升推理速度。

Kobebryant-Manba

学习Bert微调dense就是全连接层理论上拿哪个都行，但人家大模型训练是对<cls>"class意思"这个学习的，要用人家训练好的东西微调，那最好就得一样了(用cls是因为我们在预训练bert的时候nsp就是用cls去进行预测的这样下游任务与预训练尽量保持统一)

中文 BERT 多任务分类项目：从模型结构到训练细节项目将评论分析拆成三个独立分类任务：投诉分流四分类、虚假评论二分类、广告骚扰二分类。每个任务使用自己的训练数据和分类头。

从 102M 到 34M：BERT 到 BiLSTM 的完整知识蒸馏实现BERT 语义能力强，但参数量约 102M，模型文件约 390MB。直接部署会带来较大的内存占用和推理成本。

【openvino】tinybert基于openvino服务化部署（四）与tinybert-mediapipe的文件夹结构完整一样，只有部分文件需要更改：其实配置文件config.json基本不变，只是改了name和base_path而已，其它保持不变