技术栈
n-gram
2401_84149564
13 天前
人工智能
·
python
·
算法
·
自然语言处理
·
n-gram
·
中文文本生成模型
·
kneser-ney平滑
【自然语言处理】中文 n-gram 词模型
目录一、题目描述二、解决方案三、开发流程概述(一)全局配置模块(基础环境设置)核心功能:(二)文本预处理模块(数据清洗与标准化)
TracyCoder123
21 天前
人工智能
·
语言模型
·
自然语言处理
·
n-gram
·
词嵌入
·
bag-of-words
语言模型基础技术的开端:N-Gram与Bag-of-words详解
在自然语言处理(NLP)的发展历程中,基础语言模型是构建复杂任务的基石。无论是早期的文本分类、机器翻译,还是如今大模型的预训练,都能看到N-Gram模型和Bag-of-words词袋模型的影子。本文将从这两个经典模型出发,深入剖析其核心技术原理、相关支撑技术及适用场景,为理解更复杂的语言模型奠定基础。
AI大模型学徒
1 个月前
人工智能
·
自然语言处理
·
nlp
·
n-gram
NLP基础(九)_N-gram模型
马尔可夫模型是一种随机过程,具有以下特性:马尔可夫性:对于任意状态序列 S1,S2,…,Sn,满足:也就是说,下一步的状态只和当前状态有关,而与之前的历史无关。
zeroporn
7 个月前
人工智能
·
语言模型
·
分类
·
大模型
·
n-gram
·
词袋
分别用 语言模型雏形N-Gram 和 文本表示BoW词袋 来实现文本情绪分类
用BoW和Bigram特征对电影评论进行情感分类(正/负面),并比较效果。使用简单的自定义数据集(实际项目可用IMDB数据集):
kngines
9 个月前
人工智能
·
transformer
·
n-gram
·
提示工程
·
moe
·
大预言模型
·
混合专家
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.1语言模型演进:从N-gram到Transformer
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路语言模型(Language Model)作为自然语言处理(NLP)领域的核心基础,其发展历程深刻影响着人工智能技术的演进。本章将系统解析语言模型从统计学习到深度学习的关键跃迁,并聚焦GPT系列模型的技术突破。
逐梦苍穹
1 年前
人工智能
·
自然语言处理
·
n-gram
【NLP】文本特征处理:n-gram特征和文本长度规范
🍃作者介绍:双非本科大三网络工程专业在读,阿里云专家博主,专注于Java领域学习,擅长web应用开发、数据结构和算法,初步涉猎人工智能和前端开发。 🦅个人主页:@逐梦苍穹 📕所属专栏:人工智能 🌻gitee地址:xzl的人工智能代码仓库 ✈ 您的一键三连,是我创作的最大动力🌹
cooldream2009
2 年前
人工智能
·
神经网络
·
语言模型
·
nlp
·
n-gram
语言模型:从n-gram到神经网络的演进
语言模型是自然语言处理领域中的关键技术之一,它致力于理解和生成人类语言。从最初的n-gram模型到如今基于神经网络的深度学习模型,语言模型的发展经历了漫长的演进。本文将探讨语言模型的演化历程,介绍不同阶段的技术,并深入探讨神经语言模型的重要性及其对自然语言处理的影响。
汀、人工智能
2 年前
人工智能
·
深度学习
·
自然语言处理
·
nlp
·
tf-idf
·
n-gram
人工智能自然语言处理:N-gram和TF-IDF模型详解
N-Gram 是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为 N 的滑动窗口操作,形成了长度是 N 的字节片段序列。
我是有底线的