n-gram

2401_8414956413 天前
人工智能·python·算法·自然语言处理·n-gram·中文文本生成模型·kneser-ney平滑
【自然语言处理】中文 n-gram 词模型目录一、题目描述二、解决方案三、开发流程概述(一)全局配置模块(基础环境设置)核心功能:(二)文本预处理模块(数据清洗与标准化)
TracyCoder12321 天前
人工智能·语言模型·自然语言处理·n-gram·词嵌入·bag-of-words
语言模型基础技术的开端:N-Gram与Bag-of-words详解在自然语言处理(NLP)的发展历程中,基础语言模型是构建复杂任务的基石。无论是早期的文本分类、机器翻译,还是如今大模型的预训练,都能看到N-Gram模型和Bag-of-words词袋模型的影子。本文将从这两个经典模型出发,深入剖析其核心技术原理、相关支撑技术及适用场景,为理解更复杂的语言模型奠定基础。
AI大模型学徒1 个月前
人工智能·自然语言处理·nlp·n-gram
NLP基础(九)_N-gram模型马尔可夫模型是一种随机过程,具有以下特性:马尔可夫性:对于任意状态序列 S1,S2,…,Sn,满足:也就是说,下一步的状态只和当前状态有关,而与之前的历史无关。
zeroporn7 个月前
人工智能·语言模型·分类·大模型·n-gram·词袋
分别用 语言模型雏形N-Gram 和 文本表示BoW词袋 来实现文本情绪分类用BoW和Bigram特征对电影评论进行情感分类(正/负面),并比较效果。使用简单的自定义数据集(实际项目可用IMDB数据集):
kngines9 个月前
人工智能·transformer·n-gram·提示工程·moe·大预言模型·混合专家
从零构建大语言模型全栈开发指南:第一部分:数学与理论基础-1.1.1语言模型演进:从N-gram到Transformer👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路语言模型(Language Model)作为自然语言处理(NLP)领域的核心基础,其发展历程深刻影响着人工智能技术的演进。本章将系统解析语言模型从统计学习到深度学习的关键跃迁,并聚焦GPT系列模型的技术突破。
逐梦苍穹1 年前
人工智能·自然语言处理·n-gram
【NLP】文本特征处理:n-gram特征和文本长度规范🍃作者介绍:双非本科大三网络工程专业在读,阿里云专家博主,专注于Java领域学习,擅长web应用开发、数据结构和算法,初步涉猎人工智能和前端开发。 🦅个人主页:@逐梦苍穹 📕所属专栏:人工智能 🌻gitee地址:xzl的人工智能代码仓库 ✈ 您的一键三连,是我创作的最大动力🌹
cooldream20092 年前
人工智能·神经网络·语言模型·nlp·n-gram
语言模型:从n-gram到神经网络的演进语言模型是自然语言处理领域中的关键技术之一,它致力于理解和生成人类语言。从最初的n-gram模型到如今基于神经网络的深度学习模型,语言模型的发展经历了漫长的演进。本文将探讨语言模型的演化历程,介绍不同阶段的技术,并深入探讨神经语言模型的重要性及其对自然语言处理的影响。
汀、人工智能2 年前
人工智能·深度学习·自然语言处理·nlp·tf-idf·n-gram
人工智能自然语言处理:N-gram和TF-IDF模型详解N-Gram 是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为 N 的滑动窗口操作,形成了长度是 N 的字节片段序列。
我是有底线的