Midjourney技术浅析(二):文本预处理过程

Midjourney 的用户通过输入文本描述(Prompts)来生成高质量的图像。为了将用户输入的文本转化为机器可理解的格式,并提取其中的语义信息,Midjourney 依赖于强大的自然语言处理(NLP)预处理技术。

一、NLP 预处理概述

NLP 预处理是自然语言处理的第一步,其主要目的是将原始文本转换为机器可理解的格式,并去除噪声信息,为后续的语义理解、特征提取和模型训练做好准备。

Midjourney 的 NLP 预处理过程主要包括以下几个步骤:

1.分词(Tokenization): 将文本分割成单词、词组、符号等基本单元。

2.词形还原(Lemmatization): 将单词还原为其基本形式(词根)。

3.去除停用词(Stop Words Removal): 去除对语义理解没有帮助的常用词。

4.拼写纠错(Spell Correction): 纠正文本中的拼写错误。

5.其他预处理步骤: 例如去除标点符号、转换为小写、去除特殊字符等。

二、详细步骤与模型

2.1 分词(Tokenization)

目标: 将连续的自然语言文本分割成更小的、基本的语义单元(tokens),例如单词、词组、标点符号等。

方法:

1.基于规则的词法分析器:

  • 使用正则表达式或预定义的规则来分割文本。
  • 例如,使用空格、标点符号等作为分隔符。

2.基于统计的词法分析器:

  • 使用统计模型(例如隐马尔可夫模型(HMM)、条件随机场(CRF))来学习文本分割的规律。

3.基于深度学习的词法分析器:

  • 使用神经网络模型(例如 LSTM、Transformer)进行序列标注任务,将文本分割成 tokens。

Midjourney 使用的模型 : 基于深度学习的词法分析器,例如 BERT TokenizerSentencePiece Tokenizer

  • BERT Tokenizer: 使用 WordPiece 算法,将单词拆分为子词(subword),以处理词汇表外的单词和稀有词。
  • SentencePiece Tokenizer: 一种无监督的分词器,可以将文本分割成任意长度的子词。

示例:

复制代码
输入文本:  "The quick brown fox jumps over the lazy dog."
分词结果:  ["The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog", "."]
2.2 词形还原(Lemmatization)

目标: 将单词还原为其基本形式(词根),以减少词汇表大小,并统一语义。

方法:

1.基于规则的词形还原:

  • 使用预定义的规则和词典将单词转换为词根。
  • 例如,将"running"还原为"run",将"better"还原为"good"。

2.基于统计的词形还原:

  • 使用统计模型(例如 HMM)来学习单词形态变化的规律。

3.基于深度学习的词形还原:

  • 使用神经网络模型(例如 LSTM、Transformer)进行序列标注任务,将单词还原为词根。

Midjourney 使用的模型 : 基于深度学习的词形还原器,例如 spaCy 的词形还原器Stanford NLP 的词形还原器

示例:

复制代码
输入单词:  "running"
词形还原结果:  "run"
2.3 去除停用词(Stop Words Removal)

目标: 去除对语义理解没有帮助的常用词,例如"the"、"is"、"at"等。

方法:

1.使用预定义的停用词表:

  • 预定义的停用词表包含常见的停用词,例如英语中的"the"、"is"、"at"等。
  • 去除 tokens 中出现在停用词表中的单词。

2.基于统计的方法:

  • 使用统计方法(例如词频-逆文档频率(TF-IDF))来识别停用词。
  • 词频越高,逆文档频率越低的单词越有可能是停用词。

Midjourney 可能使用的方法: 使用预定义的停用词表,并结合统计方法进行优化。

示例:

复制代码
输入 tokens:  ["The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog", "."]
去除停用词后:  ["quick", "brown", "fox", "jumps", "over", "lazy", "dog", "."]
2.4 拼写纠错(Spell Correction)

目标: 纠正文本中的拼写错误,以提高文本质量。

方法:

1.基于词典的方法:

  • 使用词典和编辑距离算法(例如 Levenshtein 距离)来识别和纠正拼写错误。

2.基于统计语言模型的方法:

  • 使用统计语言模型(例如 n-gram 模型)来评估拼写纠正后的文本的概率。

3.基于深度学习的方法:

  • 使用神经网络模型(例如 Transformer)进行序列到序列的拼写纠正任务。

Midjourney 使用的模型 : 基于深度学习的拼写纠错器,例如 BERT Spell CheckerGECToR(Grammatical Error Correction: Token Classification with Transformers)。

示例:

复制代码
输入文本:  "Thiss is a exampel of speling corection."
拼写纠错后:  "This is an example of spelling correction."
相关推荐
xiangduanjava10 分钟前
关于安装Ollama大语言模型本地部署工具
人工智能·语言模型·自然语言处理
zzywxc78730 分钟前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
超龄超能程序猿33 分钟前
(1)机器学习小白入门 YOLOv:从概念到实践
人工智能·机器学习
大熊背43 分钟前
图像处理专业书籍以及网络资源总结
人工智能·算法·microsoft
江理不变情1 小时前
图像质量对比感悟
c++·人工智能
张较瘦_3 小时前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭4 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力7 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心7 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield8 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习