Midjourney技术浅析(二):文本预处理过程

Midjourney 的用户通过输入文本描述(Prompts)来生成高质量的图像。为了将用户输入的文本转化为机器可理解的格式,并提取其中的语义信息,Midjourney 依赖于强大的自然语言处理(NLP)预处理技术。

一、NLP 预处理概述

NLP 预处理是自然语言处理的第一步,其主要目的是将原始文本转换为机器可理解的格式,并去除噪声信息,为后续的语义理解、特征提取和模型训练做好准备。

Midjourney 的 NLP 预处理过程主要包括以下几个步骤:

1.分词(Tokenization): 将文本分割成单词、词组、符号等基本单元。

2.词形还原(Lemmatization): 将单词还原为其基本形式(词根)。

3.去除停用词(Stop Words Removal): 去除对语义理解没有帮助的常用词。

4.拼写纠错(Spell Correction): 纠正文本中的拼写错误。

5.其他预处理步骤: 例如去除标点符号、转换为小写、去除特殊字符等。

二、详细步骤与模型

2.1 分词(Tokenization)

目标: 将连续的自然语言文本分割成更小的、基本的语义单元(tokens),例如单词、词组、标点符号等。

方法:

1.基于规则的词法分析器:

  • 使用正则表达式或预定义的规则来分割文本。
  • 例如,使用空格、标点符号等作为分隔符。

2.基于统计的词法分析器:

  • 使用统计模型(例如隐马尔可夫模型(HMM)、条件随机场(CRF))来学习文本分割的规律。

3.基于深度学习的词法分析器:

  • 使用神经网络模型(例如 LSTM、Transformer)进行序列标注任务,将文本分割成 tokens。

Midjourney 使用的模型 : 基于深度学习的词法分析器,例如 BERT TokenizerSentencePiece Tokenizer

  • BERT Tokenizer: 使用 WordPiece 算法,将单词拆分为子词(subword),以处理词汇表外的单词和稀有词。
  • SentencePiece Tokenizer: 一种无监督的分词器,可以将文本分割成任意长度的子词。

示例:

复制代码
输入文本:  "The quick brown fox jumps over the lazy dog."
分词结果:  ["The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog", "."]
2.2 词形还原(Lemmatization)

目标: 将单词还原为其基本形式(词根),以减少词汇表大小,并统一语义。

方法:

1.基于规则的词形还原:

  • 使用预定义的规则和词典将单词转换为词根。
  • 例如,将"running"还原为"run",将"better"还原为"good"。

2.基于统计的词形还原:

  • 使用统计模型(例如 HMM)来学习单词形态变化的规律。

3.基于深度学习的词形还原:

  • 使用神经网络模型(例如 LSTM、Transformer)进行序列标注任务,将单词还原为词根。

Midjourney 使用的模型 : 基于深度学习的词形还原器,例如 spaCy 的词形还原器Stanford NLP 的词形还原器

示例:

复制代码
输入单词:  "running"
词形还原结果:  "run"
2.3 去除停用词(Stop Words Removal)

目标: 去除对语义理解没有帮助的常用词,例如"the"、"is"、"at"等。

方法:

1.使用预定义的停用词表:

  • 预定义的停用词表包含常见的停用词,例如英语中的"the"、"is"、"at"等。
  • 去除 tokens 中出现在停用词表中的单词。

2.基于统计的方法:

  • 使用统计方法(例如词频-逆文档频率(TF-IDF))来识别停用词。
  • 词频越高,逆文档频率越低的单词越有可能是停用词。

Midjourney 可能使用的方法: 使用预定义的停用词表,并结合统计方法进行优化。

示例:

复制代码
输入 tokens:  ["The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog", "."]
去除停用词后:  ["quick", "brown", "fox", "jumps", "over", "lazy", "dog", "."]
2.4 拼写纠错(Spell Correction)

目标: 纠正文本中的拼写错误,以提高文本质量。

方法:

1.基于词典的方法:

  • 使用词典和编辑距离算法(例如 Levenshtein 距离)来识别和纠正拼写错误。

2.基于统计语言模型的方法:

  • 使用统计语言模型(例如 n-gram 模型)来评估拼写纠正后的文本的概率。

3.基于深度学习的方法:

  • 使用神经网络模型(例如 Transformer)进行序列到序列的拼写纠正任务。

Midjourney 使用的模型 : 基于深度学习的拼写纠错器,例如 BERT Spell CheckerGECToR(Grammatical Error Correction: Token Classification with Transformers)。

示例:

复制代码
输入文本:  "Thiss is a exampel of speling corection."
拼写纠错后:  "This is an example of spelling correction."
相关推荐
DataCastle1 分钟前
第三届Bio-OS AI开源大赛启动会隆重举行
人工智能
后端小肥肠10 分钟前
躺赚必备!RPA+Coze+豆包:公众号自动发文,AI率0%亲测有效(附AI率0%提示词)
人工智能·aigc·coze
摘星编程21 分钟前
CloudBase AI ToolKit实战:从0到1开发一个智能医疗网站
人工智能·腾讯云·ai代码远征季#h5应用·ai医疗应用·cloudbase开发
锅挤26 分钟前
深度学习5(深层神经网络 + 参数和超参数)
人工智能·深度学习·神经网络
一支烟一朵花30 分钟前
630,百度文心大模型4.5系列开源!真香
人工智能·百度·开源·文心一言
网安INF32 分钟前
深层神经网络:原理与传播机制详解
人工智能·深度学习·神经网络·机器学习
喜欢吃豆37 分钟前
目前最火的agent方向-A2A快速实战构建(二): AutoGen模型集成指南:从OpenAI到本地部署的全场景LLM解决方案
后端·python·深度学习·flask·大模型
AIbase20241 小时前
国内MCP服务平台推荐!aibase.cn上线MCP服务器集合平台
运维·服务器·人工智能
喜欢吃豆2 小时前
快速手搓一个MCP服务指南(九): FastMCP 服务器组合技术:构建模块化AI应用的终极方案
服务器·人工智能·python·深度学习·大模型·github·fastmcp
星融元asterfusion2 小时前
基于路径质量的AI负载均衡异常路径检测与恢复策略
人工智能·负载均衡·异常路径