0基础跟德姆(dom)一起学AI 自然语言处理05-文本特征处理

1 什么是n-gram特征

  • 给定一段文本序列, 其中n个词或字的相邻共现特征即n-gram特征, 常用的n-gram特征是bi-gram和tri-gram特征, 分别对应n为2和3.

  • 举个例子:

    假设给定分词列表: ["是谁", "敲动", "我心"]

    对应的数值映射列表为: [1, 34, 21]

    我们可以认为数值映射列表中的每个数字是词汇特征.

    除此之外, 我们还可以把"是谁"和"敲动"两个词共同出现且相邻也作为一种特征加入到序列列表中,

    假设1000就代表"是谁"和"敲动"共同出现且相邻

    此时数值映射列表就变成了包含2-gram特征的特征列表: [1, 34, 21, 1000]

    这里的"是谁"和"敲动"共同出现且相邻就是bi-gram特征中的一个.

    "敲动"和"我心"也是共现且相邻的两个词汇, 因此它们也是bi-gram特征.

    假设1001代表"敲动"和"我心"共同出现且相邻

    那么, 最后原始的数值映射列表 [1, 34, 21] 添加了bi-gram特征之后就变成了 [1, 34, 21, 1000, 1001]

  • 提取n-gram特征:

    一般n-gram中的n取2或者3, 这里取2为例

    ngram_range = 2

    def create_ngram_set(input_list):
    """
    description: 从数值列表中提取所有的n-gram特征
    :param input_list: 输入的数值列表, 可以看作是词汇映射后的列表,
    里面每个数字的取值范围为[1, 25000]
    :return: n-gram特征组成的集合

    复制代码
      eg:
      >>> create_ngram_set([1, 3, 2, 1, 5, 3])
      {(3, 2), (1, 3), (2, 1), (1, 5), (5, 3)}
      """ 
      return set(zip(*[input_list[i:] for i in range(ngram_range)]))
  • 调用:

    input_list = [1, 3, 2, 1, 5, 3]
    res = create_ngram_set(input_list)
    print(res)

  • 输出效果:
复制代码
# 该输入列表的所有bi-gram特征
{(3, 2), (1, 3), (2, 1), (1, 5), (5, 3)}

2 文本长度规范及其作用

  • 一般模型的输入需要等尺寸大小的矩阵, 因此在进入模型前需要对每条文本数值映射后的长度进行规范, 此时将根据句子长度分布分析出覆盖绝大多数文本的合理长度, 对超长文本进行截断, 对不足文本进行补齐(一般使用数字0), 这个过程就是文本长度规范.

  • 文本长度规范的实现:

    from tensorflow.keras.preprocessing import sequence

    cutlen根据数据分析中句子长度分布,覆盖90%左右语料的最短长度.

    这里假定cutlen为10

    cutlen = 10

    def padding(x_train):
    """
    description: 对输入文本张量进行长度规范
    :param x_train: 文本的张量表示, 形如: [[1, 32, 32, 61], [2, 54, 21, 7, 19]]
    :return: 进行截断补齐后的文本张量表示
    """
    # 使用sequence.pad_sequences即可完成
    return sequence.pad_sequences(x_train, cutlen)

  • 调用:
复制代码
# 假定x_train里面有两条文本, 一条长度大于10, 一天小于10
x_train = [[1, 23, 5, 32, 55, 63, 2, 21, 78, 32, 23, 1],
           [2, 32, 1, 23, 1]]

res = padding(x_train)
print(res)
  • 输出效果:
复制代码
[[ 5 32 55 63  2 21 78 32 23  1]
 [ 0  0  0  0  0  2 32  1 23  1]]
相关推荐
7177775 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn5 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健6 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道6 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9966 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队7 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术8 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream8 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
学无止境小袁同学8 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴9 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib