nlp中tokenizer用法

  • 1,将文本转换为标记:

    • 将输入文本分解成一系列标记(tokens),这些标记可以是单词、子词、字符等。
    • 例如,句子 "Hello, world!" 可以被分解为 "Hello", ",", "world", "!"。
  • 2,为模型准备输入:

    • 生成的标记可以进一步转换为模型需要的格式,如索引序列、张量等。
    • 例如,在词嵌入(word embeddings)模型中,标记可以映射到对应的嵌入向量。
    复制代码
      class ExampleTokenizer:
          def __init__(self, vocab):
              self.vocab = vocab
    
          def tokenize(self, text):
              # 简单的基于空格的分词器
              tokens = text.split()
              return tokens
    
      # 示例词汇表
      vocab = ["hello", "world", "this", "is", "a", "test"]
    
      # 创建分词器实例
      tokenizer = ExampleTokenizer(vocab)
    
      # 使用分词器进行分词
      text = "hello world this is a test"
      tokens = tokenizer.tokenize(text)
    
      print(tokens)  # 输出 ['hello', 'world', 'this', 'is', 'a', 'test']
相关推荐
羲云网络32 分钟前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan1 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷1 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监1 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
f6m274dww2cmd2 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能
RobinDevNotes3 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
user4465117917913 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能
烟小栀3 小时前
Windows下的深度学习环境配置参考及配置教程
人工智能
tellmewhoisi4 小时前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟4 小时前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能