技术栈
词汇表
lkforce
3 小时前
人工智能
·
算法
·
机器学习
·
token
·
分词器
·
minimind
·
词汇表
MiniMind学习笔记（零）--基础概念
分词器的作用是切分用户输入。比如用户输入 "今天天气怎么样"，分词器可能会将其分成数组：["今", "天", "天", "气", "怎", "么", "样"]。根据词汇表不同，不同的模型可能有不同的切法。
我是有底线的