技术栈
bpe tokenizer
nuowenyadelunwen
7 天前
llm
·
bpe tokenizer
·
stanford cs336
Stanford CS336 Assignment 1: BPE Tokenizer
问题：计算机只认识数字，但我们要处理文本解决方案：Tokenizer 就是这个转换器Unicode 是什么？
爱听歌的周童鞋
21 天前
llm
·
assignment
·
cs336
·
bpe tokenizer
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Assignment 1: BPE Tokenizer
本篇文章记录 CS336 作业 Assignment 1: Basics 中的 BPE Tokenizer 作业要求，仅供自己参考😄
我是有底线的