stanford cs336

nuowenyadelunwen14 小时前
大语言模型llm·bpe tokenizer·stanford cs336·llm scratch·336assignment 1
Stanford CS336 Assignment 1 BPE Tokenizer trainning on tinystories dataset这个题目有两个要求按照作业要求，我将分三步来完成：编写训练脚本：包含加载数据、训练、保存模型、统计时间和内存。
nuowenyadelunwen9 天前
llm·bpe tokenizer·stanford cs336
Stanford CS336 Assignment 1: BPE Tokenizer问题：计算机只认识数字，但我们要处理文本解决方案：Tokenizer 就是这个转换器Unicode 是什么？
nuowenyadelunwen10 天前
大语言模型llm·stanford cs336·cs336assignment
Stanford CS336 Language Models from Scratch-Assignment 1 OVerview前些天计划看Stanford 新开的 CS336，顺便记录下，发到这里，大家一起交流。核心目标：从零开始构建训练标准 Transformer 语言模型（LM）所需的所有组件。
我是有底线的