组队学习

多Agent系统的编排2023年3月14日，OpenAl发布了GPT-4。就在当天，一位研究人员在Twitter上发布了一条意义非凡的推文：“如果我们让多个GPT-4实例相互对话，又会发生什么呢？”48 小时后，AutoGPT 诞生了。紧随其后，BabyAGI、AgentGPT、SuperAGI 等项目如雨后春笋般涌现。人们突然意识到：真正的力量并不在于单体Agent有多聪明，而在于多个Agent 如何协同工作。在那一刻，研究人员领悟到：智能并非单个模型的固有属性，而是“互动”的产物。通过将模型拆解为Researcher（

pytorch 与资源核算问题：假设你是一个 AI 工程师，老板问你：“在 1024 张 H100 显卡上，训练一个 70B（700亿参数）的模型，数据量是 15T（15万亿 tokens），大概要多久？” 直接跑去写代码测试，那可能几天甚至几个月都出不来结果。因此，我们需要学会“Napkin math”（餐巾纸计算，即快速估算）。

【Diy-LLM】Task 1 分词器笔记学习资料很多人觉得分词器是大模型的一部分，其实它有自己的训练流程。简单说：先拿正则把原始文本整理一下，再统计出一套词表，把文字片段和数字ID对应起来。这个对应方式决定了模型看到的是字、词，还是更碎的片段。直接影响后面模型学得好不好。

Byte-Pair Encoding (BPE) TokenizerUnicode是一种文本编码标准，它将字符映射到整数代码点。（2024年9月发布），该标准在168个脚本中定义了154，998个字符。（通常表示为U+0073，其中U+是常规前缀，0073是十六进制的115），字符“”的代码点为29275。在Python中，你可以使用ord（）函数将单个Unicode字符转换为它的整数表示。chr（）函数将整数Unicode码位转换为具有相应字符的字符串。

我是有底线的