datawhale

ACCELERATOR_LLC

【DataWhale组队学习】DIY-LLM Task1分词器原文链接分词器常被视为LLM的一部分，但它其实有独立的训练生命周期。Tokenizer本质上是将原始文本转换为模型可处理的离散符号序列的组件，它可以决定模型看到世界的基本粒度：是字符、单词、子词，还是字节片段，而这个粒度的选择会进一步影响序列长度、OOV、词表的规模还有训练效率等。

多Agent系统的编排2023年3月14日，OpenAl发布了GPT-4。就在当天，一位研究人员在Twitter上发布了一条意义非凡的推文：“如果我们让多个GPT-4实例相互对话，又会发生什么呢？”48 小时后，AutoGPT 诞生了。紧随其后，BabyAGI、AgentGPT、SuperAGI 等项目如雨后春笋般涌现。人们突然意识到：真正的力量并不在于单体Agent有多聪明，而在于多个Agent 如何协同工作。在那一刻，研究人员领悟到：智能并非单个模型的固有属性，而是“互动”的产物。通过将模型拆解为Researcher（

pytorch 与资源核算问题：假设你是一个 AI 工程师，老板问你：“在 1024 张 H100 显卡上，训练一个 70B（700亿参数）的模型，数据量是 15T（15万亿 tokens），大概要多久？” 直接跑去写代码测试，那可能几天甚至几个月都出不来结果。因此，我们需要学会“Napkin math”（餐巾纸计算，即快速估算）。

【Diy-LLM】Task 1 分词器笔记学习资料很多人觉得分词器是大模型的一部分，其实它有自己的训练流程。简单说：先拿正则把原始文本整理一下，再统计出一套词表，把文字片段和数字ID对应起来。这个对应方式决定了模型看到的是字、词，还是更碎的片段。直接影响后面模型学得好不好。

Byte-Pair Encoding (BPE) TokenizerUnicode是一种文本编码标准，它将字符映射到整数代码点。（2024年9月发布），该标准在168个脚本中定义了154，998个字符。（通常表示为U+0073，其中U+是常规前缀，0073是十六进制的115），字符“”的代码点为29275。在Python中，你可以使用ord（）函数将单个Unicode字符转换为它的整数表示。chr（）函数将整数Unicode码位转换为具有相应字符的字符串。

都市凡尘@Paraverse

Agent 心智架构：感知 - 推理 - 行动循环｜学习笔记Agent 是感知、记忆、推理、行动融合的数字智能体，人机关系从Copilot（人主导）升级为Autopilot（AI 主导 + 人监督），需预留 HITL 接口保障人类主体性。

都市凡尘@Paraverse

Agent 设计模式第 3 章学习笔记：从设计到演化，走进 Agent 时代LLM 融入软件架构核心后，软件从被动工具升级为主动智能体，人机交互从 “命令 - 控制” 转向 “意图 - 协作”，Agent 是具备感知、记忆、推理、行动能力的数字新物种。

Datawhale openclaw 课程 task2：clawX本地openclaw使用skillSkillHub，是腾讯一个专为中国用户优化的 AI Skills 社区 SkillHub：专为中国用户优化的Skills社区安装自媒体内容生成器skill：Content Writer （下图第三个）

Datawhale Happy-LLM 课程 task 4：Encoder-Decoder此博客为Datawhale 组队学习打卡笔记[1] https://github.com/datawhalechina/happy-llm

Datawhale Happy-LLM 课程 task 1和2：NLP基础概念此博客为Datawhale 组队学习打卡笔记[1] https://github.com/datawhalechina/happy-llm

DataWhale Hello-Agents 初识智能体：大语言模型与工具调用的完美结合在人工智能的浪潮中,我们见证了从简单的聊天机器人Chatbot到能够自主思考、调用工具的智能Agent的进化。本文将结合DataWhale的hello-agents教程，带你深入理解Agent的核心原理,并以OpenAI SDK和经典的LLM应用开发框架——Langchain两种方式，演示如何从零开始构建一个智能旅行助手Agent。

Datawhale 大模型基础与量化微调 task0：Tokenizer假设一个分词路径由一个词语序列组成，将其表示为 w 1 , w 2 , . . . , w n w_1, w_2, ..., w_n w1,w2,...,wn，其中 w i w_i wi 代表序列中的第 i 个词。那么这条路径的概率可以近似为：

华尔街的幻觉

Datawhale AI夏令营——列车信息智能问答——科大讯飞AI大赛（基于结构化数据的用户意图理解和知识问答挑战赛）坐火车的你，遇到过这样的场景吗？我们这次将一起来探索——如何让AI“看懂”列车时刻表！你随口一问（比如“K123在哪检票？”），AI秒回精准答案！告别抓狂！

我怎么又饿了呀

DataWhale-零基础络网爬虫技术（三、爬虫进阶技术）

IT从业者张某某

大语言模型-2.1-Transformer架构及详细配置本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术。并且，课程内容基于大量的代码实战与讲解，通过实际项目与案例，学员能将理论知识应用于真实场景，提升解决实际问题的能力。

土豆土豆，我是洋芋

《大语言模型》学习笔记（二）对于大语言模型，本书泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模型相比，大语言模型的构建过程涉及到更为复杂的训练方法，进而展现出了强大的自然语言理解能力和复杂任务求解能力（通过文本生成的形式）。本部分将介绍大语言模型的构建过程、扩展法则（ScalingLaw）、涌现能力（EmergentAbilities）。

IT从业者张某某

大语言模型-1.3-GPT、DeepSeek模型介绍本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术。并且，课程内容基于大量的代码实战与讲解，通过实际项目与案例，学员能将理论知识应用于真实场景，提升解决实际问题的能力。

IT从业者张某某

大语言模型-01-语言模型发展历程-02-从神经网络到ELMo本博客内容是《大语言模型》一书的读书笔记，该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品，覆盖大语言模型训练与使用的全流程，从预训练到微调与对齐，从使用技术到评测应用，帮助学员全面掌握大语言模型的核心技术。并且，课程内容基于大量的代码实战与讲解，通过实际项目与案例，学员能将理论知识应用于真实场景，提升解决实际问题的能力。

Datawhale 组队学习 wow-agent task1 学习总结比喻：想象一下，LLMs（大语言模型）就像是一个超级聪明的图书管理员，它知道很多书里的知识，但它只能告诉你书里写的内容，不能去外面帮你买新书或者帮你做饭。Agents就像是给这个图书管理员配了一个“机器人助手”，这个助手不仅知道书里的知识，还能帮你跑腿、做饭、甚至帮你解决实际问题。

使用DeepSeek构建Camel多智能体框架：基本环境配置Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，本系列是作者参加DataWhale2025年2月份组队学习的技术笔记文档，这里整理为博客，希望能帮助学习Agent的开发者少走弯路！