文章目录
- token
-
- [tokenizer 训练过程](#tokenizer 训练过程)
- [如何使用 tiktoken 计算 token](#如何使用 tiktoken 计算 token)
- [context window 上下文窗口，单位是token](#context window 上下文窗口，单位是token)
-
- [每次调用 API，都是一次新的模型请求，有一个新的 context window](#每次调用 API，都是一次新的模型请求，有一个新的 context window)
- temperature和top_p
- [agent skill](#agent skill)
- [Harness Engineering](#Harness Engineering)
token
大模型就是一个巨大的数学函数，输入是数字，输出也是数字根本就不理解人类文字。
所以在人类和大模型之间站着一个翻译官，这个翻译官的名字叫做tokenizer,负责编码和解码2个环节，编码就是把文字转换为数字，解码就是把数字转换成文字
编码包含2个步骤，第一步切分，把问题切成一个一个最小的单位，切出来的碎片就叫做token, 第2步映射，因为模型只认识数字，所以tokenizer会把每一个token映射为对应的数字，这个数字就叫做tokenid,token id与token是一一对应的关系。token是文字，而token id是数字，2者所表达的内容是一样的，只不过表现形式不一样
解码只有1个步骤就是映射，把tokenid转换为token，把数字转换成文字。解码不需要切分，因为模型只会输出一个token id
编码之后，将token id给模型，模型输出一个tokenid
tokenizer 训练过程
如何使用 tiktoken 计算 token
context window 上下文窗口，单位是token
context window = 输入token+输出token
输出token = 隐藏推理token+可见回答token(显示出来的思考token+最终结论token)
只要是模型"吐"出来的 Token，无论最终有没有展示在你的屏幕上，全都是输出 Token（Output/Completion Tokens）
每次调用 API，都是一次新的模型请求，有一个新的 context window
temperature和top_p
temperature 和 top_p 都是控制大模型"生成随机性"的参数。它们影响模型在下一个 token 上怎么选词。
可以先记住一句话：
temperature 决定模型"有多随机"，top_p 决定模型"从多大的候选范围里随机"。
模型在生成下一个 token 前，先会给每个候选 token 一个分数，叫 logit。然后通过 softmax 把这些分数变成概率
调低T值，差距拉大，调高t值，差距减小
总结
agent skill
什么是agent skill
agent skill是大模型可以随时翻阅的说明文档
reference，script(轻量脚本)按需中的按需加载
reference是读，会占用模型上下文。script是跑，只会被执行，也不是绝对的，如果没说清楚怎么执行，或执行不下去，还是会读取代码的
script里的代码只执行，没有读取。也不是绝对的，如果没说清楚怎么执行，或执行不下去，还是会读取代码的
渐进式披露
skill与mcp
Harness Engineering
Harness 马具，缰绳
虽然马非常强大，但是我们必须借助马具的力量，来限制马的活动。这样才能够让马为我们人类所用。左边脱掉马具的马对应的就是ai领域的大模型
，大模型特别强，能干的事情很多，但是大模型就像马一样，如果我们不对它加以干预，任由大模型自己去运行和发挥，那就像脱缰的野马一样
harnes = agent -model
自己决定先做哪个在做哪个，不需要别人在指指点点
