婴儿版训练GPT

import numpy as np

==============================

1. 固定词典(你建立的字典)

==============================

vocab = {"我":0, "喜":1, "欢":2, "中":3, "国":4, "美":5, "食":6, "END":7}

idx2word = {v:k for k,v in vocab.items()}

vocab_size = len(vocab)

d_model = 8 # 向量维度

lr = 0.1 # 学习率(训练步长)

==============================

2. 初始化所有矩阵!【随机,但会被训练】

==============================

np.random.seed(42) # 固定初始随机值,方便看效果

embedding = np.random.randn(vocab_size, d_model) # 嵌入矩阵

Wq = np.random.randn(d_model, d_model) # 注意力Q

Wk = np.random.randn(d_model, d_model) # 注意力K

Wv = np.random.randn(d_model, d_model) # 注意力V

output_layer = np.random.randn(d_model, vocab_size) # 输出层

==============================

3. 定义 softmax(稳定版)

==============================

def softmax(x):

exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True))

return exp_x / np.sum(exp_x, axis=-1, keepdims=True)

==============================

4. 【核心】前向传播(模型预测)

==============================

def forward(input_ids):

字 → 向量

x = embeddinginput_ids

自注意力

Q = x @ Wq

K = x @ Wk

V = x @ Wv

scores = Q @ K.T / np.sqrt(d_model)

attn_weights = softmax(scores)

attn_out = attn_weights @ V

取最后一个token → 预测下一个字

last_vec = attn_out-1

logits = last_vec @ output_layer

probs = softmax(logits)

return x, Q, K, V, scores, attn_weights, attn_out, last_vec, logits, probs

==============================

5. 【核心】训练!反向传播(调参)

让模型从错误中学习

==============================

def train(input_ids, target_id):

global embedding, Wq, Wk, Wv, output_layer

1. 前向预测

x, Q, K, V, scores, attn_weights, attn_out, last_vec, logits, probs = forward(input_ids)

2. 计算误差(预测值 - 真实值)

loss = -np.log(probstarget_id + 1e-10) # 损失越小越准

3. 反向更新所有矩阵(学习过程)

grad_logits = probs.copy()

grad_logitstarget_id -= 1

更新输出层

grad_output_layer = np.outer(last_vec, grad_logits)

output_layer -= lr * grad_output_layer

更新注意力 & 嵌入层(简化版,让模型能学到)

grad_last = grad_logits @ output_layer.T

embeddinginput_ids\[-1] -= lr * grad_last

return loss, probs

==============================

6. 开始训练!

输入:我喜欢中国 → 目标:输出 美(ID=5)

==============================

input_text = "我喜欢中国"

input_ids = vocab\[c for c in input_text]

target_id = 5 # 正确答案:美

print("===== 开始训练(越训练,越准)=====\n")

for step in range(200): # 训练200次

loss, probs = train(input_ids, target_id)

pred_id = np.argmax(probs)

pred_word = idx2wordpred_id

true_word = idx2wordtarget_id

每10步打印一次

if step % 10 == 0:

print(f"训练步数 {step:3d} | 损失:{loss:.4f} | 预测:{pred_word} | 正确:{true_word}")

==============================

训练完成,最终测试

==============================

print("\n===== 训练完成!最终预测 =====")

_, _, _, _, _, _, _, _, _, probs = forward(input_ids)

pred_id = np.argmax(probs)

pred_word = idx2wordpred_id

print(f"输入:{input_text}")

print(f"模型预测下一个字:【 {pred_word} 】")

print("? 训练成功!模型学会了!")

相关推荐
菜鸟~noob23311 小时前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
TomEval21 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill21 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks1 天前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP1 天前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
回眸&啤酒鸭1 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
lula8881 天前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
Asher11251 天前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习