NitroGen: AI 自动玩游戏

技术原理

像素画面输入 → NitroGen 模型 → 预测手柄动作(方向键、按键组合等)

模型本质是一个视觉动作映射模型,输入游戏截图,输出应该执行的手柄操作


NitroGen 由英伟达(NVIDIA)开源的基础模型,专门用于构建通用游戏 AI 代理。其核心能力:

  • 通过像素输入预测游戏手柄动作
  • 基于**行为克隆(Behavior Cloning)**技术训练
  • 在4万小时的电子游戏视频-动作数据集上训练
  • 支持通过**后训练(Post-training)**适应未见过的游戏

环境准备

1. 创建 Python 环境

bash 复制代码
conda create -n nitrogen python=3.12
conda activate nitrogen

2. 克隆项目并安装依赖

bash 复制代码
git clone https://github.com/your-repo/nitrogen  # 项目地址
cd nitrogen
pip install -e .

3. 安装 PyTorch

pip 默认安装的通常是 CPU 版本 ,需要手动安装 CUDA 版本

bash 复制代码
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

模型下载与启动

1. 下载预训练模型

项目会下载模型到默认路径(可在项目目录中找到)。

2. 启动模型服务

bash 复制代码
python .pt_ng.py  # 启动模型,监听 5555 端口

服务启动后显示端口信息,不要关闭终端。


游戏运行流程

1. 启动目标游戏

手动打开要玩的游戏(如 Cuphead)。

2. 获取游戏进程名称

  1. 打开任务管理器
  2. 找到游戏对应的 .exe 进程
  3. 右键 → 属性 → 复制文件名(不含路径)

注意:复制的是进程名称(如 Cuphead.exe),不是完整路径。

3. 启动模拟器连接器

新开一个终端窗口,执行:

bash 复制代码
python connector.py --exe "游戏进程名.exe"

注意事项:

情况 处理方式
游戏名无空格 不需要引号
游戏名有空格 必须用双引号包裹,如 "Game Name.exe"
引号问题 去掉自动添加的引号,否则报错

4. 进入游戏

  1. 在游戏中按下 Enter 让 AI 以 P2 身份加入
  2. 红色角色 = 人类操控,P1
  3. 蓝色角色 = AI 操控,P2

注意

游戏运行卡顿

使用模拟器时,游戏画面会明显卡顿,原因是:

  • 模拟器会调整游戏引擎的虚拟时钟
  • 保证模型以逐帧方式进行推理
  • 这是正常现象,非故障

AI 血量初始为 1

AI 加入游戏时初始只有一滴血,这是设计如此。

连接顺序

运行游戏 → 启动连接器

(连接器不会自动启动游戏)


场景:

  • 测试 AI 在不同游戏中的泛化能力
  • 作为游戏 AI 的基座模型进行后训练
  • 自动化游戏测试
相关推荐
snakeshe10105 小时前
大模型 Function Call 实战入门:原理、环境搭建与多轮调用完整教程
人工智能
用户360055579005 小时前
Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染
人工智能
狒狒AI5 小时前
DeepSeek Harness 插件生态拆解:31,259 个仓库与 93% 装不上的口径差
人工智能
AI前端工程狮5 小时前
我把 MCP 长任务拆成三个工具,token 账单涨了 7 倍
javascript·人工智能·程序员
阿里云大数据AI技术5 小时前
如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”
人工智能·agent
用户321468751115 小时前
不会编程也能考AI证书?应用型与技术型认证的门槛差在哪
人工智能
程序员cxuan5 小时前
GPT-6.2 Astra 发布了,但口碑崩了。。。
人工智能·后端·程序员
SelectDB6 小时前
让数据更易查、更好用:正泰集团基于 SelectDB 的 AI 应用实践
人工智能
字节跳动数据库6 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端