NitroGen: AI 自动玩游戏

技术原理

像素画面输入 → NitroGen 模型 → 预测手柄动作(方向键、按键组合等)

模型本质是一个视觉动作映射模型,输入游戏截图,输出应该执行的手柄操作


NitroGen 由英伟达(NVIDIA)开源的基础模型,专门用于构建通用游戏 AI 代理。其核心能力:

  • 通过像素输入预测游戏手柄动作
  • 基于**行为克隆(Behavior Cloning)**技术训练
  • 4万小时的电子游戏视频-动作数据集上训练
  • 支持通过**后训练(Post-training)**适应未见过的游戏

环境准备

1. 创建 Python 环境

bash 复制代码
conda create -n nitrogen python=3.12
conda activate nitrogen

2. 克隆项目并安装依赖

bash 复制代码
git clone https://github.com/your-repo/nitrogen  # 项目地址
cd nitrogen
pip install -e .

3. 安装 PyTorch

pip 默认安装的通常是 CPU 版本 ,需要手动安装 CUDA 版本

bash 复制代码
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

模型下载与启动

1. 下载预训练模型

项目会下载模型到默认路径(可在项目目录中找到)。

2. 启动模型服务

bash 复制代码
python .pt_ng.py  # 启动模型,监听 5555 端口

服务启动后显示端口信息,不要关闭终端


游戏运行流程

1. 启动目标游戏

手动打开要玩的游戏(如 Cuphead)。

2. 获取游戏进程名称

  1. 打开任务管理器
  2. 找到游戏对应的 .exe 进程
  3. 右键 → 属性 → 复制文件名(不含路径)

注意:复制的是进程名称(如 Cuphead.exe),不是完整路径。

3. 启动模拟器连接器

新开一个终端窗口,执行:

bash 复制代码
python connector.py --exe "游戏进程名.exe"

注意事项:

情况 处理方式
游戏名无空格 不需要引号
游戏名有空格 必须用双引号包裹,如 "Game Name.exe"
引号问题 去掉自动添加的引号,否则报错

4. 进入游戏

  1. 在游戏中按下 Enter 让 AI 以 P2 身份加入
  2. 红色角色 = 人类操控,P1
  3. 蓝色角色 = AI 操控,P2

注意

游戏运行卡顿

使用模拟器时,游戏画面会明显卡顿,原因是:

  • 模拟器会调整游戏引擎的虚拟时钟
  • 保证模型以逐帧方式进行推理
  • 这是正常现象,非故障

AI 血量初始为 1

AI 加入游戏时初始只有一滴血,这是设计如此。

连接顺序

运行游戏 → 启动连接器

(连接器不会自动启动游戏)


场景:

  • 测试 AI 在不同游戏中的泛化能力
  • 作为游戏 AI 的基座模型进行后训练
  • 自动化游戏测试
相关推荐
小王毕业啦1 小时前
2007-2024年 省级-农林牧渔总产值、农业总产值数据(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
数据皮皮侠1 小时前
上市公司创新韧性数据(2000-2024)|顶刊同款 EIR 指数
大数据·人工智能·算法·智慧城市·制造
科研前沿2 小时前
纯视觉无感解算 + 动态数字孪生:室内外无感定位技术全新升级
大数据·人工智能·算法·重构·空间计算
暗夜猎手-大魔王2 小时前
转载--AI Agent 架构设计:错误处理与容错设计(OpenClaw、Claude Code、Hermes Agent 对比)
人工智能
码农的神经元2 小时前
Claude Code 如何接入 DeepSeek V4 模型:从安装配置到实战验证
人工智能
波动几何2 小时前
通用行业业务技能体系技能universal-business-skill-system
人工智能
Robot_Nav2 小时前
AI 编程助手 Skill 完全指南:VS Code · Trae CN · Claude Code
人工智能·vscode·skill·trae·claude code
直奔標竿2 小时前
Java开发者AI转型第二十五课!Spring AI 个人知识库实战(四)——RAG来源追溯落地,拒绝AI幻觉
java·开发语言·人工智能·spring boot·后端·spring
段一凡-华北理工大学2 小时前
【高炉炼铁领域炉温监测、预警、调控智能体设计与应用】~系列文章06:智能决策:从经验驱动到数据驱动
网络·人工智能·数据挖掘·高炉炼铁·工业智能体·高炉炉温