打破次元壁！AnimeGamer：腾讯开源黑科技让动漫角色听你指挥，一句话生成专属冒险动画

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎮 「打破次元壁！腾讯开源黑科技让动漫角色听你指挥，一句话生成专属冒险动画」

大家好，我是蚝油菜花。你是否幻想过------

👉 让《千与千寻》的无脸男和《龙猫》的灰尘精灵一起开茶话会
👉 用一句话指令就能生成专属动画分镜，还能实时查看角色体力值
👉 把不同动漫的经典场景无缝拼接，创造属于自己的平行宇宙...

今天要揭秘的 AnimeGamer ，正在用多模态大模型重写游戏规则！这个由腾讯PCG与香港城市大学联合研发的神器，能让你用自然语言操控宗介、琪琪等经典角色，生成的动画镜头不仅流畅自然，还能记住前30秒的剧情发展------准备好成为二次元导演了吗？

🚀 快速阅读

AnimeGamer是基于多模态大语言模型的动态游戏生成系统。

功能：支持角色扮演、动态动画生成和多轮对话交互
技术：采用视频扩散模型解码，通过动作强度控制实现自然动画

AnimeGamer 是什么

AnimeGamer 是腾讯 PCG 和香港城市大学共同推出的无限动漫生活模拟系统。基于多模态大语言模型（MLLM），支持玩家基于开放式的语言指令，用动漫角色的身份沉浸于动态游戏世界中。

该系统突破性地将动画生成与游戏状态预测结合，通过分解视觉参考、动作描述和动作强度三个维度，实现高质量动态视频生成。相比传统方法，在角色一致性、语义一致性和动作控制等方面表现出色，为玩家带来真正沉浸式的动漫游戏体验。

AnimeGamer 的主要功能

角色扮演与互动：玩家扮演动漫角色，如《悬崖上的金鱼姬》的宗介，与游戏世界互动，让不同动漫的角色相遇互动
动态动画生成：根据玩家指令，实时生成动态动画镜头（视频），展现角色动作和场景变化
角色状态更新：动态更新角色的体力、社交和娱乐值，反映角色在游戏世界中的状态变化
多轮对话交互：支持基于自然语言进行多轮对话，模型基于历史上下文生成一致的游戏状态
自定义游戏内容：支持玩家自定义喜欢的角色和场景

AnimeGamer 的技术原理

多模态大语言模型：理解和生成包含文本和视觉信息的多模态数据
动作感知多模态表示：将动画镜头分解为视觉参考、动作描述和动作强度三部分
视频扩散模型：CogVideoX作为解码器，引入动作强度控制生成视频的动作幅度
上下文一致性：将历史动画镜头的多模态表示作为上下文输入，确保生成内容连贯
角色状态管理：基于 MLLM 预测角色的体力、社交和娱乐值的动态更新

如何运行 AnimeGamer

1. 环境配置

shell 复制代码

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

2. 下载模型

下载 AnimeGamer 和 Mistral-7B 的检查点，保存至 ./checkpoints 文件夹

下载 CogvideoX 的 3D-VAE：

shell 复制代码

cd checkpoints
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

3. 运行推理

生成动作感知多模态表示：

shell 复制代码

python inference_MLLM.py

解码为动画镜头：

shell 复制代码

python inference_Decoder.py

资源

项目主页 ：howe125.github.io/AnimeGamer....
GitHub 仓库 ：github.com/TencentARC/...
HuggingFace 模型库 ：huggingface.co/TencentARC/...

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦