打破次元壁!AnimeGamer:腾讯开源黑科技让动漫角色听你指挥,一句话生成专属冒险动画

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🎮 「打破次元壁!腾讯开源黑科技让动漫角色听你指挥,一句话生成专属冒险动画」

大家好,我是蚝油菜花。你是否幻想过------

  • 👉 让《千与千寻》的无脸男和《龙猫》的灰尘精灵一起开茶话会
  • 👉 用一句话指令就能生成专属动画分镜,还能实时查看角色体力值
  • 👉 把不同动漫的经典场景无缝拼接,创造属于自己的平行宇宙...

今天要揭秘的 AnimeGamer ,正在用多模态大模型重写游戏规则!这个由腾讯PCG与香港城市大学联合研发的神器,能让你用自然语言操控宗介、琪琪等经典角色,生成的动画镜头不仅流畅自然,还能记住前30秒的剧情发展------准备好成为二次元导演了吗?

🚀 快速阅读

AnimeGamer是基于多模态大语言模型的动态游戏生成系统。

  1. 功能:支持角色扮演、动态动画生成和多轮对话交互
  2. 技术:采用视频扩散模型解码,通过动作强度控制实现自然动画

AnimeGamer 是什么

AnimeGamer 是腾讯 PCG 和香港城市大学共同推出的无限动漫生活模拟系统。基于多模态大语言模型(MLLM),支持玩家基于开放式的语言指令,用动漫角色的身份沉浸于动态游戏世界中。

该系统突破性地将动画生成与游戏状态预测结合,通过分解视觉参考、动作描述和动作强度三个维度,实现高质量动态视频生成。相比传统方法,在角色一致性、语义一致性和动作控制等方面表现出色,为玩家带来真正沉浸式的动漫游戏体验。

AnimeGamer 的主要功能

  • 角色扮演与互动:玩家扮演动漫角色,如《悬崖上的金鱼姬》的宗介,与游戏世界互动,让不同动漫的角色相遇互动
  • 动态动画生成:根据玩家指令,实时生成动态动画镜头(视频),展现角色动作和场景变化
  • 角色状态更新:动态更新角色的体力、社交和娱乐值,反映角色在游戏世界中的状态变化
  • 多轮对话交互:支持基于自然语言进行多轮对话,模型基于历史上下文生成一致的游戏状态
  • 自定义游戏内容:支持玩家自定义喜欢的角色和场景

AnimeGamer 的技术原理

  • 多模态大语言模型:理解和生成包含文本和视觉信息的多模态数据
  • 动作感知多模态表示:将动画镜头分解为视觉参考、动作描述和动作强度三部分
  • 视频扩散模型:CogVideoX作为解码器,引入动作强度控制生成视频的动作幅度
  • 上下文一致性:将历史动画镜头的多模态表示作为上下文输入,确保生成内容连贯
  • 角色状态管理:基于 MLLM 预测角色的体力、社交和娱乐值的动态更新

如何运行 AnimeGamer

1. 环境配置

shell 复制代码
git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

2. 下载模型

下载 AnimeGamer 和 Mistral-7B 的检查点,保存至 ./checkpoints 文件夹

下载 CogvideoX 的 3D-VAE:

shell 复制代码
cd checkpoints
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

3. 运行推理

生成动作感知多模态表示:

shell 复制代码
python inference_MLLM.py 

解码为动画镜头:

shell 复制代码
python inference_Decoder.py 

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关推荐
东坡肘子9 分钟前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
wei_shuo24 分钟前
百度开源文心 4.5 系列开源大模型 GitCode 本地化部署,硅基流动:文心 vs. DeepSeek vs. Qwen 3.0 深度测评
百度·开源·文心大模型·gitcode
KaneLogger26 分钟前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼29 分钟前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI3 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20063 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3934 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水8 小时前
Unreal Engine 5中的AI知识
人工智能