打破次元壁!AnimeGamer:腾讯开源黑科技让动漫角色听你指挥,一句话生成专属冒险动画

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🎮 「打破次元壁!腾讯开源黑科技让动漫角色听你指挥,一句话生成专属冒险动画」

大家好,我是蚝油菜花。你是否幻想过------

  • 👉 让《千与千寻》的无脸男和《龙猫》的灰尘精灵一起开茶话会
  • 👉 用一句话指令就能生成专属动画分镜,还能实时查看角色体力值
  • 👉 把不同动漫的经典场景无缝拼接,创造属于自己的平行宇宙...

今天要揭秘的 AnimeGamer ,正在用多模态大模型重写游戏规则!这个由腾讯PCG与香港城市大学联合研发的神器,能让你用自然语言操控宗介、琪琪等经典角色,生成的动画镜头不仅流畅自然,还能记住前30秒的剧情发展------准备好成为二次元导演了吗?

🚀 快速阅读

AnimeGamer是基于多模态大语言模型的动态游戏生成系统。

  1. 功能:支持角色扮演、动态动画生成和多轮对话交互
  2. 技术:采用视频扩散模型解码,通过动作强度控制实现自然动画

AnimeGamer 是什么

AnimeGamer 是腾讯 PCG 和香港城市大学共同推出的无限动漫生活模拟系统。基于多模态大语言模型(MLLM),支持玩家基于开放式的语言指令,用动漫角色的身份沉浸于动态游戏世界中。

该系统突破性地将动画生成与游戏状态预测结合,通过分解视觉参考、动作描述和动作强度三个维度,实现高质量动态视频生成。相比传统方法,在角色一致性、语义一致性和动作控制等方面表现出色,为玩家带来真正沉浸式的动漫游戏体验。

AnimeGamer 的主要功能

  • 角色扮演与互动:玩家扮演动漫角色,如《悬崖上的金鱼姬》的宗介,与游戏世界互动,让不同动漫的角色相遇互动
  • 动态动画生成:根据玩家指令,实时生成动态动画镜头(视频),展现角色动作和场景变化
  • 角色状态更新:动态更新角色的体力、社交和娱乐值,反映角色在游戏世界中的状态变化
  • 多轮对话交互:支持基于自然语言进行多轮对话,模型基于历史上下文生成一致的游戏状态
  • 自定义游戏内容:支持玩家自定义喜欢的角色和场景

AnimeGamer 的技术原理

  • 多模态大语言模型:理解和生成包含文本和视觉信息的多模态数据
  • 动作感知多模态表示:将动画镜头分解为视觉参考、动作描述和动作强度三部分
  • 视频扩散模型:CogVideoX作为解码器,引入动作强度控制生成视频的动作幅度
  • 上下文一致性:将历史动画镜头的多模态表示作为上下文输入,确保生成内容连贯
  • 角色状态管理:基于 MLLM 预测角色的体力、社交和娱乐值的动态更新

如何运行 AnimeGamer

1. 环境配置

shell 复制代码
git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

2. 下载模型

下载 AnimeGamer 和 Mistral-7B 的检查点,保存至 ./checkpoints 文件夹

下载 CogvideoX 的 3D-VAE:

shell 复制代码
cd checkpoints
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip

3. 运行推理

生成动作感知多模态表示:

shell 复制代码
python inference_MLLM.py 

解码为动画镜头:

shell 复制代码
python inference_Decoder.py 

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关推荐
SHIPKING3931 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记7 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术7 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端