数字人

产品媛Gloria Deng

数字人｜通过语音和图片来创建高质量的视频arXiv上的计算机视觉领域论文：AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

如一@深声科技

革新未来：高效智能数字人技术引领多元化应用随着科技的不断进步，数字人技术已逐渐成为企业数字化转型中的重要工具。数字人不仅能够优化客户体验，还可以显著提升企业运营效率。本文将详细介绍一种高性能、高质量、低延迟、快速响应以及安全稳定的数字人技术方案，帮助企业在多元化场景中实现数字人技术的落地应用。

嘟嘟实验室

LatentSync数字人,一键批量,口型同步,MPS加速(WIN/MAC)分享一个最近还不错的数字人项目——LatentSync。该项目由字节开源，上传一段音频和视频，即可生成数字人视频。

如一@深声科技

数字人技术：未来创新的驱动力在当今数字化转型的时代，数字人技术正逐渐成为各个行业的重要工具。通过提供高性能、高质量、低延迟以及快速响应的数字人API服务，企业能够实现多样化的应用场景，并显著提升用户的交互体验。

【大模型系列篇】数字人音唇同步模型——腾讯开源MuseTalk之前有一期我们体验了阿里开源的半身数字人项目EchoMimicV2，感兴趣的小伙伴可跳转至《AI半身数字人开箱体验——开源项目EchoMimicV2》，今天带大家来体验腾讯开源的数字人音唇同步模型MuseTalk。

嘟嘟实验室

FaceFusion3.1.1,deepfacelive模型使用教程,BUG修复,云端镜像支持就在昨天FaceFusion迎来了3.1.1版本更新。不过本次更新内容比较简单，仅修复了MAC系统上CoreML回退的问题。

开源数字人系统源码短视频文案提取文案改写去水印小程序短视频去水印：文案提取与改写：数字人系统应用：综合应用：软件订阅费单次使用费广告收入增值服务企业合作与定制

只需3步，使用Stable Diffusion无限生成AI数字人视频先看效果，感兴趣的可以继续读下去。没有找到可以上传视频的地方，大家打开这个链接可以看到：www.aliyundrive.com/s/CRBm5NL3x…

重塑视频新语言，让每一帧都焕发新生——Video-Retalking，开启数字人沉浸式交流新纪元！Video-Retalking 模型是一种基于深度学习的视频再谈话技术，它通过分析视频中的音频和图像信息，实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法，特别是生成对抗网络（GAN）等先进算法的应用。

GAGAvatar: Generalizable and Animatable Gaussian Head Avatar 学习笔记GAGAvatar（Generalizable and Animatable Gaussian Avatar），一种面向单张图片驱动的可动画化头部头像重建的方法，解决了现有方法在渲染效率和泛化能力上的局限。旋转参数

阿里发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频EchoMimicV2 是由阿里蚂蚁集团推出的开源数字人项目，旨在生成高质量的数字人半身动画视频。以下是该项目的简介：

机器学习是魔鬼

HelloMeme 上手即用教程HelloMeme是一个集成空间编织注意力的扩散模型，用于生成高保真图像和视频。它提供了一个代码库，包含实验代码和预训练模型，支持PyTorch和FFmpeg。用户可以通过简单的命令行操作来生成图像和视频。

Hallo2 长视频和高分辨率的音频驱动的肖像图像动画（数字人技术）HALLO2: LONG-DURATION AND HIGH-RESOLUTION AUDIO-DRIVEN PORTRAIT IMAGE ANIMATION

synctalk模型部署教程在合成逼真的语音驱动的说话头视频时，实现高度同步是一项重大挑战。传统的生成对抗网络 (GAN) 难以保持一致的面部身份，而神经辐射场 (NeRF) 方法虽然可以解决这个问题，但通常会产生不匹配的唇部运动、不充分的面部表情和不稳定的头部姿势。栩栩如生的说话头需要同步协调主体身份、唇部运动、面部表情和头部姿势。缺乏这些同步是一个根本缺陷，导致不切实际和人为的结果。

解决VRM格式模型在Unity中运行出现头发乱飞等问题通过VRoidStudio制作导出的vrm格式的模型，放在unity中使用时，一运行就会出现头发乱飞，没有自然下垂的问题

为VRoidStudio制作的vrm格式模型制作blendshapebs视频演示下载网址：https://vroid.com/en/studio下载网址：https://github.com/vrm-c/UniVRM/releases 注意：unity版本要在2021.3 LTS及以上，VRM1.0和VRM0.x，要下载对应的插件

网安-搬运工

揭秘AI数字人：RAG技术如何重塑数字人交互新纪元（一）大家好，今天我想与大家分享一个我非常热衷的话题——数字人。作为一名深度参与数字人项目的从业者，我有幸见证了这一领域的快速发展和无限潜力。

AVI-Talking——能通过语音生成很自然的 3D 说话面孔论文地址：https://arxiv.org/pdf/2402.16124v1.pdf逼真的人脸三维动画在娱乐业中至关重要，包括数字人物动画、电影视觉配音和虚拟化身的创建。以往的研究曾试图建立动态头部姿势与音频节奏之间的关联模型，或使用情感标签或视频剪辑作为风格参考，但这些方法的表现力有限，无法捕捉到情感的细微差别。它们还要求用户手动选择风格源，这往往会导致应用不自然。

live2d + edge-tts 优雅的实现数字人讲话 ~之前有想做数字人相关项目，查了一些方案。看了一些三方大厂的商用方案，口型有点尴尬，而且很多是采用视频流的方案，对流量的消耗很大。后来了解了live2d 技术，常在博客网页上见到的看板娘就是live2d技术实现的 ~

春末的南方城市

ECCV2024，清华&百度提出ReSyncer：可实现音频同步嘴唇动作视频生成。清华&百度等联合提出了ReSyncer，可以实现更高稳定性和质量的口型同步，而且还支持创建虚拟表演者所必需的各种有趣属性，包括快速个性化微调、视频驱动的口型同步、说话风格的转换，甚至换脸。