数字人

机器学习是魔鬼

HelloMeme 上手即用教程HelloMeme是一个集成空间编织注意力的扩散模型，用于生成高保真图像和视频。它提供了一个代码库，包含实验代码和预训练模型，支持PyTorch和FFmpeg。用户可以通过简单的命令行操作来生成图像和视频。

Hallo2 长视频和高分辨率的音频驱动的肖像图像动画（数字人技术）HALLO2: LONG-DURATION AND HIGH-RESOLUTION AUDIO-DRIVEN PORTRAIT IMAGE ANIMATION

synctalk模型部署教程在合成逼真的语音驱动的说话头视频时，实现高度同步是一项重大挑战。传统的生成对抗网络 (GAN) 难以保持一致的面部身份，而神经辐射场 (NeRF) 方法虽然可以解决这个问题，但通常会产生不匹配的唇部运动、不充分的面部表情和不稳定的头部姿势。栩栩如生的说话头需要同步协调主体身份、唇部运动、面部表情和头部姿势。缺乏这些同步是一个根本缺陷，导致不切实际和人为的结果。

解决VRM格式模型在Unity中运行出现头发乱飞等问题通过VRoidStudio制作导出的vrm格式的模型，放在unity中使用时，一运行就会出现头发乱飞，没有自然下垂的问题

为VRoidStudio制作的vrm格式模型制作blendshapebs视频演示下载网址：https://vroid.com/en/studio下载网址：https://github.com/vrm-c/UniVRM/releases 注意：unity版本要在2021.3 LTS及以上，VRM1.0和VRM0.x，要下载对应的插件

网安-搬运工

揭秘AI数字人：RAG技术如何重塑数字人交互新纪元（一）大家好，今天我想与大家分享一个我非常热衷的话题——数字人。作为一名深度参与数字人项目的从业者，我有幸见证了这一领域的快速发展和无限潜力。

AVI-Talking——能通过语音生成很自然的 3D 说话面孔论文地址：https://arxiv.org/pdf/2402.16124v1.pdf逼真的人脸三维动画在娱乐业中至关重要，包括数字人物动画、电影视觉配音和虚拟化身的创建。以往的研究曾试图建立动态头部姿势与音频节奏之间的关联模型，或使用情感标签或视频剪辑作为风格参考，但这些方法的表现力有限，无法捕捉到情感的细微差别。它们还要求用户手动选择风格源，这往往会导致应用不自然。

live2d + edge-tts 优雅的实现数字人讲话 ~之前有想做数字人相关项目，查了一些方案。看了一些三方大厂的商用方案，口型有点尴尬，而且很多是采用视频流的方案，对流量的消耗很大。后来了解了live2d 技术，常在博客网页上见到的看板娘就是live2d技术实现的 ~

春末的南方城市

ECCV2024，清华&百度提出ReSyncer：可实现音频同步嘴唇动作视频生成。清华&百度等联合提出了ReSyncer，可以实现更高稳定性和质量的口型同步，而且还支持创建虚拟表演者所必需的各种有趣属性，包括快速个性化微调、视频驱动的口型同步、说话风格的转换，甚至换脸。

微软推出集成GPT-4o的文本转语音虚拟数字人服务微软近日宣布，其全新的文本转语音虚拟数字人服务正式上线，并集成了GPT-4o技术。这一服务为用户提供了创建实时互动数字人的可能。通过先进的自然语言处理技术，数字人能够将文本转化为自然流畅的语音，并配以生动的虚拟形象，实现与用户的实时互动。

JackieZhengChina

快速了解《大模型赋能下的AI2.0数字人平台》白皮书在生成式AI和大模型的赋能下，数字人迎来AI 2.0时代。它能否成为每个人的“数字分身”，转化为新型的AI劳动力工具？商汤科技与上海市人工智能技术协会、零壹智库、增强现实核心技术产业联盟联合发布《大模型赋能下的AI 2.0数字人平台》。《白皮书》不仅总结了生成式AI和大模型对数字人的推动作用，还提出业界首个“AI 2.0数字人平台评估体系”，为AI 2.0时代数字人行业发展提供参考。

AI复活亲人市场分析：技术、成本与伦理挑战“起死回生”这种事，过去只存在于科幻电影里，但今年，被“复活”的案例却越来越多。2月底，知名音乐人包晓柏利用AI“复活”了她的女儿，让她在妈妈生日时唱了一首生日歌；3月初，商汤科技的年会上，刚刚去世不久的创始人汤晓鸥以数字人的形式被“复活”，并进行了风格独特的演讲；近日，有网友用AI技术“复活”了李玟、乔任梁等已逝明星，掀起了巨大的争议。

老艾的AI世界

川普真会说中文？连嘴型都同步，VideoReTalking AI数字人下载介绍你能想到这种画面吗？霉霉在节目中用普通话接受采访，特朗普在老家用中文脱口秀，蔡明老师操着一口流利的英文调侃潘长江老师..

MonkeyKing_sunyuhua

搭建musetalk数字人的步骤(建议使用 python 版本 >=3.10 和 cuda 版本 =11.7。)注意：这一步可能提示错误，跳过即可

此人姓于名叫罩百灵

论文笔记：Image Anaimation经典论文-运动关键点模型（Monkey-Net）Monkey-Net（MOviNg KEYpoints） paper: https://arxiv.org/pdf/1812.08861, CVPR 2019 code: https://github.com/AliaksandrSiarohin/monkey-net/tree/master

数字人解决方案——AniTalker声音驱动肖像生成生动多样的头部说话视频算法解析AniTalker是一款先进的AI驱动的动画生成工具，它超越了简单的嘴唇同步技术，能够精准捕捉并再现人物的面部表情、头部动作以及其他非言语的微妙动态。这不仅意味着AniTalker能够生成嘴型精准同步的视频，更重要的是，它还能够呈现自然流畅的表情变化和动作，使得最终的动画效果更加逼真，更具吸引力。通过AniTalker，动画制作不再局限于专业的动画师或高昂的制作成本。现在，任何拥有一张人物照片和相应的音频文件的用户，都能够轻松制作出高质量的说话动画视频，这极大地拓宽了个人表达和创意创作的边界。无论是用于

数字人金融应用技术指南根据《北京金融科技产业联盟团体标准管理办法》的规定，2024年3月27日经北京金融科技产业联盟第三届理事会第二次会议审议，批准发布《数字人金融应用技术指南》（T/BFIA 027—2024）、《图数据库金融应用技术要求》（T/BFIA 028—2024）、《移动支付检测规范第1部分：移动终端非接触式接口》（T/BFIA 029.1—2024）、《移动支付检测规范第2部分：安全芯片》（T/BFIA 029.2—2024）、《金融科技服务能力评价指标》（T/BFIA 030—2024）和《金融业隐私计算互联互

ComfyUI-AniPortrait——数字人插件仓库地址：GitHub - chaojie/ComfyUI-AniPortrait往期学习资料整理AI学习资料库

实时智能应答3D数字人搭建2先看效果：3d数字人讲黑洞根据艾媒咨询数据，2021年，中国虚拟人核心产业规模达到62.2亿元，带动市场规模达到1074.9亿元；2025年，这一数据预计将达到480.6亿元与6402.7亿元，同比增长迅猛。数字人可以用于：电子导游；电子解说员；虚拟老师；售前、售后客服；前台指引。最终选择UE5作为模型的驱动引擎。主要有以下几点原因：首先UE5不像live2d那样，出来的是假三维的纸片人；其次，UE5里对现实世界的光照、材质、重量等物理属性都存在一一映射，可以非常全面地还原一个真实场景。这里提醒一下，

数字人解决方案——Champ单个视频单张图像生成可控且一致的人体视频生成Champ是阿里巴巴集团、南京大学和复旦大学的研究团队共同提出了一种创新的人体动画生成技术，Champ能够在仅有一段原始视频和一张静态图片的情况下，激活图片中的人物，使其按照视频中的动作进行动态表现，极大地促进了虚拟主播和其他虚拟角色生成技术的发展。