揭秘AI数字人:RAG技术如何重塑数字人交互新纪元(一)

大家好,今天我想与大家分享一个我非常热衷的话题------数字人。作为一名深度参与数字人项目的从业者,我有幸见证了这一领域的快速发展和无限潜力。

在数字人的世界里,我们不仅探索着大语言模型的奥秘,还深入研究RAG(Retrieval-Augmented Generation)技术以及多模态交互的奇妙。未来,我期待有机会逐一为大家揭开这些技术的神秘面纱。

特别值得一提的是,在数字人的文案创作和互动问答场景中,RAG技术的应用尤为关键,这正是我之前多次提及的。

今天,就让我们从这里开始,先来一步步了解一下数字人的精彩世界。

根据《数字人白皮书》介绍,虚拟数字人一词最早源于1989年美国国立医学图书馆发起的"可视人计划"(Visible Human Project,VHP)。2001年,国内以"中国数字化虚拟人体的科技问题"为主题的香山科学会议第174次学术讨论会提出了"数字化虚拟人体"的概念。

虚拟数字人的发展与其制作技术的进步密不可分,从最早的手工绘制到现在的CG(Computer Graphics,电脑绘图)人工智能合成,虚拟数字人大致经历了萌芽、探索、初级和成长四个阶段。

当前虚拟数字人作为新一代人机交互平台,仍处于发展期,还未有统一的通用系统框架。本白皮书根据虚拟数字人的制作技术以及自前市场上提供的数字人服务和产品结构,总结出虚拟数字人通用系统框架。

20世纪80年代,人们开始尝试将虚拟人物引入到现实世界中,虚拟数字人步入萌芽阶段。21世纪初,传统手绘逐渐被CG、动作捕捉等技术取代,虚拟数字人步入探索阶段。该阶段的虚拟数字人开始达到实用水平,但造价不菲,主要出现在影视娱乐行业,如数字替身、虚拟偶像等。

近五年,得益于深度学习算法的突破,数字人的制作过程得到有效简化,虚拟数字人开始步入正轨,进入初级阶段。当前,虚拟数字人正朝着智能化、便捷化、精细化、多样化发展,步入成长期。

根据虚拟数字人的制作技术以及目前市场上提供的数字人服务和产品结构,总结出虚拟数字人通用系统框架。

虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块构成。

人物形象根据人物图形资源的维度,可分为2D和3D两大类,从外形上又可分为卡通、拟人、写实、超写实等风格;语音生成模块和动画生成模块可分别基于文本生成对应的人物语音以及与之相匹配的人物动画;音视频合成显示模块将语音和动画合成视频,再显示给用户。

交互模块使数字人具备交互功能,即通过语音语义识别等智能技术识别用户的意图,并根据用户当前意图决定数字人后续的语音和动作,驱动人物开启下一轮交互。

交互模块为扩展项,根据其有无,可将数字人分为交互型数字人和非交互型数字人。非交互型数字人体统的运作流程如图。系统依据目标文本生成对应的人物语音及动画,并合成音视频呈现给用户。

交互型数字人根据驱动方式的不同可分为智能驱动型和真人驱动型。智能驱动型数字人可通过智能系统自动读取并解析识别外界输入信息,根据解析结果决策数字人后续的输出文本,然后驱动人物模型生成相应的语音与动作来使数字人跟用户互动。该人物模型是预先通过AI技术训练得到的,可通过文本驱动生成语音和对应动画,业内将此模型称为TTSA(Text To Speech & Animation)人物模型。

真人驱动型数字人则是通过真人来驱动数字人,主要原理是真人根据视频监控系统传来的用户视频,与用户实时语音,同时通过动作捕捉采集系统将真人的表情、动作呈现在虚拟数字人形象上,从而与用户进行交互。

当前,虚拟数字人的制作涉及众多技术领域,且制作方式尚未完全定型,通过对现有虚拟数字人制作中涉及的常用技术进行调研,提炼出五横两纵的技术架构。

"五横"是指用于数字人制作、交互的五大技术模块,即人物生成、人物表达、合成显示、识别感知、分析决策等模块。其中,人物表达包括语音生成和动画生成。动画生成则包含驱动(动作生成)和渲染两大部分。"两纵"是指2D、3D数字人,3D数字人需要额外使用三维建模技术生成数字形象,信息维度增加,所需的计算量更大。

当前虚拟数字人理论和技术日益成熟,应用范围不断扩大,产业正在逐步形成、不断丰富,相应的商业模式也在持续演进和多元化。虚拟数字人的产业链从上到下可以分为基础层、平台层和应用层。

未来,随着AIGC产业的发展,虚拟数字人的采集、制作流程逐步简单化、一体化,迭代式提升真实感。未来数字人的制作技术将会变得更加简单,会有更加一体化、自动化的设备同步获取模型、身体、表情、手指运动、声音等所有数据,无需穿戴专业传感设备。在特定的环境下人们甚至无法分辨数字人的真假,可以更加自然与数字人交流互动。

虚拟数字人的交互方式衍变,智能化程度不断加深。全双工技术将推进数字人的交互方式衍变,让数字人拥有一次唤醒、多次交互的能力,具备实时智能响应、智能打断、智能纠错、多轮对话等功能。另外,随着计算机视觉、语音和自然语言处理等人工智能技术的不断进步,虚拟数字人将逐渐具备"看"、"听"、"说"、"懂"的能力。

虚拟数字人逐渐实现在多场景、多领域的融合、应用、落地。尽管目前数字人的发展环境、整体情况还处于尚未成熟的起步阶段,但随着虚拟数字人技术的精进、市场价值的释放,其将更全面、更深入地融入影视、金融、文旅等各个领域,充分发挥应用价值,迸发巨大的潜力。

如何系统的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 "AI会取代那些行业?""谁的饭碗又将不保了?"等问题热议不断。

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码 领取🆓**↓↓↓**

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

相关推荐
海棠AI实验室22 分钟前
AI的进阶之路:从机器学习到深度学习的演变(一)
人工智能·深度学习·机器学习
hunteritself24 分钟前
AI Weekly『12月16-22日』:OpenAI公布o3,谷歌发布首个推理模型,GitHub Copilot免费版上线!
人工智能·gpt·chatgpt·github·openai·copilot
IT古董1 小时前
【机器学习】机器学习的基本分类-强化学习-策略梯度(Policy Gradient,PG)
人工智能·机器学习·分类
centurysee1 小时前
【最佳实践】Anthropic:Agentic系统实践案例
人工智能
mahuifa1 小时前
混合开发环境---使用编程AI辅助开发Qt
人工智能·vscode·qt·qtcreator·编程ai
四口鲸鱼爱吃盐1 小时前
Pytorch | 从零构建GoogleNet对CIFAR10进行分类
人工智能·pytorch·分类
蓝天星空1 小时前
Python调用open ai接口
人工智能·python
睡觉狂魔er1 小时前
自动驾驶控制与规划——Project 3: LQR车辆横向控制
人工智能·机器学习·自动驾驶
scan7242 小时前
LILAC采样算法
人工智能·算法·机器学习
leaf_leaves_leaf2 小时前
win11用一条命令给anaconda环境安装GPU版本pytorch,并检查是否为GPU版本
人工智能·pytorch·python