AI数字人模拟面试机器人

该项目使用微软Azure技术 文本转语音头像与实时合成配合使用,在对话框中输入答案,数字人会根据答案生成评价和评分。

Azure语音提供用户生成支持的应用程序的API:
语音转文本 :语音识别API,应用程序接受语音输入;
文本转语言 :语音合成API,应用程序提供语音输出;
语音翻译 :将口语输入翻译为多种语言的API
关键字识别 :应用程序能够识别关键字或短 短语的API
意向识别:使用的对话语言理解来确定口语输入的语义含义的API

思路

用户--->生成回答(文字)----->服务器(基于大模型建)------>输出并抛出下一个疑问------>对等连接(webRTC)

WebRTC入门指南:什么是WebRTC?核心原理、组件、应用场景

WebRTC(Web 实时通信)是一项强大的技术,其核心目标是使 Web
应用程序
和站点 能够捕获和选择性地流式传输 音频或视频媒体,以及在浏览器之间交换任意数据,而无需中间件。它允许网络应用或站点,在不借助中间媒介的情况下,建立浏览器之间点对点(Peer-to-Peer)的连接 ,实现视频流和(或)音频流或者其他任意数据的传输 。WebRTC是一个免费的开放项目,通过简单的 API 为浏览器和移动应用程序提供实时通信(RTC)功能,并由 Google 在 2011 年将其开源。

(今天太晚了,忍不住了,眼睛睁不开了,明天接着写)

相关推荐
深蓝AI4 小时前
不调模型不改壳:CMU 开源 Hermit,给 Agent 外挂一个能训练的适配器
人工智能·agent
汤姆宝库6 小时前
世界模型深拆:视频生成、潜在模拟与物理直觉
人工智能
weixin_468466859 小时前
从“看懂”到“做到”:视觉-语言-动作模型如何让机器人真正执行指令
人工智能·ai·机器人·大语言模型·前沿科技
朋友圈自动点赞工具9 小时前
科学AI插件化:从蛋白质结构到古籍修复
人工智能
龙粤GEO10 小时前
实体Entity在GEO中代表什么含义
人工智能
剑雨巍巍11 小时前
AI Agent面试之基础概念
人工智能
微帧Visionular11 小时前
AI视频单帧清晰,播放时却闪烁,原因是什么?
人工智能·深度学习·音视频
武子康11 小时前
MultiNet6 空闲崩溃:`EXCVADDR=0x8` 后又出现 `CORRUPT HEAP`
人工智能·后端·agent
云智慧AIOps社区11 小时前
智能巡检机器人应用场景解析:机房巡检、园区安防、管廊巡视与展厅导览
人工智能·机器人·具身智能·智能巡检机器人·企业级智能巡检机器人·机房巡检机器人·导览机器人
EnCi Zheng11 小时前
Agent 如何进行工具调用:从一次 Function Calling 到生产级工具编排的完整链路
大数据·人工智能·agent·ai编程·工具调用