Convai插件使用解析

Convai

介绍

  • 能够定制AI NPC

  • 集成了中英文的STT和TTS,并且能识别中文文本输入

  • 可以对语音或文字命令,做出相应的动作

  • 可以实现NPC和NPC之间的对话

控制台AI配置

  1. 角色配置入口:Create Character

  2. 角色描述

    1. CharacterName:角色名

  3. 知识库

  4. 个性配置

  5. 核心AI模型配置

组件

官方核心组件(不建议修改)

  1. ConvaiNPC:赋予游戏对象与 Convai API 进行交互的能力。

    1. ConvaiNPCAudioManager:语音管理器:控制NPC说话

    2. ConvaiPlayerInteractionManager:玩家交互管理器,管理玩家说话和文本输入

  2. ConvaiGroupNPCController:这个类负责处理与团队中NPC之间的对话任务

  3. ConvaiLipSync:语音嘴唇、牙齿、舌头(前两个是表情动画,后一个即可以是表情动画也可以是骨骼动画)钳口(只能是骨骼动画)

    1. ConvaiVisemesLipSync:音素嘴唇同步组件:解析音素匹配嘴唇动画
  4. ConvaiHeadTracking:这个类为一个对象(如角色)提供了头部追踪功能,并且需要Animator组件附加到同一个游戏对象上。

  5. ConvaiGRPCAPI:单例组件,管理Convai服务器和插件之间的所有通信

    1. ProcessUserQuery:玩家查询进程,处理玩家的对话信息,返回玩家语音的文本信息,也就是STT,从服务器返回

    2. ProcessCharacterEmotion:NPC的表情返回进程(只存储了表情信息,没有做表现)

    3. ProcessBtResponse:处理NPC的叙事进程

    4. ProcessActionResponse:处理NPC的行为进程

    5. ProcessAudioResponse:返回NPC的语音进程,处理NPC的语音数据、音素数据、blendShape数据

  6. UISaveLoadSystem:UI设置存储系统

  7. IChatUI:聊天UI接口

    1. ActivateUI:激活UI

    2. DeactivateUI:取消激活UI

    3. SendCharacterText:展示NPC对话信息

    4. SendPlayerText:展示玩家对话信息

  8. ConvaiInteractablesData:管理AI NPC和可交互的物品对象

  9. ActionConfig:命令动作系统配置

    1. Objects:管理动作命令的物品

    2. Characters:管理动作命令的NPC角色

可自定义修改的组件

  1. ConvaiInputManager:输入管理器,统一管理玩家的硬件输入

    1. 一般只需要管理语音和文本输入监听即可
  2. ConvaiChatUIHandler:管理加载聊天对话UI,分三类:聊天、问答、字幕(可以在设置面板中修改),这个是内置到ConvaiGRPCAPI里的,

    1. SendCharacterText:展示NPC的对话文本

    2. SendPlayerText:展示玩家的文本

    3. SetUIType:这是UI类型

    4. GetCurrentUI:获取当前UI

  3. IChatUI的实现类:ChatBoxUI、QuestionAnswerUI、SubtitleChatUI

  4. ConvaiActionsHandler:语音命令行为处理,

    1. actionResponseList:存储ConvaiGRPCAPI返回的回复指令信息

    2. actionMethods:指令对应动作名配置

    3. ParseActions:解析整个回复指令

    4. ParseSingleAction:解析单个回复指令

    5. LevenshteinDistance:通过字符串匹配最合适的结果,字符串差异对比(在actionMethods中)

    6. RegisterForActionEvents:注册动作开始和结束

  5. ConvaiCrosshairHandler:控制玩家相机准星看向的NPC

  6. ConvaiInteractablesData:管理AI NPC和可交互的物品对象,用于给ConvaiCrosshairHandler匹配识别的对象

  7. ConvaiNPCManager:Npc管理,负责检测视线附近的玩家

  8. UIAppearanceSettings:控制设置面板显隐、和对话面板显隐

  9. UISaveLoadSystem:UI相关配置存储加载系统

相关推荐
Sharewinfo_BJ12 小时前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi
codigger14 小时前
AI 三分钟写完的代码,你凭什么敢直接上线?
ai·程序员·编程·ai编程·#人工智能
wflynn1 天前
Google 观察到首个全自动化网络攻击,AI 框架已能独立完成漏洞利用
ai·技术
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
佛系1891 天前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
一起学安全技术2 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
TomEval2 天前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
AI算力2 天前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
真上帝的左手3 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
七夜zippoe3 天前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf