开源数字人框架 AWESOME-DIGITAL-HUMAN 技术解析与应用指南

一、项目概述

AWESOME-DIGITAL-HUMAN 是一个基于 Live2D 技术的开源数字人框架，它集成了语音识别（ASR）、大语言模型（LLM）、语音合成（TTS）和 Agent 模块化扩展能力，支持快速部署和自定义开发。项目特点包括：超轻量级设计（配置要求低于2核2G）、支持 Docker 快速部署、多平台兼容（PC端和移动端）以及丰富的 Live2D 人物模型扩展能力。

系统架构

项目采用前后端分离的架构设计：

• 前端：基于 Next.js 构建，负责用户界面展示和 Live2D 模型渲染
• 后端：提供 ASR、TTS、LLM 等核心服务接口
• 通信：前后端通过 WebSocket 实现实时交互

二、核心功能模块

1. 语音交互模块

项目集成了百度 ASR 和 TTS 引擎，实现语音与文本的双向转换：

# 百度 ASR 引擎核心代码
@ASREngines.register("BaiduAPI")
class BaiduAPI(BaseEngine): 
    def setup(self):
        # 获取 API Token
        params = {
            'grant_type': 'client_credentials',
            'client_id': self.cfg.AK,
            'client_secret': self.cfg.SK
        }
        response = httpx.post(self.cfg.TOKEN_URL, data=params)
        self.token = response.json().get("access_token")
    
    async def run(self, input: AudioMessage) -> Optional[TextMessage]:
        # 发送语音数据并获取识别结果
        params = {'cuid': CUID, 'token': self.token, 'dev_pid': self.cfg.DEV_PID}
        headers = {
            'Content-Type': f'audio/{input.format}; rate={input.sampleRate}',
            'Content-Length': str(len(input.data))
        }
        resp = await httpxAsyncClient.post(self.cfg.ASR_URL, content=input.data, params=params, headers=headers)
        return TextMessage(data=resp.json()["result"][0])

2. Live2D 模型渲染

前端使用 Live2D Cubism Web Framework 实现人物模型的渲染和控制，支持表情、动作和口型同步：

// Live2D 眨眼效果实现
public updateParameters(model: CubismModel, deltaTimeSeconds: number): void {
    this._userTimeSeconds += deltaTimeSeconds;
    let parameterValue: number;
    
    // 根据眨眼状态计算参数值
    switch (this._blinkingState) {
      case EyeState.EyeState_Closing:
        parameterValue = 1.0 - this.calculateProgress(this._closingSeconds);
        if (this.isStateComplete()) {
            this._blinkingState = EyeState.EyeState_Closed;
        }
        break;
      // 其他状态处理...
    }
    
    // 更新模型参数
    for (let i = 0; i < this._parameterIds.getSize(); ++i) {
      model.setParameterValueById(this._parameterIds.at(i), parameterValue);
    }
  }

3. 多模态交互

系统支持文本和语音两种交互方式，并提供流式响应处理：

// 流式聊天处理
public async streamingChat(
    data: string,
    callbackProcessing: (index: number, data: string) => void,
    callbackEnd: (index: number) => void
  ): Promise<void> {
    try {
      const reader = await API.agent_infer_streaming_api(data);
      const decoder = new TextDecoder("utf-8");
      let index = 0;
      
      // 处理流式响应
      while (true) {
        const { value, done } = await reader.read(); 
        if (done) {
          callbackEnd(index);
          break;
        }
        const chunk = decoder.decode(value, { stream: true });
        callbackProcessing(index, chunk);
        index++;
      }
    } catch (error) {
      console.error(error);
    }
  }

三、部署与开发

1. 快速部署

项目支持 Docker 快速部署，只需执行以下命令：

# 构建并启动容器
docker buildx build --platform linux/amd64,linux/arm64 -t adh-web:latest -f docker/adhWeb.Dockerfile . --push
docker buildx build --platform linux/amd64,linux/arm64 -t adh-api:latest -f docker/adhServer.Dockerfile . --push

2. 开发环境搭建

前端开发环境启动：

# 启动前端开发服务器
pnpm dev
# 访问 http://localhost:3000

3. 自定义扩展

项目提供了模块化扩展接口，可以方便地集成新的 ASR、TTS 或 LLM 服务：

# 自定义 TTS 引擎示例
@TTSEngines.register("CustomTTS")
class CustomTTS(BaseEngine):
    async def run(self, input: TextMessage) -> Optional[AudioMessage]:
        # 实现自定义 TTS 逻辑
        audio_data = self.custom_tts_service(input.data)
        return AudioMessage(
            data=audio_data,
            format="wav",
            sampleRate=16000,
            sampleWidth=2,
        )

四、应用场景与案例

1. 智能客服

利用项目的多模态交互能力和 LLM 集成，可以快速搭建智能客服系统，支持语音和文本咨询。

2. 教育领域

可用于开发虚拟教师或学习助手，提供个性化学习体验。

3. 直播助手

支持创建虚拟主播，实现自动语音播报和互动。

五、项目贡献与社区

项目采用 MIT 开源许可证，欢迎社区贡献。贡献方式包括：提交问题报告、提交代码补丁、参与文档编写等。

# Cubism Web Framework 贡献指南
プロジェクトに貢献する方法はたくさんあります。バグのログの記録、このGitHubでのプルリクエストの送信、Live2Dコミュニティでの問題の報告と提案の作成です。

六、总结与展望

AWESOME-DIGITAL-HUMAN 为开发者提供了一个功能完备、易于扩展的数字人框架，无论是个人开发者还是企业团队，都可以基于此框架快速构建自己的数字人应用。未来，项目计划进一步优化性能、增加更多的交互功能和模型支持，推动数字人技术的普及和应用。