docker 运行项目配置cuda

一 存在的问题

直接运行和使用docker后 推理速度差别很大,都是使用的本地的主机电脑,什么原因:

generator = self.cosyvoice.inference_zero_shot(

result_text,

prompt_text="希望你以后能够做的比我还好呦。",

prompt_wav="./CosyVoice/asset/zero_shot_prompt.wav",

prompt_text=settings.cosy_voice_text,

prompt_wav=settings.cosy_voice_path,

prompt_text="团结同志,这四个字,说起来抽象,但要落实在具体工作当中",

prompt_wav="./wang_voice/study_voice.wav",

stream=True,

text_frontend=False,

)

self.cosyvoice = CosyAutoModel(model_dir='chat_models/CosyVoice2-0.5B')

机器狗运行时长:

带显卡125 服务器运行时长:

本地运行时长:

本机电脑配置:

二 docker 配置

相关推荐
EMTime4 小时前
Docker运行OpenWRT
运维·docker·容器
lolo大魔王5 小时前
Linux 文件系统超全面详解(原理、结构、挂载、分区、inode、日志、管理命令)
linux·运维·服务器
zyl837217 小时前
Docker 使用手册
运维·docker·容器
古月方枘Fry8 小时前
MGRE实验
运维·服务器
stolentime8 小时前
FreeDomain 本地开发环境快速搭建指南
运维·服务器·网络
“码”力全开9 小时前
解耦异构算力与多协议接入:基于Docker与源码交付的开源企业级GB28181/RTSP边缘计算AI视频管理平台架构深度解析
人工智能·docker·开源
bush410 小时前
嵌入式linux学习记录四
linux·运维·学习
maomao大哥闯天下10 小时前
K8s如何实现滚动更新、健康检查与探测机制
docker·容器·kubernetes
kaisun6410 小时前
Docker 构建网络问题排查
网络·docker·eureka
lihao lihao11 小时前
软硬链接
linux·运维·服务器