docker 运行项目配置cuda

一 存在的问题

直接运行和使用docker后 推理速度差别很大,都是使用的本地的主机电脑,什么原因:

generator = self.cosyvoice.inference_zero_shot(

result_text,

prompt_text="希望你以后能够做的比我还好呦。",

prompt_wav="./CosyVoice/asset/zero_shot_prompt.wav",

prompt_text=settings.cosy_voice_text,

prompt_wav=settings.cosy_voice_path,

prompt_text="团结同志,这四个字,说起来抽象,但要落实在具体工作当中",

prompt_wav="./wang_voice/study_voice.wav",

stream=True,

text_frontend=False,

)

self.cosyvoice = CosyAutoModel(model_dir='chat_models/CosyVoice2-0.5B')

机器狗运行时长:

带显卡125 服务器运行时长:

本地运行时长:

本机电脑配置:

二 docker 配置

相关推荐
xuefeiniao24 分钟前
Docker 部署宝塔面板 Nginx 反向代理 502 踩坑实录
nginx·docker·容器
csdn_aspnet31 分钟前
GitOps宣言:Kubernetes配置的版本化革命
云原生·容器·kubernetes·gitops
H_老邪1 小时前
Linux 与 Docker 常用命令
linux·运维·服务器·docker
博语小屋1 小时前
I/O 多路转接之epoll
运维·服务器·数据库
yewq-cn2 小时前
linux 内核设备号
linux·运维·服务器
sky wide2 小时前
[特殊字符] Docker Swarm 集群搭建指南
java·docker·容器
新钛云服2 小时前
如何构建一套自动化的阿里云费用报告系统
运维·阿里云·自动化·云计算
allway22 小时前
Debian Regular Expressions
运维·debian·scala
文静小土豆2 小时前
Linux 进程终止指南:理解 kill 与 kill -9 的核心区别与正确用法
linux·运维·服务器
IMPYLH2 小时前
Linux 的 df 命令
linux·运维·服务器