docker 运行项目配置cuda

一 存在的问题

直接运行和使用docker后 推理速度差别很大,都是使用的本地的主机电脑,什么原因:

generator = self.cosyvoice.inference_zero_shot(

result_text,

prompt_text="希望你以后能够做的比我还好呦。",

prompt_wav="./CosyVoice/asset/zero_shot_prompt.wav",

prompt_text=settings.cosy_voice_text,

prompt_wav=settings.cosy_voice_path,

prompt_text="团结同志,这四个字,说起来抽象,但要落实在具体工作当中",

prompt_wav="./wang_voice/study_voice.wav",

stream=True,

text_frontend=False,

)

self.cosyvoice = CosyAutoModel(model_dir='chat_models/CosyVoice2-0.5B')

机器狗运行时长:

带显卡125 服务器运行时长:

本地运行时长:

本机电脑配置:

二 docker 配置

相关推荐
予枫的编程笔记1 小时前
【Docker基础篇】从0到1写Dockerfile:FROM/COPY/CMD/ENTRYPOINT指令详解+Hello World实战
人工智能·docker·云计算·dockerfile·容器技术·docker入门·docker实战
山野0202 小时前
从零到上线:Node.js 项目的完整部署流程(包含 Docker 和 CICD)
docker·容器·node.js
Ffe12 小时前
Linux提权五:Rbash绕过&Docker&LXD镜像
linux·docker·lxd·提权笔记总结
小草cys2 小时前
AI 技能(Skills):一种面向任务自动化的模块化执行范式
运维·自动化·skills
未来之窗软件服务2 小时前
服务器运维(三十四)小程序web访问慢ssl优化—东方仙盟
运维·服务器·小程序·仙盟创梦ide·东方仙盟
山核桃&17°2 小时前
基于 Vue + Node.js 批处理bat脚本实现多环境一键部署
运维·前端·自动化
Elastic 中国社区官方博客2 小时前
Elasticsearch 8.17.2 升级到 9.2.4 完整升级过程
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索·运维开发
行走的陀螺仪2 小时前
GitLab + GitLab Runner 本地 Docker 部署实战文档
ci/cd·docker·gitlab·php·gitlab-runner
未来之窗软件服务2 小时前
服务器运维(三十六)SSL会话缓存配置指南—东方仙盟
运维·服务器·缓存·ssl·服务器运维·仙盟创梦ide·东方仙盟