docker 运行项目配置cuda

一 存在的问题

直接运行和使用docker后 推理速度差别很大,都是使用的本地的主机电脑,什么原因:

generator = self.cosyvoice.inference_zero_shot(

result_text,

prompt_text="希望你以后能够做的比我还好呦。",

prompt_wav="./CosyVoice/asset/zero_shot_prompt.wav",

prompt_text=settings.cosy_voice_text,

prompt_wav=settings.cosy_voice_path,

prompt_text="团结同志,这四个字,说起来抽象,但要落实在具体工作当中",

prompt_wav="./wang_voice/study_voice.wav",

stream=True,

text_frontend=False,

)

self.cosyvoice = CosyAutoModel(model_dir='chat_models/CosyVoice2-0.5B')

机器狗运行时长:

带显卡125 服务器运行时长:

本地运行时长:

本机电脑配置:

二 docker 配置

相关推荐
智脑API3 分钟前
CCSwitch Claude Code 如何配置 MCP?服务器启动、工具权限与安全测试
运维·服务器·claude·codex·ccswitch
深念Y8 分钟前
Nuxt 项目 Docker 构建:从 pnpm+node 迁移到全 bun
java·前端·docker
闲云野鹤在人间1 小时前
KVM虚拟化实战|CentOS‑Stream8 两种安装方式+模板制作+基础使用
linux·运维·服务器·centos
小张同学a.1 小时前
Docker 容器实战 2—— docker 仓库
linux·运维·服务器·docker·容器
Android系统攻城狮1 小时前
Linux PipeWire深度解析之pw_core_get_registry调用流程与实战(九十一)
linux·运维·服务器·音频进阶·pipewire音频实战进阶
其实防守也摸鱼1 小时前
智能体推荐:精选 AI Agent 工具与实战指南
运维·开发语言·人工智能·学习·web安全·自动化
邪修king1 小时前
Re:Linux 系统编程篇 (十二):进程篇(一)基础与 fork 系统调用全解
linux·运维·服务器
牢姐与蒯1 小时前
Linux进程(五).之环境变量
linux·运维·服务器·ubuntu
ZGi.ai1 小时前
ZGI 文件产物:生成报告后怎样交付
大数据·运维·workflow·权限管理·zgi·智能体交付·文件产物
楠楠子呀1 小时前
号码状态核验:从数据清洗到合规处理的实现思路
运维·自动化