Qwen3 ASR 流式转写 Docker 懒人整合包

前言

本文是第二个docker懒人包,依旧是win兼容问题,不得不用docker

这个懒人包有40GB左右,在docker容器里,环境依赖和模型都在,界面为官方的流式demo

同样的,要么在linux上使用(x86),要么在win上使用wsl2和docker桌面版,目前不支持mac arm

懒人包使用

下载并解压缩

加载镜像

docker load -i dockerImages.tar

加载成功后启动

docker-compose up

启动成功后,查看容器id

docker ps

使用powerShell进入容器

docker exec -it 6bb5af3cbb72 /bin/bash

进入容器后,可以使用ls查看当前映射的数据卷文件

ls

然后使用python启动服务

python demo_streaming.py

等待启动成功后,访问localhost:8000

点击开始录音转写即可

Tips

点击此处 网盘下载

docker系列并没有bat一键启动,要使用docker,默认就要会一点相关的命令

以后我可能添加一键启动和初始化命令,目前时间问题,就暂不添加,这样也能避免很多错误,比如端口占用,进程错误当

这个懒人包的参数细节

在demo_streaming.py的代码,我添加了参数,限制kv_catch上下文为8k

max_model_len=8192, 关键修复

如果不限制,我的显存就会爆炸,你可以根据自己的需求去修改Qwen3ASRModel.LLM相关参数,比如max_model_len,或者其他参数,具体请自行参考官方文档或者问AI

相关推荐
随便做点啥37 分钟前
32卡-64G-910B4-16后端-(Qwen3.8-27B-W8A8)集群部署报告
运维·服务器·经验分享·docker·vllm
CJY6217 小时前
k8spod管理
云原生·容器·kubernetes
Orange_sparkle10 小时前
从 Docker 到 Doris:建立后端基础设施全景图
运维·docker·ai·容器·claude code
gx234811 小时前
控制器管理
docker·容器·kubernetes
白清羽12 小时前
7.3系统安装docker
运维·docker·容器
dazhong201214 小时前
Docker 入门篇(八)-- CentOS7 安装 MySQL 8
mysql·docker·容器
w2005122414 小时前
Pod管理
linux·服务器·云原生·容器·k8s·podman
典典分享指南16 小时前
用大模型把写作 SOP 变成可复用 Prompt
docker·jupyter·eclipse·phpstorm·myeclipse
sryyd_0216 小时前
Kubernetes Pod 管理从入门到实战:命令、YAML 与生命周期全解析
云原生·容器·kubernetes
Larru-Sun19 小时前
从零开始用 Docker 部署 Node.js 后端服务
docker·容器·node.js