第五十三篇-Ollama+V100+Qwen3:4B-性能

木卫二号Coding2025-12-05 22:09

环境

复制代码

系统：CentOS-7
CPU : E5-2680V4 14核28线程
内存：DDR4 2133 32G * 2
显卡：Tesla V100-32G【PG503】 (水冷)
驱动: 535
CUDA: 12.2

启动测速

复制代码

ollama run qwen3:4b --verbose
你好，介绍下CPU，要2000字

速度

复制代码

total duration:       40.465474485s
load duration:        47.768665ms
prompt eval count:    337 token(s)
prompt eval duration: 89.529239ms
prompt eval rate:     3764.13 tokens/s
eval count:           3787 token(s)
eval duration:        40.294106008s
eval rate:            93.98 tokens/s

GPU

复制代码

Thu Dec  4 23:17:11 2025
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03             Driver Version: 535.129.03   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  Tesla PG503-216                Off | 00000000:04:00.0 Off |                    0 |
| N/A   29C    P0             179W / 300W |   4466MiB / 32768MiB |     84%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

总结

复制代码

1.V100还是比较强的，比P40性能高很多。
2.水冷还是非常给力的，能压在40度以下。
3.V100的转接板的噪音有些不好，负载下一直叫。
4.升级成功，速度还是很不错的。