技术栈
内存调优
SunnyRivers
12 天前
vllm
·
内存调优
vllm内存优化技巧
大型模型可能会导致服务器内存不足 (OOM)。以下是一些有助于缓解此问题的配置参数。张量并行 (tensor_parallel_size 选项) 可用于将模型拆分到多个 GPU 上。
Hello Dam
2 年前
java
·
jvm
·
内存调优
【JVM实战篇】内存调优：内存问题诊断+案例实战
通过分析工具，诊断问题的产生原因，定位到出现问题的源代码如何生成内存快照，很简单，启动程序的时候添加Java虚拟机参数：
墩墩分墩
2 年前
性能调优
·
gc
·
垃圾收集器
·
jvm调优
·
内存调优
【Jvm】性能调优（下）线上问题排查思路汇总
【Jvm】性能调优（上）线上问题排查工具汇总【Jvm】性能调优（中）Java中不得不了解的OOM Error
我是有底线的