技术栈
llm-compressor
lookaroundd
1 天前
vllm
·
大模型量化
·
llm-compressor
llm-compressor添加新量化策略 -- 邪修方法
常规步骤请参考自定义 INT4 Block 量化：从 llm-compressor 到 vLLM 完整讲解-CSDN博客
我是有底线的