a100

论文复现现场13 天前
模型量化·vllm·a100·大模型部署·int8·fp8·qwen3.8
A100 跑 Qwen3.8-27B，FP8 还是 INT8？显存、速度、精度与微调兼容性怎么选直接结论：在算家云 A100 SXM4 80GB 环境验证 Qwen3.8-27B 时，建议先用 BF16 建立基线，再重点测试 INT8 W8A8。FP8 在 A100 上通常只能走权重-only 兼容路径，不能直接套用 H100 的 FP8 性能结论。
智码看视界1 个月前
大模型推理·推理加速·a100·tensorrt-llm·fp8量化
AI 推理优化实践-TensorRT-LLM 部署：A100 上 Llama-3-70B 吞吐量提升 8 倍先看 HuggingFace transformers 默认推理路径的瓶颈：问题清单：TensorRT-LLM 就是为消灭这些瓶颈而生的。
程序猿000001号2 年前
大模型·显卡·a100
英伟达计算卡概览：显存、性能与NVLink支持英伟达（NVIDIA）作为全球领先的GPU制造商，其产品不仅在游戏领域占据主导地位，在专业计算、深度学习、科学计算等领域也发挥着重要作用。本文将详细介绍英伟达目前主流的计算卡系列，包括它们的主要规格如显存大小、是否支持NVLink等，并探讨它们各自的应用场景。
我是有底线的