技术栈
fp8量化
智码看视界
16 天前
大模型推理
·
推理加速
·
a100
·
tensorrt-llm
·
fp8量化
AI 推理优化实践-TensorRT-LLM 部署：A100 上 Llama-3-70B 吞吐量提升 8 倍
先看 HuggingFace transformers 默认推理路径的瓶颈：问题清单：TensorRT-LLM 就是为消灭这些瓶颈而生的。
或困
9 个月前
stable diffusion
·
灰度发布
·
fp8量化
Stable Diffusion 3.5 FP8镜像支持灰度检测与异常报警
在AIGC浪潮席卷内容创作、广告设计和数字艺术的今天，一个看似微小的技术突破——FP8量化+灰度发布自动化监控，正悄然改变着大模型落地的节奏。你有没有遇到过这样的场景：好不容易把Stable Diffusion 3.5跑起来，结果显存直接爆了？或者刚上线新版本，用户反馈“怎么画风变了”、“生成变慢了”，却不知道问题出在哪？😱
我是有底线的