技术栈
fp8量化
智码看视界
10 天前
开源
·
vllm
·
开源大模型
·
apache2.0
·
fp8量化
·
腾讯混元hy4
·
agent推理
开源大模型追踪：腾讯混元Hy4preview，FP8 770GB 落地企业私有化，Apache 2.0 无字段限制
腾讯混元（Tencent Hy）在 2026 年 8 月 28 日正式发布并开源 Hy4 preview，这是从 Hy3（295B 总参 / 21B 激活 / 256K 上下文）迭代而来的新一代 MoE 旗舰模型预览版。
智码看视界
1 个月前
大模型推理
·
推理加速
·
a100
·
tensorrt-llm
·
fp8量化
AI 推理优化实践-TensorRT-LLM 部署：A100 上 Llama-3-70B 吞吐量提升 8 倍
先看 HuggingFace transformers 默认推理路径的瓶颈：问题清单：TensorRT-LLM 就是为消灭这些瓶颈而生的。
或困
10 个月前
stable diffusion
·
灰度发布
·
fp8量化
Stable Diffusion 3.5 FP8镜像支持灰度检测与异常报警
在AIGC浪潮席卷内容创作、广告设计和数字艺术的今天，一个看似微小的技术突破——FP8量化+灰度发布自动化监控，正悄然改变着大模型落地的节奏。你有没有遇到过这样的场景：好不容易把Stable Diffusion 3.5跑起来，结果显存直接爆了？或者刚上线新版本，用户反馈“怎么画风变了”、“生成变慢了”，却不知道问题出在哪？😱
我是有底线的