triton

不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型根据Triton 环境对应表，Colab 环境缺少 tensorrt-8.6.1，cudnn9-cuda-12，triton-server 版本应该选择 r23.10。

Triton Server Python 后端优化接上文不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型

扫地的小何尚

(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度扩散模型正在改变跨行业的创意工作流程。这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的图像。这可以应用于许多企业用例，例如创建个性化营销内容、为照片中的对象生成富有想象力的背景、设计动态的高质量环境和游戏角色等等。

碰到一个用pip死活装不上模块的问题（ModuleNotFoundError: No module named ‘triton‘）折腾了半天才发现问题的根源在于平台不同。当我在windows上尝试用pip install triton命令安装该模块的时候，总会提示

stable diffusion model训练遇到的问题【No module named ‘triton‘】一天早晨过来，发现昨天还能跑的diffusion代码，突然出现了【No module named ‘triton’】的问题，导致本就不富裕的显存和优化速度雪上加霜，因此好好探究了解决方案。