triton

爱听歌的周童鞋

斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 6: Kernels，Triton学习斯坦福的 CS336 课程，本篇文章记录课程第六讲：高性能 GPU 代码的编写，记录下个人学习笔记，仅供自己参考😄

triton backend 模式docker 部署 pytorch gpu模型镜像选择参考官方tag 对应的镜像地址 https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver?version=25.09-trtllm-python-py3

tensorRT配合triton部署模型initializer：拓扑关系：先conv，后relu3.1 边 3.2 算子 3.3 模型 3.4 图

llamafactory微调模型报错ModuleNotFoundError: No module named ‘triton.ops‘在阿里云Notebook上使用llamafactory微调Meta-Llama-3-8B-Instruct模型报错ModuleNotFoundError: No module named ‘triton.ops’

✦昨夜星辰✦

Triton Inference Server 架构原理上篇文章进行了 TensorRT-LLM & Triton Server 部署，本篇简单讲讲 Triton Inference Server 的架构原理，便于大家更好的做配置和开发。

不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型根据Triton 环境对应表，Colab 环境缺少 tensorrt-8.6.1，cudnn9-cuda-12，triton-server 版本应该选择 r23.10。

Triton Server Python 后端优化接上文不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型

扫地的小何尚

(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度扩散模型正在改变跨行业的创意工作流程。这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的图像。这可以应用于许多企业用例，例如创建个性化营销内容、为照片中的对象生成富有想象力的背景、设计动态的高质量环境和游戏角色等等。

碰到一个用pip死活装不上模块的问题（ModuleNotFoundError: No module named ‘triton‘）折腾了半天才发现问题的根源在于平台不同。当我在windows上尝试用pip install triton命令安装该模块的时候，总会提示

stable diffusion model训练遇到的问题【No module named ‘triton‘】一天早晨过来，发现昨天还能跑的diffusion代码，突然出现了【No module named ‘triton’】的问题，导致本就不富裕的显存和优化速度雪上加霜，因此好好探究了解决方案。

我是有底线的