【Triton 教程】triton_language.load

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。

更多 Triton 中文文档可访问 →triton.hyper.ai/

复制代码
triton.language.load(pointer, mask=None, other=None, boundary_check=(), padding_option='', cache_modifier='', eviction_policy='', volatile=False)

返回 1 个数据张量,其值从由指针所定义的内存位置处加载:

1.如果 pointer 是单元素指针,则加载 1 个标量。在这种情况下:

  • maskother 必须也是标量,
  • other 会隐式地转换为 pointer.dtype.element_ty 类型,
  • boundary_checkpadding_option 必须为空。

2.如果 pointer 是 1 个 N 维指针张量,则加载 1 个 N 维张量。在这种情况下:

  • maskother 会被隐式地广播到 pointer.shape
  • other 会隐式地转换为 pointer.dtype.element_ty 类型,
  • boundary_checkpadding_option 必须为空。

3.如果 pointer 是由 make_block_ptr 定义的块指针,则加载 1 个张量。在这种情况下:

  • maskother 必须为 None
  • 可以指定 boundary_checkpadding_option 来控制超出越界访问的行为。

参数**:**

  • pointertriton.PointerType *,*或 dtype=triton.PointerType 的块)- 指向要加载的数据的指针。
  • masktriton.int1 的块 *,*可选)- 如果 mask[idx] 为 false,则不加载 pointer[idx] 处的数据(对于块指针必须为 None)。
  • other ( , 可选) - 如果 mask[idx] 为 false,则返回 other[idx]。
  • boundary_check整数元组 *,*可选)- 表示应进行边界检查维度的元组。
  • padding_option - 应为 {"", "zero", "nan"} 中的一个,越界时进行填充。
  • cache_modifier **(*str ,可选,*应为 {"", "ca", "cg"} 中的一个 )- 其中「ca」表示在所有层级进行缓存,「cg」表示在全局层级缓存(在 L2 及以下缓存,不是 L1),详细信息请参见缓存操作符。)在 NVIDIA PTX 中更改缓存选项。
  • eviction_policystr , 可选) - 更改 NVIDIA PTX 中的驱逐策略。
  • volatilebool , 可选) - 更改 NVIDIA PTX 中的易失性选项。
相关推荐
2501_9333295528 分钟前
企业级AI舆情中台架构实践:Infoseek系统如何实现亿级数据实时监测与智能处置?
人工智能·架构
阿杰学AI29 分钟前
AI核心知识70——大语言模型之Context Engineering(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·数据处理·上下文工程
赛博鲁迅37 分钟前
物理AI元年:AI走出屏幕进入现实,88API为机器人装上“最强大脑“
人工智能·机器人
管牛牛1 小时前
图像的卷积操作
人工智能·深度学习·计算机视觉
云卓SKYDROID1 小时前
无人机航线辅助模块技术解析
人工智能·无人机·高科技·云卓科技
琅琊榜首20202 小时前
AI生成脑洞付费短篇小说:从灵感触发到内容落地
大数据·人工智能
imbackneverdie2 小时前
近年来,我一直在用的科研工具
人工智能·自然语言处理·aigc·论文·ai写作·学术·ai工具
roman_日积跬步-终至千里2 小时前
【计算机视觉-作业1】从图像到向量:kNN数据预处理完整流程
人工智能·计算机视觉
春日见3 小时前
自动驾驶规划控制决策知识点扫盲
linux·运维·服务器·人工智能·机器学习·自动驾驶