ptx

被制作时长两年半的个人练习生

首尾元素相同的间隔循环策略在看Flash Attention4的过程中，发现一个很有趣的细节。以往在写输出数组等方式时，会面临一个元素和逗号间接输出的情况，且第一个元素前和第二个元素后都不包含逗号，如[3, 4, 5, 6, 7]，写过程序的应该都见过这种处理方式，一种手段是先输出一个元素，然后循环输出逗号+元素，另一种手段是先循环输出元素+逗号，然后输出输出最后一个元素。然后我就在内联汇编里看到了如下代码：

2023年的深度学习入门指南(27) - CUDA的汇编语言PTX与SASS通过前面的学习，我们了解了在深度学习和大模型中，GPU的广泛应用。可以说，不用说没有GPU，就算是没有大显存和足够先进的架构，也没法开发大模型。

我是有底线的