cpp 选手秋招学习笔记 day40

一、infra 相关

1.块访问和周期访问

块访问是一个线程访问一段连续的数据,而周期访问是指每个线程访问的数据是不连续的多个,可能属于多个块,每个线程访问同一个块中的不同元素。

2.为什么说 occupancy 不是越高越好?

占用率的意思是指在 sm 活跃的线程束数量除以sm 能容纳的最大线程束数量,如果追求过高的占用率程序员可能需要调低每个 block 共享内存的大小,可以使用的寄存器的数量,这些数据需要从 HBM 去读取造成数据移动的时延增加,性能下降,所以不是占用率越高越好。

3.存储层次

从寄存器 到共享内存 到 l1 和 l2cache 以及 HBM 也就是全局内存。

寄存器和 cache 是由编译器和硬件维护,而对共享内存的访问和对全局内存的访问由程序员维护。共享内存的速度比全局内存快。

4.为什么需要在 q 和 kt 计算点积的时候除以根号 dk

因为 q 和 kt 的点击结果方差随着 dk 的增加也会变得更大,而 softmax 对输入敏感,结果会更趋近于 0 或者 1,进入饱和领域,梯度接近 0,就会难以训练。

二、手撕

数组方面的

1.一比特和两比特字符

在遇到一的时候就加 2,遇到零就加 1

2.求离其他人最远距离

(小便池问题)单独讨论最左边和最右边,其他的就普通的 r-l 然后除以 2

3.求和别人不挨着允许插入的数量

最左侧初始化 len 为 1

相关推荐
Rabitebla10 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
Flying Bear12 小时前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光13 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T14 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风15 小时前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
蒸蒸yyyyzwd16 小时前
计算机网络后端面试错题
笔记·学习
蒸蒸yyyyzwd18 小时前
数据库相关错题笔记
笔记·学习
蒸蒸yyyyzwd20 小时前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
人生!?2 天前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程