算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
用户8356290780512 分钟前
使用Python合并Word文档:实现高效自动化办公
后端·python
一个不知名程序员www3 分钟前
算法学习入门---二分查找(C++)
c++·算法
Godspeed Zhao7 分钟前
自动驾驶中的传感器技术76——Navigation(13)
人工智能·机器学习·自动驾驶
数据与后端架构提升之路9 分钟前
在自动驾驶数据闭环中的特征工程应用(上)
机器学习·自动驾驶·特征工程
智塑未来13 分钟前
广州全运会即将开幕,获得文远知行自动驾驶技术支持
人工智能·机器学习·自动驾驶
2301_8079973829 分钟前
代码随想录-day26
数据结构·c++·算法·leetcode
闭着眼睛学算法38 分钟前
【双机位A卷】华为OD笔试之【排序】双机位A-银行插队【Py/Java/C++/C/JS/Go六种语言】【欧弟算法】全网注释最详细分类最全的华子OD真题题解
java·c语言·javascript·c++·python·算法·华为od
TL滕39 分钟前
从0开始学算法——第一天(认识算法)
数据结构·笔记·学习·算法
小欣加油40 分钟前
leetcode 3318 计算子数组的x-sum I
c++·算法·leetcode·职场和发展
_Poseidon1 小时前
多模态机器学习
人工智能·机器学习