算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
爱的叹息4 分钟前
【java实现+4种变体完整例子】排序算法中【计数排序】的详细解析,包含基础实现、常见变体的完整代码示例,以及各变体的对比表格
java·算法·排序算法
CodeJourney.35 分钟前
Python数据可视化领域的卓越工具:深入剖析Seaborn、Plotly与Pyecharts
人工智能·算法·信息可视化
Non importa1 小时前
【初阶数据结构】树——二叉树(上)
c语言·数据结构·学习·算法
_一条咸鱼_3 小时前
Python 数据类型之可变与不可变类型详解(十)
人工智能·python·面试
_一条咸鱼_3 小时前
Python 入门之基本运算符(六)
python·深度学习·面试
_一条咸鱼_3 小时前
Python 流程控制之 for 循环(九)
人工智能·python·面试
_一条咸鱼_3 小时前
Python 语法入门之流程控制 if 判断(七)
人工智能·python·面试
_一条咸鱼_3 小时前
Python 流程控制之 while 循环(八)
人工智能·python·面试
HtwHUAT3 小时前
实验四 Java图形界面与事件处理
开发语言·前端·python
Tech Synapse3 小时前
基于Surprise和Flask构建个性化电影推荐系统:从算法到全栈实现
python·算法·flask·协同过滤算法