算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
robot_大菜鸟22 分钟前
python_openCV_计算图片中的区域的黑色比例
开发语言·python·opencv
AI让世界更懂你1 小时前
漫谈设计模式 [18]:策略模式
python·设计模式·策略模式
这不巧了1 小时前
Faker在pytest中的应用
python·自动化·pytest
oennn欧冷1 小时前
中文关键字检索分析-导出到csv或者excel-多文件或文件夹-使用python和asyncio和pandas的dataframe
python·pandas·vba·asyncio·dataframe·completablefuture
小言从不摸鱼1 小时前
【NLP自然语言处理】文本处理的基本方法
人工智能·python·自然语言处理
hummhumm1 小时前
数据库系统 第46节 数据库版本控制
java·javascript·数据库·python·sql·json·database
阿拉伯的劳伦斯2921 小时前
LeetCode第一题(梦开始的地方)
数据结构·算法·leetcode
Mr_Xuhhh1 小时前
C语言深度剖析--不定期更新的第六弹
c语言·开发语言·数据结构·算法
ac-er88881 小时前
Flask如何创建并运行数据库迁移
数据库·python·flask
吵闹的人群保持笑容多冷静2 小时前
2024CCPC网络预选赛 I. 找行李 【DP】
算法