算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
哥布林学者3 小时前
高光谱成像(一)高光谱图像
机器学习·高光谱成像
地平线开发者3 小时前
SparseDrive 模型导出与性能优化实战
算法·自动驾驶
董董灿是个攻城狮3 小时前
大模型连载2:初步认识 tokenizer 的过程
算法
地平线开发者4 小时前
地平线 VP 接口工程实践(一):hbVPRoiResize 接口功能、使用约束与典型问题总结
算法·自动驾驶
罗西的思考4 小时前
AI Agent框架探秘:拆解 OpenHands(10)--- Runtime
人工智能·算法·机器学习
孟健6 小时前
Karpathy 用 200 行纯 Python 从零实现 GPT:代码逐行解析
python
HXhlx7 小时前
CART决策树基本原理
算法·机器学习
码路飞8 小时前
写了个 AI 聊天页面,被 5 种流式格式折腾了一整天 😭
javascript·python
Wect8 小时前
LeetCode 210. 课程表 II 题解:Kahn算法+DFS 双解法精讲
前端·算法·typescript
颜酱9 小时前
单调队列:滑动窗口极值问题的最优解(通用模板版)
javascript·后端·算法