算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
夜雪一千4 小时前
Python enumerate() 函数完整详解:遍历同时获取索引,告别手动计数
服务器·windows·python
CS创新实验室5 小时前
算法、齿轮与硅基大脑:数值计算发展简史
人工智能·算法·数值计算
能有时光5 小时前
PyTorch KernelAgent 源码解读 ---(4)--- ExtractorAgent
人工智能·pytorch·python
_Jimmy_5 小时前
Python 协程库如何使用以及有哪些使用场景
python
aqi006 小时前
15天学会AI应用开发(十七)使用LangGraph实现会话记忆功能
人工智能·python·大模型·ai编程·ai应用
第一程序员6 小时前
Rust Agent 子进程执行:Command 之前,先定义输入和超时
python·rust·github
skywalk81636 小时前
设计并实现段言的 C FFI 绑定机制 @Trae
c语言·开发语言·python·编程
weixin_BYSJ19877 小时前
SpringBoot + MySQL 乒乓球运动员信息管理系统项目实战--附源码04954
java·javascript·spring boot·python·django·flask·php
海石7 小时前
1563分的简单题,可能就简单在能被暴力AC
算法·leetcode
海石7 小时前
1400分的dp汗流浃背之【交替子数组计数】
算法·leetcode