算法面试题_字节

问题一:Transfomer矩阵维度分析及MultiHead详解:

细致链接1
细致链接2

问题二:transformer的结构,流程,维度变换,encoder,decoder:

多头维度怎么变化:先在q,k,v的输入端就进行处理,让他们的维度为 embedding_size /nums_head。最后在注意力层的最后拼接。这就是原因:head的数量需被embedding_size整除

注意力:通过Q和K计算得到注意力权重,然后在作用于V得到整个权重和输出
细致链接

问题三:p-tuning,lora,adapter 的细致算法:

p-tuning

lora

adapter

问题四:评测框架的任务有哪些?cblue

问题五:训了哪些模型,dataset的问题

问题六:cv,deepsortv3,yolo的发展史,yolo的backbone

问题七:dataloader和dataset的区别:

ⅰ. dataset就是传统的类,用户根据特点的需求设定特定的类。

https://huggingface.co/docs/datasets/loading

ⅱ. dataloader则接受dataset定义的类进行分批次,分batch以方便后续的训练,推理等操作。

ⅲ. Dataset检索我们的数据集的特征并一次标记一个样本。dataloader在训练模型时,我们通常希望以"小批量"方式传递样本,在每个时期重新整理数据以减少模型过度拟合;这个有个shuffle决定是否在每个epoch之间打乱每个batch。

相关推荐
有一个好名字几秒前
力扣-奇偶链表
算法·leetcode·链表
wxm6311 分钟前
力扣算法题(C++):1、2
java·算法·leetcode
im_AMBER8 分钟前
Leetcode 103 反转链表 II
数据结构·c++·笔记·学习·算法·leetcode
bst@微胖子8 分钟前
HuggingFace项目实战之使用Trainer执行训练
人工智能·机器学习
小二·11 分钟前
Python Web 开发进阶实战:微前端架构初探 —— 基于 Webpack Module Federation 的 Vue 微应用体系
前端·python·架构
rgeshfgreh12 分钟前
回溯算法精解:排列、子集与组合
python·算法·深度优先
内存不泄露15 分钟前
人脸识别考勤系统
ide·vue.js·python
rit843249933 分钟前
有限元算法求解铁木辛柯梁梁静力问题实例
算法
智驱力人工智能35 分钟前
矿山皮带锚杆等异物识别 从事故预防到智慧矿山的工程实践 锚杆检测 矿山皮带铁丝异物AI预警系统 工厂皮带木桩异物实时预警技术
人工智能·算法·安全·yolo·目标检测·计算机视觉·边缘计算
忆锦紫38 分钟前
图像降噪算法:中值滤波算法及MATLAB实现
图像处理·算法·matlab