LLM春招准备(1)

llm排序

GPT4V

GPT-4V可以很好地理解直接绘制在图像上的视觉指示。它可以直接识别叠加在图像上的不同类型的视觉标记作为指针,例如圆形、方框和手绘(见下图)。虽然GPT-4V能够直接理解坐标,但相比于仅文本坐标,GPT-4V在有视觉指示帮助下能够更可靠地执行任务。


位置编码

相对位置编码

手写

手写softmax,

python 复制代码
def softmax(x):
    exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True))
    sm = exp_x/np.sum(exp_x, axis=-1, keepdims=True)
    return sm

手写crossentropy

python 复制代码
def cross_entropy(predictions, targets, epsilon=1e-12):
    predictions = np.clip(predictions, epsilon, 1.-epsilon)
    N = predictions.shape[0]
    ce = - np.sum(targets*np.log(predictions)) / N
    return ce

手写attention

python 复制代码
def saled_dot_product_attention(Q,K,V):
	dk = K.shape[-1]
	scores = np.dot(Q,K.T)/np.sqrt(dk)
	weights = softmax(scores)
	output = np.dot(weight,V)
	return weight, output

标签平滑label smoothing

标签平滑其实就是将硬标签(hard label)转化为软标签(soft label),也就是将标签的one hot编码中的1转化为比1稍小的数,将0转化为比0稍大的数,这样在计算损失函数时(比如交叉熵损失函数),损失函数会把原来值为0的标签也考虑进来,其实就相当于在标签的one hot编码中的每一维上增加了噪声。本质上是向训练集中增加了信息,使得训练集的信息量增大了,更加接近真实分布的数据集的信息量,所以有利于缓解过拟合

解决Transformer处理长序列

稀疏注意力

和Linformer,Longformer类似,Sparse Attention也是为了解决Transformer模型随着长度的增加,Attention部分所占用的内存和计算呈平方比增加的问题。

相关推荐
我爱学Python!6 小时前
大语言模型与图结构的融合: 推荐系统中的新兴范式
人工智能·语言模型·自然语言处理·langchain·llm·大语言模型·推荐系统
LZXCyrus9 小时前
【杂记】vLLM如何指定GPU单卡/多卡离线推理
人工智能·经验分享·python·深度学习·语言模型·llm·vllm
数字化营销工兵19 小时前
大语言模型(LLM)安全:十大风险、影响和防御措施
llm·大语言模型·数据安全·隐私保护
gz7seven1 天前
BLIP-2模型的详解与思考
大模型·llm·多模态·blip·多模态大模型·blip-2·q-former
不爱说话郭德纲1 天前
探索LLM前沿,共话科技未来
人工智能·算法·llm
我爱学Python!2 天前
解决复杂查询难题:如何通过 Self-querying Prompting 提高 RAG 系统效率?
人工智能·程序人生·自然语言处理·大模型·llm·大语言模型·rag
任某某01163 天前
第四期书生大模型实战营 - 基础岛闯关作业3 - 浦语提示词工程实践
llm
GoAI3 天前
《深入浅出多模态》之多模态模型总结(中)
人工智能·算法·llm
知来者逆3 天前
DrugLLM——利用大规模语言模型通过 Few-Shot 生成生物制药小分子
人工智能·语言模型·自然语言处理·llm·大语言模型·生物制药
waiting不是违停4 天前
MetaGPT实现多动作Agent
langchain·llm