「torch.cosine_smilarity() = 0」引发的关于cpu与gpu精度问题的探讨

前言:2023年11月21日下午16:00 许,本篇博客记录由「torch.cosine_smilarity()计算余弦相似度计算结果为0」现象引发的关于 CPU 与 GPU 计算精度的探索。

事情的起因是,本人在使用 torch.cosine_smilarity() 函数计算GPU上两个特征的余弦相似度时,发现得出的结果为 0,百思不得其解。首先排出特征维度的问题,然后尝试5种不同的相似度计算方法:

  • scipy.spatial.distance.cosine
  • torch.cosine_similarity
  • F.cosine_similarity
  • torch.nn.CosineSimilarity
  • 基于余弦相似度公式的torch代码

整体代码如下:

python 复制代码
import torch
torch.set_printoptions(profile="full")
import torch.nn.functional as F
from scipy.spatial.distance import cosine
# device = "cuda" if torch.cuda.is_available() else "cpu"
device = "cpu"

import clip
from PIL import Image
clip_model, processor = clip.load("ViT-L/14", device=device)
srcpath = '/newdata/SD/DEFAKE/data_test/9709_glide.png'
despath = '/newdata/SD/outputs/0_9_sd1.5.png'
src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device)).squeeze(0)  
des_feature = clip_model.encode_image(processor(Image.open(despath)).unsqueeze(0).to(device)).squeeze(0)

sim_1 = 1 - cosine(src_feature.cpu(), des_feature.cpu())

sim_2 = torch.cosine_similarity(src_feature, des_feature, dim=0).item()

sim_3 = F.cosine_similarity(src_feature, des_feature, dim=0).item()

cos = torch.nn.CosineSimilarity(dim=0)
sim_4 = cos(src_feature, des_feature).item()

sim_5 = torch.div(torch.sum(src_feature * des_feature,0),torch.sqrt(torch.sum(torch.pow(src_feature,2),0))* torch.sqrt(torch.sum(torch.pow(des_feature,2),0))).item()

print(sim_1, sim_2, sim_3, sim_4, sim_5)
# 0.5302734375 0.0 0.0 0.0 0.53076171875

发现,上述代码在CPU和GPU上运行结果不一致:

上述代码在 CPU 上的运行结果为:

python 复制代码
0.5301393270492554
0.5301393270492554
0.5301393270492554
0.5301393270492554
0.5301393270492554

上述代码在 GPU 上的运行结果为:

python 复制代码
0.5302734375
0.0
0.0
0.0
0.53076171875

这是一个很有意思的现象,在CPU上计算出的5种相似度结果惊人一致,而在GPU上计算出的5种相似度结果中,中间三种基于torch函数调用的方式计算结果均为0,而第一种首先将特征搬运到CPU上然后使用scipy.spatial.distance.cosine()函数的计算结果和第五种直接在GPU上使用基于余弦相似度公式的torch代码的计算结果又与CPU上计算出的结果各有不同。


然后,我把由 CLIP 预训练模型提取的两张图像的特征(维度为768维) src_featuredes_feature 换成两个随机初始化的张量 ,其余代码不变:

python 复制代码
# import clip
# from PIL import Image
# clip_model, processor = clip.load("ViT-L/14", device=device)
# srcpath = '/newdata/SD/DEFAKE/data_test/9709_glide.png'
# despath = '/newdata/SD/outputs/0_9_sd1.5.png'
# src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device)).squeeze(0)  
# des_feature = clip_model.encode_image(processor(Image.open(despath)).unsqueeze(0).to(device)).squeeze(0)

# 将上面代码注释掉,换为:

src_featre = torch.tensor([1.0, 2.0, 3.0])
des_feature = torch.tensor([4.0, 5.0, 6.0])

可见上述示例代码在CPU和GPU上运行结果是一致的:

上述代码在 CPU 上的运行结果为:

python 复制代码
0.9746318459510803
0.9746317863464355
0.9746317863464355
0.9746317863464355
0.9746317863464355

上述代码在 GPU 上的运行结果为:

python 复制代码
0.9746318459510803
0.9746317863464355
0.9746317863464355
0.9746317863464355
0.9746317863464355

由上述结果可以发现,第一种基于scipy.spatial.distance.cosine()函数的计算结果与其余四组基于torch的计算结果略有不同,说明后四种方法实现的底层逻辑应该是类似的,但由于给定特征的某些不可知原因,有时会出现中间三种基于torch函数调用的方法结果为0的情况,所以保险起见,如果要使用基于torch的计算方法,首选第5种相似度计算方法 ,当然,时间允许的情况下,直接在CPU上使用第一种方法无疑是精度最高的计算方法。


接下来放一个时间对比图(如下),可见在GPU上使用最后一种计算方法效率最高,在CPU上使用第一种方法效率最低。

python 复制代码
time for spicy(gpu):  0.004714250564575195, [0.5361, 0.5303, 0.5220, 0.5059, 0.5430, 0.5469, 0.5078, 0.5293, 0.5283, 0.5337]
time for torch(gpu): 0.0005323886871337891, [0.5361, 0.5308, 0.5225, 0.5063, 0.5435, 0.5469, 0.5078, 0.5298, 0.5283, 0.5332]
time for spicy(cpu):  0.009323358535766602, [0.5358, 0.5301, 0.5222, 0.5060, 0.5426, 0.5467, 0.5077, 0.5298, 0.5279, 0.5333]
time for torch(cpu): 0.0025298595428466797, [0.5358, 0.5301, 0.5222, 0.5060, 0.5426, 0.5467, 0.5077, 0.5298, 0.5279, 0.5333]

PS:鉴于第一种方法无法进行余弦相似度的批量计算(1vN计算),追求速度的话,还是选择第五种方法吧~👀 附赠批量计算方法:

python 复制代码
src_feature = clip_model.encode_image(processor(Image.open(srcpath)).unsqueeze(0).to(device))  # [1,768]
des_features = torch.stack([clip_model.encode_image(processor(Image.open(path)).unsqueeze(0).to(device)) for path in despaths]).squeeze(1)  # [N,768]
sims = torch.div(torch.sum(src_feature * des_features,1),torch.sqrt(torch.sum(torch.pow(src_feature,2),1))* torch.sqrt(torch.sum(torch.pow(des_features,2),1)))  # 长度为N的张量
sims = sims.cpu().detach().numpy().tolist()  # 转化为列表,方便计算

参考资料

  1. GPU和CPU计算上的精度差异_cpu和gpu训练结果不同-CSDN博客
相关推荐
Chef_Chen1 小时前
从0开始学习机器学习--Day13--神经网络如何处理复杂非线性函数
神经网络·学习·机器学习
Troc_wangpeng1 小时前
R language 关于二维平面直角坐标系的制作
开发语言·机器学习
-Nemophilist-1 小时前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
艾派森2 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
3 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
忘梓.3 小时前
划界与分类的艺术:支持向量机(SVM)的深度解析
机器学习·支持向量机·分类
Chef_Chen3 小时前
从0开始机器学习--Day17--神经网络反向传播作业
python·神经网络·机器学习
MarkHD4 小时前
第十一天 线性代数基础
线性代数·决策树·机器学习
打羽毛球吗️4 小时前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
好喜欢吃红柚子5 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn