import librosa
import numpy as np
import utils
import torch
import torch.nn.functional as F
from matplotlib import pyplot as plt
from torchvision.models.feature_extraction import create_feature_extractor
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
def extract_mbe(_y, _sr, _nfft, _nb_mel):
#梅尔频谱
spec = librosa.core.spectrum._spectrogram(y=_y, n_fft=_nfft, hop_length=_nfft // 2, power=1)[0]
mel_basis = librosa.filters.mel(sr=_sr, n_fft=_nfft, n_mels=_nb_mel)
mel_spec = np.log(np.dot(mel_basis, spec).T)
return mel_spec #最后必须是[frames, dimensions]
def preprocess_data(X, seq_len, nb_ch):
# split into sequences
X = utils.split_in_seqs(X, seq_len)
X = utils.split_multi_channels(X, nb_ch)
# Convert to PyTorch tensors
X = torch.Tensor(X)
X = X.permute(0,1,3,2) #x形状为[709,2,40,256],【总样本数,通道数,特征维度,像素宽度】
return X
# 提取梅尔频谱特征
audio_path = "b093.wav"
y, sr = librosa.load(audio_path, sr=44100)
mel = extract_mbe(y, sr, 2048, 64)
value = preprocess_data(mel, 256, 1).to(device) #value 为输入模型的样本特征
features = {"cnn1": '1', "cnn2": '2', "cnn3": '3', "cnn4": '4', "cnn5": '5', "cnn6": '6'}
model = torch.load(f'best_model_2.pth')
feature_extractor = create_feature_extractor(model, return_nodes=features)
out = feature_extractor(value)
layer = "3"
out = torch.cat((out[layer][0], out[layer][1]), dim=1)
out = out.unsqueeze(0)
out = F.interpolate(out, size=(470, 64), mode='bilinear', align_corners=False)
out = out.squeeze(0) .permute(2, 0, 1) #[128, 256, 64]->[64, 128, 256]->[纵, 值, 横]
plt.imshow(out.sum(1).detach().cpu().numpy(), origin='lower')
plt.show()
神经网络中间层特征图可视化(输入为音频)
孜孜不倦fly2023-11-15 12:41
相关推荐
阿坡RPA8 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?用户27784491049938 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践机器之心8 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?算AI10 小时前
人工智能+牙科:临床应用中的几个问题凯子坚持 c11 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战你觉得20511 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法8K超高清12 小时前
中国8K摄像机:科技赋能文化传承新图景hyshhhh12 小时前
【算法岗面试题】深度学习中如何防止过拟合?薛定谔的猫-菜鸟程序员12 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)币之互联万物12 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点