根据音频绘制频谱

根据音频链接绘制频谱图

封装

js 复制代码
// 可以这样使用 也可以 import { AudioContext } from 'standardized-audio-context';
const getAudioContext = 
  window.AudioContext ||
  window.webkitAudioContext ||
  window.mozAudioContext ||
  window.msAudioContext;

const clearArr = []

export const stopAudio = () => { clearArr.forEach(f => f()) }

/**
 * 获取音频文件频谱数据 
 */
export function getAuidoData() {
    let analyser, dataArray;
    let loadOver = false;
    var audioCtx = new getAudioContext({
        latencyHint: "playback"
    }); // 创建和播放需要间隔一端时间
    analyser = audioCtx.createAnalyser();
    analyser.fftSize = 2048;

    const destroy = () => { audioCtx.close() }

    let stop = false;
    const cbs = []
    const run = () => {
        if (stop) return;
        requestAnimationFrame(() => {
            var bufferLength = analyser.frequencyBinCount;
            dataArray = new Uint8Array(bufferLength);
            analyser.getByteFrequencyData(dataArray);
            cbs.forEach(f => f(dataArray))
            run()
        });
    };

    const load = (url, data, onended = () => { }) => {
        let audioBuffer;

        // 通过fetch 请求音频获取 arrayBuffer 类型数据
        const getData = () => { 
            // 方法一 使用fetch请求
            return fetch(url)
                .then((res) => res.arrayBuffer())
                .then((arrayBuffer) => {
                    return new Promise((resolve, reject) => {
                        // 兼容低版本的iphone7中 audioCtx.decodeAudioData 返回的不是一个promise,必须通过回调函数
                        audioCtx.decodeAudioData(arrayBuffer, resolve, err => {
                            console.log('decodeAudioData-er', err);
                            reject(err)
                        })
                    })
                })
                .then((buffer) => (audioBuffer = buffer));

            // 方法二 把接口返回blob转 arrayBuffer 
            // ios ajax返回的二进制数据没有 arrayBuffer 方法
            // return data
            //     .arrayBuffer()
            //     .then((arrayBuffer) => audioCtx.decodeAudioData(arrayBuffer))
            //     .then((buffer) => (audioBuffer = buffer));
        };
        getData().then(function () {
            // 创建音频源
            const source = audioCtx.createBufferSource();
            source.buffer = audioBuffer;
            source.connect(analyser);
            analyser.connect(audioCtx.destination);

            // 创建音量节点
            // const gainNode = audioCtx.createGain();
            // gainNode.gain.value = 1 // 设置声音大小

            console.log('source.start');
            source.start(); // 开始播放
            run();
            source.onended = () => {
                console.log('source.onended'); 
                onended()
                stop = true
            }; // 播放完成
            loadOver = true;

            clearArr.push(() => { source.stop() })
        }).catch(err => {
            console.log('getdata-err', err);
        });
    };

    const change = (cb = () => { }) => cbs.push(cb)
   
    return { load, change, destroy };
}

方式 1,直接传递二进制音频数据

js 复制代码
// 获取二进制数据

// data:二进制音频数据
const blobData = new Blob([data], { type: "audio/mpeg" });
const url = window.URL.createObjectURL(blobData);
const upWave = getAuidoData();
upWave.change((data) => {
  // draw({data}) // 绘制
});
await new Promise((c) => upWave.load(url, "", c));

方式 2 使用音频链接

js 复制代码
const upWave = getAuidoData();
upWave.change((data) => {
  // draw({data}) // 绘制
});
await new Promise((c) => upWave.load("xxx.mp3", "", c));

注意:在有些设备(iphone7)上,录音和播放不能同时进行, 在一些iphone上 同时进行回导致 播放声音音量较小

注意:在有些设备上,

绘制实现

绘制实现

相关推荐
EasyNVR4 小时前
EasyRTC:全平台支持与自研算法驱动的智能音视频通讯解决方案
运维·服务器·小程序·音视频·webrtc·p2p·智能硬件
modest —YBW4 小时前
视频HDR技术详解,你的电脑怎么播放HDR视频?
音视频
Jack153027682794 小时前
芯谷D668:便携式录音机与耳机式盒式录音机的理想音频解决方案
嵌入式硬件·音视频·家庭影院·麦克风阵列处理器·便携式录音机·耳机式盒式录音机
深圳市青牛科技实业有限公司 小芋圆4 小时前
芯谷D2761:为扬声器保护而生的音频限幅器
人工智能·科技·单片机·嵌入式硬件·机器人·音视频
xcg3401234 小时前
关于视频抽帧调用虹软人脸识别的BufferedImage读取优化策略
ffmpeg·音视频·视频抽帧
大数据AI人工智能培训专家培训讲师叶梓4 小时前
OmniHuman:一张图+音频生成逼真视频
人工智能·计算机视觉·音视频·实时音视频·图像识别·gpt-4·视频生成
Black蜡笔小新5 小时前
AI大模型驱动的智能音视频通信:视频通话SDK工具EasyRTC在嵌入式设备中的应用探索
人工智能·语言模型·大模型·音视频·webrtc·rtc
枪眼5 小时前
ok113i平台——多媒体播放器适配
音视频·嵌入式linux·t113i
9527华安7 小时前
FPGA实现GTY光口视频转USB3.0传输,基于FT601+Aurora 8b/10b编解码架构,提供2套工程源码和技术支持
fpga开发·音视频·aurora·gty·usb3.0·ft601