关于视频抽帧调用虹软人脸识别的BufferedImage读取优化策略

背景说明:

1、在使用 FfmpegFrameGrabber 调用本地视频文件,逐帧读取视频内容

复制代码
FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(file);
// 不读取音频,否则frame.image = null
grabber.setAudioStream(-1);
grabber.start();

2、遍历所有帧

复制代码
while(true){
    // 抓取目标帧
    Frame frame = grabber.grabFrame();
    if(frame == null){
        break;
    }
    if(frame.image == null){
      continue;
    }
}

3、frame转BufferedImage

在大部分的网站搜索中,通常使用Java2DFrameConverter 函数进行frame提取转换,

但占用过多CPU

复制代码
import com.arcsoft.face.FaceInfo;
import com.arcsoft.face.enums.ImageFormat;
import com.arcsoft.face.toolkit.ImageFactory;
import com.arcsoft.face.toolkit.ImageInfo;import org.bytedeco.javacv.FFmpegFrameGrabber;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.Java2DFrameConverter;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.nio.ByteBuffer;

Java2DFrameConverter jfc = new Java2DFrameConverter();
BufferedImage bufferedImage = jfc.getBufferedImage(frame);
ImageInfo imageInfo = ImageFactory.bufferedImage2ImageInfo(bufferedImage);

4、采用读取Frame.image直接获取

复制代码
ImageInfo imageInfo = new ImageInfo();
imageInfo.setWidth(frame.imageWidth);
imageInfo.setHeight(frame.imageHeight);
imageInfo.setImageFormat(ImageFormat.CP_PAF_RGB24);
imageInfo.setImageData(convertByteArray((ByteBuffer)frame.image[0]));
复制代码
private  byte[] convertByteArray(ByteBuffer buffer)   {
    int length = buffer.remaining();
    // 创建目标 byte[] 数组
    byte[] result = new byte[length];
    int offset = 0;
    // 复制每个 DirectByteBuffer 的内容到 byte[] 数组
    buffer.get(result, offset, length);
    buffer.rewind(); // 重置缓冲区位置
    return result;
}

部分参数的变动需要参考读取帧Frame对象的内容做适当调整

参考 Java2DFrameConverter 的 getBufferedImageType()

复制代码
public static int getBufferedImageType(Frame frame) {
        int type = 0;
        if (frame.imageChannels == 1) {
            if (frame.imageDepth != 8 && frame.imageDepth != -8) {
                if (frame.imageDepth == 16) {
                    type = 11;
                }
            } else {
                type = 10;
            }
        } else if (frame.imageChannels == 3) {
            if (frame.imageDepth == 8 || frame.imageDepth == -8) {
                type = 5;
            }
        } else if (frame.imageChannels == 4 && (frame.imageDepth == 8 || frame.imageDepth == -8)) {
            type = 6;
        }

        return type;
    }
相关推荐
却道天凉_好个秋2 分钟前
音视频学习(三十六):websocket协议总结
websocket·音视频
【余185381628002 小时前
碰一碰发视频源码搭建定制化开发:支持OEM
音视频
EQ-雪梨蛋花汤2 小时前
【Part 3 Unity VR眼镜端播放器开发与优化】第四节|高分辨率VR全景视频播放性能优化
unity·音视频·vr
菜包eo6 小时前
基于二维码的视频合集高效管理与分发技术
音视频
文浩(楠搏万)6 小时前
用OBS Studio录制WAV音频,玩转语音克隆和文本转语音!
大模型·音视频·tts·wav·obs·声音克隆·语音录制
aqi0012 小时前
FFmpeg开发笔记(七十二)Linux给FFmpeg集成MPEG-5视频编解码器EVC
android·ffmpeg·音视频·流媒体
花开花落的个人博客14 小时前
ESP32-S3开发板播放wav音频
音视频
顾道长生'20 小时前
(Arxiv-2025)通过动态 token 剔除实现无需训练的高效视频生成
计算机视觉·音视频·视频生成
每次的天空1 天前
Android-自定义View的实战学习总结
android·学习·kotlin·音视频
爱分享的飘哥1 天前
【V6.0 - 听觉篇】当AI学会“听”:用声音特征捕捉视频的“情绪爽点”
人工智能·音视频