由于项目需要对视频中的人脸做定位跟踪，
我先使用了人脸识别算法，对视频中的每个帧识别人脸、通过人脸库比对，最终记录坐标等信息。
然后使用ffmpeg中的 drawbox 滤镜功能，选择性的绘制区域。从而实现人脸定位跟踪
1、drawbox
在FFmpeg中，drawbox 滤镜的 enable 参数用于控制矩形框绘制的条件和时机。通过这个参数，你可以指定在何时或者在哪些帧上启用 drawbox 滤镜。
enable 参数的语法
drawbox=enable='条件表达式':x=...:y=...:w=...:h=...:color=...:t=...
1.1、常用条件表达式
条件表达式通常是一个布尔表达式，当表达式的值为 true 时，drawbox 滤镜将会被应用。
注意在eq函数中的 反斜杠 \
1.1.1、基于帧编号 (n)
n 表示当前帧的编号，从 0 开始计数。
-
示例 : 仅在第50帧绘制矩形框：
enable='eq(n\,50)'解释 :
eq(n\,50)表示当帧编号等于50时启用。
1.1.2、基于时间 (t)
t 表示视频当前的时间（单位：秒）。
-
示例 : 在视频的第1秒到第2秒之间绘制矩形框：
enable='between(t,1,2)'
1.1.3、基于帧间隔 (mod)
你可以使用 mod 函数来基于帧间隔绘制矩形框，例如每隔 10 帧绘制一次。
-
示例 : 每10帧绘制一次矩形框：
enable='mod(n\,10)'解释 :
mod(n\,10)表示n除以10的余数为0时启用滤镜，即每10帧启用一次。
1.1.4、基于帧关键帧 (key)
key 表示关键帧的布尔值，1 表示关键帧，0 表示非关键帧。
-
示例 : 仅在关键帧上绘制矩形框：
enable='key'解释: 当帧是关键帧时启用滤镜。
1.2、组合条件表达式
你可以通过逻辑操作符（如 and, or, not 等）组合多个条件。
示例：在关键帧中且时间在第1秒到第2秒之间绘制矩形框
enable='key*between(t,1,2)'
示例：从第50帧到第100帧之间，且帧编号是5的倍数时绘制矩形框
enable='between(n,50,100)*eq(mod(n,5),0)'
1.3、完整脚本
ffmpeg -i input.mp4 -vf "drawbox=enable='between(n,50,150)':x=100:y=50:w=200:h=100:color=red@0.5:t=5" output.mp4
参数说明：
x=100: 矩形框的左上角 x 坐标。y=50: 矩形框的左上角 y 坐标。w=200: 矩形框的宽度。h=100: 矩形框的高度。color=red@0.5: 矩形框的颜色和透明度（0.5 表示半透明）。t=5: 边框的厚度。设置为t=fill时表示填充整个矩形。-frames:v 1: 提取第1帧的结果。
上述命令表示 选择帧在50，100之间，绘制(100,50) 到（300，150）的红色区域
注：
如果需要截取某一帧的图片，并保存，使用如下命令
ffmpeg -i input.mp4 -vf "drawbox=x=100:y=50:w=200:h=100:color=red@0.5:t=5" -frames:v 1 output.png
2、批量绘制
需要针对一个视频，进行大批量自定义帧，自定义区域绘制
2.1、使用concat组合多个drawbox
如果需要处理的帧较多，可以使用FFmpeg的滤镜链来组合多个 drawbox 滤镜。这里需要定义每个 drawbox 的启用条件和对应的矩形参数。
假设你需要在第1到第5帧上绘制不同大小的矩形框：
ffmpeg -i input.mp4 -vf "
[0:v]drawbox=enable='eq(n\,1)':x=10:y=10:w=100:h=50:color=red@0.8:t=2,
drawbox=enable='eq(n\,2)':x=20:y=20:w=150:h=75:color=blue@0.8:t=2,
drawbox=enable='eq(n\,3)':x=30:y=30:w=200:h=100:color=green@0.8:t=2,
drawbox=enable='eq(n\,4)':x=40:y=40:w=250:h=125:color=yellow@0.8:t=2,
drawbox=enable='eq(n\,5)':x=50:y=50:w=300:h=150:color=purple@0.8:t=2
" output.mp4
解释：
- 在第1帧（
n=1）绘制一个红色的矩形框。 - 在第2帧（
n=2）绘制一个蓝色的矩形框，依此类推。
这种方法适合帧数量较少的情况，随着帧数的增加，命令行也会变得更复杂。
2.2、使用编程语言生成滤镜链
对于100多帧，手动编写每个滤镜配置可能非常繁琐。你可以使用Python等编程语言生成FFmpeg的滤镜配置脚本。
Python 代码生成滤镜链
以下是一个简单的Python脚本，它可以根据输入生成相应的FFmpeg命令：
frames = [
{"n": 1, "x": 10, "y": 10, "w": 100, "h": 50, "color": "red@0.8"},
{"n": 2, "x": 20, "y": 20, "w": 150, "h": 75, "color": "blue@0.8"},
{"n": 3, "x": 30, "y": 30, "w": 200, "h": 100, "color": "green@0.8"},
# 继续添加帧的配置...
]
filters = []
for frame in frames:
filters.append(
"drawbox=enable='eq(n\,{n})':x={x}:y={y}:w={w}:h={h}:color={color}:t=2".format(
n=frame["n"], x=frame["x"], y=frame["y"], w=frame["w"], h=frame["h"], color=frame["color"]
)
)
ffmpeg_command = "ffmpeg -i input.mp4 -vf \"{}\" output.mp4".format(",".join(filters))
print(ffmpeg_command)
这个脚本将生成一个适用于FFmpeg的命令，可以根据需要调整帧号和矩形框的参数。
3、Java完整代码
在下面的代码中，进行转码时，只保留视频部分，音频部分被移除
如果需要可以使用
-c:a copy 代替 -an
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import java.io.BufferedReader;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.List;
import java.util.concurrent.TimeUnit;
/***
* ffmpeg 命令工具，要求主机必须已安装ffmpeg命令
* @author xuancg
* @date 2024/8/19
*/
@Slf4j
public class FfmpegUtil {
/**进行视频区域绘制并进行视频截取 只提取视频，忽略声音 */
private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf \"[0:v]%s\" -ss %s -to %s -an -y %s";
private static final String RECT_FORMAT = "drawbox=enable='eq(n\\,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";
/**
* 先经过批量的视频帧区域绘制，然后在进行视频剪裁
* @param src 输入文件
* @param rectList 区域绘制
* @param startTime 剪裁开始时间00:00:03
* @param endTime 剪裁结束时间 00:00:23
* @param dest 目标文件
* @return
*/
public static boolean drawRectByBatchFrame(File src, List<FrameRect> rectList, String startTime, String endTime, File dest) {
String source = src.getAbsolutePath();
String output = dest.getAbsolutePath();
if(!src.isFile()){
log.error("源文件不存在source=" + source);
return false;
}
if(dest.exists()){
log.error("目标文件已存在dest=" + output);
}
long start = System.currentTimeMillis();
Process process = null;
BufferedReader reader = null;
try {
int size = rectList.size();
StringBuilder builder = new StringBuilder();
for (int i = 0; i < rectList.size(); i++) {
FrameRect rect = rectList.get(i);
builder.append(String.format(RECT_FORMAT,
rect.getFrameIdx(), rect.getX(), rect.getY(), rect.getWidth(), rect.getHeight()));
if(i < size - 1){
builder.append(",");
}
}
String cmd = String.format(RECT_CUT_FORMAT,source.replace("\\","/"), builder.toString(),
startTime, endTime, output.replace("\\","/"));
log.info("ffmpeg执行命令=" + cmd);
// 执行命令
process = Runtime.getRuntime().exec(cmd);
// 获取命令输出结果
reader = new BufferedReader(new InputStreamReader(process.getErrorStream()));
String line;
while ((line = reader.readLine()) != null) {
log.debug(line);
}
process.waitFor(120, TimeUnit.SECONDS);
return dest.isFile() && dest.length() > 100;
} catch (IOException e) {
e.printStackTrace();
} catch (InterruptedException e) {
log.error("剪裁视频超时source=" + source);
} finally {
if(null != process){
process.destroy();
}
if(null != reader){
try {
reader.close();
} catch (IOException e) {
log.error("关闭流失败" + e.getMessage());
}
}
log.info("耗时ms=" + (System.currentTimeMillis() - start));
}
return false;
}
@Data
public static class FrameRect {
private int frameIdx;
private int x;
private int y;
private int width;
private int height;
/**
* 区域外扩10像素
* @param detail
*/
public FrameRect(VideoDetail detail){
this.frameIdx = detail.getFrameIdx();
this.x = detail.getLeftX() - 10;
this.y = detail.getTop() - 10;
this.width = detail.getRightX() - detail.getLeftX() + 20;
this.height = detail.getBottom() - detail.getTop() + 20;
}
}
}
ffmpeg部分脚本命令如下
ffmpeg -i G:/download/20240618121820-video.mp4 -vf "[0:v]drawbox=enable='eq(n\,102)':x=1141:y=158:w=90:h=90:color=red@0.8:t=2,
drawbox=enable='eq(n\,104)':x=1165:y=167:w=94:h=94:color=red@0.8:t=2,
drawbox=enable='eq(n\,105)':x=1179:y=169:w=94:h=94:color=red@0.8:t=2"
-ss 00:00:02 -to 00:00:08 -an -y G:/download/20240618121820.mp4
视频效果如下图
使用eq单独帧，任务较多，
后续可以使用between 范围帧
4、补充说明
在Ubuntu环境下，java代码执行脚本命令出现No such filter 等一系列错误，但命令单独在linux环境下执行无问题。
[AVFilterGraph @ 0x5591410a5080] No such filter: '"'
[AVFilterGraph @ 0x5591410a5080] No such filter: '[0:v]drawbox=
[AVFilterGraph @ 0x55a38dea3680] No such filter: '"drawbox'
调整代码，不再使用双引号，反斜杠
/**进行视频区域绘制并进行视频截取 只提取视频，忽略声音 */
private static final String RECT_CUT_FORMAT = "ffmpeg -i %s -vf [0:v]%s -ss %s -to %s -an -y %s";
private static final String RECT_FORMAT = "drawbox=enable='eq(n,%d)':x=%d:y=%d:w=%d:h=%d:color=red@0.8:t=2";
之前的代码如下：
