做动作讲解、产品演示或操作复盘时，经常需要在某一帧停下来，把局部放大，让观众看清细节，再接着播放。画面处理很容易先做出来：截取一块区域，放大，停留几秒，恢复原画面。真正容易漏掉的是声音。画面多停了 4 秒，原音轨却继续往前播放，恢复后的动作就和声音错位了。
下面用一个可以自动复现的例子解决这个问题：原视频 2 秒、24 fps，共 48 帧；播放完第 12 帧后插入 4 秒放大特写，再接回第 13 帧。修正版应当有 144 帧、6 秒 ，音频在成片 0.5～4.5 秒静音，之后接回原音轨的 0.5 秒位置。本文既生成直接沿用原音的错误版，也生成修正版，再分别检查画面和声音。
测试使用自行生成的几何画面与 880 Hz 测试音，不涉及真人或商业素材。本次环境为 OpenCV 5.0.0、NumPy 2.5.2、FFmpeg 7.1；Python 示例通过 imageio-ffmpeg 定位本地 FFmpeg 程序。下文只处理单个、从零开始的固定帧率视频和一条音轨，多次插入及可变帧率的边界会单独说明。
目录
- 先确定特写是否改变视频长度
- 把原片和成片的时间线对齐
- 用OpenCV实现放大、停留和缩回
- 用FFmpeg拆开原音并插入静音
- 运行案例，核对错误版与修正版
- 多次特写、无音轨和异常输入怎么处理
- 发布前验收与参考资料
一、先确定特写是否改变视频长度
"放大特写"至少有两种做法。第一种是在原有时间内叠加放大窗口，视频继续播放，总时长不变；第二种是冻结当前画面，插入一段独立特写，再恢复播放，总时长增加。两者的声音策略完全不同。如果没有先定清楚这一点，前端选项、视频生成和音轨处理很容易各做一套。
| 方式 | 视频时间线 | 合适的声音策略 | 适用情况 |
|---|---|---|---|
| 原时间内局部放大 | 不增加时长 | 原音通常保持原时间线 | 连续演示、不中断的动作观察 |
| 冻结并插入特写 | 插入期间原片不前进 | 插入静音、旁白或独立配乐，之后续接原音 | 分步讲解、动作点评、重点停留 |
本文采用第二种，并明确规定：特写期间为静音。若产品需要旁白，可以用长度一致的旁白段替换静音段，时间映射仍然成立。背景音乐是否连续属于另一项设计决策，应和现场原音分轨处理。
实现上分两步更容易检查：OpenCV 负责生成加了特写的画面序列；FFmpeg 负责拼接对应的音频段并输出 MP4。这样既能检查帧数，也能单独验证声音是否在正确位置停止和恢复。
图1：原片 48 帧，增加 96 帧特写；画面和声音必须使用同一个插入边界。
二、把原片和成片的时间线对齐
先统一帧号口径。本文文字里的"第 12 帧"从 1 开始计数，它在原片中显示的时间区间是 [11/24, 12/24)，即约 0.458～0.500 秒。播放完第 12 帧再插入特写，插入边界才是 0.500 秒。 把帧的开始时间和播放后的边界混为一谈，会带来一帧的音画偏移。
本例的视频与音频应按下面的区间重建：
| 成片区间 | 成片帧号 | 画面来源 | 音频来源 |
|---|---|---|---|
| 0～0.5 秒 | 1～12 | 原片第 1～12 帧 | 原音 0～0.5 秒 |
| 0.5～4.5 秒 | 13～108 | 固定第 12 帧，生成 96 帧特写动画 | 4 秒静音 |
| 4.5～6 秒 | 109～144 | 原片第 13～48 帧 | 原音 0.5～2 秒 |
特写内部再分为三段：放大 1 秒，也就是 24 帧；停留 2 秒，也就是 48 帧；缩回 1 秒，也就是 24 帧。应根据实际写入帧数计算插入时长，避免界面上写"4 秒"，循环却多写或少写几帧。
图2：原片后半段从成片 4.5 秒继续播放；画面和原音都整体后移 4 秒。Excel 中的时间条与文字均可编辑。
三、用OpenCV实现放大、停留和缩回
转场要保留两套矩形：源裁切框 决定从固定帧里取什么内容；展示框决定这块内容在成片中放在哪里、显示多大。两者混用会导致放大时内容漂移，或缩回时无法对齐原画面。
示例画布为 640×480，源裁切框采用 (120, 90, 360, 330)，按左、上、右、下定义，是一块 240×240 的正方形；目标展示框为 (30, 30, 450, 450)，大小 420×420。两者宽高比相同，可以直接缩放。实际素材宽高比不同时，应保持比例并留边，或者明确执行裁切，不能任意拉伸人物或产品。
让参数 u 从 0 变化到 1，再用 a = u²(3−2u) 计算缓动系数。每个矩形坐标都用 起点 + (终点−起点)×a 插值。该曲线的首尾速度为零，可以减轻突然启动、突然停止的视觉跳变；它只平滑展示位置，不生成新的动作帧。
python
def smoothstep(u):
u = min(1.0, max(0.0, u))
return u * u * (3 - 2 * u)
def focus_frame(frame, u):
a = smoothstep(u)
if a == 0:
return frame.copy()
source = (120, 90, 360, 330)
target = (30, 30, 450, 450)
x1, y1, x2, y2 = [round(s + (t - s) * a)
for s, t in zip(source, target)]
canvas = (frame.astype(np.float32) * (1 - 0.65 * a)).astype(np.uint8)
patch = frame[90:330, 120:360]
canvas[y1:y2, x1:x2] = cv2.resize(patch, (x2 - x1, y2 - y1))
return canvas这里每一帧都从同一张冻结画面裁切，再缩放到当前展示框。不要把上一次已经放大的图继续放大，否则重复插值会积累模糊。恢复时先让展示框回到原位置，再继续读取原片第 13 帧；特写期间不消费后续原片帧。
python
# frame_no 从 1 开始；writer 始终以 24 fps 写入同尺寸画面。
writer.write(frame)
if frame_no == 12:
for i in range(96):
if i < 24:
u = i / 23 # 放大：0 到 1，共 24 帧
elif i < 72:
u = 1.0 # 停留：48 帧
else:
u = (95 - i) / 23 # 缩回：1 到 0，共 24 帧
writer.write(focus_frame(frame, u))OpenCV 的 VideoWriter 文档说明写入器按配置的帧率与尺寸接收画面。本例每张写入图都保持 640×480，不把局部裁切图直接当成完整视频帧；退出循环后释放写入器，再交给 FFmpeg 读取。
图3：源裁切框始终固定在原第 12 帧，变化的是展示框的位置、尺寸和背景亮度。
四、用FFmpeg拆开原音并插入静音
如果把加特写后的无声视频和原音直接合并，视频虽然是 6 秒，原音仍在前 2 秒播放完。给声音末尾补 4 秒静音也无效，因为错误发生在中间的 0.5 秒处。正确顺序是：前 0.5 秒原音 → 4 秒静音 → 原音剩余 1.5 秒。
处理每段原音时，atrim 负责取时间区间，asetpts=PTS-STARTPTS 把该段时间戳重新归零，之后才能按段拼接。FFmpeg 的 atrim 文档说明裁切不会自动重设时间戳；concat 文档要求各段从零时间戳开始。
下面是本例实际使用的滤镜结构。输入 0 是已经增加特写的无声视频，输入 1 是原视频：
python
graph = (
"[1:a:0]asplit=2[a0][a1];"
"[a0]atrim=start=0:end=0.5,asetpts=PTS-STARTPTS,"
"aformat=sample_rates=48000:channel_layouts=stereo[before];"
"anullsrc=r=48000:cl=stereo:d=4[silence];"
"[a1]atrim=start=0.5:end=2,asetpts=PTS-STARTPTS,"
"aformat=sample_rates=48000:channel_layouts=stereo[after];"
"[before][silence][after]concat=n=3:v=0:a=1[audio]"
)
subprocess.run([
ffmpeg, "-y", "-i", "focus_silent.mp4", "-i", "source.mp4",
"-filter_complex", graph, "-map", "0:v:0", "-map", "[audio]",
"-c:v", "libx264", "-pix_fmt", "yuv420p", "-c:a", "aac",
"-movflags", "+faststart", "synced.mp4"
], check=True)显式映射视频与音频，能避免程序意外选到原片视频流或旧音轨。本例也没有依靠 -shortest 隐藏时长差：如果直接沿用只有 2 秒的原音，再按短流结束，可能把已经生成的特写成片截断。应该先证明两个流的时间安排正确，再决定交付端的截断或补齐策略。
五、运行案例，核对错误版与修正版
配套演示脚本会生成带帧号的几何源片、带特写的中间视频、错误版 unsynced.mp4、修正版 synced.mp4 和机器可读报告。它不调用识别模型，帧数和音频处理问题可以单独复现。安装 OpenCV、NumPy 与 imageio-ffmpeg 后运行：
text
python tools/build_focus_timeline_demo.py --output-dir focus_demo本次实际解码结果为 144 帧 ，按 24 fps 对应 6 秒 。成片第 109 帧应恢复原第 13 帧，我们比较这两张解码图，三通道平均绝对像素差为 2.58/255。经过两次有损编码，像素不会逐字节相等；该数值适合作为本合成样片的回归证据，并不是任意视频的通用合格线。
案例图1：实际导出的成片中，特写期间保留原帧号 12，恢复后显示 13；数字可帮助核对是否跳过或重复了原片帧。
音频从三个时刻各截取 0.2 秒，解码成 48 kHz 单声道、16 位有符号采样。每个完整区间应有 48000×0.2=9600 个样本，再计算均方根幅度（RMS）：
| 抽检区间 | 错误版 | 修正版 | 说明 |
|---|---|---|---|
| 0.2～0.4 秒 | 9600 样本，RMS 2048.83 | 9600 样本，RMS 2048.83 | 插入前两者都正常 |
| 1.0～1.2 秒 | 9600 样本，RMS 2042.03 | 9600 样本，RMS 0.00 | 错误版在特写期间继续放原音 |
| 4.8～5.0 秒 | 无音频样本 | 9600 样本，RMS 2045.23 | 修正版已经续接原音 |
"没有样本"和"样本值为零"必须区分。前者表示该位置没有可解码的音频数据，后者才是一段有效静音。检查器如果把两者都当成 RMS=0，就可能把音轨提前结束误判为正确的静音处理。
图4：同样的测试音在错误版停顿期间继续播放；修正版中间有有效静音，后段恢复有声。RMS 不是分贝值。
本轮七项集成检查通过：输出帧数、恢复画面匹配、插入前有声、插入中静音、插入后有声，以及错误版在停顿中有声、尾段没有音频样本这两个反例。RMS 能验证音频区间是否存在及是否静音；真实人声还要用拍手、落地声、口型等同步事件复核，单一测试音不能证明每一个字的时刻都正确。
六、多次特写、无音轨和异常输入怎么处理
推广到多个特写时，应先把插入点全部记录在原片时间坐标 上，再统一生成视频和音频。假设原片 0.5 秒、1.2 秒各插入 4 秒，第二次特写在成片中的起点就是 1.2+4=5.2 秒。不能把第一次处理后的成片时间误当成第二次的原片时间，否则偏移会重复累加。
对于原片时刻 t，若它位于若干插入点之后，对应成片位置就是 t + 之前插入时长之和。程序宜保存"原边界、实际插入帧数、实际插入秒数、成片边界"，画面和声音都从同一份记录生成。
| 情况 | 处理要求 | 应检查什么 |
|---|---|---|
| 原片没有音轨 | 走无声输出分支，或按产品要求补全程静音 | 不能继续引用不存在的 1:a:0 |
| 插入点重复或乱序 | 按原片时间排序；重复点合并或明确拒绝 | 不能产生负长度音频片段 |
| 裁切框出界或宽高为零 | 裁到画面范围并验证尺寸；无有效区域时停止 | 避免 resize 收到空图 |
| 帧率为非整数 | 先决定实际插入帧数，再换算实际秒数 | 音频长度不能仍使用未经量化的界面秒数 |
| 可变帧率视频 | 依据实际时间戳编辑，或先规范化时间轴 | 帧号÷名义帧率 可能不准确 |
| 插入位置靠近语句中间 | 复核切点，必要时微调或加入短淡出淡入 | 防止语句被切断、切口产生突变 |
本例只覆盖一处固定时长插入、单音轨和固定帧率。上表中的多事件与特殊媒体情况是扩展时要补的验证项，不能用这一次通过替代全部场景。
图5：这次实际完成了生成、编码、重新解码和声音抽检；正式交付仍需复看裁切范围与试听接缝。
七、发布前验收与参考资料
自动生成特写时，建议把正式结果登记放在最后：先写临时文件，确认编码进程成功，完整解码输出，再核对帧数、恢复位置和音轨区间。播放器能打开只是一项检查；少了后半段、特写中继续播放原音、恢复时跳过一帧，都可能仍然得到一个"可播放"的 MP4。
这套方法适用于教学视频、产品细节讲解、体育动作点评和操作演示。决定交付质量的关键是让源裁切区域、展示动画、插入帧数和音频分段引用同一条时间线。选好关键帧之后，仍需把它准确地放入成片，并让声音在同一位置恢复。
参考资料：OpenCV VideoWriter、FFmpeg atrim、FFmpeg concat。配套完整演示脚本和实测报告提供本文的合成输入、处理过程和验收结果。