【音视频】ffplay解析-音视频同步

音视频同步

主要解析:以音频为基准,让视频合成音频


思路

  • 视频慢了则丢掉部分视频帧(视觉->画⾯跳帧)

  • 视频快了则继续渲染上⼀帧


具体实现

复制代码
一个国际标准:音频帧-视频帧时间戳的差值在-100ms~25ms内流畅
1.差值=音频播放时间戳-视频播放时间戳----diff=pts_audio-pts_video(注意区分!!)
2.判断逻辑:
	(无法感知区间:min=-125ms,max=45ms)
	- max<diff:画后音前,视频落后了,丢帧不渲染(赶进度),直接下一帧
	- min<diff<max:正常渲染
	- diff<min:画前音后,视频超前了,持续显示当前帧,
			   视频播放线程先睡会_阻塞:sleep(diff-max)
			   然后继续渲染当前视频帧

ffplay具体源码

c 复制代码
 /* if video is slave, we try to correct big delays by
    duplicating or deleting a frame
    通过重复帧或者删除帧来纠正延迟*/
 diff = get_clock(&is->vidclk) - get_master_clock(is);

 /* skip or repeat frame. We take into account the
    delay to compute the threshold. I still don't know
    if it is the best guess */
 sync_threshold = FFMAX(AV_SYNC_THRESHOLD_MIN,
                        FFMIN(AV_SYNC_THRESHOLD_MAX, delay));
 if (!isnan(diff) && fabs(diff) < is->max_frame_duration) { // diff在最大帧duration内
     if (diff <= -sync_threshold) {      // 视频已经落后了
         delay = FFMAX(0, delay + diff); // 上一帧持续的时间往小的方向去调整
     }
     else if (diff >= sync_threshold && delay > AV_SYNC_FRAMEDUP_THRESHOLD) {
         // 视频超前
         delay = delay + diff; // 上一帧持续时间往大的方向去调整
         av_log(NULL, AV_LOG_INFO, "video: delay=%0.3f A-V=%f\n",
                delay, -diff);
     }
     else if (diff >= sync_threshold) {
         // 上一帧持续时间往大的方向去调整
         delay = 2 * delay; // 保持在 2 * AV_SYNC_FRAMEDUP_THRESHOLD内, 即是2*0.1 = 0.2秒内
     } else {
         // 音视频同步精度在 -sync_threshold ~ +sync_threshold
         // 其他条件就是 delay = delay; 维持原来的delay, 依靠frame_timer+duration和当前时间进行对比
     }
 }
相关推荐
the3clipse6 小时前
Windows 11 26H2 声音与音频问题排查指南:没声音、麦克风不收音与蓝牙音频优化
音视频·le audio·windows 11 26h2·win11没声音·麦克风没声音·蓝牙耳机音质·音频服务修复
开开心心就好11 小时前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
RobinDevNotes1 天前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
伯奥克客服1 天前
2026年视频综合一体机架构选型:从接口协议到流媒体底层的深度技术解析
架构·音视频
开开心心就好1 天前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
FansAI_art2 天前
多角色 AIGC 短片的双模型分工:静态生图与图生视频怎么接
aigc·音视频
山顶夕景3 天前
【ECCV2026】流式视频理解Thinking in Streaming Video
音视频·vlm·视频理解·多模态理解·流式视频
zhanlang02174 天前
HTML 零基础入门到企业实战【第五章 5.4】内嵌网页 iframe 标签:嵌入网页、视频、地图实战
前端·html·音视频
TengTaiTech4 天前
头戴耳机做运动相机外接麦:一颗麦克风同时服务蓝牙通话与 3.5mm 录音的底层重构
数码相机·音视频·蓝牙·qcc
2301_790355975 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频