一 实时超分音频同步问题:
处理方向:
- 按照胡学长的办法尝试: 前面处理视频, 将视频中音频提取出来, 将音频每隔 1-2 秒保存为一段 (这样将音频缓存在内存中) , 然后依次播放, 但是音频是44.1KHz采样率,每秒44100次的频率. 每次间隔中程序处理的极短时间也会出现不可
在这里插入代码片
避免的卡顿现象(人耳可以感觉到极短时间的声音卡顿). 底层全部实现的话,确实是需要一定时间. - 查看ffmpeg 和 ffplay文档
ffplay -i .\1_output_audio.aac -af "adelay=2000|2000"
使用 -af 参数, 应用音频滤镜,达到延迟效果。
ffmpeg -i .\1.mp4 -itsoffset 2 -i .\1_output_audio.aac -map 0:v -map 1:a -c:v copy -c:a aac output.mp4
使用-itsoffset 2 参数设置输入时间戳的偏移量, 将输入音频流的时间戳延迟 2 秒。
ffmpeg 解转码延迟, ffplay播放延迟均是一种可行性方案.
实际效果:
1. 离线视频:
实现一段离线360P视频实时超分+音视频同步,可以在康佳进行演示。
2. 视频流:
视频流中音频延迟稳定播放已经解决。我使用摄像头的视频流模拟实际电视视频流, 实现了音频的5秒延迟(可设置延迟时间),详细说明可见以下博文:
二 环境部署:
- 康佳PC机:部署超分环境,conda,python,torch, ffmpeg等。
- RK3588重装系统,从零开始部署了全套环境。
下周计划
- 板端整套的代码实现,整个演示系统。
- 模型推理优化加速。