有人搜「有没有免费的视频人脸打码软件,不用上传到云端的」。答案是:把识别和遮挡都放在客户端跑,不靠在线API即可实现。
最近深度合成视频的讨论很多。检测模型再更新,面对训练集之外的变体时仍然会漏检。而一旦选择云端管线------视频文件被上传、远程服务返回检测结果------你至少在上传这一步失去了控制权。
本地客户端的核心差异在于:推理过程不需要网络请求。模型权重随安装包分发(qrdet的24MB权重重构为内置),运行时禁止联网下载,弱网环境下不会卡死。
以人脸遮挡管线为例。客户端用YOLO11人脸检测器配合BoT-SORT追踪器完成逐帧跟踪;InsightFace SCRFD仅补关键点,定椭圆遮罩朝向,每张脸下游约3.8ms额外开销。
车牌识别用微调YOLO检测器,低置信度和重叠框额外过滤。二维码则走qrdet(YOLOv8-seg输出多边形轮廓),失败后回退到WeChatQRCode、cv2、pyzbar的级联。
证件号和电话号码OCR按平台分流:macOS用Apple Vision做原图→CLAHE+锐化+放大→反色的多遍识别;其他平台用EasyOCR(CPU)。统一走正则匹配,支持Tier1/2/3三级别格式(中国身份证含X结尾、美国SSN等)。
排查中发现过几个边界情况:硬切转场时追踪器会延续旧ID,导致新画面出现巨型误遮罩;跨镜头人脸淡入期有130~160ms的隐私窗口期。这些不在模型层面解决的话,线上检测再准也会有漏网。
技术方案的选择取决于你的约束条件。能接受上传数据换取精度?走云端管线。需要隐私可控且不依赖网络?本地桌面端方案在macOS和Windows上都能跑。
本文来自抹影的开发笔记。