关于大疆
大疆创新在无人机视觉领域拥有深厚积累,双目视觉系统在避障、悬停定位、场景感知中发挥核心作用。面试注重算法原理与嵌入式平台工程实践的深度结合。
第1题:张正友标定法的核心原理
答案要点:
假设标定板在Z=0平面,世界点到图像投影通过单应性矩阵H=K*[r1,r2,t]建立。棋盘格角点可用Harris检测到亚像素精度。
一张照片不够------单张只提供2个内参约束,至少3张不同姿态才能解出全部内参和畸变参数。大疆无人机内置在线自标定模块,环境变化时持续微调外参。
第2题:极线约束与基础矩阵/本质矩阵
答案要点:
对极几何:左图点p1在右图中的对应点p2一定在极线上。F矩阵7自由度(含内参+外参),E矩阵5自由度(仅外参)。从E恢复R,t通过SVD分解得到4组候选解,用三角化确定哪个使所有点在相机前方。
第3题:SIFT vs ORB特征提取选型
答案要点:
SIFT用DoG检测+128维浮点描述子,ORB用FAST检测+32字节二进制描述子。大疆选ORB因为嵌入式平台算力有限,ORB用XOR+汉明距离匹配比SIFT浮点L2快两个数量级。
ORB尺度不变性通过图像金字塔弥补,结合IMU高度先验和多传感器融合。
第4题:SGM双目立体匹配算法
答案要点:
SGM四大步骤:匹配代价计算(Census变换)→代价聚合(多方向DP)→视差选择(WTA)→视差优化。P1惩罚小视差变化,P2惩罚视差跳变(梯度大处P2小允许边缘跳变)。
大疆选SGM而非全局算法(Graph Cut),因为SGM在FPGA上可流水线实现,30-60FPS实时运行。
第5题:视差与深度的三角测量
答案要点:
Z=f*B/d。1像素视差误差导致的深度误差随Z²爆炸增长。基线设计需要权衡:低空避障用短基线(测近距离),高空用适中基线。大疆配备多组双目相机不同朝向和基线设计。
第6题:Lucas-Kanade光流法
答案要点:
三个假设:亮度恒定、小运动、空间一致性。大运动时泰勒展开线性近似失效,通过图像金字塔解决------顶层缩小运动,逐层传递结果。
大疆视觉里程计用金字塔LK光流跟踪特征点,比特征匹配法更快(无需计算和匹配描述子)。
第7题:视觉里程计核心流程
答案要点:
2D-2D VO流程:特征提取→匹配→本质矩阵E估计(8点法+RANSAC)→从E恢复R,t→三角化恢复3D点。
纯旋转时E=0无法求解,用单应性矩阵H或IMU辅助。平面场景本质矩阵退化,同时算F和H自动选择。
第8题:多视图几何与三角化
答案要点:
DLT三角化从投影方程u=PX出发,叉乘消去深度因子构造AX=0,SVD分解取最小奇异值对应向量。误差来源于像素匹配噪声+位姿估计误差+退化几何+远距离小视差。
工程上通过BA优化最小化重投影误差进一步精化3D点。
第9题:相机畸变模型与校正
答案要点:
径向畸变由透镜形状不完美导致(桶形/枕形),切向畸变由透镜与成像平面不平行导致。鱼眼相机FOV>120°时用Kannala-Brandt模型或等距投影模型。大疆双目用广角镜头而非鱼眼,因大畸变会使极线校正困难。
第10题:双目视觉系统工程实战
答案要点:
视差图大面积空洞排查四维度:硬件(镜头污损/机械振动/温度漂移)、标定(外参退化/内参不准/基线偏移)、算法(弱纹理/重复纹理/过曝/遮挡)、环境(强光/雨雾/低对比度)。
大疆的处理:白斑滤波去噪、时域中值滤波除抖动、视差范围动态调整、在线自标定补偿。