单目视觉系统检测车辆的测距方法（Mobileye单目测距等7种方法）

作者：CV_Community  

来源：计算机视觉社区

本文还是在传统机器视觉的基础上讨论单目测距，深度学习直接估计深度图不属于这个议题，主要通过mobileye的论文管中窥豹，相信离实际工程应用还有很远。

以前提过单目测距的问题，检测的障碍物2-D框加上摄像头的姿态和路面假设。以下根据公开发布的论文讨论具体的算法：

注：深度学习直接估计深度图不属于这个议题。

1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy

5e6387ffc596ab1791ede0e5a71f3a50.png

著名的Mobileye论文，先看成像几何如图：

2cabd62846cab599a427b987e26f504f.png

本车A，前方车B和C，摄像头P焦距f，高度H，和障碍物B/C距离Z1/Z2，B/C检测框着地点在图像的投影是y1/y2。那么y=fH/Z，所以Z=fH/y。下面是三个不同距离的估计结果：

00e2e67c48012d6e71cd2519c71b1204.png

精度测量得到：90米误差大约10%, 44米误差约为5%。

2、Integrated Vehicle and Lane Detection with Distance Estimation

算法流程如下：

671a6c77ba32b5a8d2791f4dac503bc8.png

先是从3个消失点估算摄像头焦距，然后6个2D-3D对应点得到摄像头姿态：

402ca747875529870b657953d3562411.png

基于车道宽度的假设（3.75米），可以算出投影矩阵，随之得到距离公式：

f186e6b78c3332d3dcf75e2668ec99a8.png

565637de8187170273e2f6d2cda5807f.png

下图是一些结果：

a5b7ce57ad46fa1ce99d9bcf076d9196.png

3、Use of a Monocular Camera to Analyze a Ground Vehicle’s Lateral Movements for Reliable Autonomous City Driving

c20f967e2739276f0ccd8662f1522119.png

还是基于消失点原理，加上水平线，可得到道路场景几何关系。

f4c92d51adccf93363bbac246637e541.png

消失点和pitch angle的关系：

4b9d619514cfbb2a2cc4eec601665718.png

从消失点得到pitch angle：

817dc10544b9de9691b7883ba606d4b2.png

4、Robust Range Estimation with a Monocular Camera for Vision-Based Forward Collision Warning System

b2a1c0fbd753eaf9216de51ab1133e63.png

如果车辆宽度已知，那么车距为d=FW/w。

f245492bfc555cc21fdeec5666aa1965.png

e592fc35e6c017257ac1eedc6c0ed1ac.png

如上图，可以计算距离为：

47e5e1c787a0094f6545fce0d40934de.png

整个FCW系统流程图如下：

b30e6189288f299790fe75a240262d70.png

给了一个虚拟水平线的概念，估计它的位置 outside_default.png，Hc为摄像头高度，Yb是车辆框底部的垂直位置。然后可以计算出车辆距离：

6abf2e949cee979f084453ea7ae8c36f.png

5、Robust Vehicle Detection and Distance Estimation Under Challenging Lighting Conditions

1579c7f0b0ea64d6a93adfdd677fe5f6.png

碰撞报警需要估算安全距离。下图几何关系能给出估计距离的公式：

3404bc30a887e761306cb875ce651ddd.png

距离公式为

d6c2c285e2e34d9c5c6f832b4a943d6b.png

下图是IPM的鸟瞰图展示距离：

efb7a338b50fd1edc01498b5cede3e36.png

fee9945243cd1361eda36793f0e0849e.png

041eba20841af89fb1c8fc54c4575640.png

6、Pitch Angle Estimation Using a Vehicle Mounted Monocular Camera for Vehicle Target Range Measurement

bb24a87297ba0240c1d551bb36dc9a06.png

计算特征点运动，由此得到自身摄像头运动，从其平移向量推出pitch angle。

d1a1967f6f21ffb0871dc70ef6f18b4b.png

上图可以计算出前方车的距离：

e98a83a0df2fe50313696f0408a10cd5.png

整个系统流程图如下：

bf2428d6ee8fe895b8f2c4a9ee1ec0c9.png

下面就是从SFM的几何关系推理距离：

99049ca75ab1740481abe69611e41a46.png

9a2a93b22d70c12ffd8bcca2652c58f4.png

看下面的关系可以得到pitch angle：

91629c75be6f83662f9f4c272970b3a5.png

04754cb4500033c12d2d724c2dc72448.png

角度计算公式为

d2ddbc9715d39c5fe26be111fbe95fc6.png

7、Forward Collision Warning with a Single Camera

d9e482ef0ee1abf2f1a728e9d54224d2.png

time to contact (TTC) 直接从车辆的大小和位置得到，下面是流程图：

58da8de6eecb144b91f208ced762f993.png

计算公式：

896afd7161d3219c5c7faa645aba34df.png

1458f0b509dd84ddf99c604a386e8c5b.png

97b31ef905620309a264f762e11f2399.png

324b2d6f71fcea6b96a0372c5f267064.png

bedb6f67e0a977e13c2e15b5b7f088ad.png

8b3b3a02210bc6377a806dd57a09ae23.png

845d4a0d3bd01c544778afee258a828c.png

29e567b1d0cd80a6c1dcc01523a521b2.png

车边框的位置以及光流大小可以确定碰撞的可能性：

e71d6d4d2478eeb10b265feb9290667e.png

e12dc8ac7b1a51e8a3a16708a839f811.png

这里主要是通过简单的几何关系，直接估算检测的路上车辆距离并给出可能的撞击时间。现在深度学习越来越强大，理论上得到车检测边框的同时，也可以回归车的距离。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

f7b1dd510d88cbde21e035b57c0e1bd2.png

▲长按加微信群或投稿

8b395715f12eccde6c5d14db96149e63.png

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

91e604c4905904574975c9fd90d0a10e.png

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~  5d3dc087f490545b723ddd316c429afb.gif