首页 > 技术文章 > 业界/制造 > 几何相机校准的新维度

几何相机校准的新维度

52RD.com 2020年4月26日 我爱研发网            参与:1人 我来说两句
  有许多测试图卡和软件可以确定相机的固有几何校准,包括失真。但是所有这些设置都有一些共同的问题。它们限于有限的物体距离,并且需要较大的测试图以在更大的距离上进行校准,并结合高强度且均匀的照明。在生产线上,解决此问题的方法通常是使用中继透镜,而中继透镜本身会引入几何畸变,因此需要进行补偿。
  
  最初针对太空应用开发了一种克服这些问题和局限性的解决方案,并且已经成为校准卫星摄像机的常用方法。现在,已经存在这样的方案:将光具座上的实验室设置变成了一种商业化的产品,可用于校准各种用于不同应用的相机。该解决方案基于衍射光学元件(DOE),该衍射光学元件被扩展的激光二极管光束产生的平面波照射。除了常规方法之外,所提出的方法还提供了照相机的外部定向,因此允许照相机彼此调节。
图1 汽车成像中距离分析的几何校正
  
  许多应用都需要对相机进行几何表征和校准。在摄影测量中,距离是在图像中测量的。在常规摄影中,在图像处理中测量并补偿畸变,并且在汽车应用中,基于所测量的相机或立体相机基于几何特性来计算到物体的距离。
  
  为了表征原始场景的摄像机到成像平面上的几何映射,经常使用诸如棋盘格,点阵图样或十字形网格之类的规则结构的图卡,如图2。


图2 用于几何校准的测试图卡的典型结构
  
  这些结构被打印在测试图卡上,然后用被测相机拍摄。根据摄像机的视场和校准的目标距离,测试图需要具有一定的大小,并且需要根据所需的精度和采样率(像素)选择网格点的大小和数量。为了通过使用测试图进行几何校准来克服对有限物距的限制,使用中继透镜是一种常见的方法。但是这些中继透镜并不是完美的,因此也会在图像中引入几何误差,这需要在测量中进行补偿。
  
  基于DOE的几何表征原理
  
  对于基于DOE的几何校准会使用激光。激光的波长和衍射光学元件本身定义了所形成的点的网格。原则上,可以使用任何波长,只要它随时间稳定并且DOE合适即可。这意味着可以对可见范围内的任何波长进行校准,如果需要,也可以对近红外范围内的波长进行校准。来自激光的光束被高质量的准直器(collimator)扩展,并且光学平面波入射到DOE上。 DOE生成实际上源自无限的点的规则网格。这些点由相机成像,并在成像平面上形成网格。根据栅格相对于扩展激光束的方向、摄像机对激光束的方向以及摄像机的变形,栅格的缩放、修改和偏离其理想结构的方式都会发生变化。通过对理想网格的修改,可以计算DOE的方向,相机的焦距,相机的原理点,相机的方向及其变形。
图3 基于几何特征的DOE原理
  

  可以使用齐次坐标计算网格投影空间

  
  其中l是激光的波长,F是光栅的频率,计算为Fx,y = nx,y / gx,y,其中n是衍射级,而g是光栅常数。
  
  r描述了对DOE上非垂直入射角的校正。
  
  当摄像机投入使用时,必须针对摄像机旋转(矩阵)R和平移向量t校正d,但是等式表明图像平移向量t不变。
  
  现在,需要使用以下方法将齐次坐标投影到摄像机的成像平面上:
  
  相机矩阵K使用针孔模型描述了焦距f和主点u0,v0的影响。
  
  最后但并非最不重要的一点是,相机失真会起作用。 在大多数情况下,可以使用径向模型并将其描述为:
  
  其中:r=x2+y2
  
  例如,在汽车应用中,在照相机前有挡风玻璃的情况下,引入的畸变不能通过旋转模型来描述。在这些情况下,需要使用改进的方法,如ISO 17850中描述的局部几何变形。
  
  根据描述的测量和计算,可以得出以下值:
  
  •原理点u0和v0
  
  •焦距f
  
  •失真系数k1,k2,k3
  
  •相对于入射扩展平面激光束的DOE角
  
  •摄像机相对于入射扩展平面激光束ω,φ,κ的角度
  
  角度ω,φ,κ不能用其他大多数方法得出。 结合平移不变性,所提出的方法是将多个摄像头彼此调整的理想方法,这些摄像头位于DOE的正前方(例如,将手机中的多个摄像头模块彼此调整)。
  
  另一个非常积极的方面是设计的紧凑性,如图4所示。
图4
  
  可以将光栅的频率调整为适合系统的焦距。对于更长的焦距,光栅的频率需要更高,以便具有足够的光斑进行评估。即使对于视角为125°的摄像机,该方法也会在所有角落创建网格点。
  
  图5显示了由视场角为125°的摄像机生成的点栅格的图像。图6显示了视场角为100°的摄像机生成的点栅格的图像。
图5

图6
  
  测试结果
  
  有测试描述了能够实现的结果,在此转载:
  
  “实验是使用Dalsa 1M28-SA(这是单色CMOS相机)和半专业数字单镜头反光相机Nikon D2X进行的。这两款相机均使用676.4 nm的波长进行了校准,从而允许校准广角镜所需的最大衍射角为59.96°。在将DOE对准准直仪系统200’’之后,首先通过直接镜头反射将摄像机对准DOE系统(#1),从而确定Dalsa的主点T位于[521,481],Nikon的主点T位于[2153,1430]。这种方法的精度约为3-4个像素。表3和表4给出了获得的结果,并以像素尺寸表示了内部方向(u0,v0,f)。外部摄像机方位(ω,φ,κ)和DOE倾斜度(α,β)以准直仪坐标系的形式给出,并以度数表示。用于校准的点数用n表示。
表1
  
  
  Dalsa 1M28-SA的测试
  
  由于相机的分辨率较低,并且使用了广角短焦镜头,因此选择了“ 29×29” DOE进行校准。为了证明内部和外部方向参数是独立且可分离的,拍摄了具有不同外部方向(数据集#2和#3)的图像。此外,通过经典的摄影测量棋盘格图案对相机进行了校准。取得的结果列于表2。
表2
  
表3
  
  模型和测量点之间的残差标准偏差小于0.2像素(<2μm),每个数据集的最大误差为1像素。将内部方向的参数从一个数据集中应用到另一个数据集时,仅将外部方向的参数最小化会导致相似的残差。一个主要的误差源是在子像素尺寸中为每个衍射点定位质心的不确定性。 当预测点相当小时,则更具挑战性。此外,4.8毫米广角镜的畸变非常强,在这种情况下使用的畸变模型是合理的。
  
  尼康D2X进行了第二个测试系列,以证明该方法也适用于高分辨率相机。此处使用了衍射点密度更高的”71×71” DOE。根据用于校准的波长,仅评估红色通道。从对准的系统(#1)开始,并且不根据准直仪框架更改相机方向,而是使用DOE倾斜的图像进行拍摄(#2,#3,#4)。此外,更改了摄像机的外部方向(#5和#6),使DOE保持倾斜。当旋转用于测量#6的相机时,DOE的支架被相机镜头触碰,从获得的值中可以得出DOE倾斜在此触碰期间略有变化。值得注意的是,为了获得稳定的校准结果,显然不需要DOE相对于入射激光束的精确对准。使用等式3,可以很好地重现外部摄像机在准直器坐标系方面的方向和内部摄像机参数,以进行测量(#2,#3,#4)。对于所有测量(#1 ...#6),与Dalsa相比,分辨率更高,因此子像素位置更准确,失真模型更好,因此标准差小于0.1像素(< 0.4μm),每个数据集的最大残差小于0.3像素。”
  
  应用
  
  已经显示了新技术的准确性以及相对于传统方法的优势。 现在是时候研究应用程序领域了。 当然,该技术可以应用于需要精确几何校准的所有区域。首先,有2维取景使用图像形式的映射来测量距离和角度并需要准确的信息。这些是经典的摄影测量应用程序,建筑,科学摄影,环境美化等。下一个领域是需要多个摄像机使用立体技术或简单地将具有多个特征的摄像机彼此对准的应用程序,例如手机,红外和可见光摄像机中的摄像机模块。AR和VR技术以及汽车摄像头模块。最后但并非最不重要的是,有些相机将多种技术结合在一个设备中,例如用于3D分析的结构投影(例如手机中的人脸检测)。
  
  结论
  
  已经表明,基于DOE的几何校准方法仅需要捕获生成的结构的单个记录,并且至少与使用基于测试图的常规方法一样准确。另外,它提供了将摄像机调整为参考摄像机或其他摄像机所需的外部定向。通过使用非常紧凑的设计,它可以在无穷远处进行校准。
52RD.com  微博关注:http://weibo.com/52rd  微信关注:admin_52RD
版权所有
转载前请联系作者。
已有0位网友发表了看法 我来说两句
读取...
相关报道
评 论
文章导航 Navigation
精彩评论 CommentMORE>
52RD网友:这对夫妇先买了一个很厚全包的硅胶手机壳,然后套上保护壳之后再录入的指纹,这么厚的硅胶手机壳超声波根本就是无法完全穿透的,而手指静…
Galaxy S10指纹解锁被硅胶套破解 三…
52RD网友:在中高端市场,OPPO/VIVO 面对华为的强力打压,几乎没有任何还手之力!无奈之下玩起了魅族几年之前就玩过的套路,面向中低端市场玩性价比来…
卢伟冰:入门机不应该是电子垃圾,Red…
52RD网友:来看看三星都做了些啥? 当年三星故意压低闪存的价格,其他厂商为了竞争,也不得不跟上降价的步伐。但是越跟越不对劲,怎么三星开始亏…
芯片价格趋稳和受益于华为遭美封杀 …
52RD网友:有几家的芯片应该影响还是比较大的, 基于美帝赛灵思FPGA之上开发的,这一下也是被断炊了,直接就不用发布了, FPGA就是睾丸命门,…
海康威视、依图、旷世、大华等公司被…
52RD网友:你个是金立,死了还要诈尸,一个锤子不承认自已已经死,坐看你如何复活。
罗永浩证实新机为字节推出的首款坚果…
赞助商链接 Support
特别推荐 Recommend