首页 > 技术文章 > 业界/制造 > 使用枯叶图进行更多的空间频率响应测量

使用枯叶图进行更多的空间频率响应测量

52RD.com 2020年4月26日 我爱研发网            参与:4人 我来说两句
  枯叶图对于从随机图案中获得SFR非常有用,并且可以用于测量由于图像和视频流中的降噪或压缩而导致的纹理损失。 在本文中,我们介绍了使用模式和不同分析方法测量相机系统动态范围以及描述SFR对物体对比度和光强度的依赖性的实验结果。 结果可用于增进对现代相机系统性能的了解。 这些系统自适应地工作,并且具有场景感知能力,但是标准图像质量指标无法很好地描述这些系统。
  
  引言
  
  枯叶图本身是在2001年提出的,当时没有用于相机评估。稍后介绍使用此图案的想法。 在随后的出版物中,提出了使用枯叶图来评估噪声。 在本文中,使用枯叶图的不同分析方法来描述成像系统的动态范围。 三种方法给出空间频率响应(SFR)作为空间频率的函数,并从中得出度量。另外,还分析直方图和色彩内容。
  
  DeadLeaves core
  
  Cao等人得到了使用枯叶图进行纹理损失分析的第一个实验的结果。基本思想是利用枯叶图的一个很好的功能:利用灰度值,位置和半径的已知概率函数,就可以预测功率谱分布。 由于我们可以轻松地测量图像中的功率谱,因此仅从这两个信息即可得出SFR(公式1)。

  
  DeadLeaves direct
  
  第一种方法显然遗漏了一个重要点:相机不仅在空间频率传递中去除了(高)空间频率,而且还给图像增加了噪点。 因此,这种噪声还将增加高空间频率,这会干扰测量。 McElvain等人提出了一种解决此问题的方法,并进行了额外的噪声测量。通过从图像中平坦均匀的图块获得的噪声功率谱进行校正可以扩展计算范围(请参见公式2)。
  
  这里的弱点是此方法的基本假设:添加到枯叶图(我们测量PSimage的位置)上的噪声等于添加到平坦的均匀灰色色块(PSnoise)上的噪声。 我们知道许多降噪算法都可以自适应地起作用,因此它们的行为取决于图像内容。
  
  DeadLeaves cross
  
  Kirk等人提出了一种新的方法。使用交叉功率密度φYX(f)(the cross power density)和自功率密度ΦXX(f)(the auto power density)计算传递函数H(f)。
  
  最终报告的SFR是H(f)实部的一维表示。 为了从2D变为1D,需要计算相同频率模量“ f”的所有频谱系数的平均值。 为了能够计算出交叉功率密度,必须将枯叶图的参考数据对齐并与图像数据匹配,以便我们基本上拥有完整的参考测量方法。 尽管前两种方法仅提供幅度响应,但在这种方法中,我们还具有完整的传递函数,包括相移。 所有与图表内容不一致的图像内容只会对SFR产生很小的影响,因此噪声对结果的影响也非常有限。
  
  MTF10和MTF50
  
  结果部分中使用了不同的指标。 两个简单的指标是MTF10和MTF50值。 基本上,这些是代表特定的SFR空间频率。 因此,MTF10值是代表SFR为10%的空间频率,而MTF50值是代表SFR为50%的空间频率。
  
  伪影(artefacts)
  
  分析枯叶图的不同方法之间的主要区别之一是对噪声的敏感性。DeadLeaves_core对噪声非常敏感,而DeadLeaves_cross则对噪声不敏感。我们利用此属性并计算伪影值,作为基于DeadLeaves_core的锐度与基于DeadLeaves_cross的锐度之比。锐度是在0 cy / px至0.5 cy / px的频率范围内SFR的积分。
图1 基于三种不同方法的SFR示例。 DeadLeaves_core受噪声的影响很大,而DeadLeaves_cross则不受此影响
  
  峰度(kurtosis)
  
  此值不是从SFR导出的,而是从图像本身的直方图得出的。为了描述分布的形状,计算了额外的峰度。对于正态分布,该值变为0;对于尖峰分布,该值增大。峰度计算为由第四个分布除以第二个分布的平方。第二个分布是变化的。在这之前,它已被用作描述非线性图像处理(如降噪)的影响的指标。
  
  在这种情况下,可以理解,枯叶图案不提供正态分布,确切的分布取决于特定枯叶图的统计量。 归纳仍然有待研究。 作为指标,它与观测值显示出良好的相关性(更多细节请参见结果)。
  
  CIE-C*
  
  在该测试设置中,使用了彩色的枯叶图图卡。派生的度量标准是平均CIE-C*值,因此,枯叶图的平均CIE-C*值越低,图像饱和度越低。
  
  动态范围测量
  
  摄像头系统的动态范围定义了可以捕获的场景中最亮和最暗区域的比例。 公式5给出了ISO15739中的定义。 典型的测试系统如图2所示。
  
  场景的最亮部分Lmax受饱和度效果的限制,因此,当系统达到饱和时,场景中比Lmax亮的区域不会导致更高的数字值。根据定义,场景Lmin的最暗部分受噪声限制。因此,如果达到1的信噪比(SNR),则会丢失信息,因此Lmin代表SNR = 1的亮度。
图2
    
  一旦这个定义被接受,将会带来一些问题。其中一个问题如图3所示。由于基于HDR图像的多重曝光的传感器,SNR曲线在不同曝光的边界区域产生“SNR下降(SNR drops)”。因此,假设“在Lmin和Lmax之间的亮度都是有用信息“不总是正确的。
图3 多重曝光HDR技术下出现的典型现象:SNR下降
  
  此处:同一传感器的120bB与144dB动态范围配置的比较。
  
  另一个关键问题是非线性图像处理和图像增强。 由于动态范围纯粹基于噪声,这意味着简单的降噪算法可以增加测得的动态范围,而不必增加场景的信息量。
  
  解决此问题的一种方法是使用对比检测概率(CDP)。该度量标准目前正在IEEE-P2020中开发。即使它不能直接解决动态范围,也可以使用图4所示的CDP图来描述导致可接受的CDP值的对比度和亮度的组合。因此,如果我们将动态范围视为在被测系统中提供有意义信号的亮度范围,则可以说CDP映射可用于定义动态范围。
图4 HDR传感器配置的2D对比度检测概率(CDP)图。
  
  使用CDP颜色编码的亮度vs.对比度。对于给定的用例定义,具有较高CDP的区域可以被认为是有用的,并定义了动态范围。
  
  我们使用枯叶图进行了两种不同的方法来测量相机系统的动态范围。
  
  使用不同的曝光拍摄固定亮度的图卡
  
  第一种方法是使用透射式的枯叶图卡,并用灯箱补光。照相机以变化的曝光时间再现了该图卡,如图5所示。然后分析每个图像的不同指标。
图5
  
  通过此设置,已经对D-SLR相机和手机进行了评估。 D-SLR相机(佳能5DMkIII)同时拍摄JPEG和RAW图像,并且曝光时间在1秒和1/8000秒之间变化。 手机(Apple iPhone 11)的操作方式可以手动选择曝光时间,并捕获HEIC图像和DNG图像。
  
  动态目标
  
  对于动态图卡测量,被测相机的测试目标包括三个枯叶图,每个枯叶图都有可调节的亮度。 这样选择设置(图6),以便可以在场景中生成较大的动态范围。 起点是所有三个图卡的亮度相同。 一个光源保持恒定(左上方),另一个光源每次提高100%(左下方),另一个光源亮度降低50%。
图6 用于动态测试的测试设置。三种透射式枯叶图的光源
  
  上:所有具有相似亮度的光源。底部:亮度差异很大的设置。请注意右上角的鬼影。
  
  结果
  
  图7显示了佳能5DMkIII D-SLR相机在不同曝光下得到的JPEG图像的MTF10和MTF50的值。我们可以看到,非常亮和非常暗的图像也会导致较低的分辨率值。我们观察到其中一个区域的值比较稳定。
  
  图8显示了Apple iPhone 11得到的DNG图像的不同指标。这些DNG已使用dcraw转换为JPEG,然后进行了分析。我们可以看到,MTF10和MTF50值在很宽的范围内是恒定的,并且仅在非常明亮、过度曝光
52RD.com  微博关注:http://weibo.com/52rd  微信关注:admin_52RD
版权所有
转载前请联系作者。
已有0位网友发表了看法 我来说两句
读取...
相关报道
评 论
文章导航 Navigation
精彩评论 CommentMORE>
52RD网友:这对夫妇先买了一个很厚全包的硅胶手机壳,然后套上保护壳之后再录入的指纹,这么厚的硅胶手机壳超声波根本就是无法完全穿透的,而手指静…
Galaxy S10指纹解锁被硅胶套破解 三…
52RD网友:在中高端市场,OPPO/VIVO 面对华为的强力打压,几乎没有任何还手之力!无奈之下玩起了魅族几年之前就玩过的套路,面向中低端市场玩性价比来…
卢伟冰:入门机不应该是电子垃圾,Red…
52RD网友:来看看三星都做了些啥? 当年三星故意压低闪存的价格,其他厂商为了竞争,也不得不跟上降价的步伐。但是越跟越不对劲,怎么三星开始亏…
芯片价格趋稳和受益于华为遭美封杀 …
52RD网友:有几家的芯片应该影响还是比较大的, 基于美帝赛灵思FPGA之上开发的,这一下也是被断炊了,直接就不用发布了, FPGA就是睾丸命门,…
海康威视、依图、旷世、大华等公司被…
52RD网友:你个是金立,死了还要诈尸,一个锤子不承认自已已经死,坐看你如何复活。
罗永浩证实新机为字节推出的首款坚果…
赞助商链接 Support
特别推荐 Recommend