动态视觉传感器：从图像获取的方式革新机器视觉

　　机器视觉已经越来越多地代替人类进行视觉信息的获取，帮助处理复杂的现实生活环境。靠着算法的提升，机器视觉的处理速度、跟踪物体准确能力已经有了很大的改善，但是在处理复杂的现实环境时，还是会有误差大、计算量大、功耗大的问题。

　　尽管可以继续改善算法，但是我们有没有想过：我们是否在获取图像数据的方式上就出错了呢?

　　人眼以及相配套的视觉系统是非常精妙的，机器视觉要能媲美人眼，或许应该从人眼的工作原理入手，进行仿生。

　　图像传感器和人类视网膜的区别

　　机器视觉系统靠着图像传感器获取图像，它的工作方式是将捕捉到的光学信息转换成电信号，以此来表示每个像素点的灰度以及颜色，从而完成对整个场景的重现。

　　传统图像传感器可分为CCD和CMOS两类，随着集成电路工艺的发展，CMOS以其体积小、工作电压低、性能稳定等优点使得应用更广。就拿手机来说，它的摄像素质很大程度上决定于CMOS。

　　

 

　　传统CMOS每一时刻只是检测光照的绝对强度，而人眼的视网膜却不是一个静态的“感光底片”。

　　视网膜也可以说是一种生物的“图像传感器”，它的任务是接收光信息并分析然后交递大脑。视网膜上有不同的细胞类型，最底层的是光感受器，负责将光信号转换为电信号。

　　值得注意的是，电信号强度并不随着光照线性变化，视网膜会根据区域内的亮度调整，目的是增加所见图像的对比度，所以人眼比相机的动态范围(Dynamic Range)要大得多。

　　如下图的一副风景图所示，人眼看到的是靠上的大图，但是照相机拍摄的则是下方三种(分别曝光时间短、中、长)。

　　

 

　　我们人眼所看到的并不是“真实”的自然场景，相机看到的反而是，因为相机真实地反映了视野中每一个点的亮度绝对值。(相机的HDR模式则是多次曝光然后再用算法模拟人眼的成像画面)

　　视网膜上有多种类细胞，呈层级结构，前一层级神经元的电活动会分泌神经递质作用在下一级上，引起下一级神经元的电活动。这种结构使得人类视网膜拥有几十条并行的输出通道，每个通道都进行复杂的非线性信号的处理。

　　

 

　　经过不同通道的处理，视觉系统所强调的不只是光的检测，而是对比、颜色、深度、边界检测等等特征信息，这就是人类视觉系统的高明所在。

　　另外，人类的视觉是没有“帧率”这一概念的，我们的眼睛不是一个高速拍照的摄像机，而摄像头的运作方式是等时间间距采样，每一张拍摄画面成为一帧。

　　这种“间断”的拍摄方式会带来很多问题，这意味着计算机需要逐帧处理图像，带来惊人的计算量，提高帧率将带来更大的计算量，这一缺点在拍摄高速运动的物体时相当明显。

　　

 

　　传统计算机视觉因此饱受冗余数据的困扰，无法进行高效和低功耗的运动目标追踪与识别。

　　而人类因为清晰的视网膜细胞分层和不同视觉通道，具有超高的分辨率，灵敏的响应速度，强大的并行处理能力，功耗也非常低，能够对场景中的特征信息进行提取而不是单纯的如同普通CMOS那样对光照强度进行绝对的数值化呈现，这些优点是目前计算机视觉望尘莫及的。

　　动态视觉传感器(dynamic vision sensors)

　　科学界无数次成功的经验都在告诉我们，仿生这条路走得通。模仿人类脑神经元的卷积神经网络打造出了强大的人工智能，模仿人类视网膜结构也应当能给机器配备强大的视觉能力。

　　最近几年“Event-based Camera”(基于事件的相机)这一概念开始兴起，动态视觉传感器(DVS)就是其中一类。

　　在动态视觉传感器中，对于单个像素点，只有接受光强度发生改变时，才会有事件(脉冲)信号输出。比如说亮度增加超过一个阈值，那么将增加一个该像素点亮度增加的事件。这一特性模仿的是视网膜中视锥，ON与OFF型双极细胞和ON与OFF型神经节细胞构成的这一条视觉通路。

　　

 

　　假如画面中的单个像素点没有变化，那么传感器将只会保留之前的记录数值，不会如同传统摄像机那样造成冗余的数据和多余的计算。

　　DVS传感器对亮度变化的响应不是线性的，而是对数的。每一个数据都由事件的地址(对应像素位置)以及事件的性质(变亮还是变暗)等组成。

　　

 

　　仿视网膜神经系统的阵列结构不会对每个神经单元产生的事件进行单独的数据处理，而是将同类的事件数据放到同一个通道，按照时间顺序异步输出，延迟很低，几乎立即输出。

　　

 

　　没有了帧的限制，可以用任何所需的速度播放这些事件，运动的像素点通过一个高速的通道读出，如同一串三维点云的流动一样流畅。

　　

 

　　DVS的这些特性使其可以拍摄高速运动的物体，即便物体运动非常快，也能拍摄清楚并且以任何速度播放。而且它比高帧率摄像机更能胜任这项任务，不会如同基于帧率的摄像机那样产生大量的冗余数据，对运算资源、能耗造成浪费。

　　

 

　　DVS的各种优点

　　DVS的高灵敏度，无需特殊照明的特点使得其可以稳定地胜任一些低亮度的环境。它还具备高动态范围(HDR)的优点。

　　结语

　　国内外一共有三个团队具备完整开发DVS传感器的能力，国内的芯仑科技，瑞士的InLabs，法国的Chronocam，目前这三家都属于初创阶段。

　　DVS具有高灵敏度的优点，且冗余数据接近于零，使得其有实时监测动态信息的能力，能够解决现在的机器视觉的很多问题。

　　不过DVS也有其局限性，尽管是对视网膜的仿生，但是它只能获取光照的强度变化，对于其他的深度、边缘、对比、颜色等特征信息没有办法读取和分析。

　　看好DVS，更期待未来的完全体仿生视网膜硅图像传感器。