通用串行总线(universal serial bus, USB)具备传输速率快、可靠性强、价格低廉、支持即插即用以及便于扩展等特点,现已广泛用于外设与计算机的数据交换^[1],近年来,在工业相机应用领域也出现了USB的身影.然而,在工业领域,对于图像采集的要求越来越高,如实时性、高速率传输和系统尺寸要求等,如何确保USB工业相机的图像采集鲁棒性,成为一个不可回避的问题.在实际应用过程中,如果采取直传直取的方式,将会出现图像数据丢失的情况,特别是当所需传输带宽接近满载时,该情况更为凸显.

针对上述问题,本研究分析其根源,认为主要受帧同步的实现方式、数据缓存、USB 2.0非归零反向编码(no return to zero inverse code, NRZI)方式等的影响.为此,提出相应的解决方案,研制了一款1 280×1 024@30 帧/s的USB 2.0工业相机,并进行实验测试.结果表明,所提方案传输速率达到39 Mbyte/s,实现了接近USB 2.0实际传输带宽上限的稳定传输,解决了传统方案里图像传输丢帧和图像错乱的问题,并使相机具备图像帧自动纠错功能.

在图像采集的过程中,需实现帧同步,即确定一帧图像数据的起始与终止,而所采取的帧同步方式将会影响图像采集的鲁棒性,这对基于USB 2.0的图像采集也不例外.

一种常用的帧同步方式可通过触发USB 2.0控制器外部中断的方案来实现.根据图像传感器的时序特点,如图1,图像的场信号与行信号均为高电平有效,当场信号处于上升沿时预示着一帧图像的起始位置,下降沿时预示着一帧图像的结束.通常情况下,USB 2.0工业相机会使用到现场可编程门阵列(field programmable gate array, FPGA)等可编程逻辑器件,若FPGA检测到场信号上升沿,进而触发中断,使能USB 2.0控制器的片选信号,以此处作为图像采集的起始位置,之后通过数据包计数的方式确定一帧图像的数据,再将其显示,即可实现图像的帧同步.然而,这种帧同步方式未能使图像采集具备鲁棒性,一旦发生图像数据的丢失,将出现错帧现象,图像被分割成多部分,即一帧图像中既包含了当前帧的数据又包含了上一帧的数据,由于该方案并不具备容错校正机制,所以只能通过再次重启传输来消除错帧现象.

图1 CMOS图像传感器时序图
Fig.1 Timing diagram of CMOS sensor

通过帧校验的方式在一定程度上能提升图像采集的鲁棒性.但通过分析可知,若在数据采集过程中,持续发生数据丢失,将会出现无法采集到图像的现象.

表1展示了USB 2.0工作于不同传输类型时的数据传输速度.由表1可知,当USB 2.0工作于批量传输时的传输速度最快,此时的带宽可达53 Mbyte/s.但由于计算机系统会带有一些输入/输出的人机接口设备,如鼠标和键盘等,会占用一部分USB 2.0的带宽,实际用于数据传输的最大带宽应以42 Mbyte/s做为参考^[2].然而,实验表明,当数据传输使用直传直取的方式,且所需带宽接近USB 2.0实际传输带宽上限(>32 Mbyte/s)时,数据丢失将非常严重.

分析发现,上述问题的根源并非带宽不足,而是此带宽均为平均带宽,并非实时带宽.同时,Windows操作系统是一种基于时间片轮询多任务非实时操作系统^[3],当多个任务同时运行时,基于USB 2.0的图像采集线程有可能在某些时刻未能及时读取来自USB 2.0接口的数据,而对一个实时图像采集系统而言,来自前端图像传感器的数据是不间断传输的.虽说一般情况下,USB 2.0控制器具备一定容量先入先出(first input first output, FIFO)队列的数据缓存空间,但容量较小,随时都可能发生数据的溢出和覆盖,从而导致错帧,进而影响图像采集的鲁棒性.

表1 USB 2.0的数据实际最大传输速度[2]
Table 1 Maximum USB 2.0 actual data transmission speed

综上可见,若额外添加数据缓存空间,则可降低数据溢出覆盖的风险,提高图像采集的鲁棒性.常见的数据缓存方案可通过FPGA实现对静态随机存取存储器(static random access memory,SRAM)^[4]或双倍速率同步动态随机存储器(double data rate,DDR)^[5]的读写控制,以实现异步FIFO功能,虽说这可使缓存的空间较大,但该方案需要较多的FPGA逻辑资源,因此要选用较高端的FPGA.此外,由于USB 2.0的带宽和传输速度限制,只需较小的数据缓存空间即可满足稳定传输的需求,所以该方案会造成资源浪费,令成本增加,且该方案亦会增加电路系统的复杂度,提高了空间需求,在一些要求系统尺寸较小的情况下,该方案并非较佳选择.

为此,本研究提出使用FPGA内部资源实现数据缓存的方式来规避使用SRAM和DDR器件的不足.通过使用FPGA厂家提供的异步FIFO IP核(intellectual property core)例化1个FIFO,用以增大数据缓存的空间,只需使用FPGA内部的随机存取存储器(random access memory,RAM)资源,无需外部存储器件的支持,且因该FIFO为异步的,其读写控制和读写时钟均可独立,所以不会影响到数据的不间断传输,从而保证了图像采集的实时性.该FPGA 中的FIFO操作需配合USB 2.0控制器进行.以CY7C68013为例,其内置的FIFO标志位FLAGA和FLAGB可分别配置为FIFO满信号和FIFO将满信号,将满标志位使能的阈值是可编程的.此处需注意:由于标志位传递至FPGA具有一定的延迟,若使用FLAGA将有可能导致FIFO溢出,所以需使用FLAGB作为判据.此外,还需使用FPGA中的FIFO空标志位rdempty来判断是否可对其进行读操作,以避免读取无效的图像数据.实现数据缓存的流程如图2.

图2 数据缓存流程图
Fig.2 Flow chart of data cache

USB 2.0作为一种串行总线,使用的编码方式为NRZI^[6],其基本原理如图3.用信号的翻转代表一个逻辑,信号保持不变代表另外一个逻辑.在USB 2.0串行总线的传输中,电平翻转代表逻辑0,电平不变代表逻辑1.

图3 NRZI的基本原理
Fig.3 The basic principle of NRZI

分析图3可知,位元填塞机制会影响USB 2.0的实际带宽,因为强制填塞的逻辑0也占用传输带宽,且此码为无效编码,当传输的数据为长时间的逻辑1时,该无效的逻辑0将不断出现,即每7个数据中有1个数据无效,在此情况下数据传输的带宽将下降1/7.而在图像采集的过程中,该情况是可能出现的,如图像过曝时,以模数转换器(analog-to-digital converter, ADC)分辨率为8 bit为例,则此时传输的大部分数据均为255,换算成二进制即为11111111,此时将会不断触发位元填塞机制.以全帧图像过曝做个简易分析,此时USB 2.0的有效带宽为原来的6/7,对于数据传输所需带宽接近满载的情况,将会因带宽不足而发生严重的数据丢失.

为消除NRZI编码带来的影响,本研究提出一种数据钳位的方案,以消除NRZI编码方式对USB 2.0传输带宽的影响.该方案在FPGA中将来自前端图像传感器的数据限制在0～248范围内,248对应的二进制数为11111000,避免了长时间的逻辑1,从而降低触发位元填塞机制的几率.当数据上传至上位机时,再将其映射到0～255范围,从而使基于USB 2.0的数据传输具备较高且稳定的有效带宽.

本研究所研制的USB 2.0工业相机的总体框架如图4.

图4 USB 2.0工业相机架构
Fig.4 Architecture of USB 2.0 industrial cameras

42×6/7=36 Mbyte/s<39 Mbyte/s(1)

实验表明,如果采用直传直取的方式,只能进行1 280×1 024@15帧/s稳定的图像采集,若只使用前文所提的帧同步和数据缓存方案,以1 280×1 024 @30帧/s采集过曝图像时,将会发生数据丢失的现象.

FPGA部分使用的是Altera MAX 10系列产品中的10M02SCM153I7G.该产品价格低廉,封装尺寸小,且集成了配置闪存,有利于系统的精简化,芯片上具备2 kbit 逻辑元件(logical element, LE)资源和108 kbit RAM资源,且有丰富的输入/输出(input/output, IO)接口,满足该系统的整体需求.

USB 2.0部分使用的是Cypress的CY7C68013 USB 2.0控制器.该控制器内部集成了1个USB 2.0收发器,串行接口引擎(serial interface engine, SIE),增强型的8051核,4 kbyte的FIFO存储空间、16 kbit RAM资源和通用可编程接口(general programmable interface,GPIF),I2C(inter-integrated circuit)总线接口等资源^[7].通过以FPGA作为核心,CY7C68013配置于Slave FIFO从设备的工作模式,并配置其工作于批量传输的模式,根据表1,在该模式下USB 2.0具备较快的传输速度,具体硬件连接如图5.

图5 FPGA与CY7C68013的硬件连接
Fig.5 Hardware connections of FPGA and CY7C68013

通过设计相应电路,编写对应的FPGA代码和CY7C68013固件程序,完成系统搭建.表2是该系统FPGA芯片上资源的使用情况.其中,LE资源使用所占的比例为19%; RAM资源使用比例较高,为89%,98 304 bits即12 kbyte,这主要是为了在FPGA中生成较大的缓存FIFO; 引脚使用率为32%,主要用于与图像传感器的连接和对CY7C68013 slave FIFO从设备的读写操作,使用1个锁相环(phase locked loop, PLL)资源,用于产生系统所需的时钟资源.

通过上位机可对所搭建的系统进行图像采集测试.图6为实际采图的情况,图的底部显示了图像采集的一些参数,本实验中图像分辨率为MT9M001的最大分辨率1 280×1 024像素,帧率(frame rate)为30,即相机工作于1 280×1 024@30帧/s状态.图中帧率显示非精确的30帧的原因是,上位机采用采集多帧图像数据取平均速率的方式计算帧率,所以帧率显示部分会有所波动.实验中以Success数目代表成功采集的图像数目,以Failed数目代表因发生错帧和数据丢失的图像数目,如图6下方的测试数据所示,经两个多小时的连续采集测试,Success的计数为23 6541,Failed的计数为0,帧率保持在30帧,说明通过上述方案,可使系统在充分利用USB 2.0传输带宽的同时,具备传输鲁棒性.

表2 FPGA片上资源的使用情况
Table 2 The usage of FPGA resource on-chip

图6 图像采集实验
Fig.6 The experiment of image sampling

本研究针对USB 2.0工业相机传输带宽使用接近满载时,出现的图像数据丢失问题进行了深入阐述与分析,并基于此研究结果研制出一款1 280 × 1 024@30帧/s的USB 2.0工业相机.实验结果表明,该相机可充分利用USB 2.0的有效传输带宽,且具备图像采集容错校正机制,克服了图像传输丢帧和图像错乱问题,系统运行具备鲁棒性.