当前位置: 首页 > 技术资讯

机器视觉在线检测系统的原理和总体设计

发布日期:2016/5/13 11:49:03


    机器视觉检测是建立在计算机视觉和图像处理基础上的一门新兴检测技术,它将图像作为检测的手段,用计算机来模拟人的视觉功能,从二维图像中提取被测工件对象的结构和属性等信息,通过图像处理获得被测工件对象各种可描述参数,并对参数进行理解和判断,最终用于实际检测、测量和控制,具有非接触、测量精度高、适用范围广和自动化程度高的特点。通常机器视觉检测根据工件对象的几何尺寸、形状和表面属性等参数对图像进行检测,并根据检测结果控制执行机构产生相应的动作。机器视觉在线检测系统一般由工业相机、传感器单元、控制单元、光源系统、图像处理单元和执行机构等组成。由于机器视觉在线检测安装在生产线上,与生产线保持同步,其关键技术是检测的实时性,而合理科学的系统总体架构设计是实现实时检测的基础,为此广州汇道电气从机器视觉在线检测系统的工作原理入手,研究高速在线视觉检测系统的总体架构设计,并给出了具体的软硬件设计方案。

2 机器视觉在线检测系统的工作原理
    机器视觉检测模拟人眼对物体识别的过程,是根据人类认知世界以及做出判断的规律设计出的。在线机器视觉检测设备安装在生产线上,实现检测与生产速度的同步,特别是用于高速生产线上产品的检测,其检测速度大大高于人裸眼的检测速度。在线机器视觉检测分为图像获取、图像处理和瑕疵产品的分类三个步骤。图像获取是为了得到高质量的可用于图像检测的二维图像;图像处理的目的是对获取的二维图像进行分析,以判断二维图像是否符合预设的要求,不合要求的二维图像判断为瑕疵产品图像;瑕疵产品分类是将有瑕疵的产品通过执行机构从正常的产品中剔除出来,使得合格产品和不合格的瑕疵产品自动被分成两类。

2.1 图像获取
    由于工业生产效率较高,在生产流水线上的工件在生产线的带动下做高速移动,为了精确的获得高质量的工件图像,需要对工件位置进行精确的感知,同时还要对工件的振动等外界干扰有很好的鲁棒性,这就需要对相机抓拍工件图像过程进行精确控制,因此图像的准确获取是研究的一个重要内容。图像获取部分包括传感器检测、相机控制、相机拍照、工件图像分割与定位四个部分。
为了能够自动的控制相机的曝光时刻,精确抓拍高速运动工件的图像,防止工件图像抓拍不完整或工件图像偏离中心,给后续的检测带来难度,广州汇道提出采用闭环控制方法,其控制过程为:传感器检测到工件的工位信息后,将工件的工位信息发送给相机控制单元,相机控制单元控制相机快门开启,完成相机拍照(工件图像曝光),获取工件图像,该图像传送到工件图像分割与定位单元进行处理,定位出工件图像在整幅图像中的位置,计算出工件图像中心与整幅图像中心的位置偏差,将位置偏差反馈到相机控制单元,相机控制单元根据本次的位置偏差调整下次的相机快门开启时间,以便让工件图像处于整幅图像中心位置,实现相机精确抓拍工件图像的控制。相机控制算法和工件图像分割与定位方法将分别在第三章和第四章中详细论述。

2.2 图像处理
    对工件图像进行快速处理是在线视觉检测的关键,其核心是采用高速的图像识别与匹配算法。为了满足快速实时处理的目的,需要事先对标准工件样本图像进行学习,建立标准样本特征库,然后再将被检测工件图像与标准样本特征库中的特征进行对比,找出被检测工件图像特征与特征库中的特征不相符的部分,若不相符的部分超出规定的范围,即可以判定为瑕疵工件。

2.3 瑕疵产品分类
    瑕疵产品分类单元的作用是根据图像处理单元输出的匹配结果,驱动电气控制与机械执行机构,将有瑕疵的工件从生产线上剔除。由于工件拍照和工件的剔除不在同一个工位进行,需要将图像处理输出的结果进行延时,当工件移动到剔除工位时,再驱动执行机构完成剔除动作。类单元的输入信号,这是一个一位二进制开关型信号,一般设置为高电平(信号为 1)代表有瑕疵产品,低电平(信号为 0)代表合格产品。将该信号输入到FIFO(First Input First Output 先进先出)队列存储器中,FIFO 由工位传感器信号提供同步信号。根据需要延时的工位数设定 FIFO 队列的位数,例如,若工件拍照工位距离工件剔除工位相距 35 个工位,则需将 FIFO 的位数设为 35 位,FIFO 具有存储和延时的双重作用,当延时 35 个工位后,FIFO 输出信号,驱动电磁阀开启或者闭合,完成工件剔除的动作,实现产品的在线分类。

3 机器视觉在线检测系统的总体架构设计
    在机器视觉检测系统中,常常采用数据集中处理的方式即工业相机、光源、传感器、图像处理单元、以及瑕疵分类执行机构的控制均由单一的中央处理器集中完成。这种方式虽然降低了设备设计制造的复杂度和成本,但是也会带来中央处理器负担较重的问题。当生产线速度较快,两个工件之间的时间间隙较小,且需要处理的图像较复杂时,这种方式就难以胜任在线实时检测。为了解决上述机器视觉检测系统难以应用在高速智能制造中的问题,根据两层网络的控制理论,提出基于两层网络控制的机器视觉检测系统架构,采用两层网络的概念将视觉检测系统分为执行器部分、控制器部分(执行器控制)和高层控制器部分(图像处理)三个层次。三个部分之间根据需要通信的数据量采用不同的网络及通信协议。各部分根据数据处理量的要求使用各自不同的中央处理器,做到各层次的控制单元各负其责,相互协作,共同参与,将任务分解完成,实现并行的实时检测。

3.1 两层网络控制的理论基础
    在两层网络控制系统的架构中,第一层网络通常采用现场总线网络或 I/O 总线网络来实现实时控制,第二层网络采用因特网。两层网络之间是本地控制器,本地控制器通过第一层网络与执行器相连,并通过第二层网络与上层的高层控制器相连,控制信息流和其它数据流在第二层网络上共享带宽。这种两层网络架构控制方式灵活,通用性强,可以应用到多种场合的复杂控制中。两层网络控制系统一般由本地控制回路、复杂算法回路和远程控制。

3.2 机器视觉两层网络架构的设计
    根据两层网络控制的系统架构和工作原理,设计基于两层网络控制的视觉检测系统架构。第一层网络连接相机控制器和执行机构(包括:相机、光源、传感器和机械手),执行单元负责数据的采集和指令的执行,相机控制器负责处理执行单元传送来的数据并对执行单元发送指令控制执行单元的动作和状态。执行单元犹如一个人的眼睛和四肢,控制器犹如人的大脑,眼睛获取图像,传送给大脑,然后大脑产生指令控制手脚执行相应的动作。这一部分主要完成工件图像的精确获取和工件的分类等操作。根据执行单元的功能特点,将执行单元和控制器通过第一层网络组合为不同功能的子系统,在工业视觉检测中主要有:光源单元系统、传感器系统、图像采集系统、机械手系统。第二层网络连接相机控制器和图像处理器,这一部分的主要任务是完成图像的快速传输和图像的快速匹配。
优点是设计独立,实现简便,模块间通过网络通信,相互干扰影响小,便于组合,方便将来的维修维护,以及升级换代。而且由于模块之间具有一定的相互独立性,各模块之间通过网络协议相互通信,模块内部的编程相对于较为简单,不会对其他模块产生影响,调试也比较容易。以下重点介绍几个重要的模块设计。

4 机器视觉在线检测系统的硬件模块设计
    根据机器视觉在线检测系统各部分的功能需要,在两层网络控制架构设计的理论指导下,广州汇道提出对机器视觉检测系统的硬件设计采用模块化形式。制回路构成,在本地控制回路中,本地控制器通过对传感器输入的信号进行分析判断,输出控制信号去控制执行器动作。然而,由于本地控制器的计算资源有限,通常采用较为简单的控制算法实现基本的控制功能,对于诸如图像处理等复杂的运算却难以在本地控制器实现,通常将复杂的运算通过复杂算法回路放到高层控制部分实现,高层控制部分可以采用性能更高的处理器。由于千兆网络通信技术和实时 TCP/IP 技术的发展,通常在第二层网络(复杂算法回路)中采用千兆网络传输数据,以实现数据的实时传输。两层网络的信息通过本地控制器转换和传递,构成了远程控制回路。远程控制回路可以实时传递送 I/O 控制信号,满足工业现场的实时控制要求。

4.1 光源单元模块
    在机器视觉检测系统中,检测效果与良好的图像成像质量息息相关,因此好的光源与照明方案往往是整个系统成败的前提基础[97]。光源在视觉检测中的作用不仅仅是简单的照明物体而已,光源与照明方案要合理的配合设计,使得抓取的工件图像尽可能的突出被检特征量,增强检测中瑕疵图像与正常图像的对比度,同时保证相机视场内照明整体均匀,物体在视场内移动不影响成像质量。在机器视觉检测中不同的材质和外形需要使用不同的结构光,一般常用的结构光源有正向光和逆向光,正向光一般称为反射光,逆向光称为背射光。

1) 顶部照明方式:顶部光源照射物体正面,光线比较柔和,没有方向性,实际应用中容易实现,但是成像会有一定眩光,特别是对于表面光滑的金属表面,而且物体边缘缺少对比度。
2) 正面大角度定向照明方式:光源从正面一定角度照射工件表面,入射光线与工件表面夹角较大,表面图像清晰,细节表现力强,可产生必要的阴影,但是若工件表面不平整会有眩光产生,且工件照度呈现不均匀。
3) 碗状漫射光照明方式:光线经半球状内面漫反射后,从半球口散射出来,光线无方向性,光线均匀柔和,不会产生眩光,适合光滑表面照明,但是若需照明工件面积过大,此种方式受到局限,且半球顶部用于相机拍照的开孔部分没有反光,易造成被照工件表面中间变暗,形成不均匀照明。
4) 背光照明方式:光线经晕光板均匀后,从工件背部投射,照出工件的清晰轮廓,容易得到精确度工件边缘,但是该种方式照明容易受到其它光线的干扰。
5) 同轴光照明方式:光线经半反半透镜反射后垂直照射工件表面,光轴与相机镜头的中心轴同轴,能够消除阴影的影响,照明均匀,但是若光线较强也会产生中心部分眩光,需要根据实际应用情况适当调整光强度。

4.2 传感器模块
    传感器的作用是为相机提供工件的位置信息。由于工件在生产线上随着生产线高速运动,准确的获得工件的位置信息非常重要,只有获得了工件的精确位置信息,才能有效地对工件进行拍照,获取完整的包含检测信息的高质量工件二维图像。视觉检测中常用的工件位置传感器分为两类:接近开关型传感器和编码器型传感器。接近开关型传感器包括电磁式接近开关传感器、电容式接近开关传感器、接触式触头传感器和光电开关式传感器等。编码器型传感器包括增量型编码器和绝对值型编码器。在实际使用中根据安装的难易程度和检测工位的特点选择不同类型的传感器。在选定传感器类型的同时,还需要对传感器的响应速度或者编码器的分辨率参数做出选择。传感器的反应速度越快,其价格越高,同样编码器的分辨率越高,需要的处理器的采样速度也越高,这些都会影响传感器模块的成本,因此,合理的选择传感器参数也是工业化应用的一个重要方面。通过比较被检测工件特征和标准特征,判断被检测工件特征是否符合标准特征的要求,据此作出相应的执行结果,如果被检测工件特征与标准库中的特征相符,则认为是合格工件,将合格工件计数增加一,剔除机构不做剔除动作;如果被检测工件特征与标准库中的特征不相符,则认为是有瑕疵的不合格工件,将不合格计数增加,同时驱动剔除机构将不合格工件剔除。


4.3 图像采集模块
    图像采集模块是机器视觉检测的核心模块,其采集的图像质量直接关系到后期的图像处理,从而影响视觉检测性能。图像采集模块的主要元器件是工业相机,因此根据检测内容和检测要求合理的选择相机是图像采集模块设计的主要内容。相机的选择需要考虑到被检测对象(工件)的大小,被检测对象的移动速度,被检测对象的生产频率等因素。工业相机根据其成像方式的不同分为面阵型和线阵型,也称为面扫描型和线扫描型。不同的被检测产品需要选择不同类型的相机,对于独立的个体产品,如瓶盖、电子元器件等,一般选择面扫描型相机,一个产品就是一副图像;对于连续生产的产品,如布匹、钢带、电缆等,一般采用线扫描型相机,产品图像通过连续扫描然后组合而成。除了相机参数和型号的选择外,相机镜头的选择也是实现精确检测的一个重要因素。根据被检测对象的大小选择不同焦距镜头,小的工件需要放大镜头,而大面积的工件需要广角镜头。例如微小电子磁片的图像采集,应采用具有放大功能的镜头,这样才能将微小裂缝的瑕疵放大成像,便于后续的图像处理与检测;而当检测设备在工业制造生产线上的安装空间受限时,需要选择短焦镜头,以便缩小相机与工件的安装距离。广州汇道以在皇冠瓶盖检测系统的图像模块选择为例,给出图像模块设计的实例。因为皇冠瓶盖外观轮廓是直径 30mm 圆形,如果此时的需要检测直径大于 0.5mm 的瑕疵,只需要单边像素达到 30/0.5=60 像素即可。如果将画面的边缘空白考虑进来,拍摄图像达到 60mm×60mm,其分辨像素达到 120×120 即可满足要求,因此选用目前工业界性价比最高的低分辨率的相机,其分辨率为 659×494 像素,完全可以满足精确检测的要求。由于瓶盖生产线每分钟生产速度为 2600 个,每秒钟需要检测 43.4 个瓶盖,因此相机的帧率要大于 44p/s。设备应该留出帧率参数余量,以满足未来升级的要求,顾选择帧率为 100p/s 的相机。同时采用外部触发,触发信号来自位置传感器,且为下降沿触发。为了减少对相机的反复触发和误触发,采用 Frame 方式下降沿触发相机,触发波特图。小角度照明方式:对于工件表面的刮擦,凸起和凹痕等可增强表现力,适合对光滑表面的不平整部分的检测照明,但是光线分布极不均匀。根据上述照明方式的特点,对于不同的检测对象,进行合理的选择和搭配。经过实验验证,在皇冠瓶盖检测项目中,由于瓶盖表面光滑平整,选择了碗状光源组合同轴光源的照明方案。在这个方案中,碗状光源提供均匀的散射光,同轴光源对碗状顶部的空洞留下的照度不均匀进行补偿,调整同轴光源的亮度,使瓶盖的表面照度均匀,此时,瓶盖表面色彩明亮,对比度适中,照度均匀,相机得到高质量的瓶盖图像。

5 机器视觉在线检测的软件设计
    实现高速视觉检测除了在硬件整体架构上采用两层网络架构设计之外,还要有相应的软件设计相配合。根据两层网络视觉检测系统的结构两层网络所连接的三层控制单元分别采用独立的数据处理器。底层的执行机构和相机控制器采用 DSP 做为控制处理器,图像处理单元部分采用运算功能强大工业 PC,这就需要对各部分的控制处理器采用不同的编程语言和编程策略。执行层和控制层采用 DSP 的目的是便于对实时信息做出处理,同时降低硬件成本;图像处理单元采用工业 PC 的好处是编程灵活,CPU 运算能力强大,速度快,便于并行处理图像信号,同时系统界面和用户管理系统也放在工业 PC 中,用户可查询过往检测的数量、不合格产品数量、产品合格率等信息,并据此调整生产。

5.1 相机控制软件
    相机控制软件主要功能是控制相机获取高质量的工件图像。当传感器检测到工件到来信息时,发送触发信号给相机控制软件。相机控制软件中最重要的部分是相机控制算法,相机控制算法根据传感器系统送来的触发信号,以及上一幅工件图像中心偏差的反馈信号,通过算法预测本次触发相机的准确时间,去控制相机拍照。相机拍照后,图像自动存放进入相机的缓存(Buffer)中,同时由软件读取图像,进行工件图像轮廓的提取和中心定位,并计算图像的中心偏差,判定中心偏差是否小于预设的偏差容忍值,若小于,则属于正常的图像,可以进入下一步的图像处理程序;若中心偏差大于,则发出工件剔除信号,同时将中心偏差反馈给相机控制算法,冠瓶盖视觉检测实验平台上,广州汇道选择 U 型光电开关传感器作为工件位置获取传感器,这样可以方便安装,同时降低成本;而在实际生产线上,选择生产设备现有的电磁式接近开关作为工件位置传感器,这样不需要对设备改造,还可以避免重复投资。

5.2 图像处理单元软件
    图像处理单元软件是实现在线检测的关键。为了实现在线快速的检测,尽量减少实时检测时的算法的复杂度,尽可能的将能够线下完成的工作在线下完善好,不占用实时检测的时间。针对工件的表面检测,其图像处理软件分为两个部分:标准特征库的建立和工件图像检测。标准特征库的建立需要在工件图像实时检测前进行,是一个非实时的线下过程,它包括标准图像的采集、特征的提取和特征的存储三个步骤。该部分软件的作用是得到工件图像的标准特征,并将标准特征按照一定的规则存放在存储器中构成特征库,以备进行
图像比较和匹配时作为参照使用。工件图像的检测过程是在线的实时过程,该部分的速度决定了整个检测系统的速度,而在该部分中,特征比较算法是图像检测。


5.3 用户数据管理系统
    用户管理系统是为方便用户操作和数据查询统计而设计。用户管理系统一般包括五个模块:用户登录子系统、工作人员专用子系统、管理人员专用子系统、查询统计子系统和帮助子系统。用户登录子系统用于管理不同用户的登录,例如工作人员登录和管理人员的登录,使用用户名和密码登录后,用户进入不同的界面,一般工作人员进入工作界面,操作权限仅限于对检测产品的选择、增加以及检测参数的微调;而管理人员可以进入更专业的界面,界面除了包括工作人员的所有的权限外,还可以对相机参数和检测参数进行设置,这些操作一般需要专门的专业管理人员操作。查询统计功能可以对某个时段检测的总数量、合格品的数量、不合格品的数量、合格率以及不合格率等进行统计,通过查询这些数据可以对生产质量进行控制,提高产品生产的合格率。帮助子系统主要是一些帮助文档,指导用户学习软件的使用和操作。

6 结论 
    以上介绍了机器视觉在线检测系统的工作原理,分析了机器视觉在线检测的关键难点和问题,提出了基于两层网络控制的高速视觉检测架构的总体设计思想,给出了两层架构下的硬件模块化设计方案和软件的流程图。从硬件总体架构和软件工作流程上为设计高速在线实时检测视觉系统指明了方向。

热点聚焦