食品行业机器视觉系统

　　概述

　　机器视觉（Machine vision）

　　机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。

　　基本构造

　　一个典型的工业机器视觉系统包括：光源、镜头、 相机（包括CCD 相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。

　　系统可再分为：主端电脑（Host Computer）、影像撷取卡（frame Grabber）与影像处理器、影像摄影机、CCT镜头、显微镜头、照明设备、Halogen光源、LED光源、高周波萤光灯源、闪光灯源、其他特殊光源、影像显示器、LC机构及控制系统、PLC、PC-base控制器、精密桌台、伺服运动机台。

　　工作原理

　　机器视觉检测系统采用CCD照相机将被检测 的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。

　　工作原理图

　　机器视觉系统的典型结构

　　照明

　　照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

　　镜头

　　FOV（Field Of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）镜头选择应注意：①焦距②目标高度 ③影像高度 ④放大倍数 ⑤影像至目标的距离 ⑥中心点 /节点 ⑦畸变

　　相机

　　按照不同标准可分为：标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同的相机和高分辨率相机：线扫描CCD和面阵CCD；单色相机和彩色相机。

　　图像采集卡

　　图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。

　　比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。

　　视觉处理器

　　视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。现在由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以现在视觉处理器用的较少了。

　　应用领域

　　机器视觉的应用主要有检测和机器人视觉两个方面：

　　1. 检测：又可分为高精度定量检测（例如显微照片的细胞分类、机械零部件的尺寸和位置测量）和不用量器的定性或半定量检测（例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测）。

　　2. 机器人视觉：用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上（即料斗拣取问题）。至于小范围内的操作和行动，还需要借助于触觉传感技术。

　　此外还有：（1）自动光学检查（2）人脸侦测（3）无人驾驶汽车

　　机器视觉特点

　　1.摄像机的拍照速度自动与被测物的速度相匹配，拍摄到理想的图像；

　　2.零件的尺寸范围为2.4mm到12mm，厚度可以不同；

　　3.系统根据操作者选择不同尺寸的工件，调用相应视觉程序进行尺寸检测，并输出结果；

　　4.针对不同尺寸的零件，排序装置和输送装置可以精确调整料道的宽度，使零件在固定路径上运动并进行视觉检测；

　　5.机器视觉系统分辨率达到1600×1200，动态检测精度可以达到0.02mm；

　　6.废品漏检率为0；

　　7.本系统可通过显示图像监视检测过程，也可通过界面显示的检测数据动态查看检测结果；

　　8.具有对错误工件及时准确发出剔除控制信号、剔除废品的功能；

　　9.系统能够自检其主要设备的状态是否正常，配有状态指示灯；同时能够设置系统维护人员、使用人员不同的操作权限；

　　10.实时显示检测画面，中文界面，可以浏览最近几次不合格品的图像，具有能够存储和实时察看错误工件图像的功能；

　　11.能生成错误结果信息文件，包含对应的错误图像，并能打印输出。

　　应用实例

　　1. 基于机器视觉的仪表板总成智能集成测试系统

　　EQ140-II汽车仪表板总成是我国某汽车公司生产的仪表产品，仪表板上安装有速度里程表、水温表、汽油表、电流表、信号报警灯等，其生产批量大，出厂前需要进行一次质量终检。检测项目包括：检测速度表等五个仪表指针的指示误差；检测24个信号报警灯和若干照明9灯是否损坏或漏装。一般采用人工目测方法检查，误差大，可靠性差，不能满足自动化生产的需要。基于机器视觉的智能集成测试系统，改变了这种现状，实现了对仪表板总成智能化、全自动、高精度、快速质量检测，克服了人工检测所造成的各种误差，大大提高了检测效率。

　　整个系统分为四个部分：为仪表板提供模拟信号源的集成化多路标准信号源、具有图像信息反馈定位的双坐标CNC系统、摄像机图像获取系统和主从机平行处理系统。

　　2. 金属板表面自动控伤系统

　　金属板如大型电力变压器线圈扁平线收音机朦胧皮等的表面质量都有很高的要求，但原始的采用人工目视或用百分表加控针的检测方法不仅易受主观因素的影响，而且可能会绘被测表面带来新的划伤。金属板表面自动探伤系统利用机器视觉技术对金属表面缺陷进行自动检查，在生产过程中高速、准确地进行检测，同时由于采用非接角式测量，避免了产生新划伤的可能。其工作原理图如图8-6所示；在此系统中，采用激光器作为光源，通过针孔滤波器滤除激光束周围的杂散光，扩束镜和准直镜使激光束变为平行光并以45度的入射角均匀照明被检查的金属板表面。金属板放在检验台上。检验台可在X、Y、Z三个方向上移动，摄像机采用TCD142D型2048线陈CCD，镜头采用普通照相机镜头。CCD接口电路采用单片机系统。主机PC机主要完成图像预处理及缺陷的分类或划痕的深度运算等，并可将检测到的缺陷或划痕图像在显示器上显示。CCD接口电路和PC机之间通过RS-232口进行双向通讯，结合异步A/D转换方式，构成人机交互式的数据采集与处理。

　　该系统主要利用线阵CCD的自扫描特性与被检查钢板X方向的移动相结合，取得金属板表面的三维图像信息。

　　3. 汽车车身检测系统

　　英国ROVER汽车公司800系列汽车车身轮廓尺寸精度的100%在线检测，是机器视觉系统用于工业检测中的一个较为典型的例子，该系统由62个测量单元组成，每个测量单元包括一台激光器和一个CCD摄像机，用以检测车身外壳上288个测量点。汽车车身置于测量框架下，通过软件校准车身的精确位置。

　　测量单元的校准将会影响检测精度，因而受到特别重视。每个激光器/摄像机单元均在离线状态下经过校准。同时还有一个在离线状态下用三坐标测量机校准过的校准装置，可对摄像顶进行在线校准。

　　检测系统以每40秒检测一个车身的速度，检测三种类型的车身。系统将检测结果与人、从CAD模型中撮出来的合格尺寸相比较，测量精度为±0.1mm。　ROVER的质量检测人员用该系统来判别关键部分的尺寸一致性，如车身整体外型、门、玻璃窗口等。实践证明，该系统是成功的，并将用于ROVER公司其它系统列汽车的车身检测。

　　4. 纸币印刷质量检测系统：该系统利用图像处理技术，通过对纸币生产流水线上的纸币20多项特征（号码、盲文、颜色、图案等）进行比较分析，检测纸币的质量，替代传统的人眼辨别的方法。

　　5. 智能交通管理系统：通过在交通要道放置摄像头，当有违章车辆（如闯红灯）时，摄像头将车辆的牌照拍摄下来，传输给中央管理系统，系统利用图像处理技术，对拍摄的图片进行分析，提取出车牌号，存储在数据库中，可以供管理人员进行检索。

　　6.金相分析：金相图象分析系统能对金属或其它材料的基体组织、杂质含量、组织成分等进行精确、客观地分析，为产品质量提供可靠的依据。

　　7. 医疗图像分析：血液细胞自动分类计数、染色体分析、癌症细胞识别等。

　　8. 瓶装啤酒生产流水线检测系统：可以检测啤酒是否达到标准的容量、啤酒标签是否完整

　　9. 大型工件平行度、垂直度测量仪：采用激光扫描与CCD探测系统的大型工件平行度、垂直度测量仪，它以稳定的准直激光束为测量基线，配以回转轴系，旋转五角标棱镜扫出互相平行或垂直的基准平面，将其与被测大型工件的各面进行比较。在加工或安装大型工件时，可用该认错器测量面间的平行度及垂直度。

　　10. 螺纹钢外形轮廓尺寸的探测器件：以频闪光作为照明光源，利用面陈和线陈CCD作为螺纹钢外形轮廓尺寸的探测器件，实现热轧螺纹钢几何参数在线测量的动态检测系统。

　　11.轴承实时监控：视觉技术实时监控轴承的负载和温度变化，消除过载和过热的危险。将传统上通过测量滚珠表面保证加工质量和安全操作的被动式测量变为主动式监控。

　　12. 金属表面的裂纹测量：用微波作为信号源，根据微波发生器发出不同波涛率的方波，测量金属表面的裂纹，微波的波的频率越高，可测的裂纹越狭小。

　　总之，类似的实用系统还有许多，这里就不一一叙述了。

　　机器视觉技术资料集锦——让机器视觉产品设计练就慧眼神通！

德州仪器（TI）3D机器视觉参考设计

　　3D机器视觉参考设计包含德州仪器的DLP结构光软件开发工具套件。这种设计将结构光解决方案中的TI数字微镜器件与摄像机、传感器、电机或其他外设集成，为开发人员提供了一个构建运点的系统框架。

　　系统框图：

　　主要特性和优点：

　　1.快速、可编程的图像模式速率

　　（1）实时获取运动物体的3D扫描数据

　　（2）使用自适应模式集，优化多个对象和环境的扫描速度和精度

　　2.使用可靠的MEMS反射微镜进行数字切换

　　有效抑制系统对色彩、距离、运动和环境的敏感度，从而不受时间和温度的影响，提升系统性能

　　主要参考器件;

　　1.DLP4500NIR：数字微镜器件 （DMD）

　 　DLP4500NIR 数字微镜器件 （DMD） 可当作一个空间光调制器 （SLM） 来快速、准确、高效地操控近红外 （NIR）光，产生所需图案。 由于其在紧凑封装尺寸内所特有的高分辨率，DLP4500NIR DMD 经常与一个单元件检测器组合在一起，以取代昂贵的 InGaA 阵列检测器设计，从而获得高性能、经济高效的便携式解决方案。

DLP0.45 WXGA 芯片组结构

　　详细资料：DLP4500NIR 0.45 WXGA 近红外数字微镜器件

　　2.TMS320DM8168(＄103.5000)：达芬奇数字媒体处理器

　 　DM816x DaVinci™ 视频处理器是高度集成的、可编程平台，它利用 TI 的DaVinci™技术来满足下列应用的处理需求： 视频编码、解码、转码和速率转换、视频安全、视频会议、视频基础设施、媒体服务器、和数字标牌。凭借全集成化混合处理器解决方案所具有的极大灵活性，该器 件使得 OEM 和 ODM 制造商能够将拥有稳健的操作系统支持、丰富的用户界面以及高处理性能的设备迅速投放市场。 此器件将可编程视频及音频处理与1 个高度集成的外设集组合在一起。

　　TMS320DM8168达芬奇数字媒体处理器功能框图

　 　该器件的关键之处在于多达 3 个高分辨率视频和成像协处理器 （HDVICP2）。 每个协处理器能够执行一个单个 1080p60 H.264 编码或解码、或者多个较低分辨率或帧速率的编码和解码。 另外，也可完成多通道 HD 至 HD 或 HD 至 SD 代码转换以及多重编码。 凭借可同时处理 1080p60 数据流的能力，TMS320DM816x 器件成为了一款适合当今苛刻的 HD 视频应用要求的强大解决方案。

　　详细资料：TMS320DM816x 达芬奇数字媒体处理器

　　3.DLPC300(＄21.7490)：0.3 WVGA 数字控制器

　 　DLPC300 数字控制器， DLP 0.3 WVGA 芯片组部件，支持 DLP3000(＄119.0000) DMD 的可靠运行。 DLPC300 控制器还在用户电子器件和 DMD 间提供一个便捷的、多功能接口，此接口可实现高速模式速率（高达 4kHz 二进制数）并提供 LED 控制和用于多重输入分辨率的数据格式。 DLP300(＄119.0000) 还输出一个触发信号来实现与一个相机、传感器，或者其它外设的显示模式同步。

　　DLPC300 0.3 WVGA 数字控制器功能框图

　 　DLPC300 控制器可将 DLP 0.3 WVGA 芯片组集成至小尺寸封装以及低成本光定向应用。 0.3 WVGA 芯片组的实例末端设备包括 3D 扫描或者计量系统，此系统具有结构化灯光、交互式显示、化学分析仪、医疗器械，和其它要求空间光调制（或者光定向和光构图）的末端设备。

　　详细资料：DLP用于DLP3000数字微镜器件的数字控制器

Xilinx用于工业自动化的机器视觉解决方案

　　当前工业工厂自动化需要机器视觉来快速准确检测检查生产线，确保高质量控制。这些稳定可靠的系统需要从简单线路到 10 兆像素传感器的各种图像及输出协议。Xilinx All Programmable 解决方案与 Zynq®-7000 All Programmable SoC 平台支持各种机器视觉接口，如 GigEVision、基于 LVDS 的 Cameralink 以及新兴 USB3 技术等。单芯片处理技术可提供高度灵活的 IO 结构，而双核 Cortex A9 处理器则支持分析与系统软件。

　　 Xilinx 智能解决方案不仅包括 All Programmable FPGA 和 SoC，而且还含有一系列可定制的 SmartCORE 和 LogiCORE IP 核，能够充分满足您独特的市场需求。Xilinx Vivado® Design Suite配合高度集成的开发工具流程，并采用 OpenCV 库、Vivado 高层次综合和 IP Integrator，与 AISC 和 ASSP 解决方案相比，可更加快速灵活地向市场推出最具差异化的产品，同时降低风险和拥有成本。

　　下图主要演示图像处理、分析、定制 IP 以及高灵活机器视觉接口在单芯片上的集成实例， 其可大幅降低材料清单成本，显著提高系统性能。

　　主要特性：

　　高分辨率 VGA 至500 万像素传感器

　　改变分辨率支持 5-120(＄1.7181) fps

　　图像信号处理

　　宽动态范围

　　智能视频分析

　　低资源占用 H.264 编码

　　灵活的视频输出接口

Xilinx多协议机器视觉摄像机参考设计

　　可利用 Artix-7 FPGA 和 Xilinx 机器视觉合作伙伴 Sensor to Image 的 IP 实现多标准的可扩展摄像机平台，与之前的工业摄像机设计相比，其具有最佳的功率性能、最低的功耗和更低的总体 BOM 成本。

　　1.解决方案概述与优势

　　MicroBlaze™ 32 位处理器作为机器视觉摄像机软件和通信栈的主机，可充分支持 GenICam 标准

　　高速串行收发器支持 Coaxpress 要求的 6.25G 以上的速度

　　面向任意机器视觉接口标准的可重编程平台，借助合作伙伴 Sensor to Image 使用解决方案支持所有协议

　　最高性能的低端 FPGA 架构

　　低功耗 28nm 技术有助于满足摄像机功耗预算和热约束

　　提供 10 x 10mm 的小型创新封装选项，满足小尺寸摄像机要求，无需 PCB 微过孔即可实现。

多协议机器视觉摄像机方案框图
 

　　2.IP 核

　　机器视觉连接 IP （Sensor to Image）

　　色度重采样 LogiCORE IP

　　色彩校正矩阵 LogiCORE IP

　　色彩滤镜矩阵 LogiCORE IP

　　色彩空间转换引擎 LogiCORE IP

　　解交错扫描 LogiCORE IP

　　Gamma 校正 LogiCORE IP

　　Xilinx 视频与图像处理包

　　3.参考设计、开发板和套件

　　Xilinx Zynq 视频与图像套件

　 　Xilinx Zynq®-7000 All Programmable SoC 视频和影像套件建立在 ZC702 评估套件的基础之上，包含开发定制视频应用所必须的硬件、软件以及 IP 核。 视频 I/O FMC 卡（支持 HDMI 和图像传感器输入）和视频目标参考设计使开发人员可以立即启动软件、固件和硬件开发工作。

　　主要性能和优势

　　使用 Zynq-7000 SoC 对嵌入式应用进行快速原型设计以实现优化

　　硬件、设计工具、 IP、以及预验证参考设计

　　演示嵌入式设计，面向视频通道

　　与 1GB DDR3 元件存储连接的高级存储接口

　　实现 USB OTG、 UART、 IIC、 和 CAN 总线的串行连接

　　支持包含 Dual ARM Cortex-A9 核处理器的嵌入式处理

　　使用 10-100-1000 Mbps Ethernet （GMII、 RGMII 和 SGMII?） 的开发网络应用

　　使用 HDMI 输出实现视频显示应用

　　扩展 I/O， 包含 FPGA Mezzanine Card （FMC） 接口

Zynq-7000 AP SoC 智能驱动平台

　　详细资料：Zynq-7000 AP SoC 智能驱动平台

Lattice USB 3.0 视频桥接解决方案

　　Lattice USB 3.0视频桥接开发套件是由Mikroprojekt设计，采用了Lattice ECP3TMFPGA系列，是一款可立即投产的高清视频捕捉和转换系统。结合Lattice的“视频-USB3”桥接参考设计以及 Mikroprojekt的USB 3.0 UVC视频类固件，该套件开箱即用，可方便地在带有USB 3.0的Windows、MacOS或Linux操作系统上进行演示。开发板可作为标准的视频捕捉设备与任何商业或开源的软件一起使用。

　 　该解决方案基于Lattice ECP3，支持高速接收视频与音频数据，并打包成USB 3.0 UVC和UAC数据帧，无需使用外部存储器缓存。Cypress EZ-USB FX3 USB 3.0接口提供5GB的视频流连接至主机USB端口。Analog Devices ADV7611(＄8.6160)提供HDMI 1.4a捕捉功能（带有可选的HDCP解码），Lattice三速SDI PHY可通过LatticeECP3 SERDES接口接收专业音频和视频信号。扩展连接器允许摄像机或传感器通过MIPI CSI-2或SubLVDS差分线路互连，迅速将开发板转换成适用于工业视觉应用的USB 3.0高清摄像机。

　　该套件向专业视频设备制造商提供了可立即投产的USB 3.0视频捕捉和转换系统解决方案，可快速进行评估和样机开发。套件内包含用户可用的原理图和布局文件，可实现简单的定制。

　　重要特性和优势

　　1.可立即投产的USB 3.0视频桥接参考设计

　　2.通过USB 3.0传送1080p 60 fps视频流

　　3.HDMI 1.4a音频和视频捕捉

　　4.SD-、HD-、3G-SDI音频和视频捕捉

　　5.支持通过外部MIPI CSI-2、SubLVDS或并行传感器捕捉视频

　　6.参考设计提供快速的USB 3.0 UVC和UAC数据打包可在多种标准平台（Windows、MacOS、Linux）上即

　　7.插即用的视频捕捉设备可用的完整参考设计、原理图和相关文档

　　硬件特性如下图：

　　Lattice ECP3的FPGA解决方案框图：

　　目标应用

　　图像采集卡

　　DVR、转码系统

　　视频编辑系统

　　监控

　　工业视频系统

　　机器视觉

　　USB 3.0摄像机

飞思卡尔机器视觉与智能摄像头解决方案

　　高分辨率数字摄像头在许多现代工业和商业领域中正变得越来越普及。装配生产线可以使用摄像头来控制机械手和机械，检验半导体芯片、汽车和药材等复杂产品；零售业可??以使用摄像头来监控入口及收集智能数据。

　　随着摄像头生产技术、产品复杂性和分辨率的提高，这些应用的要求也不断增长。机器视觉解决方案需要针对日益庞大的数据上运行复杂的图像处理算法，同时满足严格的实时处理限制。

　　飞思卡尔高性能多核DSP处理器凭借其行业领先的DSP内核、高带宽I/O选项和可扩展解决方案选项，解决了机器视觉和智能摄像头图像处理的难题。

机器视觉与智能摄像头发方案框图

　　推荐解决方案

　　1.数字信号处理器（DSP）

　　MSC8256(＄175.8600)： 高性能六核DSP

　 　MSC8256采用业内性能最高、基于StarCore技术的DSP内核，旨在支持当今医疗成像、航空国防和高级测试与测量市场中高性能行业应用的高级 处理要求和功能。它提供了行业领先的性能和节能，在高度集成式片上系统（SoC）中采用45 nm工艺技术，达到与6 GHz单核器件同等的性能。MSC8256可帮助设备制造商创造出在更小尺寸的硬件内集成更多功能的最终产品和服务。

　　MSC8256 DSP具有较高的性能和集成度，整合了6个完全可编程的增强型SC3850内核，每个内核的运行频率高达1 GHz。根据独立评估，SC3850 DSP内核每MHz的处理能力比最接近的DSP竞争产品高40%。基于高性能内部RISC的QUICC Engine子系统支持多种联网协议，从而保证在分组网络上可靠地传输数据，同时大幅减轻DSP内核的处理负载。

　　MSC8256结构框图

　　2.处理器（MPU）

　　P1010(＄32.2650)： 带有可信架构的QorIQ P1010/14低功耗通信处理器

　 　P1010和P1014(＄0.2750)通信处理器让成本和功耗敏感的应用也获得QorIQ的性能。这款处理器采用45纳米低功耗技术，运行频率高达800 MHz，功耗低至1.1W，具有强大的集成能力并配有丰富的接口，适用于对成本敏感的端点应用，如NAS、DVR、SOHO路由器和联网工厂自动化等。

　　P1010处理器采用可信架构平台，具有先进的端到端代码签名和入侵防御功能，有助于防止软件入侵和软件克隆攻击。P1010处理器还集成多个FlexCAN控制器，可在各种工厂自动化系统中配置工业协议。

　　QorIQ P1010/14低功耗通信处理器结构框图

　　详细资料：P1010： 带有可信架构的QorIQ P1010/14低功耗通信处理器

　　3.电机驱动器

　　4.电源管理