Share to:

 

机器视觉

1983年，Automatix（英语：Automatix）（现成为欧姆龙的一部分）早期的机器视觉系统Autovision II在一个展销会进行展示。三脚架上的相机向下对着一个浅色的桌子以将背光的照片展示在屏幕中，之后将进行连通区域提取。

机器视觉（英語：Machine vision，简称“MV”） 是指用于自动检测、分析的一种基于成像技术的方法，在工业自动化检测、过程控制和机器人引导等领域得到了广泛应用。机器视觉涵盖了多种技术、软件和硬件产品、集成系统、动作、方法和专业知识。机器视觉作为系统工程学科的一种，被认为不同于属于计算机科学的计算机视觉。它尝试以新的方法整合现有技术，并应用于实际问题解决。机器视觉的整个过程包括规划需求和项目细节，然后创建解决方案。在系统运行时，首先是成像，随后是对图像的自动图像分析和所需信息的提取。

定义

“机器视觉”一词存在多种定义，但但这些定义都包含用于自动从图像中提取信息的技术和方法，这与图像处理不同，后者的输出是另一张图像。提取的信息可以是简单的好件/坏件信号，也可以是复杂的数据集，例如图像中每个物体的身份、位置和方向。所提取的信息可以用于工业中的自动检测、机器人和过程引导、安全监控和车辆引导等应用[1][2][3]。这一领域包括大量的技术、软件和硬件产品，还有集成式系统、操作、方法和专业知识[3][4]。机器视觉在实际应用上是唯一能够描述在工业自动化应用这些功能的术语；但这一术语在安全监控和车辆引导上则使用较少。作为一种系统工程学科，机器视觉被认为与计算机科学的计算机视觉不同；机器视觉尝试将已有的技术用新的方法集成到系统中，并将其用于解决工业自动化和其它应用领域的实际问题[3]:5[5]。这一术语也被自动成像协会（Automated Imaging Association）和欧洲机器视觉协会（European Machine Vision Association）等展销团体更为宽泛地使用，将其囊括了许多与图像处理相关的产品和应用[4]。但该术语最主要还是用来表示自动化检测和工业机器人/过程引导的[6][7]:6–10[8]。而在近些年，计算机视觉和机器视觉两大领域进行了更大程度的融合[9]:13。

基于成像的自动化检测与分拣

机器视觉系统最主要的应用是基于成像的自动化检测与分拣，以及机器人引导[6][7]:6–10。在本章节，前者将简称为“自动化检测”。整个过程包括规划需求和项目细节，然后提供解决方案[10][11]。

方法和操作顺序

自动化检测的第一步是图像获取（英语：digital imaging）。这一步通常使用经过设计的相机、镜头和光源，以提供后续处理所需的差异化[12][13]。接着，系统将使用包含數位影像處理技术的软件包和开发程序去提取所需信息，然后据此做出相关的决策（如通过测试/不通过测试等）[14]。

设备

自动化检测系统的组件通常包括光源、相机或其他成像设备、处理器、软件和输出设备[7]:11–13。

成像

成像设备（如相机）可以与图像处理的主单元合并（使用智能相机（英语：smart camera）或智能传感器）或分离[15][16]。将完整的处理功能包含在与相机相同的外壳中通常称为嵌入式处理[17]。当二者分离时，当分开时，连接可以通过专用中间硬件、自定义处理设备或计算机内的帧采集卡进行，使用模拟或标准化的数字接口（如Camera Link、CoaXPress（英语：CoaXPress））[18][19][20][21] 。机器视觉实现还使用能够通过FireWire、USB或千兆以太网接口直接连接（无需帧捕捉卡）到计算机的数字相机[21][22]。

虽然传统的（二维可见光）成像在机器视觉中最为常用，但其他替代方法包括多光谱成像（英语：Multispectral image）、高光谱成像以及各种红外波段成像[23]、线扫成像、表面三维成像（英语：3D imaging）和X射线成像[6]。机器视觉二维可见光成像的关键区别包括单色与彩色、帧率、分辨率，以及成像过程是否对整个图像同时进行，这决定了它是否适用于移动过程[24]。

尽管主流的机器视觉使用二维成像去解决问题，但三位成像目前正在行业中正成为一个不断增长的小众市场[25][26]。最常用的三维成像方法是基于扫描的三角测量法，这种方法利用产品或图像在成像过程中的运动。激光被投射到物体的表面。在机器视觉中，这通过扫描运动来实现，可能是移动工件，或是移动相机和激光成像系统。相机从不同的角度查看这条扫描线；线条的偏差表示形状的变化。来自多个扫描的线条被汇总成深度图（英语：depth map）或点云[27]。 立体视觉用于涉及一对摄像机视图中都存在的独特特征的特殊情况[27]。机器视觉中使用的其他三维方法包括基于飞行时间（英语：Time-of-flight camera）和基于网格的方法[27][25]。其中一种方法是基于网格阵列的系统，它使用如2012年左右微软Kinect系统所采用的伪随机结构光系统[28][29]。

图像处理

在图像获取完成后即进行图像处理[20]。核心的处理过程通常由一个CPU、一个GPU、一个FPGA或这些元件组合起来完成[17]。深度学习训练和推理对处理性能提出了更高的要求[30]。通常在多个处理阶段中按顺序进行，最终得到所需的结果。一个典型的顺序可能从调整图像的工具（如滤波器）开始，然后提取目标，再从这些目标中提取数据（例如测量、读取代码），接着传输这些数据，或者将其与目标值进行比较，以创建和传输“通过/不通过”的结果。机器视觉图像处理方法包括：

  • 拼接/配准：包含许多二维与三维的图像[來源請求]。
  • 滤波：如形态学滤波[31]。
  • 阈值处理：阈值处理从设置或确定一个对后续步骤有用的灰度值开始。然后使用该值将图像的部分分离，有时根据该灰度值的高低，将图像的每个部分简单地转换为黑白[32]。
  • 像素计算：计算亮像素或暗像素的数量[來源請求]。
  • 图像分割：将数字图像划分为多个部分，以简化和/或将图像表示更改为更有意义且更易于分析的形式[33][34]。
  • 边缘检测：寻找物体边缘[35]。
  • 色彩分析：使用颜色识别零件、产品和物品，评估颜色质量，并使用颜色分离特征（英语：Feature (computer vision)）[6]
  • 连通分量标记：检查图像中离散的连通像素块（例如灰色物体中的黑色孔）作为图像标记[36]。
  • 人工神经网络 / 深度学习 / 机器学习过程：加权和自训练的多变量决策[37]自2019年以来，深度学习和机器学习的广泛应用显著扩展了机器视觉的能力。这种处理最常见的结果是分类。分类的例子包括物体识别、已识别物体的“通过/不通过”分类以及光学字符识别（OCR）[37]。
  • 模式识别：包括模板匹配，查找、匹配和/或计数特定模式。这可能包括定位可能被旋转、部分遮挡或大小变化的物体[38]。
  • 条形码、Data Matrix与“2D barcode”读取 [39]
  • 光学字符识别：自动化读取文本（如数字串）[40]。
  • 计量学: 测量物体的尺寸（例如，像素、英寸或毫米）[41]。
  • 与目标值进行比较，以确定“通过或不通过”或“允许/不允许”的结果。例如，在代码或条形码验证中，读取的值与存储的目标值进行比较。在测量中，将测量值与适当的值和公差进行比较。在字母数字代码的验证中，将OCR识别的值与正确的目标值进行比较。在瑕疵检查中，可能将瑕疵的测量尺寸与质量标准允许的最大值进行比较[39]。

输出

自动检测系统的一种通常输出是通过/不通过的决定[14]。这些决定可能会引发回退次品或警报响起的机制。另一个通常的输出则包括机器人引导系统的物体位置和方向信息[6]。此外，输出类型包括数值测量数据、从代码和字符读取的数据、物体的计数和分类、过程或结果的显示、存储的图像、来自自动空间监控机器视觉系统的报警以及过程控制信号[10][13]。系统还包括用户界面、多组件系统集成接口和自动数据交换接口[42]。

参考来源

  1. ^ Steger, Carsten; Markus Ulrich; Christian Wiedemann. Machine Vision Algorithms and Applications 2nd. Weinheim: Wiley-VCH（英语：Wiley-VCH）. 2018: 1 [2018-01-30]. ISBN 978-3-527-41365-2. （原始内容存档于2023-03-15）. 
  2. ^ Beyerer, Jürgen; Puente León, Fernando & Frese, Christian. Machine Vision - Automated Visual Inspection: Theory, Practice and Applications. Berlin: Springer. 2016 [2016-10-11]. ISBN 978-3-662-47793-9. doi:10.1007/978-3-662-47794-6. （原始内容存档于2020-01-24）. 
  3. ^ 3.0 3.1 3.2 Graves, Mark & Bruce G. Batchelor. Machine Vision for the Inspection of Natural Products. Springer. 2003: 5 [2010-11-02]. ISBN 978-1-85233-525-0. 
  4. ^ 4.0 4.1 Holton, W. Conard. By Any Other Name. Vision Systems Design. October 2010, 15 (10) [2013-03-05]. ISSN 1089-3709. （原始内容存档于2018-07-30）. 
  5. ^ Owen-Hill, Alex. Robot Vision vs Computer Vision: What's the Difference?. Robotics Tomorrow. 2016-07-21 [2024-07-30]. （原始内容存档于2018-11-16）. 
  6. ^ 6.0 6.1 6.2 6.3 6.4 Turek, Fred D. Machine Vision Fundamentals, How to Make Robots See. NASA Tech Briefs（英语：NASA Tech Briefs）. June 2011, 35 (6): 60–62 [2011-11-29]. （原始内容存档于2012-01-27）. 
  7. ^ 7.0 7.1 7.2 Cognex. Introduction to Machine Vision (PDF). Assembly Magazine. 2016 [2017-02-09]. （原始内容存档 (PDF)于2017-08-28）. 
  8. ^ Lückenhaus, Maximilian. Machine Vision in IIoT. Quality Magazine. 2016-05-01 [2024-07-30]. （原始内容存档于2022-01-20） （英语）. 
  9. ^ Computer Vision Principles, algorithms, Applications, Learning 5th Edition by E.R. Davies Academic Press, Elselvier 2018 ISBN 978-0-12-809284-2
  10. ^ 10.0 10.1 West, Perry A Roadmap For Building A Machine Vision System Pages 1-35
  11. ^ Dechow, David. Integration: Making it Work. Vision & Sensors. January 2009: 16–20 [2012-05-12]. （原始内容存档于2020-03-14）. 
  12. ^ Hornberg, Alexander. Handbook of Machine Vision. Wiley-VCH（英语：Wiley-VCH）. 2006: 427 [2010-11-05]. ISBN 978-3-527-40584-8. 
  13. ^ 13.0 13.1 Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999. ISBN 3-540-66410-6. [页码请求]
  14. ^ 14.0 14.1 Hornberg, Alexander. Handbook of Machine Vision. Wiley-VCH. 2006: 429 [2010-11-05]. ISBN 978-3-527-40584-8. 
  15. ^ Belbachir, Ahmed Nabil (编). Smart Cameras. Springer. 2009. ISBN 978-1-4419-0952-7. [页码请求]
  16. ^ Dechow, David. Explore the Fundamentals of Machine Vision: Part 1. Vision Systems Design. February 2013, 18 (2): 14–15 [2013-03-05]. （原始内容存档于2019-04-01）. 
  17. ^ 17.0 17.1 Critical Considerations for Embedded Vision Design by Dave Rice and Amber Thousand Photonics Spectra magazine published by Laurin Publishing Co. July 2019 issue Pages 60-64
  18. ^ Wilson, Andrew. CoaXPress standard gets camera, frame grabber support. Vision Systems Design. 2011-05-31 [2012-11-28]. （原始内容存档于2019-04-01）. 
  19. ^ Wilson, Dave. Cameras certified as compliant with CoaXPress standard. Vision Systems Design. 2012-11-12 [2013-03-05]. （原始内容存档于2019-04-01）. 
  20. ^ 20.0 20.1 Davies, E.R. Machine Vision - Theory Algorithms Practicalities 2nd. Harcourt & Company. 1996. ISBN 978-0-12-206092-2. [页码请求].
  21. ^ 21.0 21.1 Dinev, Petko. Digital or Analog? Selecting the Right Camera for an Application Depends on What the Machine Vision System is Trying to Achieve. Vision & Sensors. March 2008: 10–14 [2012-05-12]. （原始内容存档于2020-03-14）. 
  22. ^ Wilson, Andrew. Product Focus - Looking to the Future of Vision. Vision Systems Design. December 2011, 16 (12) [2013-03-05]. （原始内容存档于2019-04-01）. 
  23. ^ Wilson, Andrew. The Infrared Choice. Vision Systems Design. April 2011, 16 (4): 20–23 [2013-03-05]. （原始内容存档于2018-08-19）. 
  24. ^ West, Perry High Speed, Real-Time Machine Vision CyberOptics, pages 1-38
  25. ^ 25.0 25.1 Murray, Charles J. 3D Machine Vison Comes into Focus. Design News（英语：Design News）. February 2012 [2012-05-12]. （原始内容存档于2012-06-05）. 
  26. ^ Davies, E.R. Computer and Machine Vision: Theory, Algorithms, Practicalities 4th. Academic Press. 2012: 410–411 [2012-05-13]. ISBN 9780123869081. 
  27. ^ 27.0 27.1 27.2 3-D Imaging: A practical Overview for Machine Vision By Fred Turek & Kim Jackson Quality Magazine, March 2014 issue, Volume 53/Number 3 Pages 6-8
  28. ^ http://research.microsoft.com/en-us/people/fengwu/depth-icip-12.pdf （页面存档备份，存于互联网档案馆） HYBRID STRUCTURED LIGHT FOR SCALABLE DEPTH SENSING Yueyi Zhang, Zhiwei Xiong, Feng Wu University of Science and Technology of China, Hefei, China Microsoft Research Asia, Beijing, China
  29. ^ R.Morano, C.Ozturk, R.Conn, S.Dubin, S.Zietz, J.Nissano, "Structured light using pseudorandom codes", IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3)(1998)322–327
  30. ^ Finding the optimal hardware for deep learining inference in machine vision by Mike Fussell Vision Systems Design magazine September 2019 issue pages 8-9
  31. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 39. ISBN 3-540-66410-6. 
  32. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 96. ISBN 3-540-66410-6. 
  33. ^ Linda G. Shapiro（英语：Linda Shapiro） and George C. Stockman (2001): “Computer Vision”, pp 279-325, New Jersey, Prentice-Hall, ISBN 0-13-030796-3
  34. ^ Lauren Barghout. Visual Taxometric approach Image Segmentation using Fuzzy-Spatial Taxon Cut Yields Contextually Relevant Regions. Information Processing and Management of Uncertainty in Knowledge-Based Systems. CCIS Springer-Verlag. 2014
  35. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 108. ISBN 3-540-66410-6. 
  36. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 95. ISBN 3-540-66410-6. 
  37. ^ 37.0 37.1 Turek, Fred D. Introduction to Neural Net Machine Vision. Vision Systems Design. March 2007, 12 (3) [2013-03-05]. （原始内容存档于2013-05-16）. 
  38. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 111. ISBN 3-540-66410-6. 
  39. ^ 39.0 39.1 Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 125. ISBN 3-540-66410-6. 
  40. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 132. ISBN 3-540-66410-6. 
  41. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. Industrial Image Processing: Visual Quality Control in Manufacturing. Springer-Verlag. 1999: 191. ISBN 3-540-66410-6. 
  42. ^ Hornberg, Alexander. Handbook of Machine Vision. Wiley-VCH（英语：Wiley-VCH）. 2006: 709 [2010-11-05]. ISBN 978-3-527-40584-8. 
Kembali kehalaman sebelumnya