基于机器视觉的尺寸测量系统的设计与实现(源码+万字报告+讲解)（支持资料参考_相关定制）
尺寸测量作为工业流水线中有着至关重要的地位。在生产过程中不可避免会产生零件的缺陷与瑕疵，这时就可以通过对产品尺寸的测量来把控工件的质量以及及时区分出劣质与不合格产品。传统人工测量法精确度低、效率低，已不符合自动化工业流水线的要求。而机器视觉有着高效率、高精准度等特点，已在自动检测领域独占鳌头。本文主要研究的内容为基于机器视觉提供一套平台系统用于对工件尺寸进行识别。首先对图像的噪声及降噪进行研究，分
摘 要
尺寸测量作为工业流水线中有着至关重要的地位。在生产过程中不可避免会产生零件的缺陷与瑕疵，这时就可以通过对产品尺寸的测量来把控工件的质量以及及时区分出劣质与不合格产品。传统人工测量法精确度低、效率低，已不符合自动化工业流水线的要求。而机器视觉有着高效率、高精准度等特点，已在自动检测领域独占鳌头。本文主要研究的内容为基于机器视觉提供一套平台系统用于对工件尺寸进行识别。
首先对图像的噪声及降噪进行研究，分析图像噪声类型以及对比不同滤波方法对不同种类噪声的降噪效果。然后就本次实验的具体图像的噪声类型提出一种自适应中值滤波器进行滤波。
其次是边缘提取，本文基于Canny算子提出了一种优化的边缘提取算法。即将Canny算子中的高斯滤波依据主要使用场景改为中值滤波，以及基于局部的梯度确定高低阈值。
在尺寸识别中还有一个重要的内容就是圆的识别。本文运用的原理是霍夫圆检测，在边缘识别之后用Sobel算子进行卷积，并沿梯度方向遍历边缘点，计算霍夫坐标系中相交的点并设定阈值，大于改阈值就将它认作为是圆。
最后搭建了尺寸识别系统平台，并对实验数据进行分析，均能满足生产需求。
关键词：机器视觉；尺寸测量；边缘提取；亚像素
Abstract
Dimensional measurement has a crucial role in the industrial assembly line. Inevitably, defects and flaws in the production process will be generated, so the measurement of product dimensions can be used to control the quality of the workpiece and to distinguish between inferior and substandard products in a timely manner. The traditional manual measurement method has low accuracy and low efficiency, and no longer meets the requirements of automated industrial assembly lines. Machine vision, with its high efficiency and accuracy, has taken the lead in the field of automatic inspection. The main research of this paper is to provide a platform system for workpiece size recognition based on machine vision.
Firstly, the noise and noise reduction of the image are studied, and the types of image noise are analyzed as well as the noise reduction effect of different filtering methods on different kinds of noise are compared. Then an adaptive median filter is proposed for filtering the noise type of the specific image for this experiment.
Next is edge extraction, and this paper proposes an optimized edge extraction algorithm based on the Canny operator. The Gaussian filter in the Canny operator is changed to a median filter based on the main usage scenario, and the high and low thresholds are determined based on the local gradient.
Another important element in size recognition is the recognition of circles. In this paper, the principle of Hough circle detection is applied. After the edge recognition, the Sobel operator is used to convolve and traverse the edge points along the gradient direction, calculate the intersecting points in the Hough coordinate system and set the threshold value, and recognize it as a circle if it is larger than the changed threshold value.
Finally, the platform of size recognition system is built and the experimental data are analyzed, all of which can meet the production requirements.
Keywords: Machine vision; dimensional measurement; edge extraction; subpixel
目 录
实业强国，制造业一直是衡量一个国家综合实力的重要标准之一，更是国民经济的主体，是立国之本，强国之基。自18世纪中叶工业革命以来世界各个强国以及中华民族屈辱的近代史无不证明了没有强大的制造业就没有民族的复兴与国家的兴盛。自改革开放以来我国制造业急速发展，2015年又提出了“中国制造2025”的宏伟计划，中国制造业的发展全世界有目共睹。
图1.1
随着中国机械制造业高速度高质量的发展，工厂对于流水线加工零件的质量以及要求也日益精益求精。图1.1展示了零件加工和检测的现场。在流水线各个工序之间及时进行零件的检测，可以及时识别出残次品以避免进入后续流程，从而提高生产效率，降低加工成本；在出厂前进行也要进行检测，用以确定零件各项参数指标是否合格，能否作为合格产品出场。一个零件造成巨大灾难的情况已经屡见不鲜，美国“挑战者”号宇宙飞船爆炸事件被认为是人类太空探索最大的灾难之一。
随着中国制造业的不断发展，对制造业的要求也在不断提高。随着工业朝着智能化、自动化的方向不断发展，这同时要求在零件生产方面对其的检测与测量环节也必须更加精准。
工业上最早使用的测量方式是人工测量，用机械式测量工具如游标卡尺、千分尺等。后来出现了一批光学测量工具如三坐标测量机。但这种传统的人工测量方式受制与工具的精准度以及人为因素干扰等原因，在精度以及效率方面都极其低下。随后上世纪30年代出现电学测量工具，50年代出现数字式的坐标测量工具均使制造行业在测量方面的效率急剧提升。50年代后基于计算机技术的迅猛发展，测量工具进入到计算机辅助阶段，自动化水平与智能化水平都急剧攀升，无论是大尺寸还是小尺寸，低精度还是高精度，计算机辅助尺寸测量都独占鳌头。且随着大规模自动化流水生产线的生产速度越老越快，产品的精度越来越高，都对尺寸测量提出了新的要求与挑战。
图1.2
欧美等国家自工业革命以来在自动化检测领域探索数十年，推出了诸多高端检测设备如三坐标测量仪（如图1.2所示）.这类测量仪器精度高但需要专业人员进行使用且购买价格机器昂贵并且检测效率低下，致使大部分企业难以普及，也难以适应高速大批量流水线生产的测量需求。
零件尺寸的测量均可通过三坐标测量机等高端设备进行检测。使用传统工具进行人工检测，适用于精度、效率要求不高的小企业。这类方式的优点是成本低，无需部署环境即可随用随测；缺点是需要有经验的工人，且环境以及人为因素对检测的结果有很大的影响，且如果生产线规模想要扩大或者生产效率想要提高，人工测量的方式很难满足需求。使用高端检测设备，适用于检测要求高、资金充足的大型企业。其优点是精度高、速度快、稳定性好；缺点是设备昂贵，且亦需要专业的操作人员，且对工作环境的要求较高。
分析上述内容可知，现有的测量方法有着诸多缺点，而随着生产规模与数量的不断提升，检测的自动化是必须的，因此有必要研发泛用性强且高效率、低成本的检测系统。OpenCV作为一个开源视觉库具有免费、易用等特征，但是使用OpenCV需要专业的开发人员来开发并调试，对普通的工厂来说过程缓慢且耗资严重。本项目的目的就是构建一个基于opencv的尺寸测量系统并搭建使用者友好型的UI来使企业易上手、低成本地使用。
目前国内外对于零件轮廓尺寸测量的研究主要向着简单化、自动化的方向开。目前学术届提出了许多自动化的测量新方法。航天科技集团公司的李树波利用自准直仪实现了孔轴线垂直度、块类零件相邻面间垂直度的快速检测，并分析了自准直仪检测过程中的误差来源及其控制方法[1]。四川高温合金切削工艺技术工程实验室的吴廷婷等通过激光跟踪仪实现了对大型导叶圆柱度和全跳动公差的测量，其测量精度达到±10μm[2]。合肥工业大学的曾昊提出使用接触式位移传感器，通过4-EST 技术萃取出零件被测界面的最小二乘圆心，并通过网格搜索法计算出符合最小包容原则的圆柱度误差[3]。辽宁工程技术大学的王天煜利用激光衍射方法获取待检零件表面数据，建立了评定形位公差的数学模型，实现了对回转类零件形位公差的综合评定[4]。中科院长春光学精密机械研究所的宋甲午等提出利用激光狭缝扫描原理以及光电传感技术对大型回转零件的圆度误差进行非接触式测量，并研究了工件安装偏心误差的分离方法[5]。吉林大学的周晓东在Maurice Xavier 等人的研究基础上，提出通过线结构光测量技术，建立回转零件圆柱度误差的测量模型，其测量结果与圆柱度仪的结果具有很好的一致性[6-8]。Stanisaw Adamczak 等根据磨擦生热原理,利用红外线技术测量运动中配合件外表面温度分布来评价工件的圆度误差、波纹度误差等,用于监测工件的使用状态[9]。Jung Chul Lee 等提出了一种改进的反操作技术，通过在滚筒车床的滑道上安装一对电容式位移传感器，成功测量了大型轧辊工件直径、圆度、平面度等参数[10]。Marcin BBauza 等提出了一种实时接触式的高频率圆度误差在线测量的技术，将轮廓仪应用到圆度误差测量中，其测量精度高于0.5μm，测量时间为1s，但受实验台和测头的尺寸限制，只能用于测量小型零件[11]。
综合以上文献分析，当前国内外学者对零件轮廓尺寸测量技术的研究顺应了传统工业向现代化转型的趋势。传统工业中对工人的检测技能要求较高，而如今测量设备的使用难度逐渐降低，其重难点在于获取测量数据的方法以及设计数据的处理算法。激光、结构光、机器视觉等技术因其高精度、非接触的特点在当下检测领域中占据了重要地位，研发基于以上技术的测量设备和相应算法是未来的主流方向。
在零件轮廓尺寸的视觉测量过程中，预处理即滤波降噪很关键，由于数字图像处理对噪声异常敏感，而噪声在图像的拍摄、传输过程中又不可避免地产生。故如何将噪声的像素点去除同时不影响本来的检测精度是很重要的问题。边缘提取是图像处理中最基本也最重要的问题之一，著名的边缘提取算子有Sobel、Prewitt、Roberts、Laplacian、LoG、Canny[13]等，针对不同图像各有其适用场景。然而上述边缘识别算子提取的边缘都是基于像素的，但在实际情况中拍着图像的传感器具有一定的尺寸，获得的图像边缘不一定位于原传感器像素边缘处，这就可能会产生误差。为解决此问题，国外学者，Hueckel 首次提出基于矩提取亚像素边缘的算法[14]，随后Tabatabai 提出一种利用前三阶灰度矩进行亚像素边缘提取的算法，此后利用空间矩、Zernike 正交矩的方法也相继被提出。随后又有诸多学者在此基础上进行了改进和优化，使得边缘提取的精度在以往的基础上得到了很大的提高。
通过以上文献可知，机器视觉在零件轮廓测量领域的应用和研究进行的如火如荼，国外由于在视觉领域起步更早，其相关技术已经趋于成熟，各种基于机器视觉的测量设备相继推出，并得到了广泛应用。国内也有很多企业和机构研究了试验机，但市场上成熟的产品还很少，更多的是针对特定测量对象研究相应算法来提高测量精度。本文结合当前已有的测量技术和算法，针对小型零件轮廓尺寸，提出了几种改进的测量算法，并应用到具体零件的测量上，得出了符合测量要求的结果。
本文主要研究的内容为零件的轮廓尺寸的测量。通过搭建测量系统平台应用机器视觉相关技术对输入图形进行处理以获得准确的边缘信息，并对识别结果进行定量评测。以下是本文的主要内容。
第一章：绪论。介绍本次实验的应用场景以及研究的意义，给出目前边缘提取的研究现状以及机器视觉在该领域的应用以及常用算法，最后给出本文的结构。
第二章：尺寸测量系统框架设计图像的预处理。研究常见的图像格式如bmp、jpeg，研究常见的图像噪声来源以及表现形式，分析各种降噪方式对不同种类噪声的滤波效果，并具体分析本次使用场景的噪声形式以及最适合该场景使用的图像预处理方式。
第三章：图像边缘提取方法的研究。介绍几种不同的边缘识别算子如Roberts算子、Prewitt算子、Sobel算子和 Laplacian算子[13]，并给出其优劣。然后提出了一种基于canny算子的自适应双边滤波以及自适应高低阈值的边缘识别方法。然后使用该方法先进行零件边缘的像素提取，再基于这些像素边缘进行亚像素边缘提取的算法最后研究了基于霍夫直线变换的圆的提取。
第四章：在边缘提取的基础上进行测量系统的搭建并设计UI界面以降低使用难度。该部分完成了基于前述的算子而搭建成的具有UI的应用程序，并完成了最终尺寸测量的目的，UI界面使得该系统易上手、易部署，用以降低企业成。
结论：总结与展望。本部分总结前述基于机器视觉的小型零件轮廓尺寸测量算法及测量结果，分析测量系统尚存的缺陷和不足，为后面继续进行算法的优化及视觉测量设备的设计提出展望。
|
|
一个合格的成熟系统需要有自己的架构框架，每个模块之间的耦合度要低，可以独立运行，从底层到上层要层层递进。优秀的架构设计可以分解并解决子问题，降低一整个软件实现的难度，并在每个层次都有向上封装的接口，并且对上层是透明的。基于此，本文将尺寸测量系统设计为4层架构：
第一层：底层依赖库。OpenCV（Open Source Computer Vision Library）是一个开源的跨平台计算机机器视觉库，它的商业使用或者非商业使用都是完全免费的。OpenCV有c++版本和python两个版本的API可供调用，就接口的调用来说二者没有区别且在OpenCV这一层的执行效率完全相同。Python版本基于其丰富的第三方库以及机器学习非常适合搞研究，但是对于工业上的应用来说python的打包发行版由于以来的第三方库较多故发型版包较大，对存储容量是一个考验；且由于python解释型语言的限制，其执行效率比c++低很多，故本次实验选取了opencv-c++版本。
第二层：预处理层。图像的预处理是边缘提取之前很重要的一个部分。受限于图像拍摄工具以及传输的限制，不可避免图像会产生噪声。用滤波进行降噪可以很好的降低后续边缘提取的瑕疵。常规图像的RGB色彩空间对计算机来说不易于进行边缘的提取，所以灰度化以及二值化也能为后续边缘的提取做好铺垫。其中自适应的中值滤波为基于此次实验场景提出的一种新型滤波方式，可以基于图像的梯度变换中值滤波的核的大小。
第三层：封装算子层。此层为整个系统最关键的层，该层在图像预处理的基础上进行边缘的提取，提出了一种基于canny算子的自适应高低阈值的优化canny算子，在经验选择高低阈值的基础上进行了数学优化。霍夫圆检测基于霍夫变换，将普通二维坐标系变换进霍夫坐标系以选择圆的点。尺寸测量即在边缘提取的基础上遍历每一个轮廓，以图片的像素信息可以很容易地得到相应的轮廓像素信息，如果想要得到具体的单位信息就必须有输入像素与尺寸的比例尺。一方面可以直接输入实际长度：像素数，另一方面可以将一个已知物体（如一个硬币）放入图中作为参考。
第四层：前台界面GUI。在边缘提取的基础上进行测量系统的搭建并设计UI界面以降低使用难度。该部分完成了基于前述的算子而搭建成的具有UI的应用程序，并完成了最终尺寸测量的目的，UI界面使得该系统易上手、易部署，用以降低企业成。
本次实验的应用场景图片来源是工业相机上拍摄的bmp位图，然而在测试系统功能时常常需要从网络上下载图片以供测试，但是在测试时发现网络常见图片为JPEG格式，且文件大小与bmp位图有着很大区别，并且在进行计算机处理时JPEG存储的边缘信息常常没有bmp位图丰富。故本节的内容为研究bmp位图与网络常见的JPEG格式图片的区别以及各自优缺点。
JPEG（Joint Photographic Experts Group）格式是最常用的图像文件格式，后缀名为.jpg 或.jpeg。它是一种由压缩的数字图像的存储方法，由国际标准化组织（ISO）制订，是一种图像有损压缩的格式。
JPEG在网络传输中有着最高的使用率，其原因就是其具有高压缩的特点，大部分的压缩比例在10：1到50：1，也就意味着一张100KB的图片压缩过后可能之后2KB，在网络传输中可占用极低的带宽传输同一张图片效率极高且对服务器的存储压力小了很多。但也正是因此就不可忽视JPEG 的缺点：压缩的时候图像会不可避免地受损，难以显示高分辨率的图像。对于计算机数字图像处理来说很容易将一些重要的像素压缩损失掉。
从上面的结论不难看出，尽管JPEG格式的图片在网络传输以及存储方面有着极大的优势，但是其对图片进行有损压缩的特点使得它无法成为尺寸测量系统的图片存储格式。
|
|
BMP取自位图Bitmap的缩写，也可称为DIB（Device-indepentent bitmap与设备无关的位图），是一种独立于任何存储设备或显示设备，直接按图像的位保存与显示的一种图像格式。BMP文件是完全不压缩，按位保存的，所以它比同一幅图的JPEG格式要大很多。例如，一个8129×1856的8位要占14.5MB的存储空间，对存储设备、显示设备、内存以及计算机的处理能力都有较高的要求。
以下是BMP的四部分结构，分别是：文件头、信息头、调色板以及存储矩阵。
|
|
第一部分是位图文件头BITMAPCOREHEADER，它占一个固定的长度为16B。它的作用是指定文件头、信息头和调色板的大小，其结构如下所示
第二部分是位图信息头BITMAPINFOHEADER，它的长度为40B，其中包含的信息如下：
|
|
第三部分是存储颜色信息的调色板，一个位图每个像素有几位就是再次存储。在处理器显示图像的时候读取调色板来对相应的颜色进行处理。
|
|
第四部分就是用来存储图像数据。其本质是一个数组，保存了图像中的每个像素的每个位的信息。
|
|
|
|
BMP的文件结构如图2-1所示
由上可知：bmp位图存储了每一个像素点的信息，没有压缩与损失，故非常适用与数字图像处理。故本次实验选取的电极片的图像信息都是bmp位图
工业上使用相机进行拍摄的工件图像往往不能直接用于计算机处理，其原因诸多：多种采集相机的通道数不一样，故输出的图像的位深也不一样，在计算机针对边缘以及尺寸进行处理时，图像的色彩信息可以忽略，且多余的色彩信息会严重降低计算机的处理速度，故对图像进行灰度化降低图像的位深以除去多余信息以及降低处理难度。
图像的色彩由RGB组成（red、green、blue），这三个颜色成为三基色，可以通过控制每个基色的分量来组成不同的颜色。例如一个彩色图图像如果有24位那就意味着RGB每个分量为8位，最总就能生成224 = 16M种颜色。在opencv中用三个row*col的矩阵来存储一副彩色图像。灰度图即图像的每个像素只有一个通道，如这个通道有8位则灰度最高255为白色，灰度最低0为黑色。彩色图像的灰度化有均值灰度化以及甲醛灰度化，加权灰度化对三个通道添加不同的权值，处理后的效果最好，本次实验将采用这种灰度化处理彩色图像。二值图即每个像素只有一个通道且只有一位，1表示白色，0表示黑色，没有颜色过度。二值化后的图像在像素突变点的梯度为最大，其余处均为0，故在边缘提取时转化为二值化图像将会有很好的效果
噪声在图像中常常表现为像素值的梯度骤增，该特点与边缘的像素特点相似，所以如何在降噪的同时不损失边缘的准确度是一个很关键的问题
图像噪声往往来源于成像系统、传输系统等，是一个不可预测的误差。且噪声在像素梯度变化形式上与边缘的突变相似，故如果要准确提取边缘就必须对图像进行降噪，且在降噪的同时尽量少的损失目标边缘信息。
噪声主要分为高斯噪声、泊松噪声、乘性噪声与椒盐噪声，图2-8分别展示了四种不同的噪声类型
|
|
|
|
立足具身智能前沿赛道，致力于搭建全球化、开源化、全栈式技术交流与实践共创平台。
更多推荐
16
0- 0
已为社区贡献1条内容
所有评论(0)