关键词：机器视觉；工业机器人；分拣系统；神经网络

Abstract: With the advent of the Industry 4.0 era, robots are playing an increasingly important role in industrial intelligence. The application of machine vision technology to robots to realize automatic sorting of mechanical parts is the trend of intelligent industrial assembly lines.The project gives the overall design of the industrial robot machine vision sorting system and the composition of the experimental platform for each subsystem; then constructs the neural network classifier to recognize the target mechanical workpiece, and uses the mean shift iterative algorithm to track the moving target; finally, it expounds the sorting strategy of Huashu industrial robot and completes the sorting experiment.

Key words: Machine vision; Industrial robot; Sorting system; Neural network

1  引言

随着工业4.0时代的到来，机器人在工业智能中扮演着越来越重要的角色。在机械零件分拣生产线中，将有繁重的任务。如果使用手动分类，不仅操作效率低，而且成本高。将机器视觉技术应用于机器人以实现机械零件的自动分类是智能工业装配线的趋势。使用机器视觉算法识别和跟踪目标并实现快速分类操作具有重要的理论和实践意义^[1-2]。

项目对基于机器视觉的分拣机器人系统进行了理论和实验研究。分拣系统涉及两个核心问题，一个是基于机器视觉的图像识别和目标跟踪，另一个是基于华数工业机器人的抓取和分类控制策略。设计了智能分拣作业的总体方案，阐述了该系统的工作原理，并通过实验验证了该分拣系统的可行性。

2  视觉分拣系统设计

视觉分拣机系统如图1所示。不同种类的工件随机放置在传送带上。图像获取设备获取图像序列，然后计算机识别目标类型并提取实时坐标。上述信息被传输到控制器，以指导机械手完成工件分类工作^[3-4]。

图1  视觉分拣机器人系统示意图

该系统主要由工件传输单元、图像采集单元、信息处理单元、机械手和控制器单元组成。工件输送单元由工件输送履带和三相交流电动机组成。该文研究的分拣机零件是大小不一的螺栓和螺母，它们具有金属光泽，并且与工件传送带的轨迹形成较大的色彩对比，有助于实现对目标工件的准确识别和跟踪。图像采集单元由工业相机、光学镜头、图像采集卡和照明设备组成。作为分拣平台的照明设备，光源固定在输送机轨道的两侧，以消除工件本身的阴影。信息处理单元主要由计算机组成。该单元对视频序列进行一系列处理，包括使用相应的视觉算法来识别和跟踪目标工件，然后获得目标类型及其位置坐标，并将信息传输到机械手控制器，以便控制机械手完成排序任务。机械手和控制器单元主要由基于华数工业机器人的四自由度机械手和相应的控制器组成。主机将控制信号发送到控制器，然后控制机械手的关节运动。末端执行器上有一个电磁卡盘，可以实现待分类工件的抓握操作。

3  目标工件追踪

目标跟踪算法用于处理摄像机捕获的视频序列，提取目标的位置信息和运动速度信息，并将信息传输到机械手控制器，以指导机械手进行分类操作。为了实现目标工件的分类，除了跟踪目标并获取实时坐标的任务外，还应确定目标的特定类型。该文要分类的对象是螺栓和螺母。摄像机获取图像的过程是将三维空间中的对象转换为二维平面，在此期间会丢失部分对象信息。由于在传送带上移动的工件和相机之间的拍摄角度不同，并且将工件随机放置在传送带上，因此工件的姿势是多种多样的，因此同一工件在图像序列中的位置不同。因此，在该文中，使用神经网络识别工件^[5-6]。人工神经网络是一种数学模型，可模拟大脑的神经连接以处理信息。它由大量的神经元节点和它们之间的加权连接组成。每个节点等效于一个特定的输出函数，称为激励函数。任何节点之间的连接代表了神经网络的内存，并具有不同的加权值，称为权重；神经网络的输出取决于激励函数，网络权重和连接方式。在该项目中，使用BP神经网络识别工件，并使用基于不变矩特征的样本来训练网络。识别算法如图2所示。

图2  基于BP神经网络的识别算法

在目标跟踪算法中，将MATLAB软件用于目标识别，并通过调用神经网络工具箱中的函数来构建、训练和仿真BP神经网络。该过程涉及建立BP神经网络的功能、训练BP神经网络的功能和模拟BP神经网络的功能。训练信息如图3所示。将MATLAB软件用于目标识别，并通过调用神经网络工具箱中的函数来构建，训练和仿真BP神经网络。

图3（a）显示了BP神经网络的训练参数。BP神经网络隐藏层中的神经元数量设置为20，因为要识别三种不同的工件。图3（b）显示了均方误差随训练周期变化的曲线。本实验中设置的误差极限为0.00004，训练周期为300，训练步长为0.1。随着训练周期数的增加，误差值迅速减小。从不同角度拍摄每个工件400张图片，每张图片可以提取出一组矩量特征，并结合工件标签作为一组训练样本，共获得1200组训练样本对神经网络进行训练。在识别部分中，收集了每个工件的33张图片，总共使用了99组不变矩作为测试样本。

4  工业机器人的目标工件分拣

华数工业机器人是基于视觉的机器人分拣系统的重要组成部分，它完成了对传送带上目标工件的分拣和抓取任务。在这项研究中，平面四自由度机械手用于实现分类操作。分类时采用基于最佳抓取点的分类策略。机械手的相关参数如表1所示。

机械手的关节1和2分别为，描述运动关节3的变量为。并且描述操纵器末端的旋转关节4的角度变量为θ4。L1和L2是手臂的长度。对于机器人，在机械手具有一定角速度的条件下，如果机械手的关节角度较小，则机械手到达抓握目标位置的时间将更少，并且能量消耗将更少。在该文中，将华舒工业机械手具有最小移动时间和最低能耗的抓取位置称为最佳抓取点。输送带上的位置点与华数工业机器人关节的1和2旋转角度之间始终存在对应关系。然后，将最佳抓握点的选择转换为关节1和2的最佳旋转角度的选择。 华数工业机器人在进行分拣和抓取操作时，依靠旋转关节1和2的旋转角度到达目标工件的顶部，然后移动关节3来延伸机械连杆以使机器人机器末端配备的电磁吸盘靠近目标物体，以抓取相应的工件并将其放入分拣容器中，以实现分拣任务。图4是机械手分类操作的示意图。

图4  华数工业机器人机械手分类操作图

将工件随机放置在传送带上，工件的初始位置和华数工业机械手的初始位置之间的垂直距离为。工件的线性轨迹中存在一个点，这使得机械手关节1和关节2的旋转角度相对最小。同样，如果工件的初始位置和华数工业机械手的初始位置之间的垂直距离为。对于新生成的线性轨迹，还有最佳的抓握位置。在由工件随传送带移动而形成的线性束中，可以找到一系列最佳的抓取点，即，形成了最佳的抓取轨迹。最后，通过目标跟踪获得实时图像目标位置坐标，并将其转换为三维空间坐标系。控制器用于控制机械手，最终完成分拣任务。在分拣过程中，机械手的末端执行器采用电磁吸盘结构，控制器引导机器人在工件附近移动以吸收工件。排序过程如图5所示。

图5  华数工业机器人分拣实验

5  结论

该文讨论了基于机器视觉的工业机器人分类系统的技术，设计了基于机器视觉的工业机器人分类系统的构建方案，并介绍了系统的各个组成部分。为了实现动态目标捕获的任务，研究了目标跟踪技术和图像识别方法。并研究了华数工业机器人的抓取策略。从最优控制的角度，分析了抓取位置与机械手角度之间的关系，得到了基于最优抓取点的分类策略。 下一步是从以下角度进行进一步研究。在分拣过程中，工件在传送带上的分布是随机的。当密度大时，有必要防止丢失排序，而当密度小时，有必要减少排序的等待时间。因此，我们可以尝试从传送带的运动速度控制的角度研究，并得到一种传送带的变速控制方法，以提高工件分拣的效率。

参考文献：

[1]季继明，黄锡焕. 工业机器人技术的发展与应用[J]. 机电工程，2015，32（1）：1-13.

[2]孙应飞，罗爱华。中国工业机器人发展研究[J]. 科学技术与工程，2012，12（12）：2912-2918.

[3]张朝阳. 基于视觉的机器人废旧金属分拣系统研究[D]. 北京：中国农业大学学报，2015：8-9.

[4]李俊彦，米月琴，龚静，刘鹏飞. 基于机器视觉的工业机器人分拣系统[J]. 电子技术，2016，29（1）：105-110.

[5]蔡荣泰，吴元浩，王明佳，吴庆祥. 视频目标跟踪算法概述[J]. 视频应用与工程，2010，34（12）：135-138.

作者简介：

陈帅华（1979-），女，汉族，重庆潼南人，重庆城市职业学院副教授，高级实验师，主要从事电气自动化、工业机器人技术应用方面的教学与研究。

项目支持：

基金项目：重庆市教委科技项目，主持人：陈帅华，执笔人：陈帅华，项目编号：KJQN 201903903，项目编号：KJQN 202003905；重庆城市职业学院科技项目，项目编号：XJXK202001006。