中自网

热门搜索:PID  plc  传感器  电机  变频器  工业以太网  无线通讯  低压 

当前位置:首页>>应用案例首页>>专业论文>>正文

基于图像识别的机械臂抓取系统

发布日期:2021-05-20   来源:《智能机器人》19-05期   作者:许志敏 万欣 顾凯 魏海峰   浏览次数:13186
分享到:
【摘   要】:本文设计了一款基于FPGA控制的六自由度机械臂抓取系统,可通过对某区域内的图像处理进行智能识别,经过FPGA实时动作规划抓取指定物体,为保证机械臂的运行安全性,整个系统可由语音识别模块来控制。本系统可以实时显示操作台上的情况,用户可通过语音控制来实现抓取功能,经过多次优化、完善和软硬件联合调试,最终实现所需功能。本系统适用于自动化的工业生产流水线中对残缺产品的选取,或者不同产品的分类分拣,旨在提高工厂的运行效率,节省工厂运营成本,增强企业的竞争力。


关键词:
六自由度机械臂FPGA图像识别联合调试

Abstract  In this paper, a six-degree-of-freedom robot arm grasping system based on FPGA control can be intelligently identified by image processing in an area, and the specified object can be captured by FPGA real-time action planning, so as to ensure the operation safety of the robot arm, the whole system can be controlled by the speech recognition module. The system can display the situation on the operator's station in real time, the user can realize the crawl function through voice control, after many optimization, improvement and hardware and software joint debugging, and finally realize the required functions. This system is suitable for the selection of defective products in the automated industrial production assembly line, or the sorting of different products, so as to improve the operating efficiency of the factory, save the operating costs of the factory, and enhance the competitiveness of the enterprise. 

Key wordsSix degrees of freedom robotic arm  FPGA  pattern recognition  joint debugging


1 引言

随着电子技术的快速发展,如FPGA此类强大的数字硬件处理器涌现出来,这些器件可以大幅度地提高图像系统的处理速度。硬件技术在算法上具有独特的优势,因为这些硬件系统支持并行指令操作,所以这些操作将把“时间”上的叠加转成“空间”的并行运算,从而有效提高图像的速度处理。特别是FPGA内部集成了非常丰富的硬件逻辑资源,以及强大的并行处理能力和流水线设计,可以作为图像处理算法设计的高性能硬件解决方案,这种硬件图像处理算法大大减轻了图像处理上的压力,提高了图像系统的性能。

近年来我国制造业在迎接市场需求的情况下获得了巨大的发展,促使国内工业机器人技术不断革新,其中以六自由度机械臂最为注目,传统的工业机械臂动作路线单一、灵活性不够,为此,将图像识别与机械臂结合,再结合相关传感器,本系统可以实现机械臂的智能运动。

文献[1]阐述FPGA可以促进硬件对实时图像的处理;文献[2]重点探讨了FPGA对视频图像的处理;文献[3]-[8]均用到图像二值化来处理图像;文献[9]采用逆运动学求解六自由度机械臂的逆解;文献[10]设计了基于图像识别的果蔬分拣系统;文献[11]采用雅可比矩阵函数的方式进行六自由度机械臂的运动学仿真;文献[12]-[14]采用不同的方法对六级自由度的机械臂进行路径规划,并予以验证。

2  系统总体设计

本系统总体设计可分为两部分,一是图像识别处理的设计,二是机械臂抓取模块设计。系统结构图如图1所示。

 

1 系统结构图

Fig.1  System structure diagram

摄像头模块采集操作台的图像信息,将信息存入FPGA的BRAM存储器。FPGA直接存储器访问读取缓存中的图像信息,图像经过并行化处理后再通过直接存取访问读取出来,将最终的处理后结果显示出来。在显示器显示图像的同时,FPGA生成物体的坐标,再进一步利用机械臂的路径规划处理坐标,得到机械臂的各个舵机所需旋转的角度,从而实现物体的抓取。

3  系统的硬件设计

硬件设计分为语音识别模块、图像识别模块及机械臂抓取模块。

本设计采用语音识别模块,可用语音控制图像识别和机械臂抓取功能,在实际运用中,如果遇到环境嘈杂等问题,可通过串口与产品中的单片机进行串口通信达到控制效果。

图像识别系统包含有图像采集、图像处理、VGA显示。图像采集所采用的摄像头为OV7670,其可输出8位的RGB图像,工作频率为25MHz。图像处理所用芯片是Artix-7,其外部时钟的高频达到100MHz,有5200个逻辑单元和4个六输入LUT结构,可满足设计需求。本设计中采用VGA显示器显示像素为2个320*240的图像。

机械臂选取六自由度的机械臂,六自由度机械臂被广泛应用于工业制造、医学治疗、娱乐服务、军事、半导体制造和太空探索等领域,可通过控制六个舵机的旋转角度来控制机械臂实现相应功能。



图像识别处理流程设计如图2所示

2  图像识别处理程序流程图

 

2)机械臂路径规划程序设计

六自由度机械臂可通过控制六个舵机旋转的角度来实现对机械臂的控制,如图3所示

 

3 机械臂的结构示意图

Fig.3  Schematic diagram of the mechanical arm

机械臂数学模型的建立:
 

 



5 机械臂路径规划程序流程图

 

5  实验测试

5.1  系统实物

 

6  系统实物展示 

Fig.6 System physical display

5.2  图像识别系统测试

图像识别系统经过多次调试,可正常工作。通过VGA可显示摄像头拍摄的画面及图像处理后的画面,如图7所示

 

7 图像处理效果图

Fig.7 Image processing rendering

图像识别系统软硬件测试正常。

5.3  机械臂抓取系统测试

机械臂抓取系统经通过控制舵机旋转可实现抓取功能。本系统机械臂104mm,98mm,135mm。将物体放置X=130mm,Y=75mm处,用示波器检测受控制舵机的PWM信号,可推出舵机旋转角度,所测PWM信号波形如图8所示

 

 

 

路径规划完成,测试中机械臂可以顺利抓取物块,机械臂抓取系统软硬件测试正常。

6  结论

本文设计了一款基于FPGA控制的六自由度机械臂抓取系统主要目的在于克服传统的工业机械臂动作路线单一、灵活性不够的缺陷,本设计将图像识别与机械臂结合,再结合相关传感器,可以实现机械臂的智能抓取。本设计以Airtx-7开发板为控制核心,首先对整个系统做出总体设计,分析其功能,画出结构框图等,然后针对各个模块制定出相应的实现方案(根据硬件模块设计编写相应软件程序),最后软硬件结合对成品进行调试优化,最终该设计能够较好地实现设计需求。

参考文献

[1] 张虎森, 许珂, 仇正杰. FPGA的图像处理系统算法[J]. 电子技术与软件工程, 2019, 147(01):83.

Zhang Husen, Xu Wei, Qiu Zhengjie. Image Processing System Algorithm of FPGA[J]. Electronic Technology and Software Engineering, 2019, 147(01): 83.

[2] 邹庆华, 邵瑞. 基于FPGA的视频图像处理系统研究[J]. 信息通信, 2016(11):78-79.

Zou Qinghua, Shao Rui. Research on Video Image Processing System Based on FPGA[J]. Information Communication, 2016(11):78-79.

[3] 高宏亮, 刘彪, 李龙龙. 基于FPGA的图像采集和预处理技术的研究[J]. 制造业自动化, 2013, 35(13):72-75.

Gao Hongliang, Liu Wei, Li Longlong. Research on Image Acquisition and Preprocessing Technology Based on FPGA[J]. Manufacturing Automation, 2013, 35(13): 72-75.

[4] 侯法柱. 基于FPGA的图像采集与处理系统设计[D]. 湖南大学, 2010.

Hou Fazhu. Design of Image Acquisition and Processing System Based on FPGA[D]. Hunan University, 2010.

[5] 张雅兰. 图像的二值化处理[J]. 广西科技大学学报, 2002, 13(1):32-33.

Zhang Yalan. Binarization of Images[J]. Journal of Guangxi University of Science and Technology, 2002, 13(1): 32-33.

[6] 赵厉, 吴艳, 李弓. 图像二值化处理器的FPGA实现[J]. 广西科技大学学报, 2015(2):68-72.

Zhao Li, Wu Yan, Li Gong. FPGA Implementation of Image Binarization Processor[J]. Journal of Guangxi University of Science and Technology, 2015(2): 68-72.

[7] 王俊杰, 黄心汉. 一种对图像进行快速二值化处理的方法[J]. 电子技术应用, 1998, 24(10):16-17.

Wang Junjie, Huang Xinhan. A method for fast binarization of images[J]. Electronic Technology Application, 1998, 24(10): 16-17.

[8] 翟社平, 李威, 马传宾. 图像识别中的数字运算及其FPGA实现[J]. 信息技术, 2016(3):15-18.

Geng Sheping, Li Wei, Ma Chuanbin. Digital Operation in Image Recognition and Its FPGA Implementation[J]. Information Technology, 2016(3):15-18.

[9] 张栩曼, 张中哲, 王燕波,等. 基于空间六自由度机械臂的逆运动学数值解法[J]. 导弹与航天运载技术, 2016(3):81-84.

Zhang Yuman, Zhang Zhongzhe, Wang Yanbo, et al. Inverse kinematics numerical solution based on space six-degree-of-freedom manipulator[J]. Missile and Space Vehicle Technology, 2016(3):81-84.

[10] 李颀, 王俊, 高一星,等. 基于图像处理的果蔬分拣系统设计[J]. 农业与技术, 2019, 39(03):7-10.

Li Wei, Wang Jun, Gao Yixing, et al. Design of Fruit and Vegetable Sorting System Based on Image Processing[J]. Agriculture & Technology, 2019, 39(03): 7-10.

[11] 云洋, 宋华, 徐炳吉. 六自由度工业机械臂运动学仿真研究[J]. 机械科学与技术, 2018(8):1167-1176.

Yun Yang, Song Hua, Xu Bingji. Kinematics Simulation of Six Degrees of Freedom Industrial Manipulators[J]. Mechanical Science and Technology, 2018(8): 1167-1176.

[12] 张化平, 王宇航, 陈汉卿. 六自由度机械臂运动学分析与仿真[J]. 工业仪表与自动化装置, 2017(5):127-130.

Zhang Huaping, Wang Yuhang, Chen Hanqing. Kinematics Analysis and Simulation of Six Degrees of Freedom Manipulator[J]. Industrial Instrument & Automation, 2017(5):127-130.

[13] 李珺茹, 齐立群, 韩文波. 六自由度机械臂运动学分析与轨迹优化[J]. 长春理工大学学报(自然科学版), 2019, 42(01):72-77.

Li Yuru, Qi Liqun, Han Wenbo. Kinematics Analysis and Trajectory Optimization of Six Degrees of Freedom Manipulators[J]. Journal of Changchun University of Science and Technology(Natural Science Edition), 2019, 42(01): 72-77.

[14] 龙腾. 一种六自由度机械臂的控制系统设计[J]. 信息技术与网络安全, 2019(6):65-68.

Long Teng. Design of a Six Degrees of Freedom Manipulator Control System[J]. Information Technology and Cyber Security, 2019(6): 65-68.

 作者简介

许志敏  男,1998年生,本科,研究方向为自动化。

 

   男,1997年生,本科,研究方向为自动化。

    男,1997年生,本科,研究方向为自动化。

魏海峰  男,1981年生,博士,副教授,研究方向为电机控制。

 

 

 


 

 

 

 
 
[ 应用案例搜索 ]  [ ]  [ 告诉好友 ]  [ 打印本文 ]  [ 关闭窗口 ]  [ 返回顶部 ]

0条 [查看全部]  网友评论