本项目的目标是研究和开发一种开放式智能工业机器人人机交互系统,实现人机交互协调控制,使操作者能够简单精确地控制机器人,提高机器人的工作效率、精度和安全性能。项目经过两年的研究和开发,研发出一套基于机器视觉和人体演示的工业机器人人机交互系统。 项目研究内容主要分为六部分。第一部分研究了机器视觉系统的标定,对由机器人、视觉系统和人类操作者组成的机器人人机交互系统进行标定,第二部分对机器人运动空间中的障碍物位置信息进行获取,并提出机器人奇异位形避让算法。对机器人运动空间中的障碍物位置信息获取方法进行研究,提出了基于模板匹配法和SURF算法的障碍物位置信息获取方法,并比较了两种方法的优劣。提出了三种机器人奇异位形避让算法,即非冗余机器人奇异位形避让算法,冗余机器人奇异位形避让算法和点到点机器人奇异位形避让算法。第三部分研究了基于机器视觉和人机交互的机器人初始路径获取方法。提出了基于Mark点和搜索手指关节角度的方法、基于标定法的初始运动路径获取以及基于人手夹持器的机器人运动路径获取方法。通过不同场景下的实验验证了所提出的三种方法的优劣性。实验结果表明基于人手夹持器的机器人初始路径获取方法获得的机器人路径最为平滑。第四部分对机器人初始路径进行优化研究。本项目采用粒子群优化算法（Particle Swarm Optimization, PSO）对通过机器视觉和人手演示的机器人初始路径进行优化。对机器人初始路径进行离散化处理来确定粒子群优化算法的搜索空间,再将碰撞和机器人奇异位形作为约束条件,以路径最短为优化目标。通过粒子群优化算法搜索出一条无碰撞和奇异位形的机器人运动路径。第五部分为机器人人机交互系统实验研究。首先搭建了由视觉传感器、工业机器人、控制系统、人类操作者组成的工业机器人人机交互系统,建立相应的仿真环境和机器人示教软件平台。其次,对人手夹持器末端位置误差进行实验研究。通过激光跟踪仪获取人手夹持器的末端位置信息,并与由视觉系统获得人手夹持器末端位置信息进行比较,从而获得人手夹持器末端位置的定位误差。实验结果表明人手夹持器末端定位误差都在5mm以内。接着,进行了基于PSO算法的机器人路径优化实验研究。通过三种不同场景下的实验,验证了基于PSO算法的机器人路径具有更加平滑和更快速的性能。从而验证了所提算法的有效性。最后,将优化后的机器人运动路径在实际的机器人上进行验证,实验结果表明工业机器人能够按照优化后的路径进行运动,能够避开障碍物和机器人奇异位形。同时,通过对圆柱工件、球形工件和立方体工件的抓取实验,验证了基于机器视觉和人手演示的智能人机交互系统可以让机器人成功地抓取不同形状的工件。第六部分是对本项研究的总结与展望。本研究对工业机器人智能人机交互系统进行了研究,提出了基于机器视觉和人体运动演示的智能人机交互系统。该研究成果具有重要的理论意义和应用价值。在理论上,提出了机器人奇异位形避让算法,能让机器人在使用过程中更加的稳定。在实际应用中,提出了基于机器视觉和人体演示的智能人机交互系统,能够让机器人的使用更加的简单和高效,从而促进机器人的应用。目前,人机交互系统还仅仅考虑运动上的交互,将来可以将该交互系统扩展到作用力上的交互,促进工业机器人在更多产业上的应用。 通过两年的研究和开发,本项目按照计划书的要求完成了相应的研究内容。一共发表科技论文7篇,其中SCI检索的期刊论文3篇,EI检索的国际会议论文3篇,中文核心期刊论文1篇。申请中国发明专利3件,授权中国实用新型专利2件,中国计算机软件著作权1件。培养硕士研究生2名。作为参与者之一获得2018年度广东省技术发明一等奖1项。