温室番茄采摘机器人系统设计.pdf

25 农业装备农业开发与装备 2023年第10期 温室番茄采摘机器人系统设计 姬丽雯 1 2 张 豪 1 吴 丹 1 2 高 帅 1 2 1 江苏农林职业技术学院机电工程学院 江苏句容 212400 2 江苏省现代农业装备工程中心 江苏句容 212400 摘要 设计了一种应用于温室番茄采摘的机器人 该 机器人可以在温室中自动规划路径 并识别和采摘成 熟番茄 设计以分布式计算系为主控制网络 以激光 雷达进行移动机器人的地图构建与定位 视觉系统智 能识别番茄进行3 D定位 通过视觉系统软件开发结合 双目相机硬件结构实现果实的精准识别和定位 关键词 番茄采摘机器人 路径规划 视觉系统 0 引言 在果蔬作业生产链中 采摘作业是整个生产链中 最耗时 费力的环节 且采摘作业存在季节性强 劳 动强度大 投入费用高的特点 因此农业采摘机器人 研究发展有极强的现实意义 1 2 国内农业机器人发 展相对于国外比较晚 但经历多年的不断的研究和 发展 也取得了一定的成就 江苏大学研制了番茄采 摘机器人 将 RGB颜色空间转换成 HIS颜色空间 王 沈辉等人基于神经网络 创建了双目立体视觉实验的 平台 魏博等设计了一种欠驱动式柑橘采摘末端执行 器 通过三个双连杆并联式手指充分抓握和偏转融合 控制 实现柑橘的稳定采摘 使用的末端执行器具有 适应性强 抓取稳定等优点 但只在手指内部贴有软 硅橡胶的设计无法避免果实采摘时的破损 将影响果 实的品质 3 于丰华等将机器人的机械臂扩展到6自由 度 机械臂搭载了附有薄膜压力传感器的柔性手爪 基于R FCN卷积神经网络视觉识别技术 设计了以番 茄为采摘对象的移动机器人 但是机器人必须通过巡 线相机识别温室内定位胶带来完成巡检和采摘 移动 的灵活性受到限制 4 虽然采摘机器人的研究较多 但 研究深度还有待进一步提高 本文设计了一款温室番茄采摘机器人 采用同时 定位和地图构建实现机器人的路径规划 双目深度相 机实现对成熟番茄的识别和定位 搭载柔性仿生夹爪 的 6自由度机械 臂实现目标番茄的抓取和放置 1 采摘机器人系统功能设计 番茄的培育模式主要有地面土培和基质高架培 育 其中高架基质栽培可改善劳动姿势 减轻劳动强 度 实现省省力化栽培而且能够克服连作障碍 实现清 洁化生产 5 本文的农业采摘机器人是以温室高架番茄 为采摘对象进行研究 温室番茄栽培模式如图1所示 图 1 温室番茄栽培模式 采摘机器人的硬件结构图如图2所示 包括激光雷 达 3 D相机 六自由度机械臂 仿 生手爪等 采摘机 器人的底盘用于承载整个车身 6个轮式电机动力驱 动 6个舵机转向驱动 可前后左右行驶 可实现0度 到360度原地转弯 RS232通信控制 此小车地盘是全 地形越野地盘 6轮6驱独立悬挂独立转向 整车 最大负载为200 kg 转弯半径为0至无穷大 可原地旋 转 爬坡能力为最大35度 工作电压为24 55 V 控制 模式为闭环控制 图 2 采摘机器人硬件系统结构 软件开发使用 1 计算机 相机 将机器人控制 器 3D相机等关联起来开发图像识别和采摘系统 2 基金项目 江苏省大学生创新创业训练计划项目 202013103 077y 作者简介 姬丽雯 1989 女 山东曲阜人 硕士 研究方 向为智能农业装备与技术 26 农业装备 农业开发与装备 2023年第10期 计算机 底盘 将激光雷达和小车底盘关联起来开发 小车导航系统拓展功能 3 计算机 客户端 远程操 控使用 各计算机的连接拓扑如图 3所示 图3 各计算机连接拓扑 机器人采摘流程如图 4所示 机器人通过激光雷达 构建环境地图用做车辆导航 地图构建完成以后可以 进入采摘环节 机器人开始移动 并使用双目摄像头 进行拍照识别 如果检测到成熟番茄 则停止识别并 对目标番茄进行定位 引导机器人进行采摘动作并释 放到果篮处 再回到采摘初始位置 若采摘目标位置 超过设置界限 不执行采摘动作 图 4 机器人采摘流程图 2 采摘机器人导航系统 本机器人采用了思岚 RPLIDAR A3红外激光雷达 通过串口与 Raspberry Pi 4B相连 激光雷达的主要技术 参数如表1所示 表1 RPLIDAR A3激光雷达主要技术参数 项目 典型值 测量距离 25m 扫描范围 360 采样频率 16000次 s 扫描频率 15Hz 角度分辨率 0 225 测距相对误差 1 现在需要构建地图和路径规划 因为到达一个新 的环境是必须进行的一个操作 6 9 此过程需要激光雷 达和远程工控机 通过无线网络使用远程工控机 控 制底盘控制系统 10 12 紧接着发出构建地图和规划路 径指令 驱动激光雷达开始规建 同时使用遥控装置 进行提高路径的正确性和在远程控制电脑上地图完整 性 随着地图构建完成将采摘车遥控至起点位置 然 后远程发送指令 并保存地图 然后对路径进行人工 规划 设立原点 采摘点 返回位置 并上传至底盘 控制系统 3 采摘机器人视觉系统 采摘机器人使用3D相机拍摄番茄 可以获取将被 采摘番茄的立体图像信息 3D相机可以通过智能识别 算法识别出成熟番茄 然后通过计算机立体图像识别 和3D的位置信息分析 最后实现番茄的立体定位 本 文中采用的3D相机是小觅智能的双目深度相机 这款 3D相机相关参数为 线路板尺寸大小为90 26 mm 总 尺寸为124 33 3 32 5 mm 分辨率分别为2 560 720 1 280 480 深度分辨率为1 280 720 640 480 像素 尺寸3 75 3 75 um IR可探测距离为3 m 3 1 视觉识别 使用基于新算子的OTSU分割方法 将背景与目标 进行区分 最大类间方差算法 OTSU 是由日本学者 大津展之提出的 这种算法整个过程如下 1 选择其中一个 具有代表性的灰度值 记为k 他一般分为两个准类 分别是C 1 K 1 m 和 C 0 1 K 则每一类产生的概率分别为 1 2 C 0 C 1 平均灰度值 2 27 农业装备农业开发与装备 2023年第10期 3 整体平均灰度值为 3 4 C 0 C 1 两类之间的方差 4 5 通过遍历求得 k 的值 使得 5 6 k 即为所求 以该值为阈值来对图像进行分割 3 2 视觉标定 由于相机视野中捕获目标物体的坐标系与机器人 坐标系不一致 它们各自的坐标没有联系 所以为了 使两者坐标系形成关联 以便引导机器人进行采摘 故需要将相机的坐标系变换到机器人坐标系中 即进 行标定 13 15 要完成机器人与物体的坐标变换标定 需要一个 矩阵 4 x4 这个矩阵包含着一个旋转矩阵 3X3 和一个平移矩阵 1X3 变换矩阵由旋转矩阵和平移 矩阵组成 我们以机械臂末端坐标系到机械臂基底坐 标系变换矩阵为例进行说明 转换矩阵表示如公式 6 end 1 nullnullnull nullnullnull nullnullnull null null null null 0 6 其中 nullnullnull null null 机械臂末端坐标系到机械臂基底坐标 系的旋转矩阵 它为 3x3 矩阵 nullnullnull null null 机械臂末端坐标系到机械臂基底坐标系的平 移矩阵 它为 3x1 矩阵 具体的标定步骤为 1 选取合适的四个标定点 四个标定点应该差异 化 比如远近位置各不相同 同时又应该在相机的拍 摄范围和机械臂的可采摘范围之内 2 运行采摘机器人软件 确保机器人在采摘初始 位置 点击识别采摘 相机在初始采摘位置拍照 识 别出果实 使用TeamViewer远程控制相机计算机 使 用相机计算机提供的ImageJ软件在相机计算机标定出 果实位置 如图 5 a 所示 3 利用示教器遥控机械臂到当前标定点所在的果 实位置 记录下示教器的位置X Y Z值 得到机器 人坐标系 如图 5 b 所示 4 将数据填入小觅相机内参列表中 将标定数 据填入农业采摘机器人软件平台中 点击生成变换矩 阵 保存变换矩阵 至此标定完成 3 3 基于双目视觉的目标番茄定位 双目视觉目标定位示意图如图6所示 采用两台内 参数完全一致的相机 C L 和 C R 从左右两个视角获取目 标物体的图像 分别为左平面图和右平面图 目标物 体在左右平面图上存在两个投影点 P L 和 P R 根据两相 机的摆放位置 以及投影点的位置 利用三角形相似 原理便可以计算出目标物体的三维坐标信息 a 相机坐标系 b 机器人坐标系 图 5 视觉标定图片 图6 双目视觉目标定位示意图 计算三维场景中目标点在左右两个视图上形成的 视差 首先要把该点在左右视图上两个对应的投影点 匹配起来 然而 在二维空间上匹配对应点是非常耗 时的 为了减少匹配搜索范围 需要进行双目相机的 立体校正 将二维上的匹配搜索降低到一维 图7 立体校正后的双目视觉目标定位示意图 立体校正就是利用极线约束将左右两个视图平面 的对极线限制在同一水平线上 这样一幅图像上任意 28 农业装备 农业开发与装备 2023年第10期 一点与其在另一幅图像上的对应点就必然具有相同的 行号 只需在该行进行一维搜索即可匹配到对应点 使用 Opencv双目相机校正函数进行立体校正 校正后 的双目视觉目标定位示意图如图 7所示 此时对极线与 相机的连线 基线 平行 左右成像平面共面 图8 双目视觉相机平面示意图 双目视觉相机平面示意图如图8所示 目标物体 P X Y Z 在左右相机的投影点分别为PL和PR 经过立体校正后 两者的连线与基线平行 投影点PL 和PR在左右平面的坐标分别为 xL yL 和 xR yR 相机焦距为f 左右相机基线为b 利用三角形 相似原理 求出P X Y Z 的空间坐标为 null null null null null null null null null null null null null null 7 4 试验与结果分析 机器人的远程执行软件界面如图9所示 界面可 以实时显示采摘目标 及对应的相机坐标和机器人坐 标 6自由度机械臂的角度等信息 机器人的远程执行 软件界面还可以远程控制机器人动作 保障采摘系统 作业安全 试验于江苏省农博园番茄温室中进行 机器人在室 内无光照环境下进行采摘 观察其采摘机器人整体试验 数据如表2所示 对采摘机器人视觉系统的检测坐标和 机器人手爪坐标进行了分析 其误差都还在可以允许范 围之内 自主番茄采摘机器人成功率达到 85 左右 5 结论 本文设计一款农业采摘机器人 该机器人可以在 番茄温室中采用同时定位和地图构建自主路径规划 使用双目视觉摄像头可完成对成熟草莓的自动识别和坐 标定位 成熟草莓识别率大概在 85 满足采摘要求 参考文献 1 罗锡文 廖娟 胡炼 等 提高农业机械化水平促进农业可 持续发展 J 农业工程学报 2016 32 01 1 11 2 谢斌 武仲斌 毛恩荣 农业拖拉机关键技术发展现状与 展望 J 农业机械学报 2018 49 08 1 17 3 魏博 何金银 石阳 等 欠驱动式柑橘采摘末端执行器设 计与试验 J 农业机械学报 2021 52 10 120 128 4 于丰华 周传琦 杨鑫 等 日光温室番茄采摘机器人设计 与试验 J 农业机械学报 2022 53 1 41 49 5 汤亚东 番茄智能采摘机构优化设计及试验研究 D 郑 州 河南农业大学 2018 图 9 远程执行软件界面 29 农业装备农业开发与装备 2023年第10期 6 杨光友 倪博文 李江 等 水田作业农业机器人平台设计 J 农机化研究 2021 43 07 51 57 7 Qiu Q Fan Z Meng Z et al Extended ackerman steering principle for the coordinated movement control of a four wheel drive agricultural mobile robot J Computers and Electronics in Agriculture 2018 152 40 50 8 李传江 宋锦远 程璐璐 等 智能四轮驱动送餐车 P 上 海 CN107041634A 2017 08 15 9 司博文 薛新宇 崔龙飞 等 农用轮式机器人转向系统半 实物仿真试验台设计与试验 J 中国农机化学报 2021 42 05 114 122 10 Liao J C Chen S H Zhuang Z Y et al Designing and manufacturing of automatic robotic lawn mower J Processes 2021 9 2 358 11 郭志越 王伟 庄煜 等 基于 Solidworks的农业信息采集系 统设计 J 森林工程 2015 31 04 92 97 12 王其东 曹也 陈无畏 等 轮毂电机驱动车辆线控差动 转向的研究 J 汽车工程 2019 41 12 1384 1393 1409 13 高超 张缓缓 闫业翠 等 轮毂电机驱动汽车差动助力转 向建模与仿真 J 农业装备与车辆工程 2020 58 10 27 32 14 Zhang H Zhang Y Yang T A survey of energy efficient motion planning for wheeled mobile robots J Industrial Robot the international journal of robotics research and application 2020 47 4 607 621 15 Ye Yunxiang Wang Zhaodong Dylan Jones et al Bin Dog A robotic platform for bin management in orchards J Robotics 2017 6 2 12 表2 番茄采摘数据 序号 检测坐标 手爪坐标 误差 可否采摘成功 番茄1 342 3 445 2 356 8 346 7 442 4 355 7 4 4 2 8 1 1 是 番茄2 457 2 561 3 581 7 455 1 567 3 583 8 2 1 6 0 2 1 是 番茄3 472 8 537 7 491 5 469 1 540 6 493 7 3 7 2 9 2 2 是 番茄4 531 4 500 1 584 2 530 8 498 3 589 8 0 6 1 8 5 6 是 番茄5 342 0 352 8 420 1 348 2 355 6 426 5 6 2 2 8 6 4 否 番茄6 486 2 458 4 529 8 488 9 454 6 527 0 2 7 3 8 2 8 是 番茄7 513 2 543 6 398 3 510 9 540 1 399 8 2 3 3 5 1 5 是 草莓8 556 8 572 1 492 2 562 6 572 7 490 7 5 8 0 6 1 5 是 草莓9 468 3 495 2 480 5 465 8 494 6 478 6 2 5 0 6 1 9 是 草莓10 549 2 570 6 483 7 547 8 568 9 480 6 1 4 1 7 3 1 是