基于视觉伺服的蝴蝶兰种苗切割系统设计与试验.pdf

第 38 卷 第 6 期 农 业 工 程 学 报 Vol 38 No 6 148 2022 年 3月 Transactions of the Chinese Society of Agricultural Engineering Mar 2022 基于视觉伺服的蝴蝶兰种苗切割系统设计与试验 翟永杰 1 胡东阳 1 苑 朝 1 王家豪 1 张 鑫 1 刘亚军 2 1 华北电力大学自动化系 保定 071003 2 湖北壹鸣生物科技有限公司 钟祥 431900 摘 要 蝴蝶兰种苗自动化切割可降低组培苗染病几率 提高种苗品质 为实现蝴蝶兰种苗自动化切割 该研究针对种苗 结构特性提出基于拟合直线的切点定位方法 并配合切割方法设计了弹性切割末端 搭建了基于视觉伺服的蝴蝶兰种苗切 割系统 首先 采用深度学习模型对采集到的图像进行目标检测 然后 根据检测结果使用基于几何规则的切割点定位算 法计算切点 最后 将切割坐标传输给切割执行机构完成切割作业 目标检测试验中 ShuffleNet v2 YOLOv5 模型检测精 度达 96 7 权重文件大小 1 3 MB 平均检测时间 0 026 s 种苗切割试验中 切割合格率高于 86 单株平均切割时间小 于 18 s 该系统能有效完成蝴蝶兰种苗切割任务 为蝴蝶兰组培苗自动化生产提供新思路 关键词 目标检测 深度学习 视觉伺服 蝴蝶兰种苗 切点定位 切割系统 doi 10 11975 j issn 1002 6819 2022 06 017 中图分类号 S24 文献标志码 A 文章编号 1002 6819 2022 06 0148 09 翟永杰 胡东阳 苑朝 等 基于视觉伺服的蝴蝶兰种苗切割系统设计与试验 J 农业工程学报 2022 38 6 148 156 doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org Zhai Yongjie Hu Dongyang Yuan Chao et al Design and experiments of phalaenopsis seedling cutting system using visual servo J Transactions of the Chinese Society of Agricultural Engineering Transactions of the CSAE 2022 38 6 148 156 in Chinese with English abstract doi 10 11975 j issn 1002 6819 2022 06 017 http www tcsae org 0 引 言 蝴蝶兰组织培养技术逐渐走向成熟 其作为一种无 性繁殖技术 具有培育周期短 成活率高 产量高 可 降低生产成本等众多优势 具有很好的发展前景 1 3 目 前 在蝴蝶兰组织培养中仍存在一些问题 由于行业内 机械化程度比较低 蝴蝶兰组培苗的移植以手工业为主 尤其是种苗根部切除工作仍由人工完成 工人劳动强度 大且工作内容枯燥 4 5 在此过程中的人工操作也可能会 破坏无菌环境 使组培苗染病几率增加 种苗成活率降 低 农业机器人研究起步较早 但目前还没出现自动化 和机械化比较成熟的蝴蝶兰种苗切割研究成果 由此可 见 根据产业内实际情况研制开发自动化种苗切割系统 显得尤为重要 自动化切割种苗要求在保证不伤害到种苗的同时尽 量达到切割深度 实现完整切割 目前以深度学习技术 为基础的检测方法在工业 农业领域内被广泛应用 6 8 以其强大的特征学习能力 为种苗自动切割方法提供了 新的思路 Zahid 等 9 提到在苹果树修剪机器研发设计中 可采用基于深度学习的图像分割算法为剪枝定位提供数 据支持 Quan 等 10 基于 Faster RCNN 模型开发了一种玉 米幼苗检测机器人 在有大量杂草存在的背景下能有较 高的检测精度 Wu 等 11 为了在保证检测精度的基础上提 收稿日期 2021 12 29 修订日期 2022 02 19 基金项目 国家自然科学基金资助重点项目 U21A20486 作者简介 翟永杰 博士 教授 研究方向为计算机视觉 模式识别 机器人控制 Email zhaiyongjie 通信作者 苑朝 博士 讲师 研 究方向为 机器人智能传感器技术 基于 视觉的工业机器人控制 Email chaoyuan 高检测效率 提出了基于 YOLOv4 和通道剪枝算法的苹 果花实时检测方法 该方法对不同品种和光照变化有较 强的鲁棒性 杨柯等 12 设计的基于深度卷积神经网络的 大蒜切根试验台通过对采集到的图像进行检测得到切根 位置 控制电机完成切割 该平台有较高的检测精度和 较快的切割速度 现有的农业机器人设计多针对开放的 农田环境 13 15 无菌环境下的蝴蝶兰种苗切割系统仍有 待开发 无菌环境可以保护组培幼苗不受微生物感染 种苗切割工作间为经过细致消毒后的温室 受环境条件 限制 为防止种苗切割碎片与培养基液体飞溅 切割末 端不宜采用文献 12 所选用的旋转切割方案 另外 切割 执行末端会接触消毒液 培养基液体和种苗汁液 旋转 切割末端不利于机电隔离 并且切割末端设计选材时需 要考虑耐腐蚀因素 切割末端刀具为无菌耗材 为保障 组培苗批量生产效率 需设计方便更换的结构 针对蝴蝶兰种苗组培产业内的自动化切割需求 本 文在分析了蝴蝶兰种苗各部位形态特征后 结合种苗切 割要求 设计了一种基于视觉伺服的蝴蝶兰种苗切割系 统 该系统根据种苗自身特性 对种苗进行自动识别并 计算待切割位置 驱动切割执行机构完成切割作业 该 种苗切割系统拟在保证种苗结构不被破坏的前提下完成 切割工作 以解决人工切割对无菌环境带来的污染问题 1 种苗切割系统整体结构和控制系统 1 1 整体结构 种苗切割系统主要由种苗视觉检测系统 切割坐标 定位系统和切割执行系统构成 如图 1 所示 利用工业 相机获取蝴蝶兰种苗图像 然后对种苗图像各部位进行 第 6 期 翟永杰等 基于视觉伺服的蝴蝶兰种苗切割系统设计与试验 149 识别 切割坐标定位系统将识别得到的信息进行处理 结合蝴蝶兰自身结构特性和切割要求计算种苗切割点坐 标 当切割坐标满足要求时将其传输给标定好的切割执 行系统 由机械臂带动末端刀具结构完成切割 图 1 种苗切割系统结构图 Fig 1 Structure diagram of seedling cutting system 1 2 控制系统 采用 PyQt 开发设计了蝴蝶兰种苗切割人机交互系 统 主要包括视觉检测 机械臂参数监控和系统控制 3 部分 如图 2 所示 界面左侧为种苗视觉检测系统 在 下方控制区内设置了加载图像按钮和拍摄按钮 加载了 深度卷积神经网络训练的检测器后 可分别通过加载本 地图像或从相机获取图像进行种苗识别 界面下方为系 统控制区 通过对采集区域内图像进行识别后提取框内 部分进行图像处理和形态学分析 结合当前的种苗切割 要求进行蝴蝶兰种苗切割点计算 界面右侧为机械臂控 制部分 可监测机械臂各关节参数 控制区内设置了机 械臂启动和紧急停止按钮 另外还可通过下方机械臂参 数控制区域设定机械臂末端速度 图 2 控制界面 Fig 2 Control interface 1 3 切割控制原理 蝴蝶兰种苗切割系统整体控制逻辑如图 3 所示 当从控 制界面输入开始信号后 视觉系统调用工业相机对种苗进行 拍摄 拍摄图像被传输并保存至核心计算单元 下一步对保 存的图像进行识别并判断切割可行性 蝴蝶兰种苗切割是在 中母到子瓶时期 种苗各部位体积较小 不易出现相互遮挡 的情况 但由于蝴蝶兰种苗生长状态存在偶然性 可能有少 量样本待切割部位重叠或被遮挡 如果所拍摄图像种苗待切 割部分存在大面积遮挡或重叠则不满足切割条件 需经过调 整后再进行切割条件检测 若同时检测到种苗根部和黑色块 茎 则判定满足切割条件并进行切点计算 如不满足则重新 等待拍摄指令 机械臂程序设置为等待状态 当接到切割坐 标时执行切割任务 切割完成后复位至初始状态 单株种苗 通常有 2 3 个待切割根部 为保证切割准确性 完成首次 切割后视觉系统重新对种苗进行拍摄 计算下一部分切点坐 标 设置单株连续切割间隔为 0 5 s 图 3 切割控制逻辑 Fig 3 Cutting control logic 2 视觉定位方法 2 1 轻量级 YOLOv5 模型 切割目的是为了使蝴蝶兰组培苗在新的培养基内适 宜生长并方便移植 由于种苗各部位相对位置存在规律 种苗胚根由黑色块茎的内根生长出来 再经过茎部连接 种苗叶片 检测种苗其他部位有助于待检测部分的精准 识别 另外为实现种苗待切割部位的准确定位 需要黑 色块茎位置信息进行辅助定位 因此 采用 ShuffleNet v2 YOLOv5 模型对种苗叶片 黑色块茎和根部进行识别 为实现种苗切割系统高效准确切割 需要选择识别 效率高且准确率较高的目标检测模型 16 18 YOLOv5 作 为典型的单阶段检测模型相较于 Faster RCNN 19 Casacde R CNN 20 R FCN 21 Couple Net 22 等两阶段网 络有更好的实时性 对硬件的算力要求也更低 更适用 于工作连续性要求较高的边缘部署 同时 考虑到模型 的可移植性 本文采用以 ShuffleNet v2 23 为主干网络的 ShuffleNet v2 YOLOv5 目标识别网络进行种苗识别 整体网络结构如图 4 所示 分为输入端 主干网络 颈部网络 头部网络 4 个部分 其中输入端主要包括 Mosaic 数据增强 图片尺寸处理和自适应锚框计算三部 分 输入种苗图像经缩放后大小统一为 640 640 主干网 络部分采用 ShuffleNet v2 结构 SN 1 为 ShuffleNet v2 的 农业工程学报 http www tcsae org 2022 年 150 基本单元 SN 2 为空间下采样的 ShuffleNet v2 单元 颈 部网络将提取的语义特征与位置特征进行融合 并且将 主干层与检测层特征进行融合 使整个模型的特征信息更 加丰富 头部网络部分输出一个表征检测结果的向量 对 待测目标的类别和边框位置等信息进行描述 在 3 个检测 层分别输出相应向量 最后在原图像中生成检测边框 注 conv 为卷积 Concat 为通道数相加的特征融合方式 SPP 为跨阶段残差结构 CBS 为 conv 加 BN 加 SiLu 激活函数的合成模块 BN 为批量归一化 Maxpool 为最大池化 Res unit 为残差模块 SN 1 为 ShuffleNet v2 的基本单元 SN 2 为空间下采样的 ShuffleNet v2 单元 输入图像尺寸为 640 640 3 维的张量 卷 积操作分别形成图像尺寸为 80 80 24 维张量 40 40 24 维张量和 20 20 24 维张量 Note conv is convolution Concat is the feature fusion of adding channel number SPP is a cross stage residual structure CBS is the synthesis module of conv plus BN and SiLu activation function BN is batch normalization Maxpool is max pooling Res unit is the residual module SN 1 is the basic unit of ShuffleNet v2 and SN 2 is the ShuffleNet v2 unit under spatial sampling image size of 640 640 3 dimension tensor convolution operation respectively ed image size of 80 80 24 dimension tensor 40 40 24 dimension tensor and 20 20 24 dimension tensor 图 4 整体网络结构图 Fig 4 Structure diagram of overall network 2 2 切割坐标定位算法 为了满足种苗培育的要求 需要对切割点进行精 准定位 当同时检测到蝴蝶兰根部与黑色块茎部位 且各目标框不存在大面积重叠时 证明种苗不处于直 立状态 满足切割条件 将对其进行切割点计算 为 获得切割执行机构末端的切割点 农业切割系统中常 利用预测的边界框边线进行切割作业 12 但这种方法 不易限制切割点范围 放置在特定的位置时并不能有 效驱动执行机构完成切割 在执行切割时会对种苗其 他部位造成损害 由此可见 该方法并不适用于精准 度要求较高的蝴蝶兰种苗切割任务 针对这个问题 本文通过分析蝴蝶兰种苗结构特性 利用多种图像处 理算法 设计了基于多目标的切割坐标定位算法 其 流程如图 5 所示 注 stem 为种苗胚根 blade 为种苗叶片 black tuber 为种苗黑色块茎 数字表示置信度 即模型有多少概率判定该目标属于此类别 下同 Note Stem is seeding radicle blade is seeding leaf black tuber is seeding black tuber Digital representation confidence that is how much probability the model has to determine the target belongs to this category The same below 图 5 切点定位算法流程图 Fig 5 Flow chart of cutting point location algorithm 第 6 期 翟永杰等 基于视觉伺服的蝴蝶兰种苗切割系统设计与试验 151 首先进行切割条件判断 将拍摄图像送入目标检测 网络后 可以得到不同标签的检测区域 判断检测结果 中是否同时检测出根部区域和单独的黑色块茎区域 如 果满足条件则开始计算切割点 然后进行图像预处理 先对其高斯滤波降噪 并 将其二值化 再对图像做膨胀处理 对提取到的图像 提取轮廓线 找到最大连通区域并填充 得到连通域 图像 s E 最后计算切割点 读取图像连通域内所有像素点 任取两个像素点确定一条直线 G L 求连通域内所有像素 点到直线 G L 的距离 d 由于种苗生长的偶然性 部分种 苗待切割根部可能会有一定程度的弯曲 根据蝴蝶兰种 苗自身特性 本文在以连通域像素点拟合直线的过程中 设置校正因子 其计算式为 1 d 1 式中 d 为连通域内像素点到黑色块茎区域中心点距离 像素 为校正系数 像素点经校正因子修正后用于拟 合直线的相对距离计算式为 dd 2 式中 d 为连通域内所有像素点到直线 G L 的距离 像素 引入校正因子的目的是使靠近黑色块茎部位的连通 域像素在拟合直线的过程中起到主导作用 同时弱化远 离切割点像素作用 以此可以修正根部拟合直线的位置 使其更接近切割中心 对比不同 取值 拟合直线与 x 轴正方向夹角如图 6 所示 从校正系数变量拟合结果可以看出 随校正系数 取值增加 靠近黑色块茎部位的连通域像素在拟合直线 的过程中起到主导作用 拟合直线接近靠近黑色块茎的 根部中心 当 取值大于等于 2 时 直线倾角变化在 1 以内 图 6 为种苗胚根连通域直线拟合校正效果图 注 为胚根拟合直线校正系数 0 3 为拟合直线与 x 轴正方向夹角 Note is the correction coefficient of stem fitting line 0 3 is the angle between the fitting line and the positive direction of x axis 图 6 种苗胚根连通域直线拟合校正示意图 Fig 6 Implication diagram of straight line fitting correction for connected domain of seedling stem 将校正后的相对距离代入距离函数 d 当 d 最 小时 直线 G L 记为连通域拟合直线 f L 根据 M estimator 算法 24 为防止对干扰点鲁棒性不够 d 计算公式为 2 2 2 d dC d C Cd 其他 3 其中 d 为连通域内点到直线 G L 相对距离 由 M estimator 算法 C 为定值 1 345 直线 f L 表达式为 21 21 21 21 21 yy yy yxy x x xx 4 其中 11 x y 和 22 x y 为当 r 最小时用于确定 直线的两点坐标 然后求取根部检测框外接圆 i Q 为 22 2 s si x xyyr 5 其中 s s x y 为根部检测框中心点坐标 i r 为检测框 外接圆半径 22 2 s s i wh r 6 式中 s w 为检测框宽 s h 为检测框高 联立式 4 和 5 计算外接圆与直线 f L 交点坐标 1 P 2 P 比较两交点与黑色块茎检测框距离 判定两交点中 距黑色块茎检测框近点为切割点 P 切割线与图像横轴 夹角 计算公式为 21 21 arctan 2 yy x x 7 为保障种苗内根不受损伤 本文设计了基于黑色块 茎保护区域的切点修正算法 首先计算黑色块茎检测框 外接圆 b Q 然后计算切割点 P 与黑色块茎外接圆 b Q 圆心 距离 j d 若 j d 大于外接圆 b Q 半径 j r 则切割点在外接圆 外 判定其为最终切割点 反之判定切割点在外接圆内 进行切点位置校正 计算黑色块茎外接圆 b Q 与拟合直线 f L 的两交点坐标 判定靠近根部检测框的交点为校正后 的切割点 P 切割点校正方法如图 7 所示 a 无需校正 b 需要校正 a Non correction b With correction 图 7 切割点位置是否校正示意图 Fig 7 The schematic diagram of non or with the cutting point position correction 3 硬件系统 3 1 手眼标定 采用海康 MV CE060 10UC 彩色工业相机采集蝴蝶 兰种苗图像 以手在眼外方式进行手眼标定 25 在这种 农业工程学报 http www tcsae org 2022 年 152 标定方式下 将标定板固定在机械臂末端 保证二者位 姿关系始终不变 通过两次运动 求解相机和机械臂底 座坐标系之间的位姿关系 3 2 视觉识别与坐标计算系统 视觉模型训练使用 Ubuntu18 04 操作系统 32 GB 内 存 Nvidia GeForce RTX2080Ti 显卡 Intel 酷睿 i9 10850K 处理器 在 Pytorch1 8 CUDA11 0 下实现模型搭建及训 练测试工作 识别与坐标计算使用 Windows10 操作系统 AMD Ryzen 5 4600H 处理器 3 3 通信系统设计 设置视觉识别系统和切点坐标计算系统集成在同一 核心处理单元 工业相机与该处理单元通过 USB 3 0 接 口通信 核心处理单元与机械臂通过 WiFi 实现通信 3 4 切割执行机构设计 3 4 1 机械臂硬件系统 切割机械臂选用 AUBO i5 机械臂系统主要由机械 臂本体 控制柜 底座组成 机械臂本体模仿人体手臂 共有 6 自由度 最大负载为 5 kg 重定位精度 0 05 mm 控制柜是 AUBO系列机械臂控制主体 提供多个 IO接口 通过 CAN 总线与机械臂本体通信 机械臂工具端有 4 个 数字输入输出接口及 2 个模拟输入接口 如图 8 所示 机械臂工作空间为除去机座正上方和正 下方的球形空间 工作范围半径 886 5mm 关节转动的角 度范围是 175 a 机械臂系统 b 工作空间 a Manipulator system b Workspace 1 机械臂本体 2 底座 3 工具端 4 控制柜 1 Manipulator body 2 Bedplate 3 Tool end 4 Control cabinet 图 8 机械臂系统与工作空间 Fig 8 Manipulator system and workspace 3 4 2 切割末端设计 蝴蝶兰种苗结构较为特别 当前常见机械臂末端不 能有效完成切割任务 对此 本文针对种苗结构设计了 弹性切割末端 图 9a 为末端结构仿真设计图 图 9b 为实 物图 刀片材料为 sk2 工具钢 5 号部件为刀具夹头 采 取十字形夹头设计 配合 3 号部件内螺纹结构可在保证 刀片稳固的同时方便更换 切割过程中刀片频繁接触试 验台 在此过程中刀片会有一定程度的损耗 设计成方 便更换的夹头形式有利于后期维护 蝴蝶兰种苗根部直 径多为 3 6 mm 因此选用 8 mm 宽度刀片可以实现对种 苗根部的完整切割 种苗材质为软质植物体 弹性切割 末端有助于更好的完成切割任务 2 号部件为劲度系数 1 2 N mm 的弹簧 用以配合切割逻辑 既可以实现种苗 根部完全被切断 又不会因机械臂行程过大对切割结构 和实验平台造成过度损耗 切割过程中执行末端会接触 消毒液 培养基液体和种苗汁液 因此切割末端设计选 材时需要考虑耐腐蚀因素 末端法兰端固定装置 刀具 连接头和结构固定装置采用 3D 打印制作 使用材料为 ABS 工程塑料 a 仿真设计图 b 实物图 a Simulation design chart b Terminal physical figure 1 法兰端固定装置 2 弹簧 3 刀具连接头 4 结构固定装置 5 刀具夹头 1 Flange end fixing device 2 Spring 3 Tool connector 4 Structure fixing device 5 Tool chucks 图 9 切割末端 Fig 9 Cutting end 4 试验与结果分析 农业机器人工作场景多为农田 但蝴蝶兰种苗切割 系统与其存在很大不同 组织培养过程中需尽量保持无 菌环境 以免种苗受病菌污染 26 27 因此 需要在封 闭的室内环境中搭建工作台 工作台背景可选较为简单 的纯色背景 在采集用于进行模型训练和测试的数据集 时也采用同样场景 相较于复杂纹理背景 较为简单的 纯色图像背景有利于模型训练收敛且能有效提升检测 精度 4 1 评价指标 采用平均精度 mean Average Precision mAP 作为模型检测精度的评价指标 mAP 与准确率 P 召回率 R 有关 其计算如式 8 11 TP 100 TP FP P 8 TP 100 TP FN R 9 1 0 AP d PR R 10 1 1 mAP AP 100 M k k M 11 式中 TP 为被正确划分到正样本的数量 FP 为被错误划分 到正样本的数量 FN 为被错误划分到负样本的数量 M 为 类别总数 AP k 为第 k 类 AP 值 mAP0 5 是真实框与检测 框的交并比 Intersection over Union IoU 值取 50 mAP 0 5 0 95 是 IoU 的值从 50 取到 95 步长为 5 然后计算在这些 IoU 下的 AP 的均值 4 2 蝴蝶兰种苗数据集获取与标注 为获取典型待切割蝴蝶兰图像数据集 本文对 280 株待切割种苗进行拍摄 拍摄距离 200 mm 配合环形主 动光源补光 图像背景为灰白色试验台 构建由 1 505 张 图像组成的蝴蝶兰种苗数据集 数据集部分样本如图 10 所示 对数据集进行分类筛选 选择共计 968 张图像进 第 6 期 翟永杰等 基于视觉伺服的蝴蝶兰种苗切割系统设计与试验 153 行试验 选用 LabelImg 标注器进行标注 a 种苗 1 b 种苗 2 a Seeding 1 b Seeding 2 注 种苗 1 和种苗 2 拍摄参数相同 种苗放置方向任意 Note Seedling 1 and 2 shooting parameters are the same the seedling placement direction is arbitrary 图 10 部分数据集样本 Fig 10 Partial dataset samples 所选数据集按 4 1 比例进行训练与测试分组 图 11 对训练数据集目标种类 目标框位置和大小分布进行可 视化 为解决图像尺寸大小不统一的问题 以图像宽高 为基准对图像及目标框进行归一化处理 图 11b 为在对 原图进行分辨率归一化后目标框中心点位置 训练集数据表明 三类部位中黑色块茎数约等于种 苗样本图像个数 而待切割根部约为样本数 2 倍 符合 蝴蝶兰种苗生长结构 标框多集中于图像中间 由于蝴 蝶兰本身植物结构的原因 目标框样本存在一定程度的 类间不平衡 自适应图片采样策略可以解决此问题 首 先将样本中真实类型读取出来 存为一个列表 统计训 练样本列表中不同类别的矩形框个数 然后给每个类别 按相应目标框数的倒数赋值 即数目越多的种类权重越 小 形成按种类的分布直方图 对于训练数据列表 每 轮训练按照类别权重筛选出每类的图像作为训练数据 以达到样本均衡的效果 a 目标框数量 b 归一化后目标框中心位置 a Number of target boxes b Normalized center position of target box 图 11 数据集种类及目标框分布情况 Fig 11 Data set types and target box distribution 4 3 模型有效性验证 为验证目标检测模型有效性 对比了 Faster RCNN YOLOv4 28 YOLOv5 MobileNet v2 YOLOv5 目标检测 模型 设置评价指标为蝴蝶兰种苗各部位检测精度 mAP0 5 mAP 0 5 0 95 权重文件大小和图片的平均检 测时间 对比实验中 保持所设参数一致 检测结果如表 1 所示 表 1 不同模型检测结果对比 Table 1 Comparison of test results of different models 精度 Precision 模型 Model 主干网络 Backbone network 叶片 Blade 胚根 Stem 黑色块茎 Black tuber mAP0 5 mAP 0 5 0 95 权重文件大小 Weight file size MB 平均检测时间 Mean detection time s Faster RCNN ResNet50 0 971 0 945 0 928 0 948 0 681 315 0 0 118 YOLOv4 DarkNet53 0 961 0 968 0 897 0 942 0 573 130 1 0 516 YOLOv5 Modified CSP v5 0 983 0 981 0 939 0 968 0 665 14 4 0 220 MobileNet v2 YOLOv5 MobileNet v2 0 992 0 984 0 921 0 966 0 661 7 4 0 029 ShuffleNet v2 YOLOv5 ShuffleNet v2 0 992 0 986 0 923 0 967 0 679 1 3 0 026 由于蝴蝶兰种苗数据集背景为纯色 且各待检测部位 与背景间有明显的色彩梯度变化 整体检测准确率相对较 高 mAP0 5 均大于 0 94 最高可达 0 968 Faster RCNN 相 较于 YOLO 系列检测模型 因其两阶段检测特性 mAP 0 5 0 95 指标达到 0 681 略高于 YOLO 检测网络 但其权重文件大小为 315 0 MB 远高于 YOLOv5 的 14 4 MB 模型参数冗余量更大 而基于 YOLOv5 框架的 ShuffleNet v2 YOLOv5 权重文件大小仅为 1 3 MB 检测准 确率也接近 YOLOv5 原模型 从各模型检测时间可以看出 采用 ShuffleNet v2 YOLOv5 模型进行检测 可有效提升检 测速度 单张图像平均检测时间仅为 0 026 s 权衡各模型 优缺点 ShuffleNet v2 YOLOv5 模型在保证检测精度的前 提下权重更小 推理速度更快 因此更适合于蝴蝶兰种苗 检测任务 同时考虑到下一步检测算法和切点定位算法的 边缘部署 ShuffleNet v2 YOLOv5 也是更为合适的模型 ShuffleNet v2 YOLOv5 检测结果如图 12 所示 a 种苗 1 b 种苗 2 c 种苗 3 d 种苗 4 a Seeding 1 b Seeding 2 c Seeding 3 d Seeding 4 图 12 不同放置方向的种苗目标检测结果 Fig 12 Seedling target detection results of different placement directions 农业工程学报 http www tcsae org 2022 年 154 4 4 种苗切割试验 为了验证蝴蝶兰种苗切割系统实际切割效果 选取 4 个培养母瓶内 38 株蝴蝶兰种苗样本分为 4 组进行切割试 验 为保证试验安全性 设置机械臂速度为 86 5 mm s 单株连续切割延时为 0 5 s 根据蝴蝶兰组培苗工厂化生 产技术规程 29 本文将不伤害种苗内根且根部残留长度 不超过 3 mm 样本评定为合格 切割完成后根部结构不会 阻碍移植 以每个植株独立根部为单位 切割合格率通 过测量统计计算得到 合格率 p 为 1 0 100 N p N 12 式中 0 N 为总根部数 1 N 为合格切割数 种苗切割现场如图 13 所示 图 13a 中机械臂处于待 命状态 经视觉系统检测和坐标计算系统计算后 将切 割点坐标传输给机械臂控制系统 驱动切割执行机构进 行切割 图 13b 机械臂执行切割动作 a 视觉检测 b 执行切割 a Visual inspection b Cutting cution 图 13 种苗切割现场 Fig 13 Seedling cutting site 切割统计结果如表 2 所示 在 4 组试验中 蝴蝶兰 种苗切割系统切割最高合格率为 100 平均合格率高于 86 平均切割时间小于 18 s 切割结果如图 14 所示 表 2 种苗切割试验结果 Table 2 Results of seedling cutting test 组号 No 植株数 Number of plants 切割次数 Number of cutting 合格数 Number of qualified 合格率 Qualified rate 每株平均切割时间 Average cutting time for each plant s 1 7 19 18 94 7 17 4 2 10 24 24 100 15 6 3 11 29 25 86 2 16 0 4 10 26 23 88 4 15 9 a 切割前种苗图像 b 切割后种苗图像 a Seedling image before cutting b Seedling image after cutting 图 14 蝴蝶兰种苗切割结果图 Fig 14 The cutting effects of phalaenopsis seedling 不合格切割动作统计中 因种苗内根损伤判定为不 合格的共计 3 个 因根部残留长度过长判定不合格的共 计 5 个 内根损伤原因主要是边界框检测不准确造成的 切点定位偏差 切割过程中误伤到其他部位 针对检测 框位置不准确的问题 可对标注方案进行改善 同时进 一步优化算法 提升检测精度 5 结 论 1 本文设计了一种基于视觉伺服的蝴蝶兰种苗自动 化切割系统 以轻量化检测模型 ShuffleNet v2 YOLOv5 作为种苗识别检测器 基于种苗自身结构设计了由目标 框引导的切点定位算法 通过手眼标定建立视觉采集系 统和切割执行系统间映射关系 配合机械臂切割控制策 略可以完成对蝴蝶兰种苗的自动化切割 针对种苗的切 割需求设计了一种弹性末端切割结构 该结构能在保证 切割末端稳定 有效完成切割作业 2 对比 Faster RCNN YOLOv4 YOLOv5 MobileNet v2 YOLOv5 ShuffleNet v2 YOLOv5 5 种常见的目标检测 算法 轻量级目标检测算法 ShuffleNet v2 YOLOv5 整体 检测准确率达 96 7 单张图片检测时间 0 026 s 3 试验证明蝴蝶兰种苗切割系统能在保证种苗结构 不被破坏的前提下有效完成切割任务 在 38 株种苗切割 试验中系统切割合格率高于 86 单株平均切割时间小 于 18 s 针对种苗各部位间可能存在的遮挡或重叠情况 单 机械臂切割难以完成如此复杂的切割任务 下一步研究 中 拟采用双机械臂协作方案 由一只机械臂进行种苗 的夹取和翻转 另一只机械臂完成切割动作 实现对遮 挡和重叠情况的有效切割 参 考 文 献 1 Li C Dong N Zhao Y M et al A review for the breeding of orchids Current achievements and prospects J Horticultural Plant Journal 2021 7 5 380 392 2 Gallo F R Souza L A Milaneze Gutierre M A et al Seed structure and in vitro seedling development of certain Laeliinae species Orchidaceae J Revista Mexicana de Biodiversidad 2016 87 1 68 73 3 Chang Y W Hsiao Y K Ko C C et al A Grading System of Pot Phalaenopsis Orchid Using YOLO V3 Deep Learning Model C International Conference on Network Based Ination Systems Springer Cham 2020 498 507 4 任桂萍 王小菁 朱根发 不同光质的 LED 对蝴蝶兰组织 培养增殖及生根的影响 J 植物学报 2016 51 1 81 88 Ren Guiping Wang Xiaojing Zhu Genfa Effect of LED in different light qualities on growth of Phalaenopsis plantlets J Chinese Bulletin of Botany 2016 51 1 81 88 in Chinese with English abstract 5 张彦妮 边红琳 陈立新 蝴蝶兰幼嫩花梗组织培养和快 速繁殖 J 草业科学 2011 28 4 590 596 Zhang Yanni Bian Honglin Chen Lixin Tissue culture and rapid propagation of pedicels of early flowering Phalaenopsis amabilis J Pratacultural Science 2011 28 4 590 596 in Chinese with Engli