蝴蝶兰盆花分级系统及花朵面积提取试验.pdf

蝴蝶兰盆花分级系统及花朵面积提取试验 杨 意1a 王再花2 刘海林2 刘厚诚1b 罗 治1a 潘哲朗1a 辜 松1c 1 华南农业大学a 电子工程学院 b 园艺学院 c 工程学院 广州 510642 2 广东省农业科学院环境 园艺研究所 广东省园林花卉种质创新综合利用重点实验室 广州 510640 摘 要 为实现蝴蝶兰盆花快速无损分级 以 大辣椒 Big Chili 蝴蝶兰盆花为对象 研究利用颜色模板匹配 算法实现蝴蝶兰花朵图像分割及斑点提取算法获得花朵面积的方法 并通过不同视角下的花朵面积提取试验 分析视角不同所引起的花朵面积差异 结果表明 以蝴蝶兰花朵颜色为模板的颜色模板匹配算法能快速实现蝴 蝶兰花朵图像的有效分割 多视角下的蝴蝶兰盆花图像处理结果表明 不同视角下的花朵面积存在0 7 64 8 的差异 综上所述 为实现蝴蝶兰盆花分级 应旋转并拍摄多视角图像获得比较全面的花朵状态信息 继而 根据花朵颜色模板匹配算法提取蝴蝶兰花朵面积 作为评判其花朵开放程度和分级的准确依据 关键词 蝴蝶兰 分级系统 花朵面积 机器视觉 图像分割 中图分类号 S629 S233 74 文献标识码 A文章编号 1003 188X 2022 10 0162 05 0 引言 大辣椒 蝴蝶兰花朵颜色艳丽 花期长 市场普 及率高 是广东高档花卉的代表之一 1 蝴蝶兰盆花 上市前 会根据其开花状态为其定级 最主要的依据 为整株盆花的花朵面积 蝴蝶兰花朵形状不规则 花 瓣大小差异大 花苞娇嫩 无论人工目测还是手工测 量都有很大的局限性 均不适应大规模生产的需求 为满足大规模精准农业生产的需要 花卉生产企业亟 需能实现蝴蝶兰盆花无损 快速分级的设备 当前 机器视觉技术快速发展 其在农业无损检 测方面已有非常广泛的应用 利用图像处理的方法 前人已进行花卉 2 4 蔬菜 5 7 水果 8 10 的特征无损 识别和分级研究 2017年 刘晶晶等针对牡丹花分类 问题运用了改进的BP Back Propagation 神经网络算 法 对牡丹纹理和形状特征进行提取识别 实现了牡 丹分类自动化 11 2015年 Puttemans S等使用有限 的兰花样本集先后通过兰花训练对象模型 新型二进 制SVM Support Vector Machine 分类器的分类系统 收稿日期 2020 11 02 基金项目 广东省重点领域研发计划项目 2019B020214005 广东省 现代农业产业技术体系创新团队项目 粤农农函2019 1019 号 2020年乡村振兴战略专项 2020KJ131 作者简介 杨 意 1975 女 陕西咸阳人 讲师 硕士生导师 博士 E mail yangyihn2007 163 com 通讯作者 辜 松 1963 男 广东汕头人 教授 博士生导师 E mail sgu666 sina com 实现了小训练集对象高精度分类和评级 12 Diago M P 利用开源 flower counting 算法 开发了快速 无 损的葡萄产量评估方法 13 2015年 I Kiruba Rajia 等使用边界结构模型检测叶子边界 实现了从复杂背 景中识别草药的功能 14 2020年 Boran Jiang等提 出了一种自动的玉米叶分割算法 其性能和分割结果 相似度都优于传统分割算法 15 2016年 杨意等测 量与分析了白掌组培苗投影面积与其他面积参数的 相关度 实现了根据投影面积估计其表型参数的方 法 16 2017年 P J Ramos等提出通过咖啡树枝一 侧的果实数字图像信息 计算树枝上果实数量的方 法 17 2018年 Alireza Soleimani Pour等利用B样条 曲线 数学运算和机器学习分类器 提出了一种新的 红掌花卉品种分类方法 18 2018年 Wang Fenyun等 设计了一种利用分水岭算法实现鲜白蘑菇自动分拣 系统 19 同年 周彤等利用机器视觉检测葡萄果粒直 径 大小 利用机器视觉实现葡萄位置识别 为葡萄智 能采收提供了理论基础 20 虽然蝴蝶兰盆花生产中迫切需要实现开花品质 的无损检测 从而进行定级及合理规划盆花上市时 间 但由于蝴蝶兰花枝生长方向多变 花朵开花角度 不一致以及花瓣不规则 其开花品质判定存在一定的 难度 相关研究也鲜有报道 为此 通过蝴蝶兰盆花 多视角图像 首先研究基于颜色模板匹配算法进行蝴 蝶兰花朵图像分割和面积提取的有效性 继而通过多 视角图像处理结果数据分析视角不同时花朵面积的 差异 探索蝴蝶兰开花质量评价的快速 无损视觉检 测方法 261 2022年10月 农机化研究 第10期 1 材料与方法 1 1 材料 文中所使用的蝴蝶兰样本均产自广东省农业科 学院环境园艺研究所白云试验基地 品种为 大辣椒 Big Chili 大辣椒蝴蝶兰色彩浓烈 形态美观 对 温度的耐受性较强 很受市场欢迎 样本蝴蝶兰采用 单株盆栽 苗龄30个月 为即将春节上市前期 试验 共使用30盆单株蝴蝶兰 编号为1 2 30 1 2 蝴蝶兰分级系统及花朵面积提取装置 为实现蝴蝶兰盆花开花品质判断 构建了蝴蝶兰 分级系统 整体由控制模块 输送装置和视觉检测装 置构成 如图1所示 系统运行时 蝴蝶兰盆花放置 于主输送带上 由主输送带运送至检测室内的转台 上 触发检测室内部的到位传感器 控制装置控制转 台上升 根据检测室顶部的测高装置控制不同株高的 蝴蝶兰盆花顶部到达相机视场中 当花朵枝条到达相 机视场高度时 转台开始旋转 每旋转120 拍摄1幅 图像 直至旋转360 每株样本蝴蝶兰盆花共拍摄3 幅图像 并分别定义为视角1 视角2和视角3 视觉 系统分析和处理拍摄的每幅图像 计算每幅图像的花 朵面积 并将结果回传至控制系统 控制系统根据3 幅图像中的最大花朵面积确定此样本的等级 检测完 成后的盆花由检测室输出至主传送带 当到达对应品 质分级入口时 控制系统控制推送气缸 将蝴蝶兰盆 花送入对应级别的分级输送带 单盆蝴蝶兰花朵面积 检测完成 1 分级输送带 2 检测室 3 相机 4 测高装置 5 待测蝴蝶兰6 升降转台 7 到位传感器 8 PC 9 控制模块 10 光源 11 主输送带12 推送气缸 图1 蝴蝶兰分级系统 Fig 1 Grading system for potted Phalaenopsis 检测室内部结构包含相机支架 固定螺栓 视觉 相机 蝴蝶兰 PC机和白色条形LED光源 如图2所 示 控制装置根据待测蝴蝶兰盆花株高调节其上升高 度 确保花朵枝条处于相机视野 1 支架 2 固定螺栓 3 视觉相机 4 蝴蝶兰 5 PC 6 光源 图2 蝴蝶兰花朵面积提取装置 Fig 2 Machine vision device for potted Phalaenopsis 1 3 试验方法 试验采用康耐视COGNEX 8402C二维视觉相机 拍摄蝴蝶兰图像 使用康耐视In Sight explorer软件 版本号 5 6 1 对蝴蝶兰图像进行分析处理 主要运 用视觉工具反向 扩大 关闭filter函数和色彩提取 ExtractColor等函数进行蝴蝶兰花朵分割 得到仅有蝴 蝶兰花朵区域的结果图片 之后 对花朵结果图像进 行二值化处理 再对二值化图像运行ExtractBlobs算法 提取斑点 最后 根据Blobs斑点函数输出结果累加得 到单株蝴蝶兰花朵的像素面积总和 2 蝴蝶兰花朵面积提取方法 2 1 蝴蝶兰图像获取 通过图2所示的视觉装置 调节转台分别旋转 120 240 360 采集对应视角下的蝴蝶兰图像 图 3为利用COGNEX相机采集的蝴蝶兰原始图像 图3 相机采集的蝴蝶兰原始图像 Fig 3 Original image of Phalaenopsis collected by camera 361 2022年10月 农机化研究 第10期 2 2 蝴蝶兰花朵图像分割和去噪 对图3所示的蝴蝶兰原始图像 利用颜色模板匹 配算法提取蝴蝶兰花朵 处理过程如下 1 对相机采集的蝴蝶兰原始图像使用图像滤波 器Filter函数的图像反向算法 得到如图4所示的反 向处理结果图像 2 在图4反向图像上 选择花朵中花萼 花瓣和 花蕊颜色为模板 利用TraninExtractColor函数训练花 朵颜色模板库 3 利用第2步训练的颜色模板和颜色提取函数 ExtractColor 对图4的反向图像进行颜色提取 得到去 除花苞 枝条和叶片 主要为花朵的结果图像 如图5 所示 4 对图5运行Filter函数反向算法 得到基于颜 色模板匹配算法的处理结果 为蝴蝶兰花朵图像分割 结果 如图6所示 5 图6的蝴蝶兰花朵分割结果图像中仍含有茎 秆 花蕾和支撑杆等部分不连续像素点 为减少后续 面积计算误差 需进行去噪处理 去噪时 首先对图6 的初步分割图像利用Filter函数和3 3的内核对图像 进行闭运算操作 去除图像噪声 然后对输出的图像 使用Filter函数和3 3内核对图像进行开运算 对上 一步损失的花朵部分图像进行恢复 重复上述操作3 次 得到的结果图像如图7所示 此时 图像中大部 分的噪声都已被去除 图4 反向处理结果图像 图5 花朵提取结果图像 Fig 4 Image after convert Fig 5 Phalaenopsis after image processing extraction 图6 蝴蝶兰花朵图像分割结果 图7 去噪结果图像 Fig 6 Phalaenopsis after image Fig 7 Phalaenopsis after image segmentation denoising 2 3 蝴蝶兰花朵面积提取 利用Filter函数中的二值化算法对图7的去噪结 果图片进行处理 得到花朵区域的二值化图像如图8 所示 利用ExtractBlobs函数提取图8中的白色斑点 ExtractBlobs函数的功能是根据要求计算二值图中所 选独立斑点的个数和面积 并将所求得的斑点按面积 值从大到小依次排列 根据大辣椒蝴蝶兰的特点 将 最大斑点数设置为当前花期单盆蝴蝶兰盆花样本的 最大可开花数量 因为单盆 大辣椒 蝴蝶兰开花数目 约为10朵 因此此处设为15 选择黑色背景 斑点颜 色为白色 即可求得所选图片中的斑点 并在图中用 绿色的曲线选中 结果如图9所示 图8 花朵二值图像 图9 花朵斑点排列图像 Fig 8 Binary image of flower Fig 9 Blobs of flower image 最后 利用Sum函数对ExtractBlobs函数输出的 面积区域数据求和 得到花朵面积 虽然此时花朵像 素面积计算时的图像中仍会有噪点 但是可以通过设 置ExtractBlobs函数采集区域的最小值像素范围去除 噪声点的影响 见图9 虽然花朵下方仍有两个小 的白色噪点 但因为设置了最小采集值 最终的结果 图像 绿色曲线内 并未包含此噪点 因此求得的花朵 面积结果不受小噪声的影响 3 多视角花朵面积提取试验及差异分析 将每一盘单株蝴蝶兰所采集的3个视角图像分 别定义为视角1 视角2 视角3 对每一个视角都运用 第2节所描述的算法进行花朵图像分割 去噪 二值 化 斑点图和花朵的像素面积计算 通过对比各视角 花朵的像素面积 取最大值作为最能反映其开花程度 的开花品质数据 并分析其余视角相对于此蝶兰花朵 最大像素面积的误差百分比 图10为试验所用到的 30盆蝴蝶兰样本苗的不同视角花朵面积对比结果 由图10及其数据分析可知 同株蝴蝶兰不同视 角花朵面积计算结果均有差异 差异分布在最小误 差0 7 和最大误差64 9 之间 其中 最小误差为 样本26的视角1和与视角2 最大花朵面积视角 仅 为0 7 接近相等 但其视角3与视角2 最大花朵面 积视角 测得的花朵面积差异达到12 7 产生最大 461 2022年10月 农机化研究 第10期 面积误差是蝴蝶兰样本8 其视角3与测得的最大花 朵面积 视角2 的误差为64 9 这是由于蝴蝶兰 花朵为单支条状 其生长角度具有随机性 花朵开放 时的位置虽基本确定 但其角度也有差异 蝴蝶兰盆 花进入检测室时 其初始角度也是随机的 因此其最 大值的分布未固定在某个确定的视角 而是随机分布 在视角1 2 3 因此 当需判断其开花质量时 单视角 图像并不能真实地反映其花朵生长状态 应该通过旋 转的方式获得更全面的图像 进而对其开花品质进行 评判 得到的结果才更可靠 图10 蝴蝶兰样本盆花 30盆 不同视角花朵面积运算结果 Fig 10 Measurements of potted Phalaenopsis flowers area in different point of view 30 samples 4 结论 1 结合蝴蝶兰花朵颜色模板匹配算法和斑点域 面积提取算法 实现了蝴蝶兰花朵面积的快速提取 2 多视角蝴蝶兰花朵面积提取结果表明 不同视 角下 大辣椒 蝴蝶兰花朵图像面积存在0 7 64 8 的差异 实际生产中 需要通过旋转蝴蝶兰盆 花 获得更加全面的花朵图像 继而依据颜色模板匹 配算法测定其开花面积 作为判断其开花品质和分级 的准确依据 参考文献 1 中国花卉协会 2019全国花卉产销形势分析报告 EB OL 2019 06 04 2020 02 15 http www forest ry gov cn hhxh 270 20190604 185129656777560 html 2 李恺 杨艳丽 刘凯 等 基于机器视觉的红掌检测分级方 法 J 农业工程学报 2013 29 24 196 203 3 熊宇鹏 毛罕平 左志宇 等 基于数字图像处理的凤梨花 卉品质参数检测的研究 J 农机化研究 2013 35 9 163 168 4 SOLEIMANI POUR A CHEGINI G ZARAFSHAN P et al Curvature based pattern recognition for cultivar classifi cation of anthurium flowers J Postharvest biology b College of Horticulture c College of Engineering Guangzhou 510642 China 2 Environmental Horticulture Research Institute Guangdong Academy of Agri cultural Sciences Guangdong Provincial Key Lab of Ornamental Plant Germplasm Innovation and Utilization Guangzhou 510640 China Abstract Using the Big Chili potted Phalaenopsis as material Color Matching Template Algorithm was applied to make the effective segmentation of Phalaenopsis flower then the next step Blob Extraction Algorithm was employed to extract the area of Phalaenopsis flower In the last it discussed the area extraction results of the same potted Phalaenopsis sample of the different points of view These Algorithms will provide a fast and non destructive grading for potted Phalaenopsis The results show that the Color Matching Template Algorithm of Phalaenopsis flower can realize the effec tive segmentation of the Phalaenopsis flower image The area of flowers from different perspectives of the same potted Phalaenopsis varies from 0 7 to 64 8 To sum up in order to accurately uate the blooming stage of Phalaenop sis the appropriate shooting angle should be acquired so that the image can truthfully reflect the real flowering state of the flowers Then the area of Phalaenopsis flowers should be extracted according to the flower color matching template algo rithm The results should be served as accurate data for estimating the quality of the flowers Key words Phalaenopsis grading system flower area machine vision image segmentation 661 2022年10月 农机化研究 第10期