高光谱成像的草莓缺陷检测及可视化.pdf

第4 5卷 第5期 光谱学与光谱分析V o l 4 5 N o 5 p p 1 3 1 0 1 3 1 8 2 0 2 5年5月 S p e c t r o s c o p y a n d S p e c t r a l A n a l y s i s M a y 2 0 2 5 高光谱成像的草莓缺陷检测及可视化 赵路路1 2 周松斌1 2 刘忆森1 2 庞锟锟1 2 殷泽轩1 2 陈 红1 2 1 广东省科学院智能制造研究所 广东广州 5 1 0 0 0 0 2 广东省现代控制技术重点实验室 广东广州 5 1 0 0 0 0 摘 要 草莓在采摘 运输 贮藏 包装和销售过程中容易造成不同程度损伤与缺陷 如淤伤 冻伤 真菌 感染等 给果农和销售商带来较大的经济损失 高光谱技术是光谱传感与视觉技术的结合 可实现水果各类 品质缺陷的无损检测 然而 目前高光谱水果检测的建模方法仍存在两个方面的问题 首先 输入信息主要 采用平均光谱为主 对高光谱的图像信息利用不足 其次 目前卷积网络已成为高光谱信息处理的发展趋 势 但卷积网络存在感知域较小 难以获得谱段或图像信息的长程关系 为解决上述问题 实现多种草莓缺 陷的准确检测与识别 提出空间光谱变换网络 S S T N 对四类 健康 瘀伤 冻伤 感染 草莓的近红外高光 谱数据 9 0 0 1 7 0 0 n m 进行分类 S S T N以V i s i o n T r a n s f o r m e r V i T 网络为主体 将高光谱数据块进行位 置编码作为输入信息 从而实现 图谱联合 建模 其内部的多头注意力机制还可捕获长距离谱段 图像关 系 实验方面 以1 2 8个健康 1 2 8个淤伤 1 2 8个冻伤 1 1 8个感染 共计5 0 2个草莓作为样本 按照1 1 的比例随机划分训练集和测试集 进行分类建模实验 结果显示 S S T N模型的分类准确率最高 达到 9 9 2 0 相比于一维卷积神经网络 1 D C N N 二维卷积神经网络 2 D C N N 和注意力卷积网络 C B A M C N N 精度分别提升了3 8 3 3 及1 5 为了能够进一步可视化各类草莓缺陷的具体位置 将训练 好的2 D C N N C B A M C N N和S S T N模型分别与S c o r e C A M结合进行可视化 缺陷可视化结果显示 C B A M C N N模型中的卷积注意力机制能够提升缺陷定位的准确性 而具有多头注意力机制的S S T N模型结 合S c o r e C A M获得最佳的可视化效果 能够准确的显示出缺陷的位置和缺陷形状轮廓 该研究为建立一种 快速 无损 自动化的草莓缺陷检测方法提供参考 关键词 草莓缺陷 高光谱 S c o r e C A M 可视化 中图分类号 O 6 5 7 3 文献标识码 A DOI 1 0 3 9 6 4 j i s s n 1 0 0 0 0 5 9 3 2 0 2 5 0 5 1 3 1 0 0 9 收稿日期 2 0 2 4 0 7 0 3 修订日期 2 0 2 4 1 1 1 8 基金项目 国家自然科学基金面上项目 6 2 2 7 5 0 5 6 广东省自然科学基金面上项目 2 0 2 4 A 1 5 1 5 0 1 1 6 2 8 广东省科学院发展专项资金项目 2 0 2 2 G D A S Z H 2 0 2 2 0 1 0 1 0 8 资助 作者简介 赵路路 1 9 9 5年生 广东省科学院智能制造研究所工程师 e m a i l l l z h a o g i i m a c c n 通讯作者 e m a i l y s l i u g i i m a c c n 引 言 草莓 S t r a w b e r r y 为蔷薇科 草莓属植物 原产于南美 2 0世纪传入我国 目前已成为我国重要的经济水果之一 然 而 由于草莓没有较厚的果皮包裹 且果实十分柔软 因此 在采摘 包装 冷冻储存 运输等过程中 容易形成机械损 伤 真菌 细菌感染 冻伤 果肉沾污等品质缺陷 给果农和 商家造成极大的经济损失 目前草莓采摘期后的品质检测一 般采用人工目检 该方法存在着受主观影响大 效率低 准 确性差等问题 且早期的淤伤 感染 冻伤等质量缺陷仅通 过人工目测不易识别 因此 发展快速无损的草莓缺陷检测 与可视化技术 对于发现草莓的早期缺陷 1 降低草莓的食 品安全风险 预测草莓的货架期 2 研究草莓缺陷的发展规 律 降低各环节的草莓浪费等具有重要意义 具有迫切的行 业需求与较高的实际应用价值 3 5 近年来 高光谱成像作为一种新兴的无损检测技术 由 于集成了光谱信息和成像信息 且具有较高的光谱和空间分 辨率 在水果品质与安全检测方面受到研究者的广泛关注 例如 L i u等 6 使用连续投影算法 S P A 选择最佳波长 并 比较偏最小二乘判别分析 P L S D A 支持向量机 S V M 和 反向传播神经网络 B P N N 算法 以识别擦伤和真菌感染的 草莓 基于全波段的支持向量机 S V M 模型最高分类精度达 9 6 9 1 Z h a n g等 7 使用主成分分析 P C A 从草莓的光谱 数据获取最佳波长后 基于特征光谱数据结合纹理特征建立 支持向量机 S V M 分类模型 以区分三种成熟度的草莓 分 类准确率达到了8 5 以上 S h e n等 8 采集不同冷藏时间草 莓的可见光和近红外 V i s N I R 光谱数据 基于竞争自适应 重加权采样 C A R S 选取特征波长后 建立偏最小二乘判别 分析 P L S D A 分类模型 其分类准确率达到9 7 4 传统 机器学习方法的局限性在于 一般采用平均光谱进行建模 未能充分利用草莓高光谱数据的图像信息 也较难通过该类 方法实现缺陷的可视化与定位 当前 深度学习方法 尤其是深度卷积神经网络 C N N 在高光谱数据处理方面取得突破 逐渐成为高光谱 数据处理的发展趋势 相比于上述传统方法仅采用草莓的平 均光谱建模 卷积网络能够更好的利用草莓高光谱数据的空 间信息 实现 光谱 空间 信息联合建模 L i u等 9 创建一种 用于光谱空间分类和有效波长选择的双分支卷积神经网络 2 B C N N 模型对健康草莓和淤伤草莓进行识别 通过同时 提取光谱和空间信息 其判别准确率高达9 9 G a o等 1 0 采 集早熟草莓和成熟草莓的高光谱图像并提取了前3个主成分 空间特征图像 使用预训练好的A l e x N e t卷积神经网络对草 莓成熟度进行分类 准确率达到9 8 6 C h u n等 1 1 对比了 1 D C N N V G G 1 9和R e s N e t 5 0等基于卷积的深度网络 发 现R e s N e t 5 0对于草莓的灰霉病感染具有最好的识别精度 并能够显著的提早灰霉病感染的识别期 卷积神经网络中的 卷积窗具有良好的局部上下文建模能力 但是受到C N N的 卷积窗尺寸限制 其信息感知域有限 难以处理高光谱数据 中的长距离谱段或图像块的依赖关系 因此 也有学者利用 空洞卷积网络等手段 来增大卷积操作的感知域 从而提升 光谱数据处理过程中的长程相关性分析能力 1 2 除了分类识别研究 也有不少研究者采用深度学习方法 进行水果的缺陷可视化与定位方面的工作 这类研究主要分 为两类 一类是直接采用深度网络进行缺陷区域定位 例 如 L u等 1 3 采用Y O L O网络并采用可见光图像和近红外图 像对草莓缺陷进行定位 输出缺陷位置坐标 另一类方法采 用类激活映射 C A M 方法 主要是梯度类激活映射 G r a d C A M 方法进行 田有文等 1 4 采用i m R e s N e t 5 0模型进行蓝 莓果蝇病虫害的识别检测 并发现G r a d C A M可以实现病虫 害部位的可视化 E c h i m等 1 5 则采用G r a d C A M方法可视 化草莓叶子上的病虫害侵害部位 目前G r a d C A M是最常见 的可视化方式之一 但仍然存在着对梯度依赖大 网络梯度 饱和或梯度消失的问题 使G r a d C A M的可视化出现错误或 严重噪声 本文提出空间光谱变换网络 S S T N 进行四类 健康 瘀伤 冻伤 感染 草莓高光谱数据分类 该方法以V i s i o n T r a n s f o r m e r V i T 网络为基础 以整个高光谱数据进行分块 编码作为输入 与传统C N N的方法相比 V i T以具有多头 注意力的T r a n s f o r m e r为基本结构 因此具有更强大的全局 建模能力 1 6 从而可以捕获长距离谱段或图像块之间的关 系 使得高光谱数据的 全局图谱融合 建模成为可能 此 外 采用S c o r e C A M方法结合S S T N网络对草莓的淤伤 冻 伤 腐烂等缺陷进行可视化 S c o r e C A M是G r a d C A M方法 的进一步改进 它采用置信度来获得权重 从而摆脱了对梯 度的依赖性 实现对草莓缺陷位置的高精度可视化与定位 此外 通过对比S c o r e C A M分别与S S T N 2 D C N N及注意 力卷积网络 C B A M C N N 结合的可视化效果图 可以分析 不同注意力机制对于缺陷定位与可视化效果的影响 验证了 多头注意力机制在缺陷可视化中的优势 1 实验部分 实验对象为草莓 在获取各类草莓样本后 通过高光谱 成像系统采集各类草莓样本的光谱数据 将各类草莓样本的 光谱数据经过数据预处理后 输入到不同的分类模型中 并 对各分类模型进行评价 最后通过不同分类模型结合S c o r e C A M进行草莓缺陷定位与可视化 整个实验的检测流程如 图1所示 图1 基于高光谱成像的草莓缺陷检测流程图 Fig 1 Flowchartofstrawberrydefectdetection basedonhyperspectralimaging 1 1 样品 所有的草莓样品都是从中国广州当地的超市所购买 共 计5 0 2个 为了提高模型的稳健性和泛化性能 草莓样品购 于不同季节 包括四个不同品种 红颜 红宝 双流和章姬 实验前 对健康草莓样本进行人工目检 保证其外观无缺陷 及损伤 共选取1 2 8个草莓作为健康草莓样品 具有缺陷的草莓样品具体包括淤伤 冻伤 和腐烂三 类 其中淤伤的草莓样品是通过使用机械振动和压力模拟包 装和运输过程中的损伤过程 在受到损伤后的3 0 m i n内 采 集淤伤草莓的高光谱图像 共计1 2 8个淤伤草莓样本 冻伤 草莓样品是将草莓样品在 1 的温度下持续放置0 5 6 h 然后从冷库将冻伤草莓取出 在室温下放置4 h后 采 集冻伤草莓的高光谱图像 共计1 2 8个冻伤草莓样本 腐烂 的草莓样本是通过对健康草莓注射灰葡萄孢的孢子溶液 灰 葡萄孢的孢子溶液浓度为1 1 0 5 C F U m L 1 注射深度为 2 m m 在注射后的2 4 8 4 h的存储期内 采集腐烂草莓的 高光谱图像 共计1 1 8个腐烂草莓样本 各类草莓的部分样 品如图2所示 1 2 高光谱数据采集 所有草莓样品的图像数据用近红外 N I R 高光谱成像系 统采集 如图3所示 该系统主要由计算机 高光谱相机 1131第5期 赵路路等 高光谱成像的草莓缺陷检测及可视化 S p e c i m S p e c t r a l I m a g i n g L t d F i n l a n d 光源模块 电源模 块 控制器和位移台等组成 相机镜头与位移台表面的垂直 距离为2 8 c m 光源模块由4个5 0 W的卤素灯组成 它们放 置在两个相对的框架中 与位移台表面成4 5 角 高光谱相 机以2 0 0 H z的帧率逐行扫描草莓样品 获得空间维度 2 5 6 3 2 0 6 4 0 波段数 像素数 帧数 的三维数据 高光 谱相机的光谱分辨率为5 n m 所获得的光谱范围在8 8 5 1 7 3 3 n m 去除首尾两端噪声大的光谱数据 保留1 0 0 0 1 6 0 0 n m范围的光谱用于后续建模分析 图2 各类草莓样品 Fig 2 Thestrawberrysamples 图3 高光谱成像系统 a 系统示意图 b 系统真实图 Fig 3 Hyperspectralimagingsystem a S c h e m a t i c d i a g r a m o f s y s t e m b R e a l s y s t e m d i a g r a m 1 3 数据预处理 预处理是将原始高光谱数据转换成适应各模型的标准数 据立方体 预处理包括三个步骤 高光谱图像校正 光谱一 阶导数预处理和高光谱图像分割 图像校正是为了减小暗电 流 光源强度不均匀以及镜头不同位置透过率的差异等因素 对原始高光谱图像的干扰 其校正公式如式 1 所示 R Rr a w RdR w Rd 1 式 1 中 R是校正后的高光谱图 Rr a w是原始高光谱图像 Rw标准白板获取的光谱图像 Rd是将光源关闭和遮挡相机 镜头采集的光谱暗电流图像 对图像校准后的高光谱数据进 行S a v i t z k y G o l a y S G 一阶导数预处理及归一化处理 用 于消除光谱中的基线漂移 提高光谱的平滑性 最后 使用 2131光谱学与光谱分析 第4 5卷 分水岭算法 1 7 去除高光谱图像的背景 并从整个高光谱图 像中提取草莓样品的三维光谱数据用于后续建模分析 其中 单个草莓数据的空间维度为1 8 0 1 2 0 1 2 0 波段数 像素 数 像素数 1 4 空间光谱变换网络 SSTN V i s i o n T r a n s f o r m e r V i T 以其强大的全局建模能力而受 到广泛关注 并且V i T中的注意力机制可以捕获长距离谱段 之间的关系 可以更好地对光谱序列建模 1 8 1 9 为了有效利 用草莓数据集中光谱特征的序列属性 检测不同缺陷的草 莓 如图4所示 基于V i T构建了空间光谱变换网络 S S T N 分类模型 S S T N主要由光谱映射模块 T r a n s f o r m e r 编码器和基于多层感知机 M L P 分类器组成 图4 空间光谱变换网络 SSTN 模型结构图 Fig 4 Structurediagramofthespatialspectraltransformationnetwork SSTN model 1 4 1 光谱映射模块 为了同时使用高光谱图像维与光谱维的信息 将完整的 高光谱数据作为模型输入 由于高光谱数据为三维光谱数 据 而T r a n s f o r m e r编码器则以一维序列作为输入 因此需 要进行光谱映射 将高光谱数据进行分块 拉伸 编码操作 转化为一维序列 首先 将输入的光谱图像x RN W C分割 成N个独立的图像块xp RN P2 C 然后 进行拉伸操作 将各图像块拉伸为D维度的一维序列 最后 为了保持高光 谱各图像块的位置信息 从而让S S T N能够实现全局的图像 注意力 引入位置编码E作为各图像块的位置信息并送入 T r a n s f o r m e r编码器中 上述步骤中 H W 是原始光谱图像 的分辨率 C是光谱通道的数量 P P 是每个图像块的分 辨率 N HW P2是得到图像块的数量 1 4 2 T r a n s f o r m e r编码器 T r a n s f o r m e r编码器旨在通过多头自注意力层获取高光 谱图像中各图像块之间的关系 包括波段之间关系与图像块 之间关系 从而同步感知光谱维与图像维的光谱信息 具体 地 定义三个可学习的权重矩阵查询Q 键K和值V 使用 点积运算出所有键K的查询 然后使用s o f t m a x函数计算值 V的权重 自注意力的输出定义如式 2 所示 A t t e n t i o n Q K V s o f t m a xQK T dk V 2 式 2 中 dk是K的维数 将查询Q 键K和值V投影h次 然后将结果合并组成多头注意力 这些平行注意力计算的每 一个结果被称为头 多头自注意力的定义如式 3 所示 M u l t i H e a d Q K V c o n c a t h e a d 1 h e a dh W0 3 式 3 中 h e a di A t t e n s i o n QWQi KWKi VWVi WQi Rdm o d e l dQ WKi Rdm o d e l dK WVi Rdm o d e l dV W0 Rh dV dm o d e l是参数矩阵 1 4 3 M L P分类器 通过T r a n s f o r m e r编码器提取的信息会输入到M L P分 类器中 用于融合多头注意力的信息 并输出分类结果 M L P由两个全连接和一个高斯误差线性单元 G E L U 激活 组成 G E L U公式为 G E L U x x x12 1 e r fx2 4 式 4 中 x 为高斯积累分布函数e r f x x 0 e t2 dt 1 5 分类对比模型 为了验证S S T N模型的性能 选择一维卷积网络 1 D C N N 二维卷积网络 2 D C N N 注意力卷积网络 C B A M C N N 三种具有代表性的分类方法建立对比模型 1 5 1 一维卷积神经网络 1 D C N N 采用平均光谱作为输入 构建典型的1 D C N N模型作为 对比模型 1 D C N N模型架构由3个一维卷积层 2个池化 层和2个全连接层组成 卷积层的卷积核尺寸均为1 5 步 长为1 卷积核数量为1 6 激活函数为R e L u函数 池化层均 采用1 3的平均池化层 两个全连接层的节点数分别为1 6 和4 采用交叉熵函数作为网络的损失函数 并使用A d a m 优化器实现训练过程中神经网络的权值优化 模型的学习率 3131第5期 赵路路等 高光谱成像的草莓缺陷检测及可视化 和迭代次数分别设置为0 0 0 0 5和5 0 0 1 5 2 二维卷积神经网络 2 D C N N 为了实现图像与光谱信息的融合 以三维高光谱数据作 为输入信息 建立2 D C N N模型作为对比模型 所构建的 2 D C N N的模型架构由3个二维卷积层 2个池化层和2个 全连接层组成 该网络卷积层的卷积核尺寸为5 5 卷积层 的步长为1 1 卷积核数量为1 6 池化层采用3 3的平均 池化层 两个全连接层的节点数分别为1 4 4和4 模型的学 习率和迭代次数分别设置为0 0 0 1和1 0 0 其他参数的选取 与1 D C N N模型保持一致 1 5 3 注意力卷积网络 C B A M C N N 为了与S S T N的多头注意力进行对比 将C B A M注意 力机制与2 D C N N结合 进行草莓的分类以及缺陷可视化 C B A M是一种混合注意力模型 它通过在通道和空间两个维 度上产生注意力特征图信息 然后分别与之前的原输入特征 图进行相乘 进行自适应特征修正 产生混合注意力特征 图 从而实现特征的增强 提升分类效果 C B A M的基本过 程可表示为 F Mc F F 5 F Mc F F 6 其中 F RC H W为网络主干生成的特征图 Mc RC 1 1为 光谱维通道注意力特征图 Ms R1 H W为图像维通道注意 力特征图 表示元素级相乘 最终得到的F 为混合注意力 特征图 C B A M C N N除添加混合注意力机外 其余所有参 数设置与2 D C N N保持一致 1 6 模型评价指标 将各类草莓样本按照1 1的比例随机划分训练集和测 试集 最终得到2 5 1个数据作为训练集 2 5 1个数据作为测 试集 并建立草莓四分类模型 为公平对比模型表现 所有 建模方法采用一致的样本集划分 以准确率 A c c u r a c y 精 准率 P r e c i s i o n 召回率 R e c a l l 和F 1值 F 1 s c o r e 作为评 价指标 以评估各模型的优劣 各评价指标定义如式 7 式 1 0 所示 A c c u r a c y TP TNTP TN FP FN 7 P r e c i s i o n TPTP FP 8 R e c a l l TPTP FN 9 f 1 2 r e c a l l p r e c i s i o nr e c a l l p r e c i s i o n 1 0 其中 TP为将正类预测为正类的个数 FN为将正类预测为 负类的个数 FP为将负类预测为正类的个数 1 7 基于Score CAM的草莓缺陷可视化方法 S c o r e C A M是一种类激活映射 C A M 的可视化解释方 法 与其他类激活映射 C A M 的方法不同 S c o r e C A M通过 每个激活映射在目标类上的正向传递得分来获得其权重 从 而摆脱了对梯度的依赖 最终由权重和激活映射的线性组合 得到结果 2 0 S c o r e C A M包含三个步骤 通过模型提取特征图 这 也是所有C A M系列方法共有的步骤 对特征图上采样 然后将其作为掩码信息与原始图进行点乘并重新输入到模型 中 得到模型对新图像的预测分数 然后 将预测分数与模 型对原始基线图像 b a s e l i n e i m a g e 的预测分数相减 所得差 值称为置信度提升值 C I C 代表特征图对模型预测目标类 别置信度的贡献 其求解过程如式 1 1 所示 使用C I C分 数作为权重 与相应的特征图进行加权线性组合 然后应用 R e L U激活函数来生成最终的S c o r e C A M可视化结果 突出 显示对模型决策有重要影响的图像区域 C Akl f X Hkl f xb 1 1 其中Hkl s U p Akl 1 2 式 1 1 和式 1 2 中 Akl代表特征图 U p 代表将特征图 上采样和原始图尺寸相同 s 代表归一化至 0 1 X代 表原始输入 xb代表基图片 2 结果与讨论 2 1 光谱分析 健康 淤伤 冻伤 感染四类共计5 0 2个草莓样品的原 始平均光谱与预处理后的平均光谱见图5 从原始平均光谱 图5 a 可见1 2 0 0和1 4 5 0 n m附近有吸收峰 1 2 0 0 n m的 吸收峰主要是由碳水化合物对光谱吸收引起 1 4 5 0 n m处的 吸收峰主要是由水分对光谱吸收引起 四类草莓样本近红外 光谱的谱带整体趋势接近一致 光谱轮廓互有交叠 仅通过 肉眼不易区分不同类别 如图5 b 所示 通过对光谱数据进 行S G一阶导数预处理 可实现对原始平均光谱数据进行基 线校正和平滑的效果 使各类草莓的特征更加明显 从而提 高鉴别的准确率 2 2 分类结果对比 图6 a b c d 展示了1 D C N N 2 D C N N C B A M C N N和S S T N模型在训练过程中的测试集准确率和 训练损失变化曲线 由图6 a 可见 1 D C N N模型的收敛较 为缓慢 但测试集精度平稳提升 由图6 b 和图6 c 可见 2 D C N N和C B A M C N N以图像信息为主进行建模 模型收 敛较快 但过程中测试集精度出现震荡 然后逐渐平稳 由 图6 d 可见 相比于2 D C N N和C B A M C N N S S T N综合 光谱与图像信息 训练过程中测试集的预测精度波动较小 最终达到最高分类精度 为评价各模型的稳健性和泛化性能 将各模型的预测集 准确率 精准率 召回率以及F 1值的均值列于表1 通过对 比各模型的表现可得出 采用光谱与图像信息结合的方法 2 D C N N C B A M C N N及S S T N 表现总体优于仅使用光谱 维信息作为输入方法 1 D C N N 采用注意力机制的方法 C B A M C N N及S S T N 的表现总体优于其他未加入注意力 机制的方法 1 D C N N及2 D C N N 说明通过使用图像维信 息以及注意力机制能够明显提升草莓各类品质缺陷的识别效 果 相比于三种对比方法 S S T N方法取得了最优的准确率 精准率 召回率以及F 1值 其平均准确率相比1 D C N N 2 D C N N C B A M C N N分别提升了3 8 3 3 及1 5 为了进一步展示各模型的分类效果 计算其混淆矩阵 结果 如图7所示 4131光谱学与光谱分析 第4 5卷 图5 光谱数据预处理 a 原始平均光谱 b S G一阶导数预处理 Fig 5 Spectraldatapreprocessing a O r i g i n a l a v e r a g e s p e c t r a b S G f i r s t o r d e r d e r i v a t i v e p r e p r o c e s s i n g 图6 准确率与损失变化 a 1 D C N N b 2 D C N N c C B A M C N N d S S T N Fig 6 Variationsofaccuracyandloss a 1 D C N N b 2 D C N N c C B A M C N N d S S T N 表1 五种分类模型的性能比较 Table1 Theperformancecomparisonof fiveclassificationmodels 模型准确率 精准率 召回率 F 1值 1 D C N N 9 5 6 1 9 5 6 2 9 5 7 0 9 5 6 2 2 D C N N 9 6 0 1 9 6 5 5 9 6 0 9 9 6 0 5 C B A M C N N 9 7 6 0 9 7 6 4 9 7 6 1 9 7 6 2 S S T N 9 9 2 0 9 9 1 2 9 9 2 6 9 9 1 8 2 3 草莓缺陷可视化 采用S c o r e C a m方法实现草莓缺陷的定位与可视化 并 分别在2 D C N N C B A M C N N及S S T N上添加S c o r e C A M 以对比不同网络缺陷定位与可视化的效果 如图8所示 基 于S c o r e C A M方法可以较好地显示淤伤 冻伤和腐烂三种 缺陷的位置 其中 冻伤会对整个草莓的组织产生影响 缺 陷区域显示为除了草莓叶以外的所有果肉区域 而淤伤和腐 烂表现为草莓的局部缺陷 对比不同分类网络对于缺陷定位 的效果 可以得出2 D C N N模型结合S c o r e C A M可以大致显 5131第5期 赵路路等 高光谱成像的草莓缺陷检测及可视化 图7 混淆矩阵 Fig 7 Theconfusionmatrices 图8 草莓缺陷的可视化图 Fig 8 Thevisualizationsofstrawberrydefects 6131光谱学与光谱分析 第4 5卷 示出缺陷区域 但准确度不高 不少非缺陷区域也会被高 亮 C B A M C N N模型相比于2 D C N N添加了C B A M注意力 机制 在分类模型建立过程中会对缺陷区域提高权重 因此 可以显著提升定位的准确性 且对于淤伤和腐烂两种缺陷 在非缺陷区域的干扰明显降低 而由图8可见 S S T N模型 因为采用了多头注意力机制 所以对于缺陷的定位相比于 C B A M更加准确 且在缺陷处的成像更加清晰 3 结 论 采用高光谱成像技术结合深度学习实现草莓品质缺陷的 识别与定位 分别建立1 D C N N 2 D C N N C B A M C N N和 S S T N模型 进行健康 淤伤 冻伤 腐烂四种草莓的分类 结果表明 1 D C N N 2 D C N N C B A M C N N和S S T N在测 试集上的总体准确率分别为9 5 6 1 9 6 0 1 9 7 6 4 和 9 9 2 0 其中 S S T N模型内部引入多头注意力机制 可以 获取各光谱序列之间的关系 更好地捕捉光谱图像中的长距 离依赖关系 并且可实现光谱信息与图像信息的同步提取与 融合 其准确率 精准率 召回率 F 1值优于其他对比方法 使用S c o r e C A M结合2 D C N N C B A M C N N和S S T N 模型 实现草莓的缺陷定位与可视化 结果表明 S c o r e C A M结合各类深度学习模型 均可成功可视化各类草莓缺 陷的位置 其中S S T N由于采用了多头注意力机制 所得缺 陷可视化图比C B A M C N N采用的混合卷积注意力机制更加 精确 综合实验结果表明 S S T N方法结合S c o r e C A M可成 功实现健康与多种缺陷草莓的识别与分类 并准确实现缺陷 的定位与可视化 为实现基于高光谱的草莓品质在线检测提 供了方法 References 1 S h a n t h i n i K S F r a n c i s J G e o r g e S N e t a l F o o d C o n t r o l 2 0 2 5 1 6 7 1 1 0 7 9 4 2 K t e n i o u d a k i A E s q u e r r e C A N u n e s C M D N e t a l B i o s y s t e m s E n g i n e e r i n g 2 0 2 2 2 2 1 1 0 5 3 L i u Q S u n K Z h a o N e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 1 9 1 5 3 1 5 2 4 S i e d l i s k a A B a r a n o w s k i P Z u b i k M e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 1 8 1 3 9 1 1 5 5 W e n g S Y u S D o n g R e t a l I n t e r n a t i o n a l J o u r n a l o f F o o d P r o p e r t i e s 2 0 2 0 2 3 1 2 6 9 6 L i u Q S u n K P e n g J e t a l F o o d A n a l y t i c a l M e t h o d s 2 0 1 8 1 1 5 1 5 1 8 7 Z h a n g C G u o C L i u F e t a l J o u r n a l o f F o o d E n g i n e e r i n g 2 0 1 6 1 7 9 6 1 1 8 S h e n F Z h a n g B C a o C e t a l J o u r n a l o f F o o d P r o c e s s E n g i n e e r i n g 2 0 1 8 4 1 e 1 2 8 6 6 9 L i u Y Z h o u S H a n W e t a l A n a l y t i c a C h i m i c a A c t a 2 0 1 9 1 0 8 6 4 6 1 0 G a o Z S h a o Y X u a n G e t a l A r t i f i c i a l I n t e l l i g e n c e i n A g r i c u l t u r e 2 0 2 0 4 3 1 1 1 C h u n S W S o n g D J L e e K H e t a l P o s t h a r v e s t B i o l o g y a n d T e c h n o l o g y 2 0 2 4 2 1 4 1 1 2 9 1 8 1 2 T I A N Q i n g l i n G U O B a n g j i e Y E F a w a n g e t a l 田青林 郭帮杰 叶发旺 等 S p e c t r o s c o p y a n d S p e c t r a l A n a l y s i s 光谱学与光谱分 析 2 0 2 2 4 2 3 8 7 3 1 3 L u Y G o n g M L i J e t a l A g r o n o m y 2 0 2 3 1 3 9 2 2 1 7 1 4 T I A N Y o u w e n W U W e i L I N L e i e t a l 田有文 吴 伟 林 磊 等 T r a n s a c t i o n s o f t h e C h i n e s e S o c i e t y f o r A g r i c u l t u r a l M a c h i n e r y 农业机械学报 2 0 2 3 5 4 1 3 9 3 1 5 E c h i m S V T i a t u I M C e r c e l D C e t a l E x p l a i n a b i l i t y D r i v e n L e a f D i s e a s e C l a s s i f i c a t i o n U s i n g A d v e r s a r i a l T r a i n i n g a n d K n o w l e d g e D i s t i l l a t i o n C o n f e r e n c e o n A g e n t s a n d A r t i f i c i a l I n t e l l i g e n c e 2 0 2 3 d o i 1 0 4 8 5 5 0 a r X i v 2 4 0 1 0 0 3 3 4 1 6 D o s o v i t s k i y A B e y e r L K o l e s n i k o v A e t a l A n I m a g e i s W o r t h 1 6 1 6 W o r d s T r a n s f o r m e r s f o r I m a g e R e c o g n i t i o n a t S c a l e 2 0 2 0 d o i 1 0 4 8 5 5 0 a r X i v 2 0 1 0 1 1 9 2 9 1 7 B i e n i e k A M o g a A P a t t e r n R e c o g n i t i o n 2 0 0 0 3 3 6 9 0 7 1 8 H u X Y a n g W W e n H e t a l S e n s o r s 2 0 2 1 2 1 5 1 7 5 1 1 9 H o n g D H a n Z Y a o J e t a l I E E E T r a n s a c t i o n s o n G e o s c i e n c e a n d R e m o t e S e n s i n g 2 0 2 2 6 0 1 2 0 W a n g H W a n g Z D u M e t a l P r o c e e d i n g s o f t h e I E E E C V F C o n f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n W o r k s h o p s 2 0 2 0 1 1 1 d o i 1 0 1 1 0 9 C V P R W 5 0 4 9 8 2 0 2 0 0 0 0