基于YOLOv10-IAS的草莓各个发育阶段成熟度检测模型.pdf

南 京 农 业 大 学 学 报 收 稿 日 期 基 金 项 目 江 苏 现 代 农 业 产 业 单 项 技 术 研 发 项 目 通 信 作 者 单 以 才 博 士 教 授 主 要 从 事 农 业 机 器 人 工 业 机 器 人 技 术 及 应 用 等 方 面 研 究 易 杰 单 以 才 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 南 京 农 业 大 学 学 报 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 易 杰 单 以 才 江 苏 海 洋 大 学 机 械 工 程 学 院 江 苏 连 云 港 南 京 晓 庄 学 院 电 子 工 程 学 院 江 苏 南 京 摘 要 目的 本文 旨 在丰富草 莓采 摘 机 器 人 识 别 成熟 度 的类 别 提高复 杂 环境 下草 莓 的检 测精 度 方 法 提 出一 种各 个 发 育 阶段 的 草莓成 熟度 检 测 模 型 该 模 型以 为 基 准模型 在 特 征 提 取 部 分 采 用 可 变 核 卷 积 替 换 传 统 卷 积 利 用 灵 活 的 卷 积 机 制 使 模 型 保 持 轻 量 化 的 同 时 增 强 信 息 提 取 的 准 确 性 在 特 征 融 合 部 分 将 模 块 中 层的 残 差相加 操 作 替 换为 迭 代 注 意 力 特 征融 合 利 用 多 尺 度 通 道 注 意 力 模 块 聚 合 上 下 文 信 息 增 强 模 型 处 理 复杂 任 务的表 现 在预测 部 分 引 入 形 状 交 并 比 边 框回归 损 失 函 数 充 分 考 虑 边 界 框 自 身 的 形 状 和 尺 寸 对 回 归 的 影 响 在分类部 分 将草 莓 成 熟 度细 分 为 个 类 别 有 助 于 更 准 确 评 估 草 莓 果 实 的 收 获 时 间 结 果 与 原 模 型 相 比 模型 的平均 精度均值 准 确 度 召 回 率 以 及 检 测 帧 率 分 别 提 高 和 达 到 和 而 参 数量仅 为 结 论 本 文 提 出的 模 型 在 保 持 了 轻 量 化 的 同 时 能 够 准 确 识 别 复 杂 环 境 下 不 同发 育 阶段的 草莓 可部 署 在采 摘 机 器 人 上 对 草 莓 的 生长 成熟 度 状态进 行监 测 为 草莓 精准 化 采摘 提供 技 术支 持 关 键 词 草 莓 成 熟 度 检 测 轻 量 化 中 图 分 类 号 文 献 标 志 码 文 章 编 号 草 莓 是 全 球 种 植 最 多 的 水 果 之 一 其 中 我 国 的 种 植 面 积 和 产 量 常 年 位 列 全 球 第 一 然 而 草 莓 种 植 业 的 快 速 增 长 带 来 了 劳 动 力 短 缺 问 题 在 收 获 过 程 中 草 莓 的 采 摘 约 占 整 个 生 产 过 程 的 并 且 与 采 摘 相 关 的 成 本 占 劳 动 力 成 本 的 因 此 迫 切 需 要 开 发 草 莓 采 摘 机 器 人 来 实 现 草 莓 的 自 动 识南 京 农 业 大 学 学 报 第 卷 别 检 测 提 高 收 获 效 率 基 于 深 度 学 习 的 目 标 检 测 技 术 快 速 发 展 促 进 了 其 在 农 业 中 的 应 用 等 提 出 一 种 自 然 环 境 下 草 莓 自 动 识 别 和 计 数 的 模 型 将 改 进 的 多 级 联 网 络 结 构 代 替 原 来 中 的 用 于 骨 干 特 征 提 取 使 用 代 替 使 模 型 更 擅 长 检 测 小 目 标 物 体 对 成 熟 草 莓 监 测 的 平 均 精 度 为 对 未 成 熟 草 莓 的 平 均 精 度 为 等 使 用 检 测 采 摘 系 统 的 浆 果 和 果 梗 该 网 络 对 草 莓 的 检 测 平 均 精 度 为 对 果 梗 的 检 测 平 均 精 度 为 等 引 入 一 个 新 的 任 务 对 齐 的 对 象 检 测 机 制 加 入 模 块 来 提 高 骨 干 网 的 特 征 提 取 性 能 采 用 取 代 原 有 的 特 征 金 字 塔 网 络 该 网 络 利 用 先 进 的 上 采 样 方 法 来 增 强 不 同 尺 度 下 的 检 测 采 用 多 尺 度 训 练 方 法 有 效 捕 获 小 目 标 草 莓 该 模 型 的 平 均 精 度 达 到 等 基 于 深 度 学 习 算 法 结 合 模 块 提 出 了 一 种 草 莓 成 熟 度 检 测 与 分 级 模 型 检 测 精 度 达 到 上 述 关 于 草 莓 检 测 方 面 的 研 究 中 仍 存 在 一 些 技 术 瓶 颈 为 框 架 在 实 际 应 用 中 目 标 检 测 速 度 慢 故 以 其 作 为 基 准 模 型 难 以 满 足 采 摘 机 器 人 的 实 时 检 测 需 求 现 有 对 草 莓 成 熟 度 的 检 测 只 是 将 草 莓 分 为 成 熟 和 未 成 熟 种 而 未 成 熟 草 莓 在 各 个 发 育 阶 段 的 颜 色 上 有 着 明 显 差 异 因 此 未 成 熟 草 莓 的 精 准 分 类 识 别 仍 然 具 有 挑 战 性 草 莓 生 长 环 境 容 易 受 到 叶 片 果 柄 和 果 实 的 遮 挡 导 致 无 法 准 确 识 别 复 杂 环 境 下 的 草 莓 本 文 以 不 同 发 育 阶 段 草 莓 为 研 究 对 象 提 出 了 草 莓 成 熟 度 检 测 模 型 该 模 型 以 作 为 基 准 框 架 在 特 征 提 取 阶 段 采 用 可 变 核 卷 积 增 强 特 征 表 达 能 力 并 保 持 模 型 轻 量 化 在 特 征 融 合 阶 段 引 入 迭 代 注 意 力 机 制 优 化 多 尺 度 信 息 整 合 在 边 界 框 回 归 中 应 用 损 失 函 数 提 升 定 位 精 度 同 时 将 草 莓 成 熟 度 划 分 为 个 类 别 实 现 对 不 同 发 育 阶 段 的 细 粒 度 识 别 上 述 改 进 共 同 提 升 了 模 型 在 复 杂 环 境 下 对 草 莓 成 熟 度 的 检 测 精 度 与 鲁 棒 性 可 以 更 准 确 掌 握 其 生 长 状 况 从 而 优 化 收 获 规 划 为 实 现 草 莓 智 能 化 采 摘 提 供 技 术 支 持 数 据 集 构 建 图 像 采 集 本 研 究 所 用 的 数 据 集 采 自 南 京 溧 水 傅 家 边 草 莓 种 植 园 利 用 采 摘 机 器 人 上 的 深 度 相 机 采 集 图 像 采 集 的 草 莓 图 像 包 括 强 光 弱 光 叶 片 遮 挡 果 实 遮 挡 和 果 梗 遮 挡 等 环 境 在 不 同 的 拍 摄 距 离 和 角 度 下 采 集 以 确 保 数 据 集 的 多 样 性 共 采 集 幅 图 像 分 辨 率 为 像 素 草 莓 各 个 发 育 阶 段 的 成 熟 度 划 分 通 过 咨 询 专 家 进 行 更 精 确 的 聚 类 将 草 莓 果 实 分 成 个 发 育 阶 段 的 图 像 图 分 别 为 绿 熟 期 白 熟 期 早 转 色 期 晚 转 色 期 和 红 熟 期 绿 熟 期 是 指 草 莓 表 面 完 全 绿 色 而 绿 色 阴 影 可 能 从 浅 到 深 白 熟 期 是 指 草 莓 表 面 绝 对 白 色 几 乎 没 有 绿 色 或 红 色 阴 影 早 转 色 期 是 指 草 莓 表 面 的 从 白 色 到 棕 红 色 变 化 晚 转 色 期 指 草 莓 表 面 呈 现 粉 红 色 或 红 色 红 熟 期 的 草 莓 表 面 为 红 色 表 示 成 熟 数 据 集 中 各 个 发 育 阶 段 的 草 莓 数 量 如 图 所 示 由 于 张 图 片 中 包 含 多 个 草 莓 因 此 数 据 集 中 绿 熟 期 白 熟 期 早 转 色 期 晚 转 色 期 和 红 熟 期 的 草 莓 数 量 分 别 为 和 图 草 莓 不 同 发 育 阶 段 草 莓 数 据 标 注 使 用 平 台 对 不 同 发 育 阶 段 草 莓 进 行 锚 框 标 注 及 类 别 划 分 划 分 为 个 类 别 代 表 草 莓 的 个 发 育 阶 段 即 绿 熟 期 白 熟 第 期 易 杰 等 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 图 各 个 发 育 阶 段 草 莓 数 量 期 早 转 色 期 晚 转 色 期 和 红 熟 期 百 分 比 表 示 草 莓 成 熟 的 程 度 在 现 实 应 用 中 通 过 添 加 百 分 比 标 签 更 能 直 观 观 察 草 莓 成 熟 度 相 较 于 传 统 的 标 注 方 法 只 能 对 目 标 进 行 正 矩 形 标 注 平 台 可 对 目 标 进 行 智 能 多 边 形 的 方 法 标 注 如 图 所 示 由 于 草 莓 呈 现 不 规 则 形 状 且 生 长 环 境 复 杂 易 出 现 果 实 重 叠 叶 片 遮 挡 等 情 况 故 使 用 传 统 正 矩 形 的 标 注 方 法 会 产 生 干 扰 对 模 型 的 精 度 产 生 影 响 而 用 方 法 标 注 不 仅 可 以 完 整 契 合 草 莓 形 状 还 可 以 将 被 遮 挡 的 草 莓 进 行 分 割 标 注 减 少 了 图 像 训 练 时 的 噪 声 极 大 提 高 了 模 型 精 准 识 别 的 鲁 棒 性 图 图 像 标 注 图 数 据 增 强 示 例 数 据 增 强 为 了 提 高 模 型 对 目 标 特 征 的 学 习 能 力 增 强 模 型 在 复 杂 情 况 下 的 泛 化 能 力 和 鲁 棒 性 降 低 过 度 拟 合 的 风 险 采 用 库 中 的 数 据 增 强 方 式 对 标 注 的 原 始 图 像 进 行 旋 转 翻 转 亮 度 调 整 添 加 脉 冲 噪 声 对 比 度 调 整 图 像 遮 挡 仿 射 的 变 换 和 处 理 并 将 这 些 方 法 随 机 组 合 部 分 数 据 增 强 效 果 如 图 所 示 将 原 来 图 像 扩 增 至 张 图 像 并 以 的 比 例 划 分 为 训 练 集 验 证 集 测 试 集 使 用 交 叉 验 证 方 法 来 确 保 数 据 集 分 割 的 随 机 性 与 传 统 的 比 例 数 据 集 分 割 相 比 交 叉 验 证 改 南 京 农 业 大 学 学 报 第 卷 进 了 模 型 评 估 并 提 供 了 更 全 面 稳 健 和 可 靠 的 性 能 估 计 有 助 于 减 少 模 型 选 择 和 评 估 中 的 不 确 定 性 同 时 有 效 利 用 了 有 限 的 数 据 集 研 究 方 法 检 测 模 型 系 列 作 为 目 标 检 测 算 法 因 检 测 精 度 高 运 行 速 度 快 被 广 泛 运 用 于 实 时 检 测 并 被 验 证 其 适 合 部 署 在 农 业 机 器 人 的 嵌 入 式 检 测 系 统 上 虽 然 在 性 能 和 效 率 之 间 达 到 了 一 种 巧 妙 的 平 衡 但 仍 存 在 一 些 不 足 后 处 理 对 非 极 大 值 抑 制 的 依 赖 阻 碍 了 的 端 到 端 部 署 并 对 推 理 延 迟 产 生 不 利 影 响 中 各 个 组 件 的 设 计 缺 乏 全 面 和 彻 底 的 检 查 导 致 明 显 的 计 算 冗 余 从 而 限 制 了 模 型 的 性 能 在 中 首 先 提 出 了 一 种 一 致 的 双 重 分 配 策 略 用 于 无 的 具 有 双 标 签 分 配 和 一 致 匹 配 度 量 解 决 了 后 处 理 中 的 冗 余 预 测 问 题 使 模 型 在 训 练 过 程 中 得 到 丰 富 和 谐 的 监 督 同 时 在 推 理 过 程 中 无 需 从 而 获 得 高 效 率 的 竞 争 性 能 其 次 提 出 了 整 体 效 率 精 度 驱 动 的 模 型 架 构 设 计 策 略 包 括 轻 量 化 分 类 头 空 间 信 道 解 耦 下 采 样 和 秩 引 导 块 设 计 以 减 少 计 算 冗 余 实 现 更 高 效 的 架 构 为 了 提 高 准 确 性 提 出 了 有 效 的 部 分 自 注 意 模 块 来 增 强 模 型 能 力 因 此 本 文 选 择 轻 量 化 的 作 为 草 莓 成 熟 度 检 测 的 基 准 模 型 该 模 型 由 输 入 层 骨 干 网 络 颈 部 网 络 和 检 测 输 出 层 部 分 组 成 如 图 所 示 图 网 络 结 构 图 模 块 输 入 层 将 草 莓 图 像 进 行 预 处 理 和 锚 框 生 成 机 制 然 后 输 入 到 层 负 责 提 取 不 同 发 育 阶 段 的 草 莓 信 息 特 征 其 结 构 除 了 延 续 中 的 卷 积 高 效 聚 合 网 络 特 点 的 模 块 以 及 实 现 局 部 特 征 与 全 局 特 征 融 合 模 块 外 还 引 入 了 模 块 图 先 通 过 逐 点 卷 积 调 整 通 道 维 度 然 后 使 用 深 度 卷 积 进 行 空 间 下 采 样 将 空 间 下 采 样 和 通 道 转 换 操 作 解 耦 提 高 了 信 息 保 留 率 同 时 减 少 计 算 成 本 添 加 了 部 分 自 注 意 力 模 块 如 图 所 示 在 卷 积 操 作 之 后 将 跨 通 道 的 特 征 均 匀 地 划 分 为 部 分 只 将 一 部 分 输 入 到 由 多 头 自 注 意 力 模 块 和 前 馈 网 络 组 成 的 块 中 然 后 个 部 分 通 过 卷 积 连 接 并 融 合 此 外 该 模 块 将 中 查 询 和 键 第 期 易 杰 等 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 图 模 块 的 维 度 设 置 为 值 维 度 的 一 半 并 将 替 换 为 以 提 高 推 理 速 度 模 块 仅 被 嵌 入 到 分 辨 率 最 低 的 阶 段 之 后 在 有 效 融 入 全 局 表 示 学 习 能 力 的 同 时 避 免 了 过 高 计 算 开 销 从 而 提 升 了 模 型 性 能 在 层 通 过 增 强 网 络 特 征 学 习 能 力 融 合 草 莓 特 征 在 此 层 添 加 了 个 紧 凑 的 倒 置 块 结 构 其 采 用 的 空 间 混 合 和 成 本 有 效 的 逐 点 卷 积 的 通 道 混 合 图 可 作 为 高 效 的 基 本 构 建 块 在 不 影 响 性 能 的 情 况 下 实 现 更 高 的 效 率 在 层 里 引 入 一 种 新 的 双 分 配 策 略 模 型 在 训 练 期 间 使 用 个 预 测 头 联 合 优 化 一 个 使 用 一 对 多 分 配 另 一 个 使 用 一 对 一 分 配 这 样 不 仅 可 以 让 和 享 受 到 一 对 多 分 配 所 提 供 的 丰 富 监 督 还 可 以 在 推 理 期 间 利 用 一 对 一 分 配 的 预 测 结 果 从 而 实 现 无 的 高 效 推 理 模 型 尽 管 表 现 出 较 高 的 优 越 性 但 实 际 应 用 环 境 往 往 更 加 复 杂 需 要 根 据 具 体 情 况 改 进 模 型 以 更 有 效 地 应 对 各 种 挑 战 首 先 针 对 不 同 发 育 阶 段 的 草 莓 成 熟 度 检 测 要 求 模 型 具 备 更 高 的 泛 化 能 力 由 于 现 实 环 境 中 草 莓 密 集 生 长 并 伴 有 叶 片 果 梗 和 果 实 的 遮 挡 检 测 目 标 种 类 繁 多 且 背 景 环 境 复 杂 本 文 设 计 了 模 块 用 于 替 换 中 层 的 模 块 改 进 点 在 于 将 传 统 模 块 结 构 中 层 的 残 差 相 加 操 作 改 为 迭 代 注 意 力 特 征 融 合 操 作 其 主 要 思 想 在 于 通 过 更 精 细 的 注 意 力 机 制 来 改 善 特 征 融 合 进 而 增 强 卷 积 神 经 网 络 不 仅 处 理 了 由 于 尺 度 和 语 义 不 一 致 而 引 起 的 特 征 融 合 问 题 还 利 用 多 尺 度 通 道 注 意 模 块 在 通 道 维 度 上 聚 合 多 尺 度 上 下 文 信 息 可 以 同 时 强 调 分 布 更 广 泛 无 遮 挡 的 草 莓 并 突 出 分 布 局 部 被 遮 挡 的 草 莓 便 于 识 别 和 检 测 极 端 尺 度 变 化 下 的 草 莓 改 善 模 型 在 处 理 复 杂 任 务 时 的 表 现 其 次 草 莓 成 熟 度 检 测 系 统 需 部 署 在 移 动 设 备 或 机 器 人 等 资 源 受 限 的 平 台 上 要 求 检 测 模 型 在 保 持 高 性 能 的 同 时 尽 可 能 减 少 参 数 量 本 文 把 的 第 一 第 二 第 三 层 及 的 第 七 层 的 传 统 卷 积 替 换 为 可 变 核 卷 积 用 于 平 衡 模 块 新 增 的 参 数 量 相 较 于 传 统 卷 积 局 限 于 固 定 局 部 窗 口 和 固 定 采 样 形 状 的 限 制 允 许 卷 积 核 具 有 任 意 数 量 的 参 数 和 采 样 形 状 这 使 得 其 可 以 根 据 实 际 需 求 调 整 大 小 和 形 状 在 硬 件 资 源 有 限 的 环 境 中 能 够 通 过 减 少 不 必 要 的 参 数 来 优 化 性 能 的 这 一 特 性 使 其 成 为 设 计 紧 凑 而 高 效 模 型 的 理 想 选 择 非 常 适 合 这 种 轻 量 级 的 模 型 最 后 采 用 损 失 函 数 替 换 的 损 失 函 数 在 的 基 础 上 进 一 步 考 虑 了 边 界 框 自 身 的 形 状 和 尺 寸 来 计 算 损 失 从 而 提 高 模 型 精 度 改 进 后 的 模 型 如 图 所 示 迭 代 注 意 力 特 征 融 合 特 征 融 合 在 现 代 网 络 中 具 有 重 要 作 用 通 过 结 合 来 自 不 同 层 通 道 或 模 态 的 特 征 可 显 著 提 升 卷 积 神 经 网 络 的 性 能 通 常 特 征 融 合 通 过 对 来 自 不 同 层 或 通 道 的 特 征 图 进 行 串 联 或 加 法 的 操 作 来 实 现 然 而 这 种 简 单 的 线 性 操 作 会 导 致 特 征 图 维 度 过 大 从 而 增 加 计 算 和 存 储 开 销 且 难 以 充 分 捕 捉 特 征 之 间 的 复 杂 关 系 而 本 文 采 用 的 迭 代 注 意 力 特 征 融 合 利 用 注 意 力 机 制 来 改 善 传 统 的 简 单 特 征 融 合 方 法 并 通 过 迭 代 应 用 注 意 力 机 制 来 改 善 特 征 图 的 初 步 整 合 克 服 了 初 步 整 合 可 能 成 为 性 能 瓶 颈 的 问 题 这 种 方 法 使 模 型 即 使 在 层 数 或 参 数 较 少 的 情 况 下 也 能 取 得 较 好 的 效 果 结 构 如 图 所 示 对 输 入 的 个 特 征 代 表 感 受 野 更 大 的 特 征 先 做 初 始 相 加 操 作 再 将 得 到 的 初 始 特 征 经 过 模 块 图 进 行 进 一 步 的 特 征 融 合 在 模 块 中 通 过 全 局 特 征 的 通 道 注 意 力 和 局 部 特 征 的 通 道 注 意 力 个 分 支 来 提 取 特 征 信 息 其 中 全 局 特 征 通 道 对 输 入 的 初 始 特 征 南 京 农 业 大 学 学 报 第 卷 图 模 型 先 进 行 一 次 全 局 平 均 池 化 操 作 然 后 再 进 行 逐 点 卷 积 操 作 而 局 部 特 征 通 道 则 直 接 将 初 始 特 征 进 行 逐 点 卷 积 操 作 然 后 通 过 层 统 一 张 量 最 后 将 全 局 通 道 信 息 与 局 部 特 征 通 道 信 息 通 过 广 播 机 制 相 加 后 的 结 果 输 入 激 活 函 数 中 使 用 融 合 后 的 特 征 与 中 对 应 元 素 相 乘 再 次 经 过 融 合 操 作 以 进 一 步 细 化 特 征 融 合 过 程 计 算 公 式 如 下 式 中 为 局 部 通 道 上 下 文 为 生 成 的 注 意 权 值 表 示 逐 元 素 乘 法 表 示 广 播 机 制 加 法 图 迭 代 注 意 力 特 征 融 合 模 块 可 变 核 卷 积 卷 积 操 作 在 深 度 学 习 中 取 得 了 显 著 成 果 但 也 存 在 个 固 有 问 题 首 先 卷 积 操 作 局 限 于 局 部 窗 口 限 制 了 其 获 取 全 局 信 息 的 能 力 且 其 采 样 模 式 是 固 定 的 其 次 卷 积 核 的 尺 寸 通 常 是 固 定 的 正 方 形 导 致 参 数 数 量 随 着 卷 积 核 尺 寸 的 增 大 呈 平 方 级 增 长 由 于 不 同 数 据 集 和 位 置 上 的 目 标 形 状 和 大 小 各 异 固 定 的 采 样 形 状 和 正 方 形 卷 积 核 难 以 灵 活 适 应 这 些 变 化 而 本 文 采 用 的 可 变 核 卷 积 提 供 一 种 灵 活 的 卷 积 机 制 允 许 卷 积 核 具 有 任 意 数 量 的 参 数 这 第 期 易 杰 等 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 使 得 其 可 以 根 据 实 际 需 求 调 整 大 小 和 形 状 从 而 更 有 效 地 适 应 目 标 的 变 化 针 对 不 同 大 小 的 卷 积 核 提 出 了 一 种 新 的 算 法 来 生 成 初 始 采 样 坐 标 这 进 一 步 增 强 了 其 在 处 理 各 种 尺 寸 目 标 时 的 灵 活 性 为 适 应 目 标 的 不 同 变 化 通 过 获 得 的 偏 移 量 调 整 不 规 则 卷 积 核 的 采 样 位 置 从 而 提 高 了 特 征 提 取 的 准 确 性 支 持 线 性 增 减 卷 积 参 数 的 数 量 有 助 于 在 硬 件 环 境 中 优 化 性 能 尤 其 适 合 于 轻 量 级 模 型 的 应 用 传 统 的 卷 积 运 算 使 用 的 采 样 网 络 是 规 则 的 而 的 目 标 是 不 规 则 形 状 的 卷 积 核 因 此 设 计 了 一 种 任 意 大 小 卷 积 的 算 法 该 算 法 能 够 生 成 卷 积 核 的 初 始 采 样 坐 标 该 过 程 首 先 生 成 一 个 规 则 的 采 样 网 格 然 后 为 其 余 的 采 样 点 创 建 一 个 不 规 则 的 网 格 最 后 将 这 部 分 网 格 拼 接 成 一 个 完 整 的 采 样 网 格 在 算 法 中 将 左 上 角 点 作 为 采 样 原 点 定 义 了 不 规 则 卷 积 的 初 始 坐 标 后 位 置 对 应 的 卷 积 操 作 定 义 如 下 式 中 表 示 卷 积 参 数 结 构 如 图 所 示 首 先 输 入 具 有 维 度 的 图 像 其 中 和 分 别 代 表 通 道 数 图 像 高 度 和 宽 度 这 一 步 是 特 有 的 给 出 了 卷 积 核 的 初 始 采 样 形 状 然 后 使 用 对 输 入 图 像 执 行 卷 积 操 作 再 通 过 学 习 得 到 的 偏 移 量 对 初 始 采 样 形 状 进 行 调 整 这 一 步 是 的 核 心 能 够 使 卷 积 核 的 形 状 动 态 地 调 整 适 应 图 像 中 的 特 征 对 特 征 图 进 行 重 采 样 以 适 应 调 整 后 的 采 样 形 状 重 采 样 后 的 特 征 图 经 过 重 塑 卷 积 和 标 准 化 处 理 最 终 通 过 激 活 函 数 生 成 输 出 结 果 与 初 始 采 样 形 状 相 比 经 过 重 采 样 后 的 每 个 位 置 的 采 样 形 状 都 会 发 生 变 化 这 使 得 能 够 根 据 图 像 的 具 体 内 容 动 态 调 整 其 操 作 方 式 从 而 为 卷 积 网 络 带 来 了 前 所 未 有 的 灵 活 性 和 适 应 性 图 结 构 损 失 函 数 使 用 的 损 失 函 数 相 比 于 传 统 的 损 失 函 数 做 出 了 一 些 改 进 其 在 考 虑 框 重 叠 度 的 同 时 还 引 入 了 框 的 中 心 点 距 离 宽 高 比 等 因 素 尽 管 提 高 了 检 测 精 度 但 在 宽 高 比 的 定 义 上 较 为 模 糊 此 模 糊 性 可 能 导 致 质 量 较 差 的 回 归 样 本 对 损 失 的 影 响 过 大 从 而 使 得 高 质 量 的 回 归 样 本 难 以 进 一 步 优 化 造 成 正 负 样 本 不 均 衡 虽 然 上 述 方 法 综 合 考 虑 了 真 实 框 和 预 测 框 之 间 的 距 离 形 状 及 角 度 对 边 界 框 回 归 的 影 响 但 未 能 充 分 考 虑 边 界 框 自 身 的 形 状 和 尺 寸 对 回 归 的 影 响 因 此 本 文 使 用 损 失 函 数 替 换 损 失 函 数 通 过 关 注 边 界 框 自 身 的 形 状 和 比 例 来 计 算 损 失 函 数 可 以 更 有 效 地 利 用 相 似 度 来 获 取 梯 度 信 息 这 种 方 法 能 够 更 精 确 地 指 导 模 型 的 训 练 从 而 提 升 目 标 检 测 的 精 度 和 定 位 准 确 性 其 计 算 公 式 如 下 南 京 农 业 大 学 学 报 第 卷 式 中 分 别 代 表 预 测 框 和 真 实 框 和 为 真 实 框 的 宽 度 和 高 度 为 尺 度 因 子 与 数 据 集 中 草 莓 的 尺 度 有 关 和 分 别 代 表 水 平 方 向 和 垂 直 方 向 的 权 重 系 数 其 值 与 框 的 形 状 有 关 表 示 距 离 损 失 为 预 测 框 中 心 坐 标 为 真 实 框 中 心 坐 标 表 示 形 状 损 失 则 控 制 对 形 状 损 失 的 关 注 程 度 通 过 遗 传 算 法 取 值 通 常 取 试 验 结 果 与 分 析 试 验 环 境 本 研 究 所 有 模 型 训 练 和 试 验 的 硬 件 配 置 环 境 显 存 及 内 存 软 件 环 境 为 操 作 系 统 使 用 及 完 成 模 型 训 练 与 验 证 超 参 数 设 置 如 下 输 入 图 像 的 分 辨 率 为 批 量 大 小 设 置 为 迭 代 次 数 为 轮 初 始 学 习 率 为 由 于 本 研 究 的 数 据 集 较 复 杂 因 此 选 用 作 为 优 化 器 评 价 指 标 为 准 确 评 估 本 文 所 提 出 模 型 的 性 能 采 用 了 多 项 评 估 指 标 包 括 平 均 精 度 均 值 准 确 度 召 回 率 参 数 量 以 及 检 测 帧 率 计 算 公 式 如 下 式 中 代 表 模 型 预 测 为 正 样 本 且 实 际 也 是 正 样 本 的 数 量 代 表 模 型 预 测 为 正 样 本 但 实 际 上 是 负 样 本 的 数 量 则 代 表 模 型 预 测 为 负 样 本 但 实 际 上 是 正 样 本 的 数 量 表 示 样 本 的 类 别 数 消 融 试 验 采 用 消 融 试 验 验 证 本 文 提 出 的 模 型 中 迭 代 注 意 力 特 征 融 合 可 变 核 卷 积 损 失 函 数 对 原 始 模 型 影 响 增 强 对 各 模 块 的 理 解 结 果 如 表 所 示 表 消 融 试 验 模 型 平 均 精 度 均 值 准 确 度 参 数 量 检 测 帧 率 模 型 模 型 模 型 模 型 模 型 注 表 示 采 用 该 模 块 则 表 示 不 采 用 第 期 易 杰 等 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 模 型 只 在 模 块 的 层 的 残 差 相 加 操 作 替 换 为 后 平 均 精 度 均 值 准 确 度 和 检 测 帧 率 都 有 较 好 的 提 升 说 明 相 较 于 简 单 的 相 加 操 作 迭 代 注 意 力 特 征 融 合 能 更 好 地 增 强 特 征 融 合 但 操 作 量 增 加 导 致 模 型 参 数 量 增 加 模 型 用 替 换 了 传 统 卷 积 后 平 均 精 度 和 准 确 度 均 有 提 高 且 使 参 数 量 下 降 表 明 可 变 卷 积 核 通 过 减 少 不 必 要 的 参 数 来 优 化 性 能 使 模 型 更 轻 量 化 但 模 型 复 杂 度 降 低 使 推 理 速 度 变 慢 从 而 导 致 检 测 帧 率 降 低 模 型 替 换 后 平 均 精 度 均 值 提 高 百 分 点 准 确 度 提 高 百 分 点 且 检 测 帧 率 也 有 所 提 高 说 明 这 种 关 注 边 界 框 自 身 的 形 状 和 尺 寸 来 计 算 损 失 的 方 法 可 以 有 效 提 升 模 型 识 别 精 度 最 后 模 型 在 结 合 了 个 改 进 后 平 均 精 度 和 准 确 度 都 有 显 著 提 高 分 别 提 高 和 百 分 点 且 检 查 帧 率 也 提 高 同 时 由 于 的 存 在 也 保 证 了 模 型 的 轻 量 化 模 型 结 果 分 析 图 所 示 为 模 型 训 练 过 程 中 的 指 标 变 化 随 着 训 练 轮 数 的 增 加 在 不 断 上 升 在 轮 波 动 减 小 趋 于 平 缓 且 相 较 于 原 模 型 有 明 显 的 提 高 损 失 曲 线 方 面 本 文 采 用 的 在 训 练 初 期 快 速 下 降 中 期 小 幅 振 荡 后 期 基 本 趋 于 稳 定 模 型 实 现 收 敛 相 比 原 模 型 下 降 速 度 更 快 其 最 终 损 失 值 也 低 于 原 模 型 图 模 型 指 标 图 图 不 同 遮 挡 草 莓 模 型 热 力 图 检 测 结 果 可 视 化 对 比 采 用 热 力 图 可 视 化 方 法 对 本 文 提 出 的 模 型 进 行 性 能 验 证 和 评 估 与 原 模 型 相 比 在 有 遮 挡 的 草 莓 识 别 任 务 中 的 热 力 图 如 图 所 示 热 力 图 的 颜 色 深 度 反 映 了 模 型 对 该 局 部 区 域 的 关 注 程 度 其 中 红 色 区 域 表 示 关 注 程 度 最 高 通 过 对 比 两 者 的 热 力 图 可 见 在 遮 挡 的 环 境 下 原 模 型 容 易 受 到 枝 叶 等 背 景 信 息 的 干 扰 导 致 关 注 区 域 分 散 且 杂 乱 并 出 现 漏 检 的 现 象 而 模 型 则 将 注 意 力 集 中 在 草 莓 上 减 少 了 对 背 景 及 其 他 干 扰 信 息 的 关 注 因 南 京 农 业 大 学 学 报 第 卷 此 模 型 能 够 更 好 地 处 理 复 杂 任 务 在 实 际 应 用 中 更 具 实 用 性 和 可 靠 性 原 模 型 和 模 型 在 多 类 别 遮 挡 不 同 光 照 条 件 和 密 集 环 境 下 的 草 莓 检 测 效 果 如 图 所 示 为 确 保 对 比 真 实 性 我 们 在 复 杂 环 境 下 额 外 采 集 了 照 片 用 于 检 测 由 于 草 莓 生 长 不 规 则 常 常 出 现 草 莓 被 其 他 果 实 和 枝 叶 遮 挡 的 情 况 观 察 草 莓 表 面 颜 色 分 布 受 阻 进 而 干 扰 成 熟 度 的 判 断 从 多 类 别 环 境 的 检 测 结 果 来 看 原 模 型 将 早 转 色 期 和 晚 转 色 期 的 草 莓 错 检 成 白 熟 期 和 红 熟 期 而 本 文 提 出 的 模 型 准 确 地 检 测 出 了 不 同 发 育 阶 段 的 草 莓 在 遮 挡 环 境 下 枝 叶 和 果 实 的 遮 挡 使 得 原 模 型 容 易 出 现 漏 检 在 光 照 条 件 下 强 光 引 起 的 曝 光 影 响 了 原 模 型 的 检 测 准 确 性 在 密 集 环 境 下 原 模 型 也 同 样 易 受 到 干 扰 导 致 漏 检 从 检 测 结 果 可 以 分 析 出 复 杂 环 境 下 未 成 熟 草 莓 的 检 测 具 有 较 大 挑 战 尤 其 是 早 转 色 期 的 草 莓 其 表 面 只 有 的 红 色 且 常 伴 随 果 实 和 枝 叶 的 遮 挡 因 此 极 大 阻 碍 了 成 熟 度 的 判 断 而 模 型 在 这 些 问 题 上 有 了 显 著 改 进 能 够 在 各 种 复 杂 环 境 下 较 好 地 识 别 草 莓 不 同 发 育 阶 段 的 情 况 且 置 信 度 也 有 提 升 图 不 同 场 景 检 测 效 果 图 像 从 上 到 下 依 次 为 原 图 从 左 到 右 依 次 为 多 类 别 枝 叶 遮 挡 果 实 遮 挡 强 弱 光 密 集 环 境 的 草 莓 图 像 对 比 试 验 为 了 更 好 地 体 现 模 型 的 优 势 将 其 与 目 前 主 流 的 目 标 检 测 算 法 进 行 对 比 结 果 如 表 所 示 模 型 与 模 型 相 比 分 别 提 高 也 高 于 其 他 主 流 模 型 其 通 过 调 和 平 均 数 的 方 式 结 合 准 确 度 和 召 回 率 的 优 点 从 而 更 全 面 地 反 映 模 型 的 检 测 性 能 虽 然 不 及 模 型 但 其 参 数 量 仅 有 适 合 部 署 在 实 际 设 备 中 对 草 莓 成 熟 度 精 准 检 测 综 合 对 比 试 验 本 文 提 出 的 模 型 整 体 性 能 效 果 较 好 适 合 部 署 在 实 际 设 备 或 机 器 人 上 进 行 草 莓 成 熟 度 检 测 和 草 莓 采 摘 表 不 同 检 测 模 型 性 能 对 比 模 型 平 均 精 度 均 值 准 确 度 召 回 率 参 数 量 检 测 帧 率 得 分 结 论 针 对 草 莓 成 熟 度 分 类 单 一 和 复 杂 场 景 下 识 别 准 确 度 低 等 问 题 本 文 根 据 专 家 建 议 将 草 莓 成 熟 度 划 分 为 个 不 同 的 发 育 阶 段 有 助 于 更 好 地 规 划 收 获 过 程 基 于 此 本 文 提 出 了 一 种 轻 量 化 且 高 精 度 的 草 莓 成 第 期 易 杰 等 基 于 的 草 莓 各 个 发 育 阶 段 成 熟 度 检 测 模 型 熟 度 检 测 模 型 采 用 改 进 模 型 缺 点 的 作 为 基 准 模 型 首 先 将 层 的 模 块 中 的 层 的 残 差 相 加 操 作 替 换 为 以 增 强 特 征 融 合 能 力 其 次 采 用 可 变 核 卷 积 替 换 传 统 的 卷 积 使 模 型 保 持 轻 量 化 的 同 时 提 高 性 能 最 后 引 用 损 失 函 数 更 有 效 地 获 取 梯 度 信 息 与 原 模 型 相 比 模 型 的 平 均 精 度 均 值 准 确 度 召 回 率 分 别 提 高 检 测 帧 率 也 提 高 与 其 他 主 流 检 测 模 型 相 比 模 型 参 数 量 较 小 且 识 别 性 能 最 优 因 此 本 文 提 出 的 模 型 适 合 部 署 在 农