面向番茄植株相近色目标识别的多波段图像融合方法.pdf

2020 年6 月 第2 卷 第2 期 Jun 2020 Vol 2 No 2 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 面 向 番 茄 植 株 相 近 色 目 标 识 别 的 多 波 段 图 像 融 合 方 法 冯 青 春 1 2 陈 建 2 成 伟 3 4 王 秀 1 3 1 北 京 农 业 智 能 装 备 技 术 研 究 中 心 北 京 1 0 0 0 9 7 2 中 国 农 业 大 学 工 学 院 北 京 1 0 0 0 8 3 3 国 家 农 业 智 能 装 备 工 程 技 术 研 究 中 心 北 京 1 0 0 0 9 7 4 农 业 智 能 装 备 技 术 北 京 市 重 点 实 验 室 北 京 1 0 0 0 9 7 摘 要 针 对 温 室 番 茄 智 能 化 管 理 需 要 研 究 茎 秆 叶 片 和 绿 果 等 3 类 相 近 色 目 标 的 多 波 段 图 像 融 合 方 法 以 凸 显 目 标 与 背 景 亮 度 差 异 提 高 目 标 视 觉 识 别 效 率 根 据 其 各 自 在 3 0 0 1 0 0 0 n m 范 围 的 反 射 光 谱 特 征 差 异 建 立 了 针 对 其 光 谱 数 据 分 类 的 L a s s o 正 则 化 逻 辑 回 归 模 型 基 于 模 型 的 稀 疏 解 特 征 确 定 具 有 较 大 权 值 系 数 的 4 5 0 6 0 0 和 9 0 0 n m 等 3 个 波 段 作 为 最 优 成 像 波 段 在 此 基 础 上 构 建 了 温 室 番 茄 植 株 多 波 段 图 像 在 线 采 集 系 统 结 合 最 优 成 像 波 段 下 相 近 色 目 标 图 像 特 征 分 析 提 出 了 基 于 N S G A I I 的 多 波 段 图 像 加 权 融 合 方 法 以 增 强 特 定 目 标 与 近 色 背 景 物 体 的 图 像 亮 度 差 异 最 后 通 过 现 场 试 验 对 多 波 段 图 像 融 合 效 果 进 行 评 估 结 果 表 明 分 别 以 茎 秆 叶 片 和 绿 果 器 官 作 为 识 别 目 标 通 过 多 波 段 图 像 融 合 处 理 后 目 标 与 背 景 之 间 的 图 像 灰 度 差 异 绝 对 差 值 相 应 达 到 单 波 段 图 像 的 2 0 2 8 6 3 和 7 8 9 倍 即 被 识 别 目 标 与 其 他 近 色 背 景 的 亮 度 差 异 显 著 增 强 且 背 景 物 的 亮 度 波 动 得 到 抑 制 本 研 究 结 果 可 以 为 农 业 环 境 近 色 目 标 视 觉 识 别 相 关 研 究 提 供 参 考 关 键 词 农 业 机 器 人 番 茄 植 株 相 近 色 目 标 光 谱 特 征 图 像 融 合 N S G A I I 中 图 分 类 号 T P 7 5 1 T P 2 4 2 6 文 献 标 志 码 A 文 章 编 号 2 0 2 0 0 2 S A 0 0 1 引 文 格 式 冯 青 春 陈 建 成 伟 王 秀 面 向 番 茄 植 株 相 近 色 目 标 识 别 的 多 波 段 图 像 融 合 方 法 J 智 慧 农 业 中 英 文 2020 2 2 126 134 FENG Qingchun CHEN Jian CHENG Wei WANG Xiu Multi band image fusion for visually identifying tomato plant s organs with similar color J Smart Agriculture 2020 2 2 126 134 in Chinese with English ab stract 1 引 言 中 国 是 番 茄 生 产 和 消 费 大 国 种 植 面 积 达 105 万 公 顷 1 人 均 年 消 费 量 约21kg 2 近 年 来 随 着 劳 动 力 成 本 上 涨 番 茄 种 植 管 理 的 雇 工 费 用 已 上 涨 至 总 生 产 成 本 比 例 约45 3 人 力 成 本 过 高 已 成 为 限 制 番 茄 种 植 效 益 增 长 的 客 观 因 素 鉴 于 机 器 人 在 智 能 探 测 和 复 杂 操 作 方 面 的 独 特 优 势 针 对 温 室 番 茄 采 摘 整 枝 授 粉 以 及 喷 药 等 劳 动 密 集 操 作 复 杂 的 种 植 管 理 环 节 研 发 能 够 代 替 人 工 作 业 的 农 业 机 器 人 是 从 工 程 技 术 角 度 应 对 当 前 形 势 的 有 效 途 径 4 5 准 确 获 取 作 业 对 象 的 视 觉 特 征 是 机 器 人 智 能 化 作 业 的 必 要 前 提 对 于 不 同 管 理 环 节 番 茄 植 株 茎 叶 和 果 既 可 能 是 作 业 对 象 也 可 能 是 背 景 干 扰 然 而 温 室 内 植 株 丛 生 密 布 杂 乱 无 序 且 番 茄 茎 叶 和 绿 果 为 相 近 色 器 官 基 于 宽 泛 的 可 见 光 图 像 信 息 难 以 doi 10 12133 j smartag 2020 2 2 202002 SA001 收 稿 日 期 2020 02 06 修 订 日 期 2020 04 18 基 金 项 目 国 家 自 然 科 学 基 金 项 目 61703048 北 京 市 农 林 科 学 院 青 年 科 研 基 金 项 目 QNJJ201722 作 者 简 介 冯 青 春 1987 男 副 研 究 员 研 究 方 向 为 农 业 机 器 人 E mail fengqc 通讯作者 王 秀 1965 男 研究员 研究方向 为 智能农业装备方面研究 电话 010 51503686 E mail wangx 冯 青 春 等 面 向 番 茄 植 株 相 近 色 目 标 识 别 的 多 波 段 图 像 融 合 方 法 Vol 2 No 2 实 现 植 株 特 定 对 象 的 准 确 识 别 鉴 于 植 物 茎 叶 果 等 不 同 器 官 的 构 成 物 质 成 分 差 异 根 据 其 特 定 波 段 光 谱 特 征 进 行 分 类 和 识 别 是 当 前 解 决 植 物 相 近 颜 色 目 标 视 觉 识 别 问 题 的 有 效 途 径 4 光 谱 特 征 数 据 是 目 标 光 谱 反 射 强 度 在 频 域 分 布 情 况 的 体 现 6 吴 伟 斌 等 7 通 过 分 析750 1000nm 波 段 柑 橘 叶 片 光 谱 反 射 率 与 其 重 叠 层 数 的 相 关 性 研 究 了 重 叠 叶 片 面 积 测 量 方 法 Ma 等 8 根 据692 705 和743 nm 波 段 光 谱 特 征 对 于 豌 豆 角 内 部 虫 害 信 息 进 行 识 别 王 海 青 等 9 以690 950 nm 区 间 作 为 特 征 波 段 对 黄 瓜 茎 和 叶 光 谱 数 据 进 行 了 分 类 白 敬 等 10 选 取710 755 950 和595nm 作 为 探 测 油 菜 田 间 杂 草 的 最 优 波 段 由 于 单 一 的 光 谱 特 征 数 据 缺 少 目 标 空 间 信 息 难 以 作 为 视 觉 伺 服 控 制 依 据 多 用 于 病 虫 害 杂 草 种 类 和 叶 片 密 度 等 生 物 组 织 成 分 生 理 特 征 分 类 通 过 成 像 技 术 获 得 的 光 谱 图 像 数 据 是 目 标 光 谱 反 射 特 征 与 其 空 间 位 置 信 息 的 综 合 体 现 可 作 为 机 器 人 对 目 标 识 别 和 精 准 对 靶 作 业 的 依 据 Gan 等 11 根 据 橘 子 彩 色 图 像 和 热 图 像 特 征 对 绿 橘 果 实 与 叶 片 进 行 区 域 分 割 准 确 率 达 到95 5 Bac 等 12 以 甜 椒 植 株447 900 nm 区 间 内6 个 波 段 的 图 像 为 输 入 建 立 二 叉 树 分 类 模 型 成 功 识 别 其 茎 叶 果 像 素 Li 等 13 和 袁 挺 等 14 根 据 黄 瓜 与 叶 片 在800 nm 波 段 图 像 的 亮 度 差 异 研 究 了 丛 生 叶 片 背 景 下 黄 瓜 果 实 的 识 别 算 法 识 别 准 确 率 达 到95 然 而 当 前 基 于 光 谱 特 征 图 像 对 目 标 识 别 分 类 方 法 中 主 要 以 目 标 最 强 反 射 波 段 作 为 成 像 波 段 仅 强 调 突 出 目 标 区 域 图 像 亮 度 缺 少 对 背 景 弱 反 射 波 段 图 像 的 融 合 无 法 充 分 达 到 凸 显 强 反 射 目 标 淡 化 弱 反 射 背 景 干 扰 的 目 的 针 对 温 室 番 茄 茎 叶 和 绿 果 等 相 近 色 目 标 视 觉 识 别 难 题 本 研 究 根 据 其 各 自 光 谱 特 性 差 异 筛 选 最 优 成 像 波 段 构 建 多 波 段 图 像 采 集 系 统 并 结 合 不 同 波 段 图 像 特 征 提 出 多 波 段 图 像 融 合 方 法 以 充 分 凸 显 目 标 与 背 景 差 异 提 高 相 近 色 系 目 标 识 别 效 率 本 研 究 可 为 温 室 番 茄 采 摘 整 枝 和 授 粉 等 智 能 化 管 理 作 业 的 视 觉 信 息 获 取 提 供 技 术 支 撑 2 番 茄 相 近 色 器 官 光 谱 特 性 分 析 2 1 茎 叶 果 光 谱 特 性 测 量 鉴 于 当 前 主 流 工 业 摄 像 机 的 敏 感 波 段 为 300 1000 nm 本 研 究 重 点 针 对 该 波 段 区 间 内 番 茄 茎 叶 果 的 反 射 光 谱 特 征 进 行 采 集 和 分 析 如 图1 所 示 光 谱 数 据 采 集 系 统 其 中 光 谱 信 息 采 集 单 元 选 用Ocean Optics 公 司QE65 Pro 光 谱 仪 其 测 量 光 谱 范 围 为185 1100nm 分 辨 率 为0 8nm 搭 配Ocean Optics 公 司HL 2000 型 卤 钨 光 源 作 为 辐 射 源 其 光 谱 范 围360 2400nm 采 集 系 统 安 装 于 暗 箱 内 以 减 少 外 界 杂 光 干 扰 测 量 过 程 中 通 过 光 纤 探 头 支 架 调 节 探 头 安 装 高 度 其 与 被 测 对 象 保 持 恒 定 距 离 克 服 探 测 距 离 差 异 引 起 的 光 谱 反 射 强 度 测 量 误 差 以 中 国 北 方 广 泛 种 植 的 佳 丽 品 系 番 茄 为 研 究 对 象 其 温 室 内 生 长 高 度 约2 3m 从 不 同 植 株 的 不 同 高 度 位 置 随 机 采 集 茎 秆 叶 片 绿 果 绿 熟 期 各50 组 作 为 测 量 样 本 鉴 于 测 量 对 象 为 非 均 匀 构 造 其 表 面 形 态 成 分 和 纹 理 呈 不 规 则 特 征 因 此 对 每 个 样 本 采 集 光 谱 数 据 各5 次 取 其 平 均 值 为 单 个 样 本 的 光 谱 测 定 数 据 对 各 类 样 本 光 谱 数 据 进 行 滤 波 去 噪 求 均 值 处 理 得 到 番 茄 植 株 茎 叶 和 绿 果 的 光 谱 特 性 曲 线 如 图2 所 示 注 1 暗 箱 2 光 纤 探 头 3 光 纤 4 探 头 支 架 5 载 物 台 6 测 量 对 象 7 光 谱 仪8 光 源 图 1 光 谱 数 据 测 量 系 统 Fig 1 Spectraldatameasuringsystem 1 2 7Vol 2 No 2 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 2 2 基 于 L R L a s s o 的 最 优 成 像 波 段 选 择 量 化 描 述 不 同 波 段 对 于 区 别 番 茄 相 近 色 系 器 官 的 重 要 性 是 获 得 最 优 成 像 波 段 的 必 要 前 提 以 番 茄 茎 叶 和 绿 果 样 本 的 光 谱 特 性 测 量 结 果 为 数 据 集 针 对3 类 样 本 的 二 分 类 逻 辑 回 归 模 型 LogisticRegression LR 表 示 为 式 1 h x i 1 1 e j x j i b y i 1 h x i 0 5 y i 0 h x i 0 5 1 其 中 样 本i 的 特 征 集x i 由 离 散 波 长j 对 应 光 谱 反 射 率x j i 构 成 其 类 别 属 性y i 决 定 于 模 型 输 出 值h x i 波 长j 的 加 权 系 数 为 j 不 同 波 段 的 权 值 系 数 构 成 分 类 模 型 的 权 值 向 量 j 越 大 则 波 段j 对 于 识 别 样 本 分 类 的 贡 献 越 大 基 于Lasso 正 则 化 的 稀 疏 解 特 征 15 求 解 Lasso 正 则 化 逻 辑 回 归 模 型 LR Lasso 可 以 获 得 有 限 数 量 波 长 对 相 近 色 样 本 分 类 重 要 性 的 定 量 描 述 其 包 含Lasso 正 则 项 的 损 失 函 数 可 表 示 为 式 2 i 1 y i ln h x i 1 y i ln 1 h x i x i 2 其 中 为 正 则 化 参 数 设 定 其 取 值 范 围 0 0001 1 采 用 近 端 梯 度 下 降 方 法 16 求 解 损 失 函 数 最 小 值 可 得 到 由 于 目 前 通 用 滤 光 片 的 带 宽 精 度 约 20 nm 本 研 究 以50 nm 为 采 样 间 隔 从 番 茄 茎 秆 叶 片 绿 果 等3 类 样 本 光 谱 数 据 中 分 别 提 取15 个 波 段 的50 组 数 据 分 别 求 解 区 分 叶 片 绿 果 茎 秆 绿 果 以 及 茎 秆 叶 片 的LR Lasso 判 别 模 型 所 得 3 个 模 型 对 应 的 j 统 计 如 图3 所 示 根 据 权 值 系 数 值 j 大 小 选 择450 600 900 和950 nm 等4 个 波 段 作 为 番 茄 茎 叶 和 绿 果 相 近 色 器 官 的 最 优 成 像 波 段 3 温 室 番 茄 植 株 图 像 在 线 采 集 3 1 多 波 段 图 像 采 集 系 统 为 了 获 取 番 茄 植 株 相 近 色 器 官 在 最 优 成 像 波 段 区 间 成 像 信 息 设 计 了 多 波 段 图 像 采 集 视 觉 系 统 如 图4 所 示 选 用acA1300 60 gmNIR 摄 像 机 Basler 公 司 为 成 像 单 元 其 敏 感 波 段 为 300 1000 nm 摄 像 机 镜 头 前 加 装 20 nm 带 通 滤 光 片 浙 江 光 益 科 技 其 中 心 波 长 与 选 定 的 成 像 波 段 相 对 应 分 别 为 450 600 900 以 及 950 nm 带 宽 20 nm 滤 光 片 呈 圆 周 阵 列 分 别 安 装 于Edmund 56 658 型 滤 光 片 转 轮 内 通 过 旋 转 转 轮 可 以 切 换 摄 像 机 镜 头 前 的 滤 光 片 以 采 集 不 同 波 段 的 图 像 光 源 选 用200W 卤 素 灯 在 摄 像 机 视 场 形 成5000 lx 辐 射 强 度 以 克 服 实 验 环 境 光 照 波 动 的 影 响 3 2 图 像 灰 度 补 偿 矫 正 由 于 在 同 一 光 源 辐 射 环 境 下 不 同 波 段 的 光 照 强 度 各 不 相 同 且 摄 像 机 成 像 芯 片 对 不 同 波 段 的 敏 感 程 度 也 不 同 为 了 使 得 图 像 亮 度 与 目 标 光 谱 反 射 强 度 相 对 应 需 要 采 集 的 不 同 波 段 图 像 进 行 亮 度 矫 正 17 本 研 究 利 用D65 白 色 标 准 色 图 2 番 茄 相 近 色 器 官 光 谱 反 射 曲 线 Fig 2 Spectralcurvesoftomato ssimilar coloredorgans 图3 LR Lasso 分 类 模 型 权 值 系 数 Fig 3 WeightcoefficientsofLR Lassoclassificationmodel 1 2 8冯 青 春 等 面 向 番 茄 植 株 相 近 色 目 标 识 别 的 多 波 段 图 像 融 合 方 法 Vol 2 No 2 板 作 为 参 照 近 似 认 为 其 对 各 成 像 波 段 具 有 相 同 的 反 射 特 性 标 准 色 板 可 由 机 械 装 置 推 送 进 入 靠 近 番 茄 植 株 的 摄 像 机 视 场 特 定 位 置 通 过 触 发 采 集 方 式 摄 像 机 对 于 同 一 波 段 下 番 茄 植 株 和 标 准 色 板 各 采 集 一 幅 图 像 且 采 集 过 程 中 摄 像 机 曝 光 参 数 保 持 不 变 鉴 于 摄 像 机 在 可 见 光 波 段 具 有 较 强 感 光 性 能 以600nm 图 像 中 色 板 灰 度g 600 为 参 考 亮 度 设 波 段j 图 像 内 色 板 的 灰 度 为g j 则 该 波 段 图 像 亮 度 的 增 益 系 数J j g 600 g j 对 波 段 的 番 茄 植 株 图 像 灰 度 用 系 数J j 进 行 线 性 矫 正 18 则 认 为 矫 正 后 图 像 亮 度 与 成 像 物 体 自 身 反 射 特 性 精 确 对 应 4 多 波 段 图 像 融 合 4 1 相 近 色 目 标 多 波 段 图 像 特 征 分 析 对 同 一 视 场 区 域 的 番 茄 植 株 采 用 上 述 多 波 段 图 像 采 集 系 统 获 取4 幅 不 同 波 段 的 图 像 如 图 5 所 示 其 视 场 大 小 为300mm 300mm 分 辨 率 为350 350 像 素 图 像 中 主 要 包 括 番 茄 茎 秆 叶 片 绿 果 以 及 植 株 间 隙 透 过 的 高 亮 光 斑 等4 类 像 素 区 域 为 验 证 各 类 像 素 区 域 图 像 特 征 与 其 光 谱 特 性 的 对 应 关 系 分 别 在4 个 波 段 图 像 中 的4 类 目 标 像 素 区 域 取500 像 素 其 像 素 灰 度 平 均 值 灰 度 值 区 间 分 别 统 计 如 图6 所 示 其 中 柱 的 高 度 表 示 像 素 平 均 灰 度 上 下 误 差 线 表 示 灰 度 最 大 和 最 小 值 由 统 计 结 果 可 得 番 茄 茎 叶 和 果 的 图 像 区 域 亮 度 随 着 成 像 波 长 增 加 而 增 加 即 在 长 波 区 域 植 株 反 射 的 强 度 更 大 与 图2 中 光 谱 反 射 强 度 曲 线 变 化 趋 势 相 符 合 在450 和600nm 波 段 绿 果 亮 度 大 于 叶 片 在900 nm 波 段 则 情 况 相 反 由 于 茎 杆 反 射 率 有 较 大 图2 其 在 各 个 波 段 图 像 中 亮 度 均 保 持 相 对 突 出 此 外 在600 nm 波 段 植 株 果 实 表 面 的 镜 面 反 射 使 得 其 图 像 亮 度 波 动 范 围 较 大 此 外 透 射 的 太 阳 光 在 短 波 图 像 中 形 成 了 明 显 光 斑 区 域 在 长 波 图 像 区 域 亮 度 却 不 明 显 由 于900 和950nm 图 像 亮 度 特 征 相 似 为 了 提 高 数 据 处 理 效 率 在 图 像 融 合 算 法 中 仅 对450 600 和900nm 波 段 图 像 数 据 进 行 处 理 4 2 基 于 N S G A I I 算 法 的 图 像 加 权 融 合 对 多 波 段 图 像 数 据 的 融 合 的 目 的 在 于 使 得 目 标 像 素 区 域 从 多 样 背 景 中 凸 显 并 保 持 非 目 标 背 景 区 域 亮 度 均 衡 以 降 低 目 标 区 域 分 割 难 度 设 i 1 2 3 4 分 别 表 示 图 像 中 茎 秆 叶 片 果 实 和 高 亮 光 斑 等4 类 区 域 其 各 自 在 最 优 成 像 波 段 注 1 卤 素 灯2 摄 像 机3 滤 光 片 转 轮4 滤 光 片5 番 茄 植 株 图 4 多 波 段 图 像 采 集 系 统 Fig 4 Multi bandimageacquiringsystem a 450nm b 600nm c 900nm d 980nm 图 5 番 茄 植 株 最 优 成 像 波 段 图 像 Fig 5 Tomatoplantimagesofoptimalwavelengthbands 1 2 9Vol 2 No 2 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e w 图 像 的 像 素 亮 度 为I w i 最 终 通 过 加 权 w 系 数 融 合 形 成 的 图 像 亮 度 可 表 示 为I i 各 变 量 存 在 式 3 所 示 关 系 I i 450 I 450 i 600 I 600 i 900 I 900 i 3 若 以4 类 区 域 中 某 一 类 区 域 作 为 目 标 区 域 则 其 余3 类 都 为 背 景 区 域 期 望 融 合 后 图 像 中 目 标 区 域 与 背 景 区 域 像 素 亮 度 方 差 达 到 最 大 且 背 景 区 域 亮 度 波 动 最 小 即 认 为 实 现 了 对 目 标 像 素 区 域 的 充 分 凸 显 该 图 像 融 合 预 期 可 表 示 为 多 目 标 优 化 问 题 如 式 4 所 示 其 中 和 分 别 为 包 含 目 标 区 域 和 不 包 含 目 标 区 域 的 图 像 亮 度 方 差 和 为 相 应 图 像 区 域 的 平 均 灰 度 M 和M 为 相 应 图 像 像 素 数 量 max i 4 I i M min i 3 I i M s t 0 I i 255 4 对 式 4 中 多 目 标 优 化 方 程 采 用 非 支 配 排 序 遗 传 算 法 NSGA II 19 进 行 求 解 NSGA II 是 一 种 采 用 快 速 非 支 配 排 序 和 精 英 机 制 解 决 多 目 标 优 化 问 题 的 遗 传 算 法 方 法 其 实 现 步 骤 如 下 取a w 1 1 1 1 分 别 为 不 同 波 段 图 像 对 应 融 合 加 权 初 始 值 对 各 个 系 数 附 加 随 机 数 r 1 1 生 成 融 合 系 数 初 始 种 群 并 对 初 始 种 群 进 行 快 速 非 支 配 排 序 对 初 始 种 群 执 行 二 元 选 择 交 叉 和 变 异 得 到 新 的 种 群 新 的 种 群 与 初 始 合 并 为 新 种 群 对 所 有 个 体 进 行 非 支 配 排 序 以 及 非 支 配 集 内 的 拥 挤 度 计 算 生 成 适 当 数 量 的 一 代 种 群 时 优 先 选 取 非 支 配 等 级 低 的 个 体 当 处 于 同 一 等 级 时 优 先 选 取 拥 挤 距 离 排 序 高 的 个 体 以 保 证 个 体 多 样 性 若 满 足 进 化 代 数 达 到200 则 停 止 算 法 以 当 代 种 群 为 最 优 Parreto 解 集 否 则 转 至 步 骤 继 续 循 环 5 试 验 与 结 果 分 析 5 1 试 验 方 案 为 验 证 多 波 段 图 像 融 合 算 法 效 果 采 集20 个 场 景 下 番 茄 植 株450 600 和900 nm 等3 个 最 优 成 像 波 段 共 计60 幅 图 像 作 为 数 据 集 并 由 人 工 采 用Adobe Photoshop 软 件 标 记 每 幅 图 像 中 茎 杆 叶 片 和 绿 果 区 域 分 别 以 茎 秆 叶 片 和 绿 果 为 预 期 凸 显 目 标 采 用NSGA II 优 化 算 法 计 算3 个 波 段 图 像 的 最 优 融 合 加 权 系 数 将 融 合 所 得 图 像 数 据 进 行 均 衡 化 处 理 20 并 映 射 为 灰 度 范 围 0 255 的 图 像 作 为 最 终 融 合 结 果 为 了 对 图 像 融 合 结 果 进 行 量 化 表 示 以 图 像 灰 度 差 异 绝 对 差 值 之 和 Sum ofAbsolute Differ ence SAD 为 指 标 对 单 一 成 像 波 段 图 像 和 多 波 段 融 合 图 像 内 的 各 个 相 近 色 目 标 之 间 的 亮 度 差 异 进 行 评 价 其 值 越 大 表 示 两 个 区 域 的 亮 度 差 异 越 明 显 图 像 灰 度 绝 对 差 值 和SAD A A 可 表 示 为 公 式 5 其 中A 和A 表 示 图 像 中 两 个 不 同 的 子 区 域 包 含 像 素 数 均 为N I Ai 和I A i 分 别 为 子 区 域 内 像 素i 的 灰 度 值 SAD A A 1 N A I Ai I A i max I Ai I A i min I Ai I A i 5 在 此 基 础 上 采 用Otsu 自 动 阈 值 分 割 算 法 21 对 融 合 图 像 进 行 阈 值 分 割 根 据 目 标 区 域 像 素 的 有 效 识 别 比 例 对 图 像 融 合 效 果 进 行 评 估 5 2 试 验 结 果 与 分 析 以 上 述 数 据 样 本 分 别 以 茎 秆 叶 片 和 绿 果 为 图 6 相 近 色 目 标 图 像 灰 度 统 计 Fig 6 Similar coloredorgans grayvaluestatistics 1 3 0冯 青 春 等 面 向 番 茄 植 株 相 近 色 目 标 识 别 的 多 波 段 图 像 融 合 方 法 Vol 2 No 2 凸 显 目 标 训 练NSGA II 优 化 模 型 得 到3 组 图 像 融 合 系 数 以 此 对 图5 中450 600 和900 nm 图 像 进 行 融 合 得 到 融 合 结 果 和 相 应 融 合 系 数 如 图7 所 示 观 察 融 合 结 果 图7 可 知 针 对 番 茄 茎 叶 绿 果 特 定 目 标 进 行 多 波 段 图 像 融 合 处 理 后 其 与 相 近 色 背 景 目 标 的 像 素 亮 度 均 呈 现 明 显 差 异 在 原 始 最 优 成 像 波 段 和 融 合 结 果 图 像 中 茎 秆 叶 片 和 绿 果 区 域 分 别 选 取500 个 像 素 计 算 绿 果 叶 片 茎 杆 绿 果 以 及 茎 杆 叶 片 之 间 的 灰 度 差 异 SAD 如 图8 所 示 其 中 融 合1 2 和3 分 别 表 示 以 茎 杆 叶 片 和 绿 果 为 凸 显 目 标 的 融 合 图 像 以 融 合1 为 例 与 原 始 图 像 相 比 其 内 部 茎 杆 目 标 与 背 景 叶 片 和 绿 果 之 间 的SAD 增 加 背 景 叶 片 绿 果 之 间SAD 减 少 即 融 合 后 目 标 茎 杆 与 背 景 之 间 差 异 增 加 背 景 中 两 类 物 体 的 差 异 减 小 若 以 目 标 背 景 与 背 景 背 景SAD 比 值r SAD 表 示 相 近 色 目 标 与 背 景 的 综 合 相 对 差 异 融 合1 2 和3 中 的r SAD 分 别 为4 98 8 84 和12 11 分 别 是 单 波 段 图 像 中 最 大 值 的2 02 倍 相 比450 nm 图 像 8 63 倍 相 比450 nm 图 像 和7 89 倍 相 比 900 nm 图 像 采 用Otsu 自 动 阈 值 分 割 算 法 18 对 融 合 图 像 进 行 阈 值 分 割 所 得 二 值 图 像 如 图9 所 示 其 融 合 图 像 中 茎 杆 叶 片 和 果 实 像 素 的 识 别 准 确 率 分 别 为71 14 60 32 和98 32 可 见 多 波 段 图 像 融 合 后 通 过 常 规 自 动 分 割 算 法 可 以 将 相 近 色 目 标 主 要 区 域 从 背 景 中 分 割 出 来 尽 管 如 此 针 对 茎 秆 和 果 实 的 分 割 结 果 显 示 果 实 表 面 的 镜 面 反 射 区 域 成 为 主 要 的 错 误 分 割 区 域 因 此 克 服 表 面 光 滑 的 番 茄 果 实 表 面 镜 面 反 射 以 改 善 目 标 成 像 效 果 是 进 一 步 研 究 的 重 点 工 作 6 结 论 为 了 实 现 温 室 番 茄 植 株 茎 秆 叶 片 和 绿 果 等 3 类 相 近 色 目 标 的 视 觉 识 别 本 研 究 提 出 了 多 波 段 图 像 在 线 采 集 和 融 合 方 法 以 凸 显 目 标 与 背 景 图 像 亮 度 差 异 基 于Lasso 正 则 化 逻 辑 回 归 模 型 的 稀 疏 解 特 征 对 茎 叶 绿 果300 1000 nm 波 段 光 谱 数 据 进 行 特 征 提 取 确 定 了450 600 和900 nm 为 最 优 成 像 波 段 由 多 波 段 图 像 在 线 采 集 系 统 获 得 的 相 近 色 目 标 图 像 亮 度 的 相 对 关 系 与 其 光 谱 反 射 强 度 保 持 一 致 基 于NSGA II 多 目 标 优 化 算 法 获 得 对3 个 最 优 成 像 波 段 图 像 加 权 融 合 系 数 以 茎 秆 叶 片 和 绿 果 为 目 标 其 450 7 3053 600 5 9315 900 0 8086 a 凸 显 茎 杆 融 合 结 果 450 6 6018 600 7 3463 900 2 2784 b 凸 显 叶 片 融 合 结 果 450 5 5022 600 3 3760 900 3 1638 c 凸 显 果 实 融 合 结 果 图 7 最 优 成 像 波 段 图 像 融 合 效 果 Fig 7 Fusionresultsofoptimalwavelengthimages 图 8 相 近 色 目 标 图 像 灰 度 S A D Fig 8 Similar coloredorgans grayvalueSAD 1 3 1Vol 2 No 2 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 融 合 图 像 中 目 标 背 景 灰 度SAD 和 背 景 背 景 灰 度 SAD 比 值 分 别 是 单 波 段 图 像 的2 02 8 63 和7 89 倍 因 此 多 波 段 图 像 融 合 可 显 著 提 高 相 近 色 目 标 和 背 景 亮 度 差 异 并 有 效 抑 制 背 景 物 体 的 亮 度 波 动 参 考 文 献 参 考 文 献 1 郑 伟 番 茄 主 产 区 农 户 生 产 投 入 产 出 调 查 分 析 J 农 村 经 济 与 科 技 2019 30 9 112 114 ZHENG W Investigation and analysis of farmers pro duction output in tomato main producing areas RuralEconomyandTechnology 2019 30 9 112 114 2 董 文 阁 董 莉 刘 念 等 日 光 温 室 番 茄 套 作 菜 豆 接 番 茄 茬 口 高 效 栽 培 模 式 J 辽 宁 农 业 科 学 2018 5 89 90 DONG W DONG L LIU N et al Efficient cultivation mode of planting string beans with tomato stubble in solar greenhouse J Liaoning Agricultural Science 2018 5 89 90 3 范 琳 陆 学 文 沈 建 新 江 苏 省 设 施 番 茄 成 本 收 益 研 究 J 江 苏 农 业 科 学 2014 9 478 481 FAN L LU X SHEN J Study on the cost and benefit of facility tomato in Jiangsu province J JiangsuAgri culturalScience 2014 9 478 481 4 MIRANDA J PONCE P MOLINA A et al Sensing smartandsustainabletechnologiesforAgri Food4 0 J ComputerinIndustry 2019 108 21 36 5 BECHAR A VIGNEAULT C Agricultural robots for field operations Concepts and components J Biosys temsEngineering 2016 149 94 111 6 黄 文 江 师 越 董 莹 莹 等 作 物 病 虫 害 遥 感 监 测 研 究 进 展 与 展 望 J 智 慧 农 业 2019 1 4 1 11 HUANG W SHIY DONGY et al Progress and pros pects of crop diseases and pests monitoring by remote sensing J SmartAgriculture 2019 1 4 1 11 7 吴 伟 斌 冯 灼 峰 洪 添 胜 等 基 于 近 红 外 反 射 的 柑 橘 重 叠 叶 片 叶 面 积 指 数 测 量 系 统 J 农 业 机 械 学 报 2013 44 1 179 184 WU W FENG Z HONG T et al Measurement system for citrus LAI based on near infrared reflection J TransactionsoftheCSAM 2013 44 1 179 184 8 MAY HUANG M YANG B et al Automatic thresh old and optimal wavelength selection for in sect damaged vegetablesoybean detection using hyper spectral images J Computers and Electronics inAgri culture 2014 106 102 110 9 王 海 青 姬 长 英 陈 坤 杰 基 于 光 谱 分 析 技 术 的 黄 瓜 与 茎 叶 识 别 研 究 J 光 谱 学 与 光 谱 分 析 2011 31 10 2834 2838 WANG H JI C CHEN K Research on identification of cucumber stem and leaf based on spectrum analysis technology J Spectroscopy and Spectral Analys