设施温室影像采集与环境监测机器人系统设计及应用.pdf

2020 年9 月 第2 卷 第3 期 Sept 2020 Vol 2 No 3 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 郭 威 1 吴 华 瑞 1 2 3 朱 华 吉 1 2 3 1 国 家 农 业 信 息 化 工 程 技 术 研 究 中 心 北 京 1 0 0 0 9 7 2 北 京 农 业 信 息 技 术 研 究 中 心 北 京 1 0 0 0 9 7 3 农 业 农 村 部 农 业 信 息 技 术 重 点 实 验 室 北 京 1 0 0 0 9 7 摘 要 中 国 设 施 园 艺 近 3 0 年 来 发 展 迅 速 面 积 目 前 居 世 界 首 位 但 由 于 务 农 人 数 呈 下 降 趋 势 如 何 用 机 器 代 替 人 力 成 为 当 前 研 究 热 点 为 实 现 设 施 温 室 生 产 的 数 据 感 知 环 节 作 物 影 像 和 环 境 监 测 数 据 精 细 化 采 集 本 研 究 设 计 了 一 套 多 自 由 度 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 机 器 人 由 感 知 中 枢 决 策 中 枢 和 执 行 中 枢 三 部 分 构 成 分 别 进 行 机 器 视 角 环 境 感 知 数 据 分 析 与 决 策 指 令 生 成 和 动 作 执 行 在 感 知 层 实 现 多 角 度 图 像 实 时 视 频 和 监 测 数 据 网 格 化 精 确 采 集 为 作 物 多 源 异 构 数 据 精 细 化 汇 聚 奠 定 基 础 传 输 层 通 过 无 线 网 桥 将 监 测 数 据 与 控 制 指 令 汇 聚 至 本 地 数 据 中 心 数 据 处 理 层 通 过 作 物 基 础 模 型 分 析 进 行 控 制 指 令 反 馈 信 息 同 时 对 上 传 图 像 进 行 预 处 理 最 终 在 应 用 层 提 供 w e b 端 和 手 机 端 智 能 服 务 系 统 可 广 泛 地 应 用 在 设 施 温 室 生 产 与 研 究 中 用 于 黄 瓜 番 茄 大 棚 桃 等 作 物 的 全 生 育 期 图 像 实 时 视 频 和 监 测 数 据 收 集 与 分 析 处 理 已 在 北 京 小 汤 山 国 家 精 准 农 业 基 地 7 号 日 光 温 室 石 家 庄 市 农 林 科 学 研 究 院 5 号 日 光 温 室 进 行 示 范 应 用 取 得 了 较 好 的 效 果 关 键 词 设 施 温 室 农 业 机 器 人 环 境 监 测 机 器 视 觉 病 害 识 别 远 程 控 制 深 度 学 习 中 图 分 类 号 T P 2 4 文 献 标 志 码 A 文 章 编 号 2 0 2 0 0 7 S A 0 0 6 引 文 格 式 郭 威 吴 华 瑞 朱 华 吉 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 J 智 慧 农 业 中 英 文 2020 2 3 48 60 GUO Wei WU Huarui ZHU Huaji Design andApplication of Facility Greenhouse Image Collecting and Environ mentalDataMonitoringRobotSystem J SmartAgriculture 2020 2 3 48 60 inChinesewithEnglishabstract 1 引 言 截 至2017 年 中 国 设 施 园 艺 的 总 面 积 达 370 万hm 1 以 分 布 于 辽 宁 山 东 河 北 等 地 的 塑 料 大 棚 中 小 拱 棚 为 主 占 设 施 园 艺 总 面 积 的63 42 受 人 口 老 龄 化 城 镇 化 等 因 素 的 影 响 中 国 务 农 人 口 数 呈 下 降 趋 势 逐 步 增 加 的 人 力 成 本 对 设 施 作 物 智 能 化 种 植 和 管 理 提 出 了 更 高 要 求 随 着 人 工 智 能 科 技 的 迅 速 发 展 和 农 业 信 息 化 向 智 能 化 方 向 的 转 变 机 器 代 替 人 力 电 脑 代 替 人 脑 成 为 可 能 2 农 业 物 联 网 相 关 技 术 体 系 架 构 在 农 业 中 应 用 经 过 试 验 而 趋 于 成 熟 在 数 据 采 集 远 程 控 制 均 有 应 用 其 中 张 猛 等 3 基 于Zigbee 和Internet 设 计 了 温 室 群 环 境 远 程 doi 10 12133 j smartag 2020 2 3 202007 SA006 收 稿 日 期 2020 07 22 修 订 日 期 2020 09 08 基 金 项 目 平 谷 农 业 科 创 区 农 业 人 工 智 能 创 新 服 务 平 台 建 设 及 示 范 应 用 Z191100004019007 国 家 自 然 科 学 基 金 项 目 61871041 河 北 省 重 点 研 发 计 划 项 目 19226919D 作 者 简 介 郭 威 1990 男 博 士 研 究 生 主 要 研 究 方 向 为 农 业 智 能 系 统 E mail guowei 通讯 作 者 吴 华 瑞 1975 男 博 士 研 究 员 主 要 研 究 方 向 为 农 业 智 能 系 统 电 话 010 51503921 E mail wuhr 郭 威 等 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 Vol 2 No 3 监 控 系 统 通 过 节 点 自 组 网 的 低 丢 包 率 保 证 了 远 程 数 据 采 集 及 远 程 实 时 控 制 的 可 靠 性 程 文 锋 4 利 用 反 馈 前 馈 线 性 化 解 耦 方 法 实 现 了 无 线 传 感 器 网 络 嵌 入 式 监 控 远 程 温 湿 度 的 解 耦 控 制 李 亚 迪 5 综 合 运 用 传 感 器 技 术 自 动 检 测 技 术 和 通 讯 技 术 实 现 了 北 方 日 光 温 室 环 境 数 据 远 程 采 集 尚 志 跃 等 6 设 计 了 基 于 商 业 云 平 台 的 植 物 工 厂 环 境 监 测 系 统 能 够 对 云 平 台 环 境 数 据 进 行 远 程 监 控 智 能 机 器 人 逐 渐 运 用 到 生 产 过 程 中 绳 索 式 机 器 人 7 轮 式 机 器 人 8 履 带 式 机 器 人 9 在 巡 检 方 面 具 有 较 强 实 用 性 王 建 平 和 杨 宗 晔 10 设 计 了 温 室 兰 花 移 动 视 觉 机 器 人 通 过 任 务 协 调 和 控 制 执 行 两 级 耦 合 递 阶 结 构 实 现 兰 花 苗 盘 的 检 测 搜 寻 Roldan 等 11 设 计 了 温 室 环 境 变 量 采 集 机 器 人 通 过 传 感 器 监 测 不 同 高 度 的 温 度 湿 度 光 照 强 度 和CO 2 浓 度 并 利 用SLAM 技 术 实 现 自 主 避 障 但 日 光 温 室 环 境 下 由 于 垄 间 表 面 土 壤 凹 凸 不 平 机 器 人 行 进 过 程 中 容 易 破 坏 植 株 且 易 受 作 物 茂 盛 生 长 叶 片 遮 挡 影 响 检 测 数 据 获 取 的 完 整 性 Bai 等 12 针 对 大 尺 度 农 田 植 物 表 型 获 取 研 发 了NU Spidercam 机 器 人 系 统 通 过 绳 索 控 制 搭 载 平 台 移 动 通 过 多 光 谱 相 机 分 光 仪 等 设 备 实 现 了 大 田 黄 豆 表 型 数 据 的 获 取 但 在 温 室 空 间 相 对 封 闭 的 环 境 下 尚 未 应 用 为 满 足 农 业 生 产 和 科 研 人 员 对 个 体 植 株 表 型 立 体 观 察 和 生 长 环 境 的 精 细 化 远 程 观 测 需 求 同 时 避 免 管 护 人 员 进 入 高 温 高 湿 的 温 室 环 境 进 行 长 时 间 作 业 本 研 究 提 出 了 一 种 温 室 影 像 与 环 境 监 测 采 集 机 器 人 系 统 系 统 基 于 日 光 温 室 现 有 通 用 框 架 架 设 水 平 轨 道 机 器 人 通 过 转 轮 在 滑 轨 上 水 平 移 动 双 柱 体 结 构 提 供 纵 向 移 动 形 成 四 自 由 度 运 动 平 台 底 部 搭 载 高 清 摄 像 头 机 身 加 装 监 测 环 境 空 气 温 度 空 气 湿 度 CO 2 浓 度 的 传 感 器 通 过 有 线 与 无 线 网 桥 进 行 视 频 图 像 数 据 及 控 制 指 令 汇 聚 13 14 环 境 监 测 数 据 由 于 体 量 较 小 采 用 GPRS 3G 4G Zigbee 技 术 进 行 传 输 端 15 17 统 一 连 接 大 数 据 中 心 服 务 器 结 合 种 植 作 物 信 息 生 长 阶 段 进 行 无 人 化 信 息 精 确 采 集 以 实 现 试 验 区 块 无 人 巡 检 并 将 结 果 上 传 至 手 机 app 缩 短 农 民 和 科 研 人 员 在 高 温 高 湿 环 境 下 工 作 时 间 为 经 营 主 体 农 业 技 术 人 员 科 研 专 家 提 供 便 捷 高 效 的 农 事 现 场 信 息 采 集 工 具 2 机 器 人 系 统 设 计 机 器 人 系 统 整 体 设 计 原 则 有 以 下 几 个 方 面 1 经 济 性 最 大 程 度 利 用 日 光 温 室 现 有 的 环 境 条 件 避 免 农 民 科 研 人 员 不 必 要 的 投 入 2 易 用 性 信 息 获 取 方 式 简 单 便 捷 适 用 于 高 龄 群 体 3 先 进 性 采 用 物 联 网 大 数 据 人 工 智 能 信 息 处 理 技 术 4 合 理 性 避 免 破 坏 植 株 生 长 环 境 影 响 农 事 操 作 5 安 全 性 现 场 人 员 安 全 环 境 安 全 通 过 软 硬 件 机 制 配 合 保 障 6 可 扩 展 性 基 于 机 器 人 及 软 件 模 块 的 业 务 均 可 进 行 模 块 化 扩 展 与 集 成 2 1 机 器 人 系 统 运 行 轨 道 部 署 在 长30m 宽7 2m 高3 8m 的 拱 形 温 室 内 进 行 机 器 人 系 统 运 行 轨 道 安 装 为 方 便 进 行 全 场 景 观 测 吊 装 连 接 件 上 方 焊 接 在 棚 顶 钢 管 间 距 为1 m 下 方 连 接T 型 链 接 构 件 通 过T 型 链 接 构 件 固 定 轨 道 并 使 其 保 持 水 平 见 图1 轨 道 单 元 每 节3 m 由9 组 轨 道 单 元 连 接 成 为27 m 的 水 平 滑 轨 通 过 链 条 和 齿 轮 将 机 器 人 固 定 在 水 平 滑 轨 上 为 避 免 温 室 高 温 高 湿 的 环 境 导 致 电 路 故 障 在 滑 轨 上 方 安 装 保 护 构 件 考 虑 到 温 室 实 际 应 用 环 境 和 机 器 人 自 身 高 度 在 摄 像 头 底 部 和 温 室 内 已 安 装 用 于 悬 挂 番 茄 枝 蔓 的 钢 丝 绳 之 间 保 留20 30 cm 的 安 全 距 离 避 免 机 器 人 在 运 动 过 程 中 将 钢 丝 绳 拉 扯 断 图2 展 示 了 机 器 人 系 统 的 具 体 安 装 位 置 2 2 机 器 人 系 统 结 构 本 研 究 设 计 的 机 器 人 系 统 主 要 由 感 知 中 枢 执 行 中 枢 和 决 策 中 枢 三 部 分 组 成 机 器 人 内 部 结 4 9Vol 2 No 3 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 构 如 图3 所 示 1 感 知 中 枢 用 于 获 取360 全 视 角 温 室 内 作 物 影 像 通 过400 万 像 素 高 清 摄 像 头 的 变 焦 调 光 放 大 缩 小 预 置 位 设 定 等 功 能 实 现 对 作 物 整 体 长 势 单 植 株 表 型 等 不 同 需 求 的 精 确 观 察 通 过 热 红 外 成 像 监 控 监 测 温 室 内 异 常 热 源 同 时 根 据 温 室 内 的 监 测 参 数 需 求 在 机 器 人 内 部 装 配 空 气 温 度 空 气 湿 度 光 照 强 度 等 传 感 器 性 能 指 标 见 表1 并 随 机 器 人 同 步 滑 行 实 现 作 物 生 长 环 境 网 格 化 动 态 监 测 2 决 策 中 枢 由 海 量 异 构 数 据 和 针 对 不 同 类 型 作 物 生 长 环 境 以 及 可 实 现 用 户 目 标 的 算 法 包 括 应 用 于 农 业 的 目 标 检 测 自 然 语 言 处 理 等 深 度 学 习 模 型 和 算 法 如 卷 积 神 经 网 络 Con volutional Neural Network CNN 支 持 向 量 机 SupportVector Machine SVM K 最 近 邻 K Nearest Neighbor KNN 算 法 等 构 成 主 要 功 能 是 将 温 室 作 物 表 型 生 长 期 环 境 水 肥 需 求 等 多 源 异 构 数 据 17 汇 总 分 析 以 机 器 人 运 动 时 间 和 观 测 内 容 为 决 定 要 素 形 成 决 策 信 息 和 机 器 人 运 动 的 执 行 依 据 3 执 行 中 枢 由 可 横 向 控 制 运 动 的 滑 轮 纵 向 控 制 升 降 的 双 柱 结 构 和 可 多 角 度 操 控 方 向 焦 距 的 高 清 摄 像 头 机 构 组 成 通 过 执 行 中 枢 横 向 和 纵 向 四 自 由 度 运 动 获 取 行 间 和 株 间 最 佳 观 察 位 置 同 时 与 视 角 感 知 中 枢 的 紧 密 配 合 实 现 精 确 定 位 该 结 构 水 平 移 动 最 大 距 离27 m 移 动 速 图 1 温 室 滑 轨 安 装 示 意 图 Fig 1 Installationdiagramofgreenhousesliderail 图 2 机 器 人 系 统 安 装 位 置 Fig 2 Installationpositionoftherobotsystem 图 3 机 器 人 内 部 结 构 示 意 图 Fig 3 Internalstructureschematicdiagramofrobotsystem 表 1 传 感 器 性 能 指 标 Table1 Sensorperanceindex 参 数 空 气 温 度 空 气 湿 度 RH CO 2 浓 度 mg m 量 程 50 80 0 100 0 19 642 分 辨 率 0 1 0 1 1 0 5 0郭 威 等 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 Vol 2 No 3 度 为1 15 m min 垂 直 升 降 最 大 距 离1 5 m 升 降 速 度 为0 9 3 6m min 2 3 机 器 人 系 统 总 体 设 计 将 机 器 人 系 统 的 三 大 中 枢 集 成 并 部 署 在 石 家 庄 赵 县 农 业 科 技 协 同 创 新 平 台 上 通 过 平 台 利 用 物 联 网 互 联 网 大 数 据 人 工 智 能 技 术 面 向 生 产 人 员 科 研 人 员 提 供 全 天 候 全 地 域 精 细 服 务 平 台 整 体 架 构 如 图4 所 示 分 为 感 知 层 传 输 层 应 用 层 其 中 应 用 层 包 含 数 据 解 析 层 存 储 层 和 业 务 层 2 3 1 感 知 层 在 感 知 层 机 器 人 搭 载360 高 清 摄 像 头 和 环 境 监 测 传 感 器 用 于 温 室 尺 度 图 像 生 长 环 境 参 数 精 准 动 态 采 集 通 过 机 器 人 内 置 操 作 系 统 可 对 必 要 的 信 息 进 行 本 地 预 处 理 便 于 信 息 集 群 分 布 式 管 控 18 缩 小 传 输 体 量 减 少 传 输 链 路 负 载 2 3 2 传 输 层 传 输 层 汇 集 感 知 终 端 异 构 数 据 19 其 中 高 清 图 像 和 视 频 数 据 量 较 大 为 保 持 大 型 数 据 传 输 的 稳 定 性 采 用 有 线 的 方 式 传 输 数 据 从 轨 道 汇 聚 至 温 室 末 端 通 过 无 线 网 桥 将 数 据 传 输 至 园 区 大 数 据 中 心 机 器 人 需 满 足 毫 秒 级 控 制 和 长 期 在 线 故 采 用 相 对 稳 定 的 有 线 传 输 而 环 境 监 测 传 感 器 数 据 体 量 较 小 但 对 数 据 的 稳 定 性 延 续 性 要 求 较 高 因 此 安 装 远 程 终 端 单 元 RemoteTer minalUnit RTU 模 块 通 过GPRS 3G 4G 移 动 网 络 进 行 数 据 传 输 2 3 3 应 用 层 应 用 层 涵 盖 数 据 解 析 存 储 web 端 与 移 动 端 业 务 面 向 用 户 提 供 智 能 化 决 策 支 持 服 务 1 数 据 解 析 层 通 过PELCO D 控 制 协 议 20 解 析 机 器 人 四 自 由 度 控 制 指 令 通 过MODBUS 通 信 协 议 21 解 析 传 感 器 实 时 数 据 参 数 通 过RTP RTSP RTCP 22 和PELCO D 协 议 分 别 支 持 视 频 监 控 摄 像 头 的 音 频 视 频 播 放 实 时 视 频 流 播 放 和 指 令 控 制 2 存 储 层 负 责 存 储 和 管 理 业 务 数 据 主 要 由 监 测 数 据 控 制 指 令 数 据 和 决 策 依 据 数 据3 部 分 组 成 数 据 存 储 于 易 用 性 较 强 运 行 速 度 较 快 安 全 性 较 高 的MySQL 数 据 库 中 3 业 务 层 建 立 园 区 级 物 联 网 设 备 及 作 物 数 据 库 见 图5 将 用 户 温 室 作 物 设 备 以 及 决 策 信 息 有 机 关 联 起 来 通 过 作 物 生 长 期 环 境 监 测 数 据 和 用 户 关 注 重 点 生 成 机 器 人 最 佳 观 测 位 置 作 用 于 机 器 人 横 向 纵 向 移 动 和 视 频 多 角 度 监 控 实 现 周 期 性 自 动 巡 检 此 外 管 控 业 务 通 过 接 口 和 软 件 开 发 工 具 Software Development Kit SDK 为web 端 和 移 动 端 提 供 业 务 接 入 服 务 2 4 系 统 主 要 功 能 模 块 根 据 三 大 中 枢 划 分 系 统 业 务 模 块 包 括 基 础 信 息 模 块 视 觉 感 知 模 块 环 境 数 据 采 集 模 块 图 4 机 器 人 系 统 整 体 架 构 Fig 4 Overallarchitectureoftherobotsystem 图 5 数 据 表 概 念 实 体 联 系 图 Fig 5 Entityrelationshipdiagramofdatabaseconcept 5 1Vol 2 No 3 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 语 音 转 换 模 块 分 析 决 策 模 块 和 运 动 控 制 模 块 各 模 块 功 能 具 体 见 图6 2 4 1 基 础 信 息 模 块 如 图6 所 示 该 模 块 设 置3 类 基 础 信 息 如 下 用 户 信 息 匹 配 用 户 操 作 要 求 机 器 人 运 动 轨 迹 和 数 据 获 取 复 合 性 反 馈 种 植 作 物 信 息 记 录 试 验 温 室 当 前 作 物 品 种 垄 距 株 距 和 生 长 各 阶 段 外 观 基 本 信 息 温 室 基 础 信 息 配 置 轨 道 起 始 点 相 对 温 室 墙 壁 距 离 机 器 人 运 动 路 径 中 障 碍 物 距 离 例 如 黄 瓜 番 茄 等 作 物 种 植 前 布 置 的 绳 子 和 铁 丝 2 4 2 语 音 转 换 模 块 实 现 语 音 指 令 发 送 如 上 升 下 降 前 进 后 退 放 大 缩 小 左 转 右 转 停 止 功 能 语 音 识 别 流 程 如 图7 所 示 通 过 语 音 转 换 为 文 字 转 换 后 的 文 字 在 手 机 端 进 行 语 句 分 词 匹 配 通 过 用 户 确 认 后 发 送 2 4 3 视 觉 感 知 模 块 实 现 视 觉 中 枢 集 成 包 含 温 室 内 机 器 人 视 角 温 室 中 央 和 入 口 处 三 个 监 控 设 备 集 成 分 别 进 行 大 尺 度 长 势 和 小 尺 度 叶 片 与 茎 部 特 征 实 时 监 测 同 步 集 成 辅 助 摄 像 功 能 包 括 观 测 范 围 视 角 切 换 放 大 与 缩 小 焦 距 调 整 光 线 调 整 回 放 和 照 片 截 取 2 4 4 运 动 控 制 模 块 实 现 机 器 人 系 统 执 行 中 枢 在 水 平 和 垂 直 运 动 方 向 和 行 进 速 度 的 控 制 为 高 清 摄 像 头 预 置 位 的 设 定 与 调 取 精 确 控 制 与 温 室 种 植 作 物 全 视 角 监 测 提 供 基 础 条 件 此 外 运 动 控 制 模 块 可 结 合 种 植 作 物 生 长 习 性 监 测 参 数 反 馈 和 生 产 科 研 人 员 的 观 测 需 要 实 现 运 动 轨 迹 智 能 规 划 操 控 机 制 方 面 为 最 大 程 度 避 免 因 传 输 信 号 不 良 导 致 的 安 全 隐 患 通 过 服 务 端 和 手 机 端 远 程 控 制 设 计 成 按 压 式 触 发 指 令 即 按 压 状 态 下 机 器 人 运 动 松 开 按 键 机 器 人 停 止 与 现 场 机 械 限 位 即 机 器 人 行 进 过 程 中 在 轨 道 上 遇 到 障 碍 物 停 止 运 动 形 成 双 重 保 护 机 器 人 运 动 状 态 如 图8 所 示 2 4 5 环 境 数 据 采 集 模 块 用 于 实 现 温 室 内 空 气 温 度 空 气 湿 度 光 照 强 度 和CO 2 浓 度 实 时 数 据 网 格 化 监 测 与 历 史 数 据 的 保 存 用 户 进 行 每 日 数 据 查 询 并 导 出Excel 格 式 的 信 息 形 成 制 定 作 物 品 种 的 环 境 数 据 以 存 档 2 4 6 分 析 决 策 模 块 以 作 物 种 类 种 植 信 息 历 史 轨 迹 记 录 和 观 测 者 需 求 为 数 据 采 集 决 策 依 据 其 中 作 物 种 类 信 图 6 机 器 人 系 统 主 要 功 能 模 块 Fig 6 Mainfunctionmodulesoftherobotsystem 图 7 语 音 识 别 流 程 图 Fig 7 Flowchartofspeechrecognition 5 2郭 威 等 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 Vol 2 No 3 息 包 含 选 中 种 植 作 物 的 高 度 叶 间 距 形 状 等 特 征 种 植 信 息 包 括 温 室 环 境 起 始 位 置 垄 距 株 距 生 长 阶 段 等 历 史 估 计 记 录 包 括 常 规 的 观 测 路 线 暂 停 点 操 作 记 录 等 观 测 者 需 求 分 析 是 决 策 指 令 触 发 前 最 后 一 个 步 骤 对 机 器 人 运 动 有 更 加 具 体 的 要 求 包 括 整 体 长 势 叶 片 病 害 茎 秆 病 斑 等 服 务 端 结 合 温 室 尺 寸 和 需 求 提 交 参 数 进 行 空 间 定 位 将 定 位 信 息 反 馈 至 预 置 位 的 具 体 位 置 随 即 触 发 机 器 人 运 动 指 令 和 摄 像 头 调 整 指 令 影 像 记 录 通 过 网 络 上 传 至 用 户 端 进 行 确 认 如 果 符 合 要 求 系 统 记 录 信 息 形 成 下 一 个 指 令 基 准 如 果 不 符 合 要 求 则 返 回 进 行 模 型 校 正 重 复 指 令 下 达 及 之 后 的 操 作 为 使 系 统 运 行 稳 定 在 校 正5 次 失 败 的 情 况 下 结 束 本 次 任 务 用 户 可 选 择 手 动 控 制 定 位 获 取 影 像 分 析 决 策 流 程 见 图9 3 系 统 实 现 3 1 开 发 运 行 环 境 开 发 环 境 服 务 端 以Tomcat8 5 23 为 容 器 前 端 服 务 采 用 Java Servlet 技 术 数 据 库 采 用 MySQL5 7 20 23 开 发 工 具 服 务 端 和 移 动 端 均 使 用Java 作 为 开 发 语 言 版 本 为 JDK1 8 0 231 软 件 为 Eclipse Jee 2019 9 和Android Studio3 6 3 其 中 Android 开 发SDK 版 本 为26 0 2 最 低 支 持 版 本 为4 0 注 缺 省 位 置 执 行 中 枢 为 手 动 停 止 状 态 手 动 通 过 按 钮 触 发 机 器 人 行 走 模 式 切 换 后 机 器 人 缺 省 状 态 为 静 止 条 件 触 发 进 行 启 动 整 体 过 程 执 行 完 成 或 遇 到 限 位 强 制 触 发 机 器 人 故 障 环 境 约 束 停 电 机 器 人 被 强 制 结 束 本 次 任 务 图 8 机 器 人 运 动 状 态 图 Fig 8 Robotmotionstatechartdiagram 图 9 分 析 决 策 流 程 图 Fig 9 Flowchartofanalyticaldecision 5 3Vol 2 No 3 智 慧 农 业 中 英 文 S m a r t A g r i c u l t u r e 3 2 功 能 实 现 3 2 1 数 据 采 集 机 器 人 系 统 采 集 的 数 据 主 要 包 括 用 户 需 求 数 据 影 像 数 据 温 室 环 境 监 测 数 据 和 机 器 人 坐 标 数 据 通 过 手 机 端 无 线 网 络 与 服 务 器 端 进 行 数 据 交 互 实 现 异 地 实 时 数 据 上 传 与 下 载 1 用 户 需 求 数 据 用 户 通 过 手 机 端 发 送 操 作 需 求 分 别 选 定 作 物 种 类 温 室 内 种 植 信 息 和 观 测 类 型 需 求 同 时 可 发 出 语 音 控 制 指 令 2 影 像 数 据 包 括 摄 像 头 的 实 时 视 频 监 控 数 据 预 置 位 数 据 设 备 状 态 数 据 和 网 络 配 置 数 据 等 3 温 室 环 境 监 测 数 据 实 现 以 半 小 时 为 间 隔 的 全 周 期 网 格 化 番 茄 数 据 集 包 含 温 室 内 空 气 温 度 空 气 湿 度 CO 2 浓 度 和 光 照 强 度 等 3 2 2 数 据 处 理 将 机 器 人 四 自 由 度 轨 道 坐 标 与 视 频 监 控 空 间 参 数 进 行 融 合 转 化 形 成 笛 卡 尔 坐 标 系 基 准 匹 配 决 策 信 息 1 基 础 数 据 转 化 将 作 物 种 类 种 植 信 息 观 测 需 求 三 大 类 数 据 结 合 温 室 尺 寸 设 备 安 装 位 置 形 成 笛 卡 尔 坐 标 系 空 间 坐 标 如 番 茄 采 收 阶 段 氮 肥 试 验 区 病 害 观 察 对 应 到 坐 标 系 中 X 10 m Y 1 1 m Z 1 2 m 其 中X 对 应 长 度 位 置 Y 对 应 宽 度 位 置 Z 对 应 高 度 位 置 根 据 空 间 位 置 分 别 换 算 为 设 备 预 置 位 设 定 数 据 具 体 如 下 Pveclim Hbot Z 1 其 中 Pveclim 为 机 器 人 纵 向 预 置 位 设 定 长 度 m Hbot 为 机 器 人 挂 载 底 部 高 度 m PHorilim X 0 5 2 其 中 PHorilim 为 机 器 人 横 向 预 置 位 设 定 长 度 m 0 5 m 为 滑 轨 起 始 位 置 与 温 室 入 口 墙 距 离 2 语 音 感 知 在 手 机 端 集 成 讯 飞 语 音 听 写 功 能 24 将 末 端 语 音 转 换 为 字 符 串 为 满 足 农 户 与 研 究 人 员 不 同 表 达 习 惯 构 建 机 器 人 管 控 语 料 库 25 如 语 义 相 近 的 词 汇 前 进 向 前 往 前 走 后 退 向 后 往 后 倒 等 通 过 文 研 究 对 比 与 匹 配 程 度 确 认 待 发 送 的 控 制 指 令 3 运 动 系 统 数 据 运 动 系 统 数 据 缺 省 设 定 为 横 向15 m min 纵 向1 m min 可 根 据 实 际 测 量 要 求 改 变 速 度 根 据 转 化 后 的 坐 标 系 顺 序 实 现 温 室 作 物 生 长 状 态 全 程 无 人 巡 检 由 于 番 茄 黄 瓜 等 作 物 现 场 种 植 环 境 较 复 杂 特 别 是 搭 架 和 绑 蔓 会 阻 挡 机 器 人 巡 检 路 线 因 此 机 器 人 根 据 现 场 垄 距 轨 迹 配 置 为 横 向 平 移 暂 停 过 程 进 行 升 降 直 至 纵 向 返 回 最 高 点 进 行 下 一 次 平 移 4 视 觉 感 知 数 据 视 觉 感 知 作 为 机 器 人 的 功 能 之 一 负 责 视 频 数 据 精 确 采 集 本 系 统 集 成 海 康 威 视 平 台SDK 管 控 功 能 和 机 器 视 觉 算 法 平 台 部 分 算 子 26 包 括 实 时 视 频 播 放 图 像 获 取 历 史 视 频 回 放 预 置 位 设 定 焦 距 调 整 亮 度 调 整 间 距 测 量 和 目 标 检 测 等 功 能 感 知 数 据 获 取 后 根 据 病 害 识 别 的 需 要 将 达 到 要 求 的 图 像 进 行 快 照 随 后 以 接 口 的 形 式 上 传 至 服 务 器 端 通 过SVM 27 CNN 28 等 深 度 学 习 算 法 进 行 叶 片 病 害 识 别 针 对 特 定 疮 痂 病 番 茄 早 疫 病 番 茄 健 康 番 茄 晚 疫 病 番 茄 叶 霉 病 番 茄 斑 枯 病 茄 斑 点 病 番 茄 花 叶 病 番 茄 黄 化 曲 叶 病 毒 病 等 公 开 数 据 库 的 十 种 病 害 以 及 现 场 采 集 的 白 粉 病 和 早 疫 病 两 种 常 见 病 害 集 成 算 法 离 线 有 效 观 测 识 别 率 达 到90 以 上 此 外 机 器 人 可 根 据 获 取 的 图 像 标 定 观 测 作 物 高 度 根 据 株 高 的 常 规 数 值 判 断 整 体 长 势 5 环 境 监 测 数 据 预 警 提 醒 针 对 番 茄 病 毒 病 实 现 监 测 设 备 状 态 判 断 结 合 温 室 内 空 气 温 度 和 空 气 湿 度 两 个 参 数 与 番 茄 病 毒 病 发 病 条 件 模 型 关 系 进 行 判 断 通 过 日 历 的 形 式 对 现 场 条 件 进 行 预 警 参 考 模 型 如 下 29 P 1 1 e 30 175 0 664T 0 183H 3 其 中 e 是 自 然 常 数 P 表 示 番 茄 病 毒 病 是 否 发 生 的 概 率 T 代 表 温 度 H 代 表 湿 度 5 4郭 威 等 设 施 温 室 影 像 采 集 与 环 境 监 测 机 器 人 系 统 设 计 及 应 用 Vol 2 No 3 4 系 统 应 用 与 评 价 目 前 系 统 在 河 北 赵 县 和 北 京 小 汤 山 两 个 基 地 已 投 入 使 用 图10 并 根 据 现 场 环 境 作 物 种 类 需 求 扩 展 逐 步 改 进 完 善 4 1 系 统 部 署 机 器 人 系 统 于2019 年8 月 部 署 在 石 家 庄 市 农 林 科 学 研 究 院 赵 县 试 验 基 地5 号 番 茄 日 光 温 室 该 温 室 主 要 用 于 番 茄 病 害 研 究 通 过 有 线 无 线 网 桥 和 移 动 网 络 传 输 方 式 将 现 场 影 像 数 据 环 境 监 测 数 据 以 及 设 备 三 维 位 置 信 息 汇 聚 至 服 务 器 服 务 器 端 和 移 动 端app 通 过 调 用SDK 获 得 监 测 与 远 程 控 制 服 务 同 年12 月 于 小 汤 山7 号 日 光 温 室 部 署 用 于 黄 瓜 病 害 课 题 研 究 机 器 人 缺 省 位 置 在 温 室 西 部 末 端 开 机 进 行 自 检 移 动 至 温 室 入 口 处 速 度 设 定 为 横 向15m min 纵 向1 m min 根 据 番 茄 病 害 重 点 观 测 区 域 标 记 巡 检 途 经 点 设 定3 5 个 预 置 位 并 人 工 调 整 摄 像 头 焦 距 光 圈 以 及 观 测 角 度 得 到 病 斑 观 测 最 佳 角 度 用 于 图 像 数 据 预 处 理 数 据 采 集 针 对 番 茄 病 毒 病 重 点 观 测 空 气 温 度 和 空 气 湿 度 传 输 模 块 数 据 上 传 频 率 设 定 为 每 半 小 时1 次 4 2 数 据 采 集 方 法 试 验 选 用 番 茄 品 种 为 圣 尼 斯313 根 据 番 茄 种 植 期 不 同 时 段 进 行 比 较 在2019 年8 月 至12 月 约153 d 的 生 长 周 期 采 集 有 效 番 茄 病 害 图 片 459 张 由 于 高 清 摄 像 头 采 集 像 素 较 高 为 提 升 深 度 学 习 模 型 处 理 效 率 在 服 务 器 端 压 缩 至 229 229 像 素 图 片 完 成 自 动 巡 检20 次 共 获 得 有 效 环 境 监 测 数 据8829 条 见 图11 4 3 数 据 结 果 分 析 4 3 1 语 音 数 据 经 测 试 语 音 集 成 简 单 指 令 普 通 话 口 令 控 制 成 功 率 接 近100 语 句 中 信 息 提 取 控 制 成 功 率 约70 对 于 石 家 庄 部 分 方 言 指 令 识 别 度 较 差 约65 主 要 来 源 于 发 音 的 歧 义 后 续 可 针 对 语 义 理 解 准 确 度 和 方 言 语 音 识 别 进 行 深 入 研 究 4 3 2 视 频 数 据 通 过 高 清 摄 像 头 获 取 高 清 视 频 与 图 片 形 成 了 多 视 角 影 像 资 料 库 能 够 覆 盖85 植 株 的 整 体 情 况 观 察 能 够 满 足 生 产 和 研 究 的 视 频 数 据 获 取 要 求 同 时 完 成 大 场 景 番 茄 长