农业大数据管理整个生命周期

p1农业大数据管理整个生命周期文 ／ 孙忠富 褚金翔 杜克明 郑飞翔农业大数据就是运用大数据理念、 技术和方法， 解决农业或涉农领域数据的采集、 存储、 计算与应用等一系列问题， 是大数据理念在农业上的应用和实践。农业涵盖区域广大， 涉及领域和内容宽泛， 影响因素众多， 数据采集复杂，决策管理闲难， 正因如此， 农业是产生大数据的无尽源泉。由于农业自身的特殊性， 农业数据必如大量的文字、影像 、 图片、 动画和声音然从过去的基于结构化的关系型数据， 向等形式的超媒体素材，以及专家经验、 知半结构化和非结构化数据转变。 相对于可识库、 模型库等。 非结构化数据呈现出快以用二维表结构来逻辑表达实现的数据来速增长的势头 ， 其数量将大大超过结构化说， 农业更适用于非结构化的数据表达 ，数据。农业生产过程的主体是生物 ， 易受5 8高科技与产业化 ． 月刊行业前瞻外界环境影响 ， 加上生物的多样性和不确展到相关上下游产业 （种子培育，化肥生产，定性、 个体与群体差异性以及人的管理等农机生产 ，词料生产 ， 屠宰业， 肉类加工业因素 ， 都决定了对数据的采集、 处理和分等 ） ， 并整合宏观经济背景的数据 ， 包括统析等有着很高的要求。计数据、 进出口数据、价格数据、生产数据、乃至气象数据等， 覆盖了整个农业产业链。农业大数据特点（ 4 ）数据变异性大作为大数据的子集， 农业大数据在大首先 ， 影响农业的因素异常复杂， 包数据的共同特征之外，还具有如下特点括生物、 环境、 社会等方方面面 ， 都决定（ 1 ）涵盖面广了对数据的采集、 挖掘与分析应用的难度。从地域来看 ，以国内区域数据为核心， 其次，农业生产过程的主体是生物， 易受借鉴国际农业数据作为有效参考 ； 不仅包括外界环境和管理等因素制约 ，致使在随机全国层面数据，还应涵盖省市数据，甚至性与不确定性、 多样性与变异性、个体形地市级和基层部门的数据，为精准区域研状与群体差异性等特征非常明显等。 另外，究提供基础 ；从力度来看， 不仅应包括统整个农业生产过程的很多环节， 目前距离标计数据，还包括涉农经济主体的基本信息、 准化、 指标化、 定量化和精准化的要求相投资信息、 股东信息、专利信息 、 进出口差甚远， 都是农业大数据面临的技术挑战。信息、招聘信息 、媒体信息、ＧＩＳ坐标信息等。（ 2 ）数据复杂智慧农业的核心内容从农业大数据所涉及的主体范围来看 ，关于智慧农业目前尚无公认的定义和包括农、林、 牧、水产、兽医 、 园艺、 土统一的标准， 综合多方资料与分析， 智慧壤等整个农业科学领域，其中主要对象又农业的核心内容可以归纳为以下几个方面涉及动物、植物、 微生物、昆虫、 生态等（ 1 ）涵盖范围 整个农业， 是全部的而生命基础学科，以及环境科学、食品科学不是局部的， 是全过程的而不是阶段性的 ；等。 面对如此庞大的数据资源，从专业应（ 2 ） 技术手段 主要是基于各种先进用来看，应分步实施，首先是构建农业领的信息与网络技术， 包括感知、传输和智域的专业数据资源， 其次应逐步有序规划能处理等技术， 实现以自动化生产、 最优专业的子领域数据资源， 例如针对某一作化控制、 数字化与网络化服务、 智能化决物或某一领域的全过程数据采集，挖掘分策管理为主要生产方式 ；析， 预测和决策等。（ 3 ）整体目标 实现农业高效、 优质、（ 3 ） 数据链长 节能、 环保可持续发展。“智慧农业”是个农业大数据以农业领域为核心 （ 涵盖庞大的系统， 或者说只是一个顶层的虚拟种植业、林业、畜牧业等子行业 ） ， 逐步拓概念。其具体实现是由各领域的子系统组2 0 1 5 年 5 月号总第2 2 8 期5 9成 ， 如智能设施农业、智能农情、 智能植保、 利用卫星搭载高精度感知设备， 获取了土壤、智能灌溉、 智能市场管理等子系统。 随着墒情、 水文等极为精细的农业资源信息， 可以智慧农业不断深入发展， 物联网 、 云计算、 配合农业资源调度专家系统 ， 实现智慧决策 ；大数据等先进技术将更多地得到应用。 充（ 2 ）在农业生态环境的监测和管理方分融合各领域知识库、 模型库、 运用推理、 面， 利用传感器感知技术、 信息融合传输分析等机制 ， 进行预测并提供智能化控制技术和互联网技术 ， 构建了农业生态环境和决策管理 ， 是智慧农业的关键所在。监测网络， 实现对农业生态环境的自动监测 ， 获取了大量的监测数据， 为智慧农业智慧农业的发展方向的发展提供了数据支持 ；现代设施农业因基础设施相对完备，可（ 3 ）在农业生产过程的精细管理方面 ，控环境条件较好。 在设施农业中 ， 通过自动在大田种植、 设施农业、 果园生产、 畜禽化网络监控系统， 实时采集温室大棚内各种水产养殖作业等方面， 获得了大量的数据，环境要素参数 （ 如空气温湿度、 土壤温湿度、 为实现生产过程的智能化控制和科学化管Ｃ0 2 、 光照、 露点温度等环境参数 ） ， 自动理提供了数据依托， 为提高资源利用率和开启或者关闭指定设备 （ 如灌溉、 遮阳、 通劳动生产率奠定基础 ；风、 加温制冷等设备 ） ；根据用户需求， 既（ 4 ） 在农产品质量溯源方面 ， 通过对为设施农业综合信息提供自动监测手段， 也农产品生产、流通、 销售过程的全程信息能为环境自动化控制和智能化管理提供科学感知、传输、融合和处理， 实现农产品“从依据。 另外， 本研究团队近年来研发的全国农田到餐桌”的全程追溯，获得了大量的小麦苗情物联网监控与诊断系统，通过实时中间数据 ， 为农产品质量安全保驾护航 ；监测农田现场作物与环境信息、 各种灾害信（ 5 ） 在农产品物流方面， 利用条形码息等 ， 可以及时发布作物长势和灾情信息 ，技术和射频识别技术实现产品信息的采集为田间优化管理、 采取有效的防灾减灾措施跟踪，获得了大量的渠道数据， 可大大提提供信息服务。这些技术正在改变农业管理高农产品在仓储和货运中的效率，推动智理念和生产方式，尽管还很不完善 ， 但巳展慧物流的发展。示出智慧农业的初级形态。总体上看， 目前智慧农业的发展尚处面临的挑战于初级阶段，距离真正的“智慧”型还相农业大数据技术目前处于起步阶段，差很远。但通过大数据的挖掘分析， 必然主要面临的以下几个问题。极大助推动智慧农业的发展。（ 1 ） 非结构化数据的处理（ 1 ） 在农业资源的精细监测和调度方面，农业大数据的来源不同 ， 有的来自物6 0高科技与产业化■ 月刊行业前瞻联网中的射频设备， 有的来自农业信息化确率不再是主要指标。 如何在农业大数据的网站 ， 有的来自各种先进的移动终端等， 处理的实时性和准确率之间取得平衡， 将这就导致数据类型从以结构化数据为主转是未来农业大数据研究的热点。向结构化、 半结构化 、 非结构化三者的融合。（ 4 ）数据质量与安全结构化数据， 即行数据， 存储在数据库里，农业自身的复杂性决定了数据的多源可以用二维表结构来逻辑表达实现，而非复杂性， 使数据质量控制异常困难， 数据结构化数据则不方便用数据库二维逻辑表管理和质量控制技术难度大 ； 另外， 数据来表现 ，非结构化包括所有格式的办公文安全问题， 数据共享和知识产权等问题，档、文本、 图片 、 ＸＭＬ 、 ＨＴＭＬ、各类报也给大数据研究带来了诸多挑战。农业作表、 图像和音视频信息等。 如何将这些非为中国的基础产业 ， 面临着农产品需求不结构化的数据进行统一的存储， 如何分析断增加 、 资源紧缺、 气候变化导致灾害频处理这些数据， 以及如何对数据进行展示发、生态安全脆弱、 生物多样性持续下降等’ 将是未来必须解决的问题。等严峻挑战。 夯实以农业物联网、云计算（ 2 ） 实时性的保证技术为核心的农业信息化基础， 建立以大随着时间的流逝，数据中所蕴含的知数据为支撑的农业信息化服务、开拓智慧识价值往往也在衰减 ，因此实时性也是农农业新局面， 实现农业信息化的跨越式发业大数据分析过程中必须考虑的问题。 尤展，是农业现代化的必由之路。其是在与天气、 环墳状况相关的数据分析移动互联网 、 物联网和云计算发展的的方面 ， 大数据的分析不及时可能会导致必然结果是走进大数据时代，从本质上看，农业生产灾害的发生 。 由于数据量的密集，这些都是获取数据和信息的手段， 产生大能否在所能接受的时间内完成指定工作也数据、 创造大智慧才是终极目标。 在大数成为农业大数据技术发展的关键问题。据时代 ， 数据就是一切， 拥有数据就意味（ 3 ） 数据的挖掘与分析着拥有价值， 就可以产生智慧， 产生财富。农业大数据的异构性导致农业数据的在新一轮农业现代化建设中， 要将农业大类型多种多样， 并且由于数据集过大 ，使数据纳入国家农业信息化发展战略， 夯实得传统的数据挖掘、机器学习等算法不再智慧农业的基石，让大数据创造出真正的适用于对农业大数据的挖掘。一方面 ， 云智慧 ，支撑智慧农业的稳健发展。明计算是农业大数据处理的主要工具，传统作者单位 中国农业科学院农业环境与可持续发展研翅斤的算法并不能直接适用于农业大数据的处注 本文主要参考了 大数据在智慧农业中研究与应理平台 ；另一力■面 ，农业大数据的应用有 用展望一文 （ 孙忠富等， 中国农业科技导报， 2 0 1 3 ，一个很重要的特点就是实时性， 算法的准Ｉ 5 （ 6 ） 6 3 ＿ 7 1 ， 其它参考文献从略 ）2 0 1  5 年 5 月号总第 2 2 8期6 1/p