物联网  >   智能农业  >  正文

智能农业环境下机器人作业信息感知


 

 

  CAAI 2018年 第8卷 第4期 冯青春

  农业环境下机器人作业信息感知

  随着全球人口老龄化和城镇化规模的不断发展,农业人口流失、人力成本上涨与农产品生产供给需求之间的矛盾,已成为当前农业生产可持续发展面临的重要问题。研发能够辅助或代替人力劳作的高效率、智能化、低成本的农业机器人,是从工程技术角度应对当前形势的重要手段。

  自上世纪 90 年代,欧美和日本率先开展农业机器人技术研究应用以来,其已经逐步成为农业工程领域的研究热点,并取得了显著成绩,如整枝打叶机器人 ( 见图1(a) 和 (b))、采摘机器人 ( 见图 (c) 和 (d))、嫁接机器人 ( 见图 (e)) 和农药喷洒机器人( 见图 1(f)) 等,都是典型的农业机器人应用案例,其中一部分已经实现商业化应用。相对于传统农业机械,农业机器人对于复杂农业环境具有更好的适应性和自主性,因此农业机器人的问世,有望改变传统农业生产方式,改善农民的劳动状态。

  

  图 1 典型农业机器人样机

  如图 2 所示典型农作物栽培环境,可见农业机器人所面对的是非结构环境下的作业对象。相对于工业标准化工况,农业作业环境更加复杂,包括自然光照波动、目标背景多样、茎叶遮挡、作业轨迹多变等,对作业信息稳定获取形成客观限制。目前主要采用机器视觉、光谱成像、结构光定位、辅助光源等相关技术相互融合,以提高识别与定位的准确性与精确度。但是受限于传统农业栽培模式,对于目标遮挡、姿态多变,以及色系相近的特征仍然无法有效进行信息识别。虽然农业机器人的机械执行部件可以借鉴工业标准产品和传统农机具,但是在作业信息智能化获取方面将面临巨大挑战。作业信息获取、解析和感知将是未来智能农业装备领域的研究热点。

  

  图 2 农业非结构工况环境特征

  1 国内外研究进展

  农业复杂环境下作业对象视觉信息获取,是制约智能化机器人技术在农业生产中应用的主要瓶颈 [1-2]。针对农业环境下特殊工况条件,围绕多元视觉信息获取和自适应模式识别信息处理两个方面的研究探索,是当前智能农机装备技术领域的研究热点和发展趋势。

  1.1 基于光谱特性的农作物信息获取

  植物不同器官生化组分及组织结构的不同,会引起特定反射光谱显著变化(见图 3)[1-3],利用高光谱技术监测这些特定光谱信息,进而可以判别植物器官组织成分和生理状态。然而专用高光谱成像设备存在成本高、实时性差,以及信息冗余率高的问题 [4],无法满足机器人作业信息在线感知的要求。随着近红外光波段成像CCD 产品的不断普及,将经典机器视觉与光谱技术进行结合,构建针对特定波段成像系统和识别模型,不断被应用于农产品自动采摘、产量评估,以及质量检测等各个方面。

  

  图 3 大宗果蔬植株组织光谱反射曲线 [3-4]

  Okamoto 等 [5] 基于橘子在 751、682 及548 nm 波段的强反射特征,采用分水岭自动阈值算法对果实和背景(天空、树干)进行分割。Bac 等 [6] 通过 447~900 nm 内 6个波段图像对甜椒植株及其背景进行分割,其中 447 nm 波长图像用于对栽培吊线、栽培槽及支架等近端非生物背景的分割,大于 900 nm 波长图像用于分割光源无法充分照射的远端背景。Li 等 [7-8] 根据黄瓜果实与叶片在 800 nm 波段的反射差异,研究了基于近红外图像信息的黄瓜果实识别定位方法。吴伟斌等 [9] 柑橘叶片 750~1 000 nm 波段 ( 短波近红外 ) 的反射率与叶片重叠层数的相关性,开发了针对重叠叶片叶面积的测量系统。赵川源等 [10] 采用 MS4100 高分辨率多光谱照相机采集玉米苗和杂草图像,基于形状、纹理和分形维数特征差异对 3种杂草的识别率为最高达到96.3%。Ma等[11]通过 400~1 000 nm 高光谱图像对豌豆角内部虫害信息进行识别,其中 750 nm 图像用于豌豆角与背景分割,692、705 及 743nm图像用于豆角虫害区域的识别。

  1.2 农业环境下图像目标分割

  受农业环境光照波动、目标重叠,以及多元背景等非结构因素影响,基于单一色彩信息的阈值分类方法较难实现图像目标区域的准确分割 [2]。通过图像处理算法 [12-14]和人工光源 [6] 矫正成像色彩,融合色彩、形态、纹理,以及深度等多元信息建立自适应分类模型,可以有效改善农作物图像目标的分割效果 [2]。

  (1) 图像色彩矫正方面,Feng 等 [12] 通过 RGB-HIS 色彩空间变换,基于色调 (H)和饱和度 (S) 分量阈值对成熟草莓进行分割,克服光照强度变化引起的图像亮度 (I)波动干扰。Yuan 等 [13] 提出了基于色彩恒常特性的太阳光照波动补偿方法 , 通过动态调整摄像机曝光增益和白平衡参数 , 保证黄瓜花瓣图像色彩稳定呈现。熊俊涛等 [14] 提出基于 Retinex 图像增强算法的荔枝果实图像预处理方法,克服自然光照条件下摄像机视场亮度不均衡的问题。

  (2) 光谱特征融合方面,Bac 等 [6] 以甜椒植株 562、624、692 和 716 nm 波段的光谱图像灰度、熵、归一化指数为特征量,建立的分类回归树模型对茎秆的判别率为40%。毛罕平等 [15] 采用主成分分析(PCA)、小波变换算法对可见光和近红外图像数据融合后,对绿色番茄与叶片的阈值分割效果有所改善。

  (3) 形态特征融合方面,Giselsson等 [16] 根据目标像素与叶片边缘轮廓的最短Euclidean 距离,对矢车菊和茄子钵苗叶片种类判断准确率达 97%。Pastrana 等 [17] 对烟草叶片边缘进行椭圆化拟合,以对粘连叶片区域进行分割。Wang 等 [18] 提出一种Canny 算子边缘检测与 OTSU 阈值分割相结合的方法,以克服叶片空间重叠对图像目标区域分割的影响。Senthilnath 等 [19] 对番茄植株图片阈值化分割后,进一步结合候选区域面积、圆形度,以及细化骨架等形态特征对番茄果实进行识别。

  (4) 立体特征融合方面,Vitzrabin 等 [20]提出了一种融合 TOF 相机 RGBD 深度数据的分割方法,基于目标区域深度梯度检测,对粘连甜椒果实的识别率为 90.9%。

  (5) 纹理特征融合方面,Rakun 等 [21]采用 Wigner-Ville 分布算法提取绿色苹果与叶片纹理特征。Kurtulmusti 等 [22] 提出了基于特征脸(EigenFace)和圆 Gabor 纹理分析的绿橘子识别方法。

  (6) 自适应分类模型,Song 等 [23] 采用贝叶斯分类器对绿辣椒与背景初步分割后,结合最稳定色度 (MSCR) 和纹理信息,建立针对辣椒果实信息的 BoW 模型,采用支持向量机分类器(SVM)对绿色辣椒和背景(茎叶)的识别率为 74.2%。Rakun 等 [21]建立以图像色彩和纹理为特征参数,建立支持向量机(SVM)模型对苹果和叶片背景进行分割。赵川源等 [10] 用 K-means 聚类算法分割植物叶片与土壤背景,根据叶片形状、纹理及分形维数 3 类特征差异,基于决策树 C4.5 算法对杂草分别进行多特征组合的分类识别。

  1.3 丛生目标的形态识别和测量

  植物茎、叶、果交错遮挡,是基于视觉信息感知目标整体形态信息所面临的客观限制。借助立体视觉测量、多视角图像配准,以及几何曲线拟合等技术手段,根据目标有限可见立体信息对受遮挡区域进行恢复,是解决丛生农作物目标识别定位问题的有效途径。

  (1) 立体视觉测量方面, Feng 等 [24-25]采用 DISK 激光视觉系统获取视场深度图像,根据苹果与背景的立体形态 ( 曲率 ) 差别对果实进行识别。Nguyen[26] 针对 RGB-D深度相机采集的苹果树图像,研究了基于像素欧氏距离的苹果像素聚类分割方法,对粘连水果识别准确率为 82%。Xiang 等 [27]基于视差约束和目标区域灰度特征匹配生成番茄植株深度图,通过深度图 OTSU 阈值分割、最小二乘轮廓拟合,对簇生果串中的单果识别准确率 87.9%。Kaczmarek[28]开发了五目立体视觉系统 (EBMCS),并提出了基于错误匹配点排除 (EEMM) 的视差图合成方法,以改善视觉系统测量效果。

  (2) 图像配准方面,Flora 等 [29] 采用加速鲁棒特征算法 (SURF) 对不同视角的莴苣冠层图像进行匹配,并通过随机抽样一致算法 (RANSAC) 去除错误匹配点。Gongal等 [30] 通过图像配准算法实现 CCD 相机二维图像与 PMD CamCube3D 相机深度图像数据的融合。

  (3) 形态拟合方面,周长勇等 [31] 采用基于深度图的傅里叶描述子(GFD),提取番茄果实形状特征。Bac 等 [32] 以具有高亮度反射特征的栽培尼龙吊线为视觉标记,对与其缠绕的甜椒茎秆进行识别定位,甜椒主茎中心线的拟合精度为 ±0.4 cm。Amatya等 [33] 采用直线和指数曲线相结合的方法,拟合樱桃茎秆整体形态。

  2 经典应用案例

  2.1 远-近景组合草莓采摘机器人视觉系统

  为提高草莓采摘机器人末端执行器对果实切割点定位精度,防止切伤果实和茎蔓,设计了一种远-近景图像组合的空间位置反馈功能视觉系统(见图 4),实现了采摘机器人对采摘目标的闭环定位。其中远景视觉单元为双目相机,用于对成熟果实进行分割识别,并对其中心空间定位。近景视觉单元为单目相机,根据远景初次定位数据,利用摄像机线性透视模型,求解切割点空间坐标,并向采摘机械臂控制器反馈位移微调信息,有效地解决了采摘机器人一次远景定位误差较大的问题。

  

  图 4 远-近景组合的采摘机器人视觉系统

  2.2 基于视觉伺服激光对靶串形果实识别定位

  针对鲜食番茄自动化采收实际需要,为了实现对樱桃番茄果串自动识别定位,基于激光测距和视觉伺服技术设计了果串自动对靶测量视觉系统(见图 5)。通过分析成熟番茄果串图像色彩特征,采用 R-G 色差模型凸显目标与背景差异,并根据色差灰度逐列统计锁定果串图像区域;根据对边缘果粒空间坐标估算,同时对采摘机械臂进行视觉伺服控制,实现对边缘果粒对靶定位测量,并根据其空间坐标测算果串长宽特征,为采摘执行部件提供作业依据。该研究结果为串形果实自动采收目标识别定位提供参考。

  

  图 5 串形果实自动对靶测量定位

  2.3 多波段光谱图像融合的辣椒茎叶识别

  针对立体栽培模式的甜椒整枝和采摘自动化作业需要,根据植株茎叶、叶、果以及其他背景的光谱反射特征。设计了甜椒植株多波段光谱图像采集系统(见图 6),融合 447、562 及 624 nm 等 6 个不同波段的光谱图像,对甜椒植株的不同部件进行识别分割。分别提取不同波动图像内茎、叶、果的图像纹理、熵、波谱角 5 类特征,采用决策树分类器对不同目标进行识别。通过将样本训练的有监督学习识别模型,应用于农业复杂场景中目标识别分割,提高了识别算法的鲁棒性,有效解决了近色系目标特征分割的问题。

  

  图 6 融合多波段光谱图像甜椒植株特征分割

  2.4 基于光度立体视觉的秧苗叶片形态测量

  为了实现蔬菜秧苗长势的智能化在线评估,研究了基于光度立体视觉的秧苗叶片曲面形态测量方法和装置(见图 7),用以对叶片倾角、长度和面积进行精确测量。以15~30 天苗龄辣椒秧苗为测量对象,构建了针对其冠层叶片形态测量的试验装置:根据 4 组光源在标定球表面成像的反射关系组合方程,标定其对秧苗叶片的照射向量;以D65 白色标准板为参考,采用图像 RGB 分量线性矫正的方法,对不同方位光源辐射强度差异进行补偿,克服光源强度波动对叶片图像明暗信息的影响。根据叶片在不同方位光源照射下图像的明暗特征,基于光度立体视觉获取主叶脉区域离散曲面梯度信息,在此基础上采用最小二乘方法拟合叶片近似空间平面,从而实现对叶片垂直倾角的测量,进一步结合叶片图像信息测算其实际长度和面积,为开发温室苗床秧苗长势在线监测设备提供重要技术支撑。

  

  图 7 秧苗叶片空间形态测量

  2.5 针对温室不稳定光照条件的秧苗图像色彩矫正

  针对温室环境下秧苗叶片长势视觉监测需要,以辣椒秧苗为研究对象,研究太阳光照波动引起的秧苗叶片图像色彩变异矫正方法 ( 见图 8),以提高视觉信息获取的稳定性降低叶片图像识别难度。通过分析图像 RGB 灰度值变异与光照强度变化的相关性,明确图像色彩亮度与环境光照强度的量化关系,在此基础上提出了针对温室光照变化的秧苗叶片图像亮度线性矫正方法。根据不同时段 ColorChecker 色板 Foliage 色( 叶绿色 ) 区域图像色彩与标准色值的 Lab色差波动统计,确定理想光照条件对应的标准色值参数,进而根据 Foliage 色区域成像色彩参数与标准色值之间的动态差异,实时测算相应 RGB 矫正系数,确保对不同光照条件下秧苗叶片图像恒常呈现。该研究为自然光照条件下,农作物视觉信息动态稳定获取研究提供参考。

  

  图 8 不同光照时段苗叶片图像矫正对比

  3 结束语

  纵观国内外研究文献,目前在非实时图像信息处理和识别方面的理论算法研究较多,针对机器人作业的视觉信息在线获取方法和系统方面的相关研究依然较少,且作业信息数据采集存在冗余数据多、设备成本高、实时性差等问题。非结构环境下作业信息感知,依然是限制农业机器人作业性能提升和产业化应用的重要瓶颈之一。

  针对农业复杂工况特征,在借鉴工业领域成熟技术和产品基础上,创新应用多元数据融合和人工智能先进手段,丰富机器人对目标特征的判别依据,提高识别定位精度,是解决农业机器人作业信息获取问题的重要途径。

  参考文献

  [1] Bechar A, Vigneault C. Agricultural robots for field operations: Concepts and components[J]. Biosystems Engineering, 2016,149:94-111.

  [2] Hamuda E, Glavin M, Jones E. A survey of image processing techniques for plant extraction and segmentation in the field[J]. Computers and Electronics in Agriculture, 2016, 125:184-199.

  [3] 近藤直 , 门田充司 , 野口伸 . 农业机器人Ⅰ .基础与理论 [M]. 乔军 , 陈兵旗,译 . 北京:中国农业大学出版社 , 2009:12-13.

  [4] Kondo N, Ting K C. Robotics for bio-production systems[M]. Michigan: ASABE, 1998.

  [5] Okamoto H, Lee W S. Green citrus detection using hyperspectral imaging[J]. Computers and Electronics in Agriculture, 2009, 66: 201-208.

  [6] Bac C W, Hemming J. van Henten E.J. Robust Pixel-based classification of obstacle for robotic harvesting of sweet\u0002pepper[J]. Computers and Electronics in Agriculture, 2013,96:148-162.

  [7] Li W, Feng Q,Yuan T, et al. Spectral Imaging for Greenhouse Cucumber Fruit Detection Based on Binocular Stereovision[C]// ASABE, 2010, Paper Number: 1009345.

  [8] 袁挺 , 纪超 , 陈英 , 等 . 基于光谱成像技术的温室黄瓜识别方法 [J]. 农业机械学部 , 2011, 42( 增刊 ):172-176.

  [9] 吴伟斌 , 冯灼峰 , 洪添胜 , 等 . 基于近红外反射的柑橘重叠叶片叶面积指数测量系统 [J]. 农业机械学报 , 2013, 44(1): 179-184.

  [10] 赵川源 , 何东健 , 乔永亮 . 基于多光谱图像和数据挖掘的多特征杂草识别方法 [J]. 农业工程学报 , 2013, 29(2): 192-198.

  [11] Ma Y, Huang M, Yang B, et al. Automatic threshold method and optimal wavelength selection for insect-damaged vegetable soybean detection using hyperspectral images[J]. Computers and Electronics in Agriculture, 2014, 106: 102-110.

  [12] Feng Q, Wang X, Zheng W, et al. A new strawberry harvesting robot for elevated-trough culture[J]. International Journal of Agricultural and Biological Engineering, 2012, 5(2):1-8.

  [13] Yuan T, Kondo N, Li W. Sunlight fluctuation compensation for tomato flower detection using web camera[J]. Procedia Engineering, 2012, 29: 4343-4347.

  [14] 熊俊涛 , 邹湘军 , 王红军 , 等 . 基 于 Retinex 图像增强的不同光照条件下的成熟荔枝识别 [J]. 农业工程学报 ,2013,29(12):170-178.

  [15] 毛罕平 , 李明喜 , 张艳诚 . 基于多光谱图像融合和形态重构的图像分割方法 [J]. 农业工程学报 , 2008, 24(6):174-178.

  [16] Giselsson T M, Midtiby H S. Seedling Discrimination with Shape Features Derived from a Distance Transform[J]. Sensors, 2013, 13: 5585-5602.

  [17] Pastrana J C, Rath T. Novel image processing approach for solving the overlapping problem in agriculture[J]. Biosystems Enginering, 2013, 115: 106-115.

  [18] Wang J, He J, Han Y,et al. An adaptive thresholding algorithm of field leaf image[J]. Computers and Electronics in Agriculture, 2013, 96: 23-39.

  [19] Senthilnath J, Dokania A, Kandukuri M, et al. Detection of tomatoes using spectral-spatial methods in remotely sensed RGB images captured by UAV[J]. Biosystems Engineering, 2016,146:16-32.

  [20] Vitzrabin E, Edan Y. Adaptive thresholding with fusion using a RGBD sensor for red sweet-pepper detection[J]. Biosystems Engineering, 2016,146:45-56.

  [21] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture, 2011, 76: 80-88.

  [22] Kurtulmusti F, Lee W S, Vardar A.Green citrus detection using‘eigenfruit’, color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture, 2011,78: 140-149.

  [23] Song Y, Glasbey C A, Horgan G W, et al. Automatic fruit recognition and counting from multiple images[J]. Biosystems Engineering, 2014,118:203-215.

  [24] Feng J, Liu G, Si Y, et al. Construction of laser vision system for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(Supp.1): 32-37.

  [25] Si Y, Liu G, Feng J. Location of apples in trees using stereoscopic vision[J]. Computers and Electronics in Agriculture, 2015, 112: 68-74.

  [26] Nguyen T T, Vandevoorde K, Wouters N. Detection of red and bicoloured apples on tree with an RGB-D camera[J]. Biosystems Engineering, 2016, 146: 33-44.

  [27] Xiang R, Jiang H, Ying Y. Recognition of clustered tomatoes based on binocular stereo vision[J]. Computers and Electronics in Agriculture, 2014, 106: 75-90.

  [28] Kaczmarek A L. Stereo vision with Equal Baseline Multiple Camera Set (EBMCS) for obtaining depth maps of plants[J]. Computers and Electronics in Agriculture, 2017, 135: 23-37.

  [29] Flora Y Y, Lai T, Liu T, et al. An automated growth measurement system for leafy vegetables[J]. Biosystems Engineering, 2014,117: 43-50.

  [30] Gongal A, Silwal A, Amatya S, et al. Apple crop-load estimation with over-the-row machine vision system[J]. Computers and Electronics in Agriculture, 2016, 120: 26-35.

  [31] 周长勇 , 曹其新 . 基于深度图像的蔬菜形状特征提取 [J]. 农业机械学报 , 2012, 43( 增刊 ): 242-245.

  [32] Bac C W, Hemming J, Van Henten E J. Stem localization of sweet-pepper using the support wire as a visual cue[J]. Computers and Electronics in Agriculture, 2014,105:111-120.

  [33] Amatya S, Karkee M, Gongal A, et al. Detection of cherry tree branches with full foliage in planar architecture for automated sweet-cherry harvesting[J]. Biosystems Engineering, 2016, 146: 3-15.

  作者介绍:冯青春

  

 

  北京农业智能装备技术研究中心高级工程师。担任国家自然科学基金项目、北京市优秀人才培养资助项目、国家重点研发计划项目子课题等多项科研项目负责人,开发的农业机器人获得北京市技术新产品认定 1 项。主要从事农业机器人研发与应用研究。

上一篇:智能农业大数据智能决策与知识服务

下一篇:智慧化无人机植保解决方案