• EI
    • CSA
    • CABI
    • 卓越期刊
    • CA
    • Scopus
    • CSCD
    • 核心期刊

无人农机作业环境感知技术综述

万欢, 欧媛珍, 管宪鲁, 姜锐, 周志艳, 罗锡文

万欢,欧媛珍,管宪鲁,等. 无人农机作业环境感知技术综述[J]. 农业工程学报,2024,40(8):1-18. DOI: 10.11975/j.issn.1002-6819.202402020
引用本文: 万欢,欧媛珍,管宪鲁,等. 无人农机作业环境感知技术综述[J]. 农业工程学报,2024,40(8):1-18. DOI: 10.11975/j.issn.1002-6819.202402020
WAN Huan, OU Yuanzhen, GUAN Xianlu, et al. Review of the perception technologies for unmanned agricultural machinery operating environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(8): 1-18. DOI: 10.11975/j.issn.1002-6819.202402020
Citation: WAN Huan, OU Yuanzhen, GUAN Xianlu, et al. Review of the perception technologies for unmanned agricultural machinery operating environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(8): 1-18. DOI: 10.11975/j.issn.1002-6819.202402020

无人农机作业环境感知技术综述

基金项目: 国家重点研发计划项目(2022YFD2001501);广东省科技计划项目“广东省农业人工智能重点实验室(2021年度)”(2021B1212040009)
详细信息
    作者简介:

    万欢,博士生,实验师,研究方向为农业信息采集与数据处理。Email:wanhuan@scau.edu.cn

    通讯作者:

    周志艳,博士,教授,研究方向为农业人工智能。Email:zyzhou@scau.edu.cn

  • 中图分类号: S-1

Review of the perception technologies for unmanned agricultural machinery operating environment

  • 摘要:

    推进农业装备智能化能够有效解决农业劳动力短缺的问题。环境感知是农业装备智能化的首要条件。然而,农业环境的动态变化和非结构化特性限制了无人农机的环境感知能力。该文对无人农机的作业环境信息感知技术进行全面梳理,首先介绍了无人农机作业环境的典型要素和各类感知传感器,并分析了不同传感器的优缺点,然后分别从障碍物感知、作物行感知和农田边界及高程信息感知等方面,对无人农机作业环境信息感知技术进行归纳总结,最后讨论了无人农机作业环境信息感知技术面临的挑战及发展趋势,旨在推动环境感知技术在农业领域的应用,促进农业机械的智能化转型。

    Abstract:

    Unmanned agricultural equipment can effectively solve the shortage of labor force in recent years. Environmental perception has been one of the most important components to realize the safe and reliable operation of intelligent agricultural machinery in complex unstructured farmland. However, it is still limited in the environmental perception, due to the dynamic and unstructured environment. Some challenges also remained to enhance the autonomous cognition and coordination of unmanned agricultural machinery in the operations of "plowing, planting, managing, and harvesting". The perception sensors are also required to realize robust and real-time environmental safety. In this study, the stable and reliable technologies of environment information perception were reviewed to improve the autonomous navigation and operation performance of unmanned agricultural machinery. Firstly, the typical elements of unmanned agricultural machinery were introduced into the operating environment and various types of sensors. Then, the information perception technologies were summarized from the aspects of the obstacle, crop line, farmland boundary, and elevation information perception. Finally, the challenges and trends were summarized from the perceptual performance, open access dataset, multi-sensor data fusion, data standardization, and interface standard. The complex, changeable and unstructured environment was highly required for the robustness and real-time performance of the sensing system in the unmanned working. It was still lacking in the unified benchmarks of environmental perception and performance evaluation standards. New technologies were expected to overcome the current challenges. The finding can also provide strong support to the modernization and intelligence of agricultural production.

  • “谁来种地,怎样种地”是中国和全世界农业生产面临的共同问题,随着人口老龄化的到来以及城市化进程的加快,解决农业劳动力短缺问题显得尤为迫切。在农业生产全过程中使用智能化农业装备是解决上述问题的重要途径之一,数字化感知、智能化决策、精准化作业和智慧化管理是实现农业装备智能化的关键技术[1-2]

    环境感知作为农业装备实现智能化的首要条件,是智能农机在复杂的非结构化农田环境中安全可靠作业的保障[3]。环境感知技术不断融入农业生产,推动着农机作业向自动化、智能化方向转型升级,农业解决方案从为农机操作员提供决策支持到无人驾驶农机的现场监管,最终发展到完全自主作业的无人农机[4]。尽管智能农机的发展广受关注,然而,受农业环境动态变化和非结构化等特性的影响,其环境感知能力依然有限。农机无人作业的“耕、种、管、收”等环节中,均存在自主认知性弱、协同性差等问题,无人农机需搭载环境感知传感器,并配备鲁棒、实时的环境感知算法以满足安全需求。研究稳定、可靠的环境感知系统对于提高无人农机自主导航及作业性能具有十分重要的意义。

    鉴于农田环境随时间推移会发生较大变化,为提高环境感知系统的鲁棒性和准确性,综合考虑多传感器数据冗余互补的特点,将多传感器数据采集和处理进行融合,能够获得无人农机安全作业所需的综合信息。随着计算机视觉和机器学习等人工智能技术在农业领域的广泛研究和应用[5-6],很多学者已经开展了多传感器融合的环境感知技术研究[7-8],而针对农田环境信息感知技术的总结性论述较少,因此,有必要对这方面的工作进行全面的综述,以促进农机无人作业环境感知技术的发展。本文首先概述了无人农机作业环境的典型要素和各类感知传感器;然后分别从障碍物感知、作物行感知、边界和高程信息感知等方面介绍了农机无人作业环境感知关键技术的研究现状,讨论了该领域亟待解决的关键问题并展望了其发展趋势。

    相对于结构化的城市道路环境,无人农机作业环境更加复杂,农机随地形起伏上下颠簸,特别是在水田中作业时,可能出现车轮打滑的情况。农田环境中没有车道和交通信号灯,且作物长势随季节发生周期性变化,给精确的环境感知增加了难度,无人农机需要根据农田环境的典型特征寻找到可通行的路径[9]。农田中的典型要素主要包括障碍物、作物行、田埂、沟渠以及高程信息等(如图1)。障碍物主要包括影响安全通行的电线杆、农具等静态目标,以及人、动物和其他行进中的农机等动态目标。高程信息通常由数字高程模型(digital elevation model,DEM)或数字表面模型(digital surface model,DSM)表示。

    图  1  无人农机作业环境的典型要素
    Figure  1.  Typical elements of unmanned agricultural machinery operating environment

    农作物生长的不同时期需要考虑不同的环境影响因素,例如水稻在其生长的前中期,可以获取作物行信息引导农机作业,而到后期收割作业时,作物行交错无法分辨,则需采用图像分割的方法进行边界提取[5]。此外,无人农机作业环境感知能力还受太阳辐射、温度、大气条件以及农田地形等因素的影响,特别是太阳光照强度和角度变化对水田导航线提取的影响较大,水田中可能出现的太阳耀斑和热点效应会严重影响环境感知系统性能[10]

    实际作业过程中,需要根据不同场景,选择合适的传感器和感知算法,提高感知系统的稳定性和泛化能力,避免发生安全事故。

    无人农机在作业过程中,必须依赖一系列传感器实时感知周围环境、确定自身位置与姿态。其中,农机周围环境信息感知传感器包括视觉传感器、激光雷达、毫米波雷达、超声波雷达等[11]。农机自身位置与姿态信息感知传感器则包括全球导航卫星系统(global navigation satellite system,GNSS)和惯性导航系统(inertial navigation system,INS),GNSS与INS组合能够为无人农机提供准确的导航与定位服务。各种类型的传感器都有其优缺点和应用场景,深入了解并合理运用各种传感器的特性,能够有效提高无人农机的感知能力。

    视觉传感器是环境感知技术中必不可少的传感器,可以直接获取颜色信息,且安装方便、体积小、能耗低。视觉传感器分为单目RGB传感器、双目(多目)RGB传感器、主动式深度传感器(red green blue-depth,RGB-D)、热像仪和基于事件的动态视觉传感器(dynamic vision sensor,DVS)。单目RGB传感器成像的物理法则是小孔成像,对应的几何原理是透视变换,将三维空间投影到二维图像上[12]。具备结构简单,成本低,算法成熟等优点。为了克服可测角度范围窄的问题,在实际应用中,一般采用多个相机对周围环境进行全方位监测[13]。单目3D目标检测提供了一种结构简单的解决方案,但由于缺少多视几何约束,其深度估计的精度往往受到限制,存在深度估计过度自信、深度估计与检测任务优化不匹配等问题[14]

    双目(多目)RGB传感器模仿人类视觉,通过立体像对的视差估计检测目标的深度信息,但配置和标定复杂,深度检测范围也受到基线和分辨率的限制。大基线可以得到更准确的距离信息,但会导致近距离目标的信息缺失,针对这个问题,REINA等[15]开发了一种多基线视觉平台(如图2),该平台由2个三目视觉系统组成,既可以同时使用以拓宽整体感知范围,也可以根据实际场景交替使用。

    图  2  多基线立体视觉平台[15]
    Figure  2.  Multi-baseline stereovision platform[15]

    RGB-D可以在获取RGB影像的同时,通过主动红外立体成像(active infrared stereoscopy,AIRS)、结构光(structured light,SL)或飞行时间(time of flight,ToF)获取深度信息[16-19]。AIRS、SL、ToF技术均主动投射近红外光,AIRS是一种利用红外线进行立体成像的技术,通过两台红外摄像头分别捕捉物体的左右视图,然后使用计算机视觉算法得到物体的三维坐标和形状,对环境光的干扰具有较高的鲁棒性,但成本较高,且计算量大,对计算机硬件要求较高;SL设备通过精确控制投射光斑的形状、大小、亮度等参数,达到较高的测量精度,但只能测量表面光滑、反射性好的物体,对于表面粗糙的物体,测量效果不佳;ToF技术通过测量光线从发射到返回的时间差来计算物体的距离,从而重建三维场景,工作距离较远,但能耗大,分辨率相对较低[19]表1中列出了各类商用深度相机的相关技术规格,信息来源于生产商发布的产品数据表。

    表  1  各类商用深度相机技术规格
    Table  1.  Technical specifications of various commercial depth cameras
    型号
    Model
    深度原理
    Depth principle
    深度范围
    Depth range/m
    测深精度
    Depth accuracy
    视场(水平×垂直)
    Field of view(horizontal×
    vertical)/(°)
    深度图分辨率@帧率
    Depth image resolution
    @Frame rate/帧·s−1
    上市年份
    Year of entry to market
    生产商
    Manufacturer
    产地
    Location
    Astra2 SL 0.6~8.0 ≤0.15%(4 m) 58×45 1600×1200@30
    640×480@30
    2023 Orbbec 中国
    ZED2i 立体视觉 0.3~20.0 <1%(3 m)
    <5%(15 m)
    110×70 2208×1242@15
    1920×1080@30
    1280×720@60
    662×376@100
    2021 Stereolabs 美国
    Realsense D435i AIRS 0.3~3.0 <2%(2 m) 87×58 1280×720@30 2019 Intel 美国
    Blaze101 ToF 0~10 ±5 mm(5 m) 67×51 640×480@30 2019 Balser 德国
    下载: 导出CSV 
    | 显示表格

    热像仪利用热红外作为媒介进行数据处理,不需要任何光源,只依赖于每个物体发射的热辐射。因此,在夜间或强光条件下也能检测到行人和动物,并且能够基于不同目标的热特征,对每个检测对象进行分类[20],有助于无人系统对场景的识别,克服农业环境中阴影和阳光直射等问题。但热像仪容易受各种热源干扰,在高环境温度下(>37 ℃),无法检测到人员和牲畜,且穿透性差,检测对象的红外辐射容易被遮挡。此外,热像仪无法得到目标距离。

    基于事件的动态视觉传感器,即事件相机,是一种受生物启发的新型视觉感知设备[21]。其核心工作原理是基于像素级别的亮度变化来实时生成事件流。当场景中的某个像素的亮度变化超过预设的阈值时,事件相机就会生成一个事件,并输出该事件的详细信息,包括亮度变化的时间、位置和极性(如变亮或变暗)[22]。这种工作方式使得事件相机具有高时间分辨率、高动态范围、低延迟和低功耗等优点,也使得其不产生任何静态场景的数据[23]。事件相机能够以极高的速度捕捉和响应物体的运动,使其在自动驾驶、机器人导航等领域展现出巨大的应用潜力。然而,事件相机独特的感知方式带来了数据处理上的新挑战,其异步、空间稀疏的输出信息及二进制亮度变化信息使得传统基于帧的视觉算法无法直接应用,需要重新思考数据处理方法,并建模相关的不确定因素,以充分发挥事件相机的优势[24]

    近年来,图像处理技术和计算机视觉技术发展迅速,相对于二维图像,立体视觉能够提供更丰富的现实表征,宽基线立体视觉系统甚至可以达到几公里的探测距离[25]。结合GNSS和INS,立体视觉传感器可以获得环境中各类目标的空间位置并构建整个环境的三维地形图[26]。鉴于视觉传感器具备丰富的视觉信息,其在农业领域也得到了广泛应用[27]

    激光雷达(light detection and ranging,LiDAR)的起源是从立体摄影测量技术开始的[28]。随着无人驾驶车辆和机器人的兴起迫使激光雷达传感器的需求从遥感传感器向新的方向发展。车载激光雷达系统要求具备远距离感知、高空间分辨率、抗阳光直射、实时性以及小型化等性能,无人驾驶的大规模应用也需要车载激光雷达提高工业化水平,以降低成本。

    按测量原理可将激光雷达分为脉冲ToF[29]、调幅连续波(amplitude modulated continuous wave,AMCW)[30]和调频连续波(frequency modulated continuous wave, FMCW)[31]。基于脉冲ToF的测量技术利用发射光和接收光之间的时间间隔计算到目标的距离,结构简单,但信噪比低[29];AMCW方法发射连续光并调制光的强度,只考虑光的能量而不考虑使用的波长,使得整个传感器的尺寸很小,但由于距离是基于接收功率来测量的,而相关安全法规限制了发射功率,使该架构主要部署在中短距离应用中[30];FMCW方法的相干探测方案使距离测量精度比其他方法提高了1~2个数量级,并可同时测量目标的速度,使其有望成为无人驾驶车辆的最佳选择,但作为一个连续系统,激光器必须在足够的时间内保持相位完整性,增加了系统的复杂性,从而增加了生产成本[31]

    以上3种测量原理都是以逐点测量的方式被提出的,需要成像策略来提供车辆周围环境的3D点云,以实现对感兴趣目标的精确表示。根据成像策略的不同,可将激光雷达系统分为扫描式和Flash探测器阵列式,其中扫描式激光雷达可采用不同的结构:机械扫描式、微机电系统(micro-electro mechanical system,MEMS)振镜扫描式和光学相控阵(optical phased array,OPA)扫描式等。机械式激光雷达最普遍,但由于持续的冲击和振动,转动元件的使用寿命较短。MEMS振镜式激光雷达部署微小的机电反射镜来替代外部旋转部件,将静态激光指向反射镜,然后施加吸合电压改变反射镜倾斜角度进行大角度扫描,且功率很小。然而,车辆的振动会影响其性能。OPA或将是理想的解决方案,OPA扫描式激光雷达通过相位调制器控制光束方向[32],不使用任何移动部件,可以完全集成在芯片上,实现比机械式和MEMS振镜式更快的扫描速率。由于固有的激光功率损耗,基于该技术的激光雷达传感器目前只被部署在中短程应用中。Flash探测器阵列式激光雷达提供了一种纯固态的解决方案,特别是在中短距离内达到了与扫描式系统相当的性能指标。但传感器的空间分辨率取决于光电探测器阵列的密度,推高了其生产成本[33]

    无论采用何种测量原理和分类方式,评价激光雷达最重要的性能指标主要包括:测距范围、波长、视场、扫描速率、分辨率等[34]表2汇总了部分商用激光雷达传感器技术规格。

    表  2  各类商用激光雷达传感器技术规格
    Table  2.  Technical specifications of various commercial LiDAR sensors
    型号
    Model
    类型
    Type
    测距范围
    Measurement range/m
    扫描速率
    Scanning rate/Hz
    视场(水平×垂直)
    Field of view(horizontal×
    vertical)/(°)
    分辨率(水平×垂直)
    Resolution(horizontal×
    vertical)/(°)
    波长
    Wave length/nm
    产地
    Location
    Hesai Pandar40P 机械式 0.3~200 20 360×40 0.2×0.33 905 中国
    Hesai Pandar128 机械式 0.3~200 20 360×40 0.1×0.125 905 中国
    Ouster OS2 机械式 0.8~350 20 360×22.5 0.01×0.01 865 美国
    Velodyne VLS-128 机械式 ≤245 20 360×40 0.4×0.11 903 美国
    Innoviz InnovizPro MEMS 2.1~135 16 72×18.5 0.18×0.4 905 以色列
    RoboSense M1 MEMS 0.5~200 10 120×25 0.2×0.2 905 中国
    Quanergy S3-2NSI-S00 OPA 0.5~20 25 50×4 0.1×0.1 905 美国
    XenoLidar Xact Flash ≤50 20 60×20 0.3×0.3 905 比利时
    下载: 导出CSV 
    | 显示表格

    激光雷达采用相对较高的频率提供大量精确的距离信息,且能够全天候作业,在测绘[35]、地球科学[36]、农业机器人[37]等领域得到了广泛的应用。其主要缺点是无法感知环境的颜色和纹理信息,从而导致从复杂的环境背景中分割出三维目标变的非常困难。此外,激光雷达的远距离数据稀疏,且其性能易受雨、雪等恶劣天气的影响,大气条件的变化可能会显著降低其测量精度和可靠性。

    毫米波雷达(millimeter-wave radar,MMW Radar)成本低、体积小,最早被用于机场交通管制和海上导航。随着硬件设备的进步和算法的改进,毫米波雷达在无人系统中的应用越来越广泛。市场上现有的商用毫米波雷达工作频率通常为24 、60 、77 和79 GHz。与79 GHz毫米波雷达传感器相比,24 GHz毫米波雷达传感器的距离、速度和角度分辨率更有限,导致在识别和应对多种危险方面存在问题,在未来将逐步被淘汰[38]。与视觉传感器和激光雷达相比,毫米波雷达波长更长,对雾、烟、尘等恶劣气象条件的穿透能力相对较强,不仅可以获得多个目标的精确距离,还可以通过多普勒频移效应测量相对速度,在地面无人机动平台中得到了广泛的应用。然而,毫米波雷达也存在一些缺点,如镜面效应和有限分辨率,无法提取目标特征用于分类和场景理解[39]。在农业环境中,毫米波雷达通常与视觉系统融合进行环境感知[40]

    超声波雷达通常被作为辅助传感器用于环境感知。超声波雷达由发射器、接收器以及控制单元构成,按工作原理可分为压电式、磁致伸缩式、电磁式等,其中压电式最为常用。超声波雷达适用于短距离、低速测量场景,感知范围约为0.15~5.00 m,精度约为0.1~0.5 m,易受环境噪音、障碍物表面类型等因素影响,且只能得到被测物体的距离,无法确定物体的准确方向,也无法判断被测对象的类型和数量,指向性不足是超声波测距的最大缺点[28]。鉴于农田环境复杂,超声波雷达在农业环境感知中的应用较少[41]

    GNSS是一种包括一个或多个卫星星座,并在地球表面或近地空间的任何地点向用户提供全天候的三维位置、速度和时间信息的天基无线电定位系统[42]。目前,GNSS系统主要包括美国GPS、俄罗斯GLONASS、欧盟Galileo和中国北斗卫星导航系统BDS。尽管有如此多的星座系统,卫星导航定位也存在一些局限性,如易受恶劣天气、信号中断等因素影响[43]。20世纪90年代,为消除美国GPS系统选择可用性(selective availability,SA)政策影响,学者们提出了差分全球定位系统(differential global position system,DGPS)。DGPS以伪距为主要观测量,只能实现米级至分米级增强定位精度,难以满足测绘、精准农业等高精度领域厘米甚至毫米级定位精度要求[44]。因此,实时动态载波相位差分技术(real-time kinematic,RTK)应运而生,能够在野外实时获得厘米级定位精度。农业场景多采用RTK技术进行农机导航定位。

    INS具有很强的独立性和可靠性,在短时间内具有较高的精度,但随着INS的逐渐漂移,误差开始累积。鉴于单一导航定位系统都有各自的局限性,组合导航成为研究热点[45]。GNSS和INS的结合是一项具有广阔前景的技术,目前正在发展之中。实际应用中,需要根据不同场景进行组合配置,以达到最佳的环境感知效果。

    无人农机使用GNSS系统实时获取位置,并按预先规划路径完成作业任务,但受环境结构变化、动静态障碍物阻挡等因素影响,使得GNSS系统在农田环境中无法提供稳健可靠的导航信息[46-48]。NAGASAKA等[49]利用RTK和光纤陀螺仪(fiber optic gyroscope,FOG),研制了一种自动六行水稻插秧机,能够满足水稻插秧作业精度,但对于水稻插秧后,在作物行间驾驶车辆进行喷药和机械除草作业来说不够精确。张京等[50]提出了一种GNSS/INS航向信息融合策略,可为导航系统在实际田间作业情况下的抗环境扰动能力提供服务。以上研究人员均专注于在无障碍物的农田环境中进行路径规划。然而,在实际应用中,为了避开障碍物,尤其是人员、牲畜等活动障碍物,需要无人农机具备实时感知周围环境的能力,利用颜色、纹理和三维结构等信息判断可通过性,实现自主作业。

    无人农机要实现在无人干预的情况下安全、高效地运行,必须进行实时的障碍物检测和规避。视觉传感器具有成本低、易安装、适用性广、算法成熟等优点,但是纯视觉方案在照明条件差或存在灰尘、烟雾等情况下往往会检测失败或出错,而这些情况在农业环境中较为常见,因此视觉传感器应与其他传感器相结合,以保证在不同场景中得到可靠的障碍物检测结果。

    基于视觉的障碍物感知技术是目标检测技术在智能机器人和自动驾驶领域的应用拓展,其主要利用计算机视觉和机器学习等技术手段,从图像或视频中自动检测障碍物,然后采用视差计算或主动式视觉传感器直接获取图像深度信息,以确定障碍物相对于农机的位置。障碍物检测算法可分为基于运动和基于图像特征的2类。

    基于运动的障碍物检测算法通过分析视频中物体的速度、加速度、方向和轨迹来检测目标[51],主要方法有背景减除法、帧差法和光流法等。其中,背景减除法是一种广泛使用的从静态摄像头的视频中检测运动物体的方法。无人农机作业环境背景复杂,且随无人农机运动发生变化,仅使用背景减除法不能得到很好的障碍物检测效果。针对相机移动导致背景变化的问题,OH等[52]将视频帧划分为网格窗口,并使用基于网格窗口的Kanade-Lucas-Tomasi光流跟踪器[53]来跟踪每个窗口的仿射变换,然后采用帧差法从仿射变换补偿后的窗口中检测运动物体,试验结果表明,该方法的检测率为85.26%。XU等[54]提出了一种农机运动状态下基于全景视觉和Lucas-Kanade光流算法的动态障碍物检测方法,总体准确率为82.93%。以上方法不需要障碍物的先验知识,但是无法检测静态障碍物。与以上主要检测动态障碍物方法不同,CAMPOS等[55]提出了一种在农业场景中静态和动态障碍物检测相结合的方法,该方法不需要任何训练过程,而是对视频序列进行时空分析,利用时间信息捕获物体的运动,从而从图像背景中提取障碍物区域,区分静态障碍物和非静态障碍物。在运动障碍物检测的性能方面,该方法分别在4种不同场景下与背景减除法、帧差法和光流法进行了试验对比,基于该方法的平均运动检测成功率为81.24%,远高于其他几种方法。

    基于图像特征的障碍物检测算法通过分析图像中物体的颜色、边缘、形态等静态特征来检测目标。随着机器学习技术的发展,基于图像特征的算法经历了从早期手工设计特征到深度学习自动提取特征的重大转变,并呈现从单一任务向多任务联合处理的明显趋势。

    在早期的研究工作中,由于缺乏有效的图像表示方法,大多数目标检测算法都是基于人工设计的特征构建的。如方向梯度直方图(histogram of oriented gradients,HOG)检测器[56]、形变部件模型[57](deformable part-based model,DPM)等。算法性能很大程度上依赖于所使用的人工设计特征的质量。OLLIS等[58]将传统目标检测方法应用于自动收割机作业环境中的障碍物检测。随着手工特征的性能趋于饱和,目标检测的研究在2010年后进入瓶颈期[59]。在2012年的ImageNet挑战赛中,深度卷积神经网络模型AlexNet[60]以显著的优势赢得比赛,这一里程碑事件不仅标志着深度学习技术的崛起,同时也预示着卷积神经网络(convolutional neural network,CNN)的复兴。2014年,GIRSHICK等[61]将CNN引入目标检测和语义分割任务,并提出了目标检测算法R-CNN(regions with CNN features),使目标检测精度得到了显著提升,同时对后续的语义分割研究产生了深远影响。随后,LONG等[62]于2015年提出语义分割算法全卷积网络(full convolutional network,FCN),其核心思想是将CNN中的全连接层替换为卷积层,从而实现端到端的像素级预测。自此,基于深度学习的目标检测和语义分割模型迅速迭代升级,深度学习也成为障碍物检测的主流方法。

    近年来,Transformer模型[63]在自然语言处理领域取得显著成功,并表现出强大的特征提取和全局建模能力,许多研究人员开始探索将Transformer引入视觉处理任务中。CARION等[64]提出了基于Transformer的目标检模型DETR(detection transformer),ZHENG等[65]提出基于Transformer的语义分割模型SETR(segmentation transformer),随后又迅速出现众多升级和改进模型。Transformer的自注意力机制全局地考虑图像上下文之间的关系,使其在处理复杂场景和多个目标时具有优秀的性能。但是,基于Transformer架构的模型在计算资源和时间需求上相对较高,对于个人或小型实验室来说,训练和部署这些模型可能是一个具有挑战性的任务。

    深度学习模型能够自动从原始图像中提取多层次特征,有效处理复杂场景中的遮挡、光照变化等问题,在无人农机作业环境的障碍物检测中得到了广泛地应用。魏建胜等[66]基于改进的YOLOv3模型[67],设计了一套农业车辆双目视觉障碍物感知系统,动态场景下系统对障碍物深度估计的平均误差比为4.66%,平均耗时0.573 s,可为农业机械的自主导航提供有效的环境感知依据。XUE等[68]提出了一种改进的YOLOv5s算法用于提高多类型农田障碍物的实时检测性能,单幅图像的推理时间减少了75%,平均精度均值(mean average precision,mAP)较改进前的算法提高了5.8%。QIU等[69]结合改进的深度学习模型YOLOv3和Deep SORT[70](deep simple online and realtime tracking),利用RGB图像对稻田中的障碍物进行检测和跟踪,检测结果的平均交并比(mean intersection over union,mIoU)为0.779,检测和跟踪的平均处理速度为5~7帧/s。LI等[71]提出了一种水稻联合收割机障碍物检测算法,通过将网络裁剪方法[72]应用于图像级联网络(image cascade network,ICNet)[73]得到的语义分割算法来检测障碍物,在Jetson Xavier平台上,平均处理速度为32.2帧/s,平均防碰撞成功率为96.6%。SKOCZEŃ等[74]提出了一种基于RGB-D相机的割草机器人障碍物检测与建图系统,语义分割任务选择的模型架构为DeepLab v3+[75],使用预训练的ResNet-34[76]作为特征提取器,将RGB图像上获取的环境语义掩码与深度图像结合,在2D占用栅格上投影障碍物,随后使用导航算法进行避障规划,在各种光照条件下的真实图像的测试表明,检测障碍物的准确率达到95.2%。

    以上方法都利用了手工标注数据集对模型进行训练,而针对环境中可能出现的未知障碍物,CHRISTIANSEN等[77]结合深度学习和背景减除法进行草地场景下的异常检测,该方法较好的检测到远距离、严重遮挡和未知的障碍物。表3列出了各类基于视觉的障碍物检测方法及其优缺点。

    表  3  基于视觉的障碍物检测方法
    Table  3.  Vison-based obstacle detection methods
    方法
    Methods
    基本原理
    Rationale
    优点
    Advantage
    缺点
    Disadvantage
    参考文献
    Reference
    背景减除法
    Background subtraction
    通过比较当前帧与背景模型的差异检测动态障碍物 能够有效分离前景物体;
    适用于静态或缓慢变化的背景
    未考虑像素之间的空间相关性;
    易受光照突变、阴影等影响;
    背景图像模型构建时间较长
    [78-79]
    帧差法
    Frame differencing
    通过比较两帧之间的差异检测动态障碍物 实时性好;对光照和噪声具有较强的鲁棒性;易于发现细节变化 对抖动敏感;对两帧时间间隔要求较高;需要选择合适的阈值 [80-82]
    光流法
    Optical flow
    根据物体运动引起的图像光流场变化检测动态障碍物 能够在动态环境中跟踪和检测运动物体;
    可以提供大范围的运动场信息;
    提供对图像或视频中目标运动的深入理解
    对光照、阴影和噪声敏感;
    对于缓慢运动或稀疏场景的估计精度较低;
    耗时较长
    [54,83-84]
    传统机器学习
    Classical machine learning
    手工设计特征并使用分类器实现障碍物检测 计算资源需求较低;
    模型简单,易于理解和实现
    特征提取依赖于手工设计,缺乏自适应性;
    对于复杂场景和形变目标的检测效果有限;
    通常需要复杂的预处理和后处理步骤;
    泛化能力有限
    [56-57]
    深度学习
    Deep learning
    从数据中自动学习模式并进行预测和决策 准确性高;
    自动学习和提取有用信息并进行预测和决策;
    可以处理高维度的复杂数据;
    对复杂环境的适应性强
    对缺失数据处理困难;
    需要大量数据和计算资源;
    需要选择合适的算法和参数
    [69,71,74]
    下载: 导出CSV 
    | 显示表格

    视觉传感器为障碍物检测提供了丰富的信息来源,研究人员基于视觉的障碍物检测研究工作也非常广泛。但是,无人农机作业环境的动态变化及多样性,使用多模态感知数据融合策略以得到稳定的环境感知信息显得尤为重要。

    鉴于无人农机作业过程中可能遇到各种情况,没有任何一种传感器能够保证在每种场景下都能得到可靠的检测结果。许多学者致力于开发多传感器感知系统以提高环境感知能力[85]。多传感器融合的障碍物检测系统架构如图3所示,共由4个独立单元组成:数据获取单元、数据预处理单元、融合单元和决策单元[86]。其中,融合单元可按不同的融合层次进行分类,即原始数据级、特征级、决策级。原始数据级融合直接对传感器采集的数据进行融合,通常采用直接融合法和加权融合法。特征级融合先对每个传感器的数据进行特征提取,再将特征进行匹配和关联,以及将相似的特征进行聚类,从而减少数据量并提高融合效率。决策级融合在每个传感器独立做出决策的基础上,对决策结果进行融合,具有较高的鲁棒性和实时性,但容易受到个别传感器误报的影响。原始数据级融合和特征级融合为先验融合,决策级融合则为后验融合[15]。决策单元根据融合单元的输出信息,为障碍物检测任务筛选可靠的结果,最后将障碍物信息(位置、标签、大小、速度、航向等)传递给自动化系统的其他模块,如路径规划或控制模块。

    图  3  多传感器融合障碍物检测系统架构[86]
    Figure  3.  Architecture of multi-sensor fusion obstacle detection system[86]

    SUVEI等[7]提出了一种基于激光雷达和立体视觉的先验融合方法,用来检测农业场景中的人和其它目标。该方法通过限制视差搜索区间,利用激光雷达提供的深度信息来指导立体匹配过程,改进了局部立体匹配算法。其优点是生成了融合的稠密点云,可以用于更准确地检测场景中的突出障碍物。图4为场景中的语义分割和障碍物检测结果。该方法能够准确地检测出融合点云中的人和树木,并对其进行区分。

    图  4  障碍物的分割与检测[7]
    Figure  4.  Segmentation and detection of obstacles[7]

    KORTHALS等[87]提出了一种面向农业领域过程评价的多模态障碍物检测与识别方法,分别给出了激光雷达、毫米波雷达、立体视觉和热像仪的检测算法,并将来自以上传感器的检测信息进行后验融合后映射到语义占据栅格地图(semantical occupancy grid map,SOGM),用于通行性评估和路径规划。REINA等[15]设计了3种传感器组合模式:立体视觉-激光雷达、立体视觉-毫米波雷达、立体视觉-热像仪。该研究表明,视觉传感器可以通过在相对较高的频率下产生稠密的地图来克服激光雷达存在的数据稀疏和低采集频率等问题,而激光雷达可以帮助解决视觉传感器在环境光照条件差和目标缺乏纹理时导致的重建误差。

    LV等[88]设计了毫米波雷达和单目视觉传感器信息的决策级融合算法,并采用全局最近邻方法进行数据关联,将成功关联的有效目标序列进行加权输出,对于未关联的序列,使用扩展卡尔曼滤波算法(extended kalman filter,EKF)进行跟踪,障碍物检测精度达到95.16%。KRAGH等[89]提出了基于条件随机场(conditional random field,CRF)融合视觉和激光雷达的多模态障碍物检测方法,融合算法的图示概述如图5所示。首先,同步获得图像和激光雷达点云数据,分别对图像和点云进行特征提取、分割和初始分类,为每个类别生成热力图,然后将点云的三维片段投影到2D图像上,最后利用定位系统,通过连接当前帧和前一帧,在CRF中引入时序边(temporal edges),将两个模态的数据在空间和时间上进行融合。该方法证明了使用概率融合激光雷达和视觉传感器,与单独应用每个传感器相比,可以减少不确定性。朱株[90]针对植被散布环境,将激光雷达与RGB相机数据进行融合,并进行稀疏深度指导的超像素分割,提高了分类的准确性并增加了远距离物体分类的鲁棒性。

    图  5  融合算法的图示概述[89]
    Figure  5.  Schematic overview of fusion algorithm[89]

    从以往研究工作中可以看出,多传感器融合技术主要通过冗余和互补信息增强感知系统的可靠性和准确性。冗余融合旨在通过对数据进行识别和关联,更新融合信息的置信度,从而提高测量值的精度,降低数据的不确定性;互补信息则可以分为两类,一类是对同一视场使用不同的物理测量值,如范围、颜色、温度等,另一类是利用不同视场的互补信息,丰富对周围环境的表征[86]。多传感融合的障碍物检测是一个复杂的过程,需要根据具体的应用场景选择和优化融合方法。

    作物行检测是实现无人农机自动导航和精确定位的关键步骤之一[91]。无人农机通过检测作物行跟踪农机行进方向以及相对于作物行的横向偏移量,完成自动除草、施肥等作业,提高农业生产效率和经济效益[92]。作物行检测面临诸多难题:在作物生长初期,由于植株过小而难以识别;在作物生长中后期则因植株过大而无法明显分开作物行;此外,行间杂草可能被错误识别为农作物[93]。早期的作物行检测基于颜色分割方法从图像中提取作物区域[94]。近年来,国内外学者对作物行检测进行了大量研究,根据检测原理,可分为基于图像和基于三维结构两种主要方法。

    基于图像的作物行检测是通过分析图像中的颜色、形状、纹理等特征识别和跟踪作物行。Hough变换[95]是最常用的基于图像的作物行检测方法之一。BAKKER等[96]提出了一种基于灰度Hough变换的作物行识别方法,对智能融合后的图像进行作物行识别,提高了图像处理速度。然而,Hough变换等直线拟合方法对农田复杂环境不具有鲁棒性,且容易提取到错误直线。WINTERHALTER等[97]使用Hough变换和随机抽样一致性算法(random sample consensus,RANSAC)检测作物行,并将检测算法提供的位姿信息与GNSS信息进行融合,识别作物行末端,以决定行的切换。对于作物行与背景反差较小的田块,例如存在阴影或杂草,基于特定颜色的二值分割算法不再适用。针对二值分割困难的场景,SØGAARD等[98]通过加权线性回归估计作物行中心线方向和横向偏移,取消分割步骤,从而减少图像处理的计算量,根据作物长势,检测精度为±6~±12 mm。ENGLISH等[99]在地块平坦、作物行近似平行的大田环境中,使用惯性测量单元(inertial measurement unit,IMU)估计相机姿态并构建作物行的俯视图,通过分析俯视图中的平行纹理方向估计车辆相对于作物行的航向,该方法无需对图像进行二值分割,适用于外观变化较大的农田环境。以上研究均是在针对特定情况提出的解决方案,应用于其他条件时存在一定的局限性。

    随着机器学习在农业中的应用,许多学者致力于通过大量的训练数据来学习作物行的特征,从而实现作物行检测。ADHIKARI等[100]提出了一种基于深度学习的水稻行检测方法,能够准确地检测不同田间条件和不同视角的作物行,用于训练的数据集引入语义图的概念来简化图像标注(如图6),利用简单的图形草图对图像进行标注,使其比复杂场景的语义分割更加节省人力。不过,训练数据集只有350张图像,无法覆盖稻田中的所有场景,模型的泛化能力受到限制。

    图  6  稻田作物行语义图形标注[100]
    Figure  6.  Semantic graphic annotation of paddy lines[100]

    DE SILVA等[101]创建了一个包括多个生长阶段、光照水平、不同杂草密度、弯曲和不连续的甜菜作物行图像数据集,并提出了一种甜菜作物行检测方法,在检测图像中的平均角度误差约为1.65°,平均位移误差为11.99像素。BAH等[102]提出了一种结合CNN和Hough变换的方法,用于提取无人机影像中的作物行,该方法具有更高的准确性和适用性,可以适用于不同场景和作物,并具有强大的学习和自适应能力。HE等[103]针对水稻苗行提取存在特征信息单一的问题,提出了一种基于高斯热图水稻苗行识别方法,利用高斯热图引导CNN模型学习水稻秧苗行的分布特征,将水稻苗行识别问题转化为对水稻苗行中连续分布特征点的识别,准确率最高达到94.36%,识别速度达到22帧/s。王姗姗等[104]采用基于Faster R-CNN[105]的秧苗检测模型获得水稻秧苗的特征点,然后基于特征点邻域Hough变换的水稻秧苗行检测方法,平均检测准确率达到92%。基于机器学习的方法需要大量标注数据进行训练和测试,对于一些复杂场景下的作物行检测,准确性和稳定性尚还有待提高。随着深度学习和计算机视觉技术的不断发展,基于图像的作物行检测技术将会更加成熟和完善。

    基于三维结构的作物行检测主要依赖于作物行与地面的明显高度差,因此在苗期并不适用[99]。该方法所使用的主要传感器为激光雷达和立体相机。ZHANG等[106]针对作物生长的中后期,提出了一种基于激光雷达的作物行检测算法,采用K-means算法对点云进行聚类分析,并利用最小二乘法对玉米行中心线进行拟合。张凯良等[107]设计了一套基于激光雷达的玉米收获机自动对行环境感知系统,自动对行试验的偏差均值为0.146 m。贺静等[108]融合视觉和激光雷达信息快速识别水稻行,并进行水稻行跟踪导航控制,导航试验横向偏差为43.03 mm,航向偏差标准差为3.38°。KISE等[109]开发了一种基于立体视觉的作物行检测算法,用于农机导航。首先从作物行的立体视觉图像中重建三维作物高程图(如图7),然后从高程图中搜索最佳导航点。

    图  7  立体视觉生成高程图[109]
    Figure  7.  Stereo vision generated elevation map[109]

    GAI等[110]利用深度相机进行作物行检测与建图,用于林下导航。该系统在玉米田和高粱田的作物行定位平均绝对误差为3.4 和3.6 cm。翟志强等[111]提出了一种基于双目视觉和自适应卡尔曼滤波技术的作物行识别与跟踪方法,识别正确率约为92.36%,平均识别速度约为80.25 ms/帧。基于三维结构的作物行检测准确性高、适用范围广,同时也面临诸多困难,如传感器成本高、算法复杂、消耗计算资源等。

    农田往往被田埂、沟渠、道路等线性元素所分割,无人农机作业时,需要根据感知到的边界信息来判断转向时机以保证作业安全。同时,农田间的路网分布和地势高低起伏影响着农机作业效率。因此,快速获取农田边界信息和高程信息,是保证无人农机有序展开作业的基本要求。

    田间边界检测对无人农机转向策略的制定至关重要。通过准确识别农田边界,可以确保农机在正确的位置进行播种、施肥和收割等作业,而在很多国家和地区,尚缺乏田块边界的基础数据[112],农田边界的自动化检测成为一项具有挑战性的任务。特别是尺寸较小、形状不规则、使用混作系统的田块,边界往往比较模糊。

    基于视觉的边界检测往往受限于样本数据的缺乏,而支持向量机(support vector machine,SVM)[113]在解决小样本、非线性和高维的回归与分类问题上有许多优势。蔡道清等[114]采用SVM分类算法对水田图像进行分割,然后通过Hough变换提取田埂边界,在Jetson TX2平台上运行时间在0.8秒以内,可以满足水田直播机的实时性要求,但算法的泛化性能有待提高。洪梓嘉等[115]基于双目视觉立体匹配得到的点云,采取自适应阈值点云提取和干扰消除等操作,实现了田埂边界的识别。然后校正计算平均边界距离,可以实现种植前期农田的边界距离检测,对前方5~10 m的田埂识别率达到99%,对于行驶速度小于1.5 m/s的农机可以满足自主作业的边界检测要求,但对于种植中后期,部分农田作物高度超过田埂的情况,此算法将不再适用。王侨等[116]依据农田内外像素灰度的跳变特征,获得农机在当前地头处安全转向的边界线,地头边界线检测准确率不低于92%,该研究成果可为农机在地头处自主转弯提供地头感知信息,但该方法只适用于农田内外具有灰度跳变特性且田内匀质分布的场景。

    由于不断变化的室外光照条件,容易破坏田块内外的对比度,且手工提取的特征缺乏鲁棒性,使传统的图像处理技术识别农田边界的性能受到了限制。而基于深度学习的方法在图像分割中的强大性能,使其在地头分割和边界提取方面表现出强大的潜力。其中,FCN[62]架构被使用的较多。U-Net[117]是其中一类FCN,已经被广泛应用于农田边界检测。HE等[10]提出一种监督学习的方法,将水田边界线检测方法分为耕地区域分割和边界检测两个步骤,耕地区域分割优化了U-Net反向残差块并增加空洞卷积,边界检测基于帧相关和RANSAC的多边界检测方法,农田分割的平均交并比为0.908,边界检测的平均角度误差为0.865°,检测速度为8帧/s,可有效引导农机行进和转向,不过基于监督学习的方法需要大量人工标注数据完成模型训练,在其他场景中的适用性有限。LI等[118]使用RGB-D相机获取田块地头的连续影像数据,构建基于CNN和循环神经网络(recurrent neural network,RNN)的深度学习网络进行地头语义分割,然后使用基于距离的边界点聚类算法从分割结果中提取边界,在分辨率为256×144的图像上检测直线与地面真值线的平均偏差为3.67个像素,可作为制定农机转向路径的参考,检测速度为25.8帧/s,满足现场作业的实时性要求,但也同样面临数据集不足导致的适用性问题。

    鉴于农机视角的局限性,可以借助航天、航空遥感技术高效识别农田边界和路网信息,并作为基础数据为无人农机的边界感知提供参考。CHENG等[119]融合空间和时间特征,利用卫星影像提取农田边界和田间道路,该方法不易产生过分割现象,适合作物田块分布零散的发展中国家。JONG等[120]提出使用对抗训练改进现有的深度学习架构,用于从卫星图像中自动提取农田边界,通过在传统的生成对抗网络(generative adversarial network,GAN)[121]设置中,将ResU-Net模型[122]作为生成器进行训练,提高模型提取农田边界的质量。CROMMELINCK等[123]研究了计算机视觉领域中的全局化边界概率(globalized probability of boundary,gPb)[124]轮廓检测方法在无人机地籍测绘中的可移植性,该方法只适合轮廓清晰可见的区域,可用于农田边界的初始定位。CROMMELINCK等[125]在随后的研究中,使用了CNN进行农田边界线分类,使提取农田边界的准确性和自动化水平得到较大提升。BOROWIEC等[126]使用机载激光雷达获取的点云数据,在两块试验区域分别采用主成分分析和Hough变换进行农田边界识别。

    大部分农田的不规则形状增加了边界感知的难度,也限制了农业生产效率,将不规则、面积较小的农田合并整理为规则的矩形排列,积极探索农机和农艺融合的农业生产方式将有助于提高无人农机的边界感知水平。

    近年来,农田的不平整性越来越受到人们的关注,耕作层以下的底层轮廓对农机驱动和作业质量产生较大影响,不平整的土地会降低农机的工作质量和使用寿命。地面特性影响无人农机定位、移动状态以及任务执行。特别是拖拉机驱动的水田底层坑沟深度不一,导致拖拉机姿态频繁变化,影响拖拉机的行驶精度和机具的作业精度,制约了智能农业机械的推广和应用[127]。为实现无人农机的智能化作业,迫切需要获取农田底层轮廓信息,构建真实的农田数字高程模型。

    ROVIRA-MÁS等[26]利用立体相机、RTK、FOG构建农田三维地图用于拖拉机的自动导航。YANDUW等[128]使用ToF相机进行地形分类,以增强农机的通过性。胡炼等[129]采用激光技术和GPS技术获取平地机平整前后农田泥面高程的标准偏差值。杜蒙蒙等[130]利用无人机机载激光雷达进行农田地形测绘试验,检测点的高程测量精度为0.052 m。上述研究工作只关注农田表面地形,而未建立耕作层与底层的联系。为了测量稻田硬底层不平整度,ZHAO等[131]基于车辆振动响应和GNSS高程定位信息采集了稻田底层不平整度信息,可为无人农机的土壤结构监测、自适应控制器开发提供研究基础。朱思洪等[132]使用水准仪测量了在一定压力下附着在稻田起伏底层的轮胎的高程变化,为面向水田作业的拖拉机振动研究提供了路面参考模型。TU等[133]使用后桥无减震悬架的农机作为采集平台,结合GNSS和姿态航向参考系统(attitude and heading reference system,AHRS)采集稻田底层轮廓点集并基于Delaunay三角剖分原理,建立了稻田底层轮廓的数字模型,如图8所示,为了获得更均匀的稻田底层轮廓并减少计算量,对相邻点之间距离为1m的密集点集进行了等距均匀稀释。

    图  8  硬质基底轮廓[133]
    Figure  8.  Hard substrate profile[133]

    快速勘测农田地形和监测水田底层变化,对智能、准确、高效地无人农机作业具有重要意义。无人农机需要理解周围地形信息,以便采取适当的引导和控制。

    随着计算机视觉、机器学习等领域的快速发展,特别是深度学习在各种应用中的突出性能,极大地推动了无人农机环境感知技术的进步。使用搭载导航定位和环境感知系统的智能农机进行农业生产,已经成为一种新的主流趋势。尽管农机无人作业环境信息感知技术发展迅猛,但也仍面临一些亟待解决的问题。以下从四个方面分别讨论无人农机作业环境感知技术面临的挑战以及可能的发展方向。

    识别精度和响应速度是衡量无人农机环境感知性能优劣的两个核心指标。在识别精度方面,主要基于视觉、激光雷达、毫米波雷达等传感器,在不同的光照条件和天气状况下,对农田中的障碍物、作物行、地形变化等进行精确的识别。在响应速度方面,要求感知系统不仅要拥有强大的硬件配置,还要有优化的软件算法,通过对数据流进行实时处理,能够迅速做出判断并发出指令,使无人农机在毫秒级别内完成避障、路径重新规划等动作。

    总体来说,环境感知系统在识别精度和响应速度方面已经取得了一些成效,但在实际应用中仍存在一定的挑战:

    1)农田环境随时间动态变化,多变的光照(强光、弱光、阴影)和天气状况(气温、雨、雾、雪等)以及复杂的背景,特别是遮挡(作物、灰尘等)的存在,严重影响了环境感知精度;

    2)地形起伏、农机振动,将影响传感器的校准精度,且容易导致传感器扫描视场方向变化,当无人农机上下颠簸时,扫描视场可能指向天空或撞向地面,导致检测出现较大盲区;

    3)移动障碍物速度过快或障碍物过小也将导致检测失败,且当目标过多时,计算负载加大,也可能导致延迟增加;

    4)无人农机作业过程中易产生扬尘,使传感器表面保持清洁也面临较大挑战,特别是激光雷达传感器表面被污染后,将产生大量虚假信号;

    5)农田地形和作物种植不规则,增加了环境感知的复杂性。

    针对以上影响感知性能的突出问题,为确保农机在无人干预的情况下具有适当的安全水平,在感知系统设计时,应根据无人农机作业情况设定可接受的感知故障持续时间阈值,当超过该阈值时,向农机制动系统发出指令,进入规定的安全状态。安全状态参数包括:最大允许行进速度、警告和危险区域的范围等。鉴于农机视角的局限性,使其无法快速感知大范围环境信息,而借助航天、航空遥感技术可高效识别农田静态要素信息。特别是利用无人机空中视角带来的大范围环境感知能力,协助地面农机快速构建环境模型,将极大的提高地面农机在未知环境中实时建图与导航能力[134]。此外,积极探索农机和农艺融合的农业生产方式,降低作业环境的复杂性,有助于提高无人农机的环境感知精度,减少不确定性。

    深度学习作为机器学习的一个重要分支,解决了许多传统机器学习方法不能解决的问题,同时也被广泛的应用于农业环境感知任务。而环境感知技术的进步往往不是受限于算法,而是受限于数据[135],质量较差的训练数据可能导致模型推理错误或失败,而从所有可能的农业场景中标注数据几乎无法实现。KURTSER等[136]对农机作业环境感知数据集进行了全面调查,并深入评估了这些数据集与利用这些数据集的算法之间的关联。这一工作有助于研究人员更精准地选择适合的数据集,从而开发出高效的农机作业环境感知应用。PEZZEMENTI等[137]介绍了一个用于苹果园和橙树林中人体检测的大规模数据集,解决了遮挡和非标准姿态的问题。PONNAMBALAM等[138]使用RGB相机和Realsense D435深度相机获取草莓园的影像,并使用开源标注工具Labelme进行标注,如图9所示。ZUJEVS等[23]设计了一个数据采集平台,包括动态视觉传感器(dynamic vision sensor,DVS)、激光雷达、深度相机以及环境监测传感器。该数据集主要针对视觉里程计任务进行设计,同时也包含了闭环信息,以便应用于基于事件的视觉同步定位与建图(visual simultaneous localization and mapping,VSLAM)。KRAGH等[139]提出了用于农业环境障碍物检测的多模态数据集。并融合GNSS和IMU实现精确定位定姿,所有动、静态障碍物都有真值标签和地理坐标。

    图  9  数据集图像与标注图像[138]
    Figure  9.  Image and annotated image of dataset[138]

    尽管数据集的数量不断增加,但为农业应用提供的公开数据集仍然相对较少,并且目前农业领域尚缺乏可以作为基准的开放数据集,这使得研究人员无法对不同算法进行公平的比较和评估,还可能导致一些潜在的有效方法被忽视,增加了深度学习技术在农业环境感知领域应用的难度和不确定性。而基于KITTI[140]、Cityscapes[141]和MS COCO[142]等公开数据集训练的深度学习模型在复杂的农业环境中的使用效果不佳[137]。因此,需要进一步推进农业环境基准数据集的建设和共享,包括收集多样化农业环境数据,建立统一的数据标注和格式标准等。此外,小样本学习[143](few shot learning,FSL)作为深度学习技术在近年来兴起的一个重要分支,能够在不遗忘先前学习样本的情况下,仅从少量已标记的样本中学习新的任务。尽管目前小样本学习在农业领域仍主要停留在理论探索层面[144],但其在未来具有巨大的应用潜力,有望克服深度学习模型对大规模训练数据的依赖。

    单一传感器受限于感知范围、信号特征、检测条件等,难以满足无人系统环境感知的需求,这促使了多源传感器数据融合和系统集成方法的开发[86,145-147]。环境感知系统的数据融合方法可分为三类:基于高斯滤波器的估计方法,如卡尔曼滤波、粒子滤波器等;基于概率推理方法,即贝叶斯定理;基于机器学习算法的人工智能方法[148]。自动驾驶领域中多传感器融合策略较多使用视觉传感器搭配毫米波雷达,该组合模式可在获取周围物体距离信息的同时获得较高的分辨率,且易于控制成本[85]。在无人农机作业环境感知中,传感器的选择需要权衡以下几个因素:感知范围、光照影响、恶劣大气环境下的穿透性、空间分辨率、价格等。表4为视觉传感器、激光雷达和毫米波雷达等主要环境感知传感器的性能。在实际应用中,可根据应用场景和传感器性能,选择一种或多种类型的传感器组合完成环境感知任务。

    表  4  常用传感器性能对比
    Table  4.  Comparison of the commonly sensors
    项目Items
    视觉
    Vision
    激光雷达
    LiDAR
    毫米波雷达
    Millimeter wave radar
    范围Range 中等 较远
    分辨率Resolution 中等
    深度准确性Depth accuracy 中等
    光照影响Illumination effect 较大
    穿透性Penetrability 中等
    价格Price 中等
    下载: 导出CSV 
    | 显示表格

    多源传感器数据融合在无人农机作业环境感知中得到了广泛应用,有效提升了导航精度和避障能力,但也面临诸多问题。

    1)数据协同与标准化问题。不同类型的传感器产生的数据格式、采样频率等各不相同,如何实现这些数据的统一处理与协同工作是一大挑战;缺乏统一的数据标准化规范,导致不同系统间的数据互通性受限,增加了融合的难度。

    2)环境适应性和安全性问题。农田中的非结构化特征,如作物高度、密度、行距等不断变化,要求传感器和融合算法具备高度的自适应能力。深度学习模型自动从大量数据中学习复杂的特征表示,能够很好的应对这一挑战,但它无法解释模型如何构建以及模型背后的含义[149]。鉴于深度学习算法的不透明性,在多传感器系统中使用深度网络模型的安全性也面临较大挑战。

    3)计算复杂度与实时性问题。随着传感器数量的增加,数据处理和融合的复杂度急剧上升,如何在保证融合效果的同时降低计算负担,满足实时性要求,是融合技术面临的重要挑战。

    多源传感器数据融合在无人农机环境感知中既面临着诸多挑战,但也展现出了广阔的发展前景。随着传感器融合算法的不断优化与创新,环境感知的准确性和可靠性将进一步提升;新型传感器将具有更高的分辨率、更广的探测范围、更强的抗干扰能力,将为多源传感器融合提供更优质的数据源;随着无人农机技术的普及和应用,无人农机作业环境感知数据的标准化与规范化将成为必然趋势,有助于实现不同系统间的数据互通与融合。此外,自动驾驶领域中的纯视觉环境感知方案也为无人农机环境感知技术的发展提供了有益的启示,其凭借精准的环境建模与高效的算法模型,仅依靠多个视觉传感器实现了卓越的导航与避障功能,证明了算法的优化比盲目追求传感器多样性更为重要。

    为高效利用环境感知数据,需要为环境感知系统设计一个规范的数据接口,明确接口的功能和用途,确定接口的输入和输出数据格式、数据字段及类型,以确保接口的可用性和稳定性。农业机械间数据传递标准化的需求早在20世纪80年代就被提出,首个标准由德国农业机械和拖拉机协会(LAV)制定并发布,即DIN 9684标准。国际标准化组织(ISO)在DIN 9684和美国汽车工程师协会(society of automotive engineers,SAE) J1936的基础上,自2007年发布ISO 11783标准(通常被称为ISOBUS)。近年来,工业界积极推广ISOBUS总线,出现了许多兼容ISOBUS总线的传感器和控制系统[150]。ISOBUS协议层次模型可分为应用层、网络层、数据链路层和物理层[151],充分考虑了农业森林机械的特点,使不同制造商的电子控制单元(electronic control units,ECU)能够相互通信,且基于CAN2.0B保证数据的实时性,现已成农机智能装备领域应用最广泛的现场总线技术。ISO 11783-11在线数据库为应用程序开发人员提供了参数组(parameter group)、地址(address)和身份分配(identity assignment)的最新清单,获取地址为:http://www.isobus.net/。

    国内农机主机厂采用GB/T 35381《农林拖拉机和机械 串行控制和通信数据网络》系列标准。为扩展无人农机环境感知数据的共享性能,应根据标准规范制定应用层协议。农机测控终端和远程监测管理平台数据协议较多采用JSON(javascript object notation)格式,主要对用户配置信息查询、定位、轨迹、作业图像及作业地块等信息进行了规范设计[152]。JSON易于编写和阅读且读写速度较XML(extensible markup language)更快。因此,环境感知数据可采用JSON格式输出,主要对感知目标类型、跟踪状态、活动状态、位置、检测置信度等信息进行规范设计,为无人农机安全作业奠定良好的数据基础。未来,相关国家标准制定和修订有待加强。

    环境感知是农机实现无人化作业的关键技术之一。本文深入探讨了不同感知方法的技术性能与特点,从障碍物感知、作物行感知、农田边界及高程信息感知等方面,系统总结了无人农机作业环境感知技术的研究进展,并对该研究领域所面临的挑战以及未来的发展趋势进行了较深入的分析。无人农机作业环境的复杂多变和非结构化特性,对感知系统的稳健性和实时性提出了更高的要求,需要在环境感知传感器性能提升、公共数据集拓展、多源传感器数据融合、数据规范化及统一接口标准等方面进行深入研究,在技术、方法上取得进一步突破,以推动无人农机环境感知技术的不断发展和完善,为农业生产智能化提供有力支撑。

  • 图  1   无人农机作业环境的典型要素

    Figure  1.   Typical elements of unmanned agricultural machinery operating environment

    图  2   多基线立体视觉平台[15]

    Figure  2.   Multi-baseline stereovision platform[15]

    图  3   多传感器融合障碍物检测系统架构[86]

    Figure  3.   Architecture of multi-sensor fusion obstacle detection system[86]

    图  4   障碍物的分割与检测[7]

    Figure  4.   Segmentation and detection of obstacles[7]

    图  5   融合算法的图示概述[89]

    Figure  5.   Schematic overview of fusion algorithm[89]

    图  6   稻田作物行语义图形标注[100]

    Figure  6.   Semantic graphic annotation of paddy lines[100]

    图  7   立体视觉生成高程图[109]

    Figure  7.   Stereo vision generated elevation map[109]

    图  8   硬质基底轮廓[133]

    Figure  8.   Hard substrate profile[133]

    图  9   数据集图像与标注图像[138]

    Figure  9.   Image and annotated image of dataset[138]

    表  1   各类商用深度相机技术规格

    Table  1   Technical specifications of various commercial depth cameras

    型号
    Model
    深度原理
    Depth principle
    深度范围
    Depth range/m
    测深精度
    Depth accuracy
    视场(水平×垂直)
    Field of view(horizontal×
    vertical)/(°)
    深度图分辨率@帧率
    Depth image resolution
    @Frame rate/帧·s−1
    上市年份
    Year of entry to market
    生产商
    Manufacturer
    产地
    Location
    Astra2 SL 0.6~8.0 ≤0.15%(4 m) 58×45 1600×1200@30
    640×480@30
    2023 Orbbec 中国
    ZED2i 立体视觉 0.3~20.0 <1%(3 m)
    <5%(15 m)
    110×70 2208×1242@15
    1920×1080@30
    1280×720@60
    662×376@100
    2021 Stereolabs 美国
    Realsense D435i AIRS 0.3~3.0 <2%(2 m) 87×58 1280×720@30 2019 Intel 美国
    Blaze101 ToF 0~10 ±5 mm(5 m) 67×51 640×480@30 2019 Balser 德国
    下载: 导出CSV

    表  2   各类商用激光雷达传感器技术规格

    Table  2   Technical specifications of various commercial LiDAR sensors

    型号
    Model
    类型
    Type
    测距范围
    Measurement range/m
    扫描速率
    Scanning rate/Hz
    视场(水平×垂直)
    Field of view(horizontal×
    vertical)/(°)
    分辨率(水平×垂直)
    Resolution(horizontal×
    vertical)/(°)
    波长
    Wave length/nm
    产地
    Location
    Hesai Pandar40P 机械式 0.3~200 20 360×40 0.2×0.33 905 中国
    Hesai Pandar128 机械式 0.3~200 20 360×40 0.1×0.125 905 中国
    Ouster OS2 机械式 0.8~350 20 360×22.5 0.01×0.01 865 美国
    Velodyne VLS-128 机械式 ≤245 20 360×40 0.4×0.11 903 美国
    Innoviz InnovizPro MEMS 2.1~135 16 72×18.5 0.18×0.4 905 以色列
    RoboSense M1 MEMS 0.5~200 10 120×25 0.2×0.2 905 中国
    Quanergy S3-2NSI-S00 OPA 0.5~20 25 50×4 0.1×0.1 905 美国
    XenoLidar Xact Flash ≤50 20 60×20 0.3×0.3 905 比利时
    下载: 导出CSV

    表  3   基于视觉的障碍物检测方法

    Table  3   Vison-based obstacle detection methods

    方法
    Methods
    基本原理
    Rationale
    优点
    Advantage
    缺点
    Disadvantage
    参考文献
    Reference
    背景减除法
    Background subtraction
    通过比较当前帧与背景模型的差异检测动态障碍物 能够有效分离前景物体;
    适用于静态或缓慢变化的背景
    未考虑像素之间的空间相关性;
    易受光照突变、阴影等影响;
    背景图像模型构建时间较长
    [78-79]
    帧差法
    Frame differencing
    通过比较两帧之间的差异检测动态障碍物 实时性好;对光照和噪声具有较强的鲁棒性;易于发现细节变化 对抖动敏感;对两帧时间间隔要求较高;需要选择合适的阈值 [80-82]
    光流法
    Optical flow
    根据物体运动引起的图像光流场变化检测动态障碍物 能够在动态环境中跟踪和检测运动物体;
    可以提供大范围的运动场信息;
    提供对图像或视频中目标运动的深入理解
    对光照、阴影和噪声敏感;
    对于缓慢运动或稀疏场景的估计精度较低;
    耗时较长
    [54,83-84]
    传统机器学习
    Classical machine learning
    手工设计特征并使用分类器实现障碍物检测 计算资源需求较低;
    模型简单,易于理解和实现
    特征提取依赖于手工设计,缺乏自适应性;
    对于复杂场景和形变目标的检测效果有限;
    通常需要复杂的预处理和后处理步骤;
    泛化能力有限
    [56-57]
    深度学习
    Deep learning
    从数据中自动学习模式并进行预测和决策 准确性高;
    自动学习和提取有用信息并进行预测和决策;
    可以处理高维度的复杂数据;
    对复杂环境的适应性强
    对缺失数据处理困难;
    需要大量数据和计算资源;
    需要选择合适的算法和参数
    [69,71,74]
    下载: 导出CSV

    表  4   常用传感器性能对比

    Table  4   Comparison of the commonly sensors

    项目Items
    视觉
    Vision
    激光雷达
    LiDAR
    毫米波雷达
    Millimeter wave radar
    范围Range 中等 较远
    分辨率Resolution 中等
    深度准确性Depth accuracy 中等
    光照影响Illumination effect 较大
    穿透性Penetrability 中等
    价格Price 中等
    下载: 导出CSV
  • [1] 罗锡文,廖娟,臧英,等. 我国农业生产的发展方向:从机械化到智慧化[J]. 中国工程科学,2022,24(1):46-54. doi: 10.15302/J-SSCAE-2022.01.005

    LUO Xinwen, LIAO Juan, ZANG Ying, et al. Developing from mechanized to smart agricultural production in China[J]. Strategic Study of CAE, 2022, 24(1): 46-54. (in Chinese with English abstract) doi: 10.15302/J-SSCAE-2022.01.005

    [2] 赵春江. 智慧农业发展现状及战略目标研究[J]. 智慧农业,2019,1(1):1-7.

    ZHAO Chunjiang. State-of-the-art and recommended developmental strategic objectives of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)

    [3] 刘成良,林洪振,李彦明,等. 农业装备智能控制技术研究现状与发展趋势分析[J]. 农业机械学报,2020,51(1):1-18.

    LIU Chengliang, LIN Hongzhen, LI Yanming, et al. Analysis on status and development trend of intelligent control technology for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(1): 1-18. (in Chinese with English abstract)

    [4]

    MUJKIC E, RAVN O, CHRISTIANSEN M P. Framework for environment perception: Ensemble method for vision-based scene understanding algorithms in agriculture.[J]. Frontiers in Robotics and AI, 2022, 9: 982581.

    [5]

    WANG T, CHEN B, ZHANG Z, et al. Applications of machine vision in agricultural robot navigation: A review[J]. Computers and Electronics in Agriculture, 2022, 198: 107085. doi: 10.1016/j.compag.2022.107085

    [6]

    COULIBALY S, KAMSU-FOGUEM B, KAMISSOKO D, et al. Deep learning for precision agriculture: A bibliometric analysis[J]. Intelligent Systems with Applications, 2022, 16: 200102. doi: 10.1016/j.iswa.2022.200102

    [7]

    SUVEI S-D, HAARSLEV F, BODENHAGEN L, et al. Stereo and lidar fusion based detection of humans and other obstacles in farming scenarios[C]//Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. Funchal, Madeira, Portugal: SciTePRESS, 2018, 4: 166-173.

    [8]

    WANG X, FU C, LI Z, et al. DeepFusionMOT: A 3D multi-object tracking framework based on camera-lidar fusion with deep association[J]. IEEE Robotics and Automation Letters, 2022, 7(3): 8260-8267. doi: 10.1109/LRA.2022.3187264

    [9]

    LYU H-K, YUN S, CHOI B. Machine learning feature extraction based on binary pixel quantification using low-resolution images for application of unmanned ground vehicles in apple orchards[J]. Agronomy, 2020, 10(12): 1926. doi: 10.3390/agronomy10121926

    [10]

    HE Y, ZHANG X, ZHANG Z, et al. Automated detection of boundary line in paddy field using MobileV2-UNet and RANSAC[J]. Computers and Electronics in Agriculture, 2022, 194: 106697. doi: 10.1016/j.compag.2022.106697

    [11]

    ZHU H, YUEN K V, MIHAYLOVA L, et al. Overview of environment perception for intelligent vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(10): 2584-2601. doi: 10.1109/TITS.2017.2658662

    [12] 龚健雅,季顺平. 从摄影测量到计算机视觉[J]. 武汉大学学报(信息科学版),2017,42(11):1518-1522,1615.

    GONG Jianya, JI Shunping. From photogrammetry to computer vision[J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1518-1522, 1615. (in Chinese with English abstract)

    [13]

    BAFTIU I, PAJAZITI A, CHEOK K C. Multi-mode surround view for ADAS vehicles[C]//2016 IEEE International Symposium on Robotics and Intelligent Sensors. Tokyo, Japan: IEEE, 2016: 190-193.

    [14]

    READING C, HARAKEH A, CHAE J, et al. Categorical depth distribution network for monocular 3D object detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE, 2021: 8551-8560.

    [15]

    REINA G, MILELLA A, ROUVEURE R, et al. Ambient awareness for agricultural robotic vehicles[J]. Biosystems Engineering, 2016, 146(SI): 114-132.

    [16]

    ZHANG Z. Microsoft Kinect sensor and its effect[J]. IEEE Multimedia, 2012, 19(2): 4-10. doi: 10.1109/MMUL.2012.24

    [17]

    TÖLGYESSY M, DEKAN M, CHOVANEC Ľ, et al. Evaluation of the Azure Kinect and its comparison to Kinect V1 and Kinect V2[J]. Sensors, 2021, 21(2): 413. doi: 10.3390/s21020413

    [18]

    HENRY P, KRAININ M, HERBST E, et al. RGB-D mapping: Using Kinect-style depth cameras for dense 3D modeling of indoor environments[J]. The International Journal of Robotics Research, 2012, 31(5): 647-663. doi: 10.1177/0278364911434148

    [19]

    NEUPANE C, KOIRALA A, WANG Z, et al. Evaluation of depth cameras for use in fruit localization and sizing: Finding a successor to kinect V2[J]. Agronomy, 2021, 11(9): 1780. doi: 10.3390/agronomy11091780

    [20]

    CHRISTIANSEN P, STEEN K, JØRGENSEN R, et al. Automated detection and recognition of wildlife using thermal cameras[J]. Sensors, 2014, 14(8): 13778-13793. doi: 10.3390/s140813778

    [21]

    LIU S-C, RUECKAUER B, CEOLINI E, et al. Event-driven sensing for efficient perception: Vision and audition algorithms[J]. IEEE Signal Processing Magazine, 2019, 36(6): 29-37. doi: 10.1109/MSP.2019.2928127

    [22]

    REBECQ H, GALLEGO G, MUEGGLER E, et al. EMVS: Event-based multi-view stereo—3D reconstruction with an event camera in real-time[J]. International Journal of Computer Vision, 2018, 126(12): 1394-1414. doi: 10.1007/s11263-017-1050-6

    [23]

    ZUJEVS A, PUDZS M, OSADCUKS V, et al. An event-based vision dataset for visual navigation tasks in agricultural environments[C]// Xi’an: 2021 IEEE International Conference on Robotics and Automation, 2021: 13769-13775.

    [24]

    GALLEGO G, DELBRUCK T, ORCHARD G, et al. Event-based vision: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 154-180. doi: 10.1109/TPAMI.2020.3008413

    [25]

    OLSON C F, ABI-RACHED H, MING YE, et al. Wide-baseline stereo vision for Mars rovers[C]// Las Vegas: Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2003, 2: 1302-1307.

    [26]

    ROVIRA-MÁS F, ZHANG Q, REID J F. Stereo vision three-dimensional terrain maps for precision agriculture[J]. Computers and Electronics in Agriculture, 2008, 60(2): 133-143. doi: 10.1016/j.compag.2007.07.007

    [27]

    ZHAO Y, GONG L, HUANG Y, et al. A review of key techniques of vision-based control for harvesting robot[J]. Computers and Electronics in Agriculture, 2016, 127(8): 311-323.

    [28]

    BI X. Environmental Perception Technology for Unmanned Systems[M]. Singapore: Springer, 2021: 8-9, 160.

    [29]

    ILLADE-QUINTEIRO J, BREA V, LÓPEZ P, et al. Distance measurement error in time-of-flight sensors due to shot noise[J]. Sensors, 2015, 15(3): 4624-4642. doi: 10.3390/s150304624

    [30]

    BOSCH T. Laser ranging: A critical review of usual techniques for distance measurement[J]. Optical Engineering, 2001, 40(1): 10-19. doi: 10.1117/1.1330700

    [31]

    AULIA S, SUKSMONO A B, MUNIR A. Stationary and moving targets detection on FMCW radar using GNU radio-based software defined radio[C]//Nusa Dua Bali: 2015 International Symposium on Intelligent Signal Processing and Communication Systems, 2015: 468-473.

    [32]

    HECK M J R. Highly integrated optical phased arrays: Photonic integrated circuits for optical beam shaping and beam steering[J]. Nanophotonics, 2017, 6(1): 93-107. doi: 10.1515/nanoph-2015-0152

    [33]

    JANG C H, KIM C S, JO K C, et al. Design factor optimization of 3D flash lidar sensor based on geometrical model for automated vehicle and advanced driver assistance system applications[J]. International Journal of Automotive Technology, 2017, 18(1): 147-156. doi: 10.1007/s12239-017-0015-7

    [34]

    LAMBERT J, CARBALLO A, CANO A M, et al. Performance analysis of 10 models of 3D lidars for automated driving[J]. IEEE Access, 2020, 8: 131699-131722. doi: 10.1109/ACCESS.2020.3009680

    [35]

    WALKER S. Book review— Topographic laser ranging and scanning: principles and processing[J]. Photogrammetric Engineering & Remote Sensing, 2019, 85(2): 85.

    [36]

    HEALEY S P, PATTERSON P L, SAATCHI S, et al. A sample design for globally consistent biomass estimation using lidar data from the geoscience laser altimeter system (GLAS)[J]. Carbon Balance and Management, 2012, 7(1): 1-9. doi: 10.1186/1750-0680-7-1

    [37]

    WEISS U, BIBER P. Plant detection and mapping for agricultural robots using a 3D lidar sensor[J]. Robotics and Autonomous Systems, 2011, 59(5): 265-273. doi: 10.1016/j.robot.2011.02.011

    [38]

    SHAHIAN JAHROMI B, TULABANDHULA T, CETIN S. Real-time hybrid multi-sensor fusion framework for perception in autonomous vehicles[J]. Sensors, 2019, 19(20): 4357. doi: 10.3390/s19204357

    [39]

    CHENG Y, SU J, JIANG M, et al. A novel radar point clound generation method for robot environment perception[J]. IEEE Transactions on Robotics, 2022, 38(6): 3754-3773.

    [40]

    MILELLA A, REINA G, UNDERWOOD J. A self‐learning framework for statistical ground classification using radar and monocular vision[J]. Journal of Field Robotics, 2015, 32(1): 20-41. doi: 10.1002/rob.21512

    [41] 何勇,蒋浩,方慧,等. 车辆智能障碍物检测方法及其农业应用研究进展[J]. 农业工程学报,2018,34(9):21-32.

    HE Yong, JIANG Hao, FANG Hui, et al. Research progress of intelligent obstacle detection methods of vehicles and their application on agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 21-32. (in Chinese with English abstract)

    [42]

    HOFMANN-WELLENHOF B, LICHTENEGGER H, WASLE E. GNSS--Global Navigation Satellite Systems: GPS, GLONASS, Galileo, and More[M]. Vienna, Austria: Springer, 2008: 431-445.

    [43]

    DE PONTE MÜLLER F. Survey on ranging sensors and cooperative techniques for relative positioning of vehicles[J]. Sensors, 2017, 17(2): 271. doi: 10.3390/s17020271

    [44] 郭树人,刘成,高为广,等. 卫星导航增强系统建设与发展[J]. 全球定位系统,2019,44(2):1-12.

    GUO Shuren, LIU Cheng, GAO Weiguang, et al. Construction and development of satellite navigation augmentation systems[J]. GNSS World of China, 2019, 44(2): 1-12. (in Chinese with English abstract)

    [45] 牛小骥,班亚龙,张提升,等. GNSS/INS深组合技术研究进展与展望[J]. 航空学报,2016,37(10):2895-2908.

    NIU Xiaoji, BAN Yalong, ZHANG Tisheng, et al. Research progress and prospects of GNSS/INS deep integration[J]. Acta Aeronautica et Astronautica Sinica, 2016, 37(10): 2895-2908. (in Chinese with English abstract)

    [46]

    BONADIES S, GADSDEN S A. An overview of autonomous crop row navigation strategies for unmanned ground vehicles[J]. Engineering in Agriculture, Environment and Food, 2019, 12(1): 24-31. doi: 10.1016/j.eaef.2018.09.001

    [47]

    DOS SANTOS A F, DA SILVA R P, ZERBATO C, et al. Use of real-time extend GNSS for planting and inverting peanuts[J]. Precision Agriculture, 2019, 20(4): 840-856. doi: 10.1007/s11119-018-9616-z

    [48]

    BRAZEAL R G, WILKINSON B E, BENJAMIN A R. Investigating practical impacts of using single-antenna and dual-antenna GNSS/INS sensors in UAS-lidar applications[J]. Sensors, 2021, 21(16): 5382. doi: 10.3390/s21165382

    [49]

    NAGASAKA Y, UMEDA N, KANETAI Y, et al. Autonomous guidance for rice transplanting using global positioning and gyroscopes[J]. Computers and Electronics in Agriculture, 2004, 43(3): 223-234. doi: 10.1016/j.compag.2004.01.005

    [50] 张京,陈度,王书茂,等. 农机INS/GNSS组合导航系统航向信息融合方法[J]. 农业机械学报,2015,46(S1):1-7.

    ZHANG Jing, CHEN Du, WANG Shumao, et al. Research of INS/GNSS heading information fusion method for agricultural machinery automatic navigation system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 1-7. (in Chinese with English abstract)

    [51]

    JOSHI R C, JOSHI M, SINGH A G, et al. Object detection, classification and tracking methods for video surveillance: A review[C]//2018 4th International Conference on Computing Communication and Automation. Greater Noida, India: IEEE, 2018: 1-7.

    [52]

    OH C M, LEE Y C, KIM D Y, et al. Moving object detection in omnidirectional vision-based mobile robot[C]//Montreal: IECON 2012-38th Annual Conference on IEEE Industrial Electronics Society, 2012: 4232-4235.

    [53]

    TOMASI C, KANADE T. Detection and tracking of point features[J]. Technical Report, 1991, 91(21): 9795-9802.

    [54]

    XU H, LI S, JI Y, et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries[J]. Computers and Electronics in Agriculture, 2021, 184: 106104. doi: 10.1016/j.compag.2021.106104

    [55]

    CAMPOS Y, SOSSA H, PAJARES G. Spatio-temporal analysis for obstacle detection in agricultural videos[J]. Applied Soft Computing, 2016, 45(6): 86-97.

    [56]

    DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//USA: IEEE: 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, 2005: 886-893.

    [57]

    FELZENSZWALB P, MCALLESTER D, RAMANAN D. A discriminatively trained, multiscale, deformable part model[C]//Anchorage: 2008 IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

    [58]

    OLLIS M, STENTZ A. Vision-based perception for an automated harvester[C]//Grenoble: Proceedings of the 1997 IEEE/RSJ International Conference on Intelligent Robot and Systems, 1997, 3: 1838-1844.

    [59]

    ZOU Z, CHEN K, SHI Z, et al. Object detection in 20 years: A survey[J]. Proceedings of the IEEE, 2023, 111(3): 257-276. doi: 10.1109/JPROC.2023.3238524

    [60]

    KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90. doi: 10.1145/3065386

    [61]

    GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Columbus: 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.

    [62]

    LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation[C]//Columbus: 2015 IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.

    [63]

    VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//New York: Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017: 6000-6010.

    [64]

    CARION N, MASSA F, SYNNAEVE G, et al. End-to-end object detection with transformers[C]//Glasgow: 2020 European Conference on Computer Vision, 2020: 213-229.

    [65]

    ZHENG S, LU J, ZHAO H, et al. Rethinking semantic segmentation from a sequence-to-sequence perspective with transformers[C]//Nashville: 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 6877-6886.

    [66] 魏建胜,潘树国,田光兆,等. 农业车辆双目视觉障碍物感知系统设计与试验[J]. 农业工程学报,2021,37(9):55-63.

    WEI Jiansheng, PAN Shuguo, TIAN Guangzhao, et al. Design and experiments of the binocular visual obstacle perception system for agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 55-63. (in Chinese with English abstract)

    [67]

    REDMON J, FARHADI A. YOLOv3: An Incremental Improvement[EB/OL]. 2018-4-8. https://arxiv.org/abs/1804.02767.

    [68]

    XUE J, CHENG F, LI Y, et al. Detection of farmland obstacles based on an improved YOLOv5s algorithm by using CIoU and anchor box scale clustering[J]. Sensors, 2022, 22(5): 1790. doi: 10.3390/s22051790

    [69]

    QIU Z, ZHAO N, ZHOU L, et al. Vision-based moving obstacle detection and tracking in paddy field using improved YOLOv3 and deep SORT[J]. Sensors, 2020, 20(15): 4082. doi: 10.3390/s20154082

    [70]

    WOJKE N, BEWLEY A, PAULUS D. Simple online and realtime tracking with a deep association metric[C]//2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017: 3645-3649.

    [71]

    LI Y, IIDA M, SUYAMA T, et al. Implementation of deep-learning algorithm for obstacle detection and collision avoidance for robotic harvester[J]. Computers and Electronics in Agriculture, 2020, 174: 105499. doi: 10.1016/j.compag.2020.105499

    [72]

    LIU Z, LI J, SHEN Z, et al. Learning efficient convolutional networks through network slimming[C]//2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2755-2763.

    [73]

    ZHAO H, QI X, SHEN X, et al. ICNet for real-time semantic segmentation on high-resolution images[C]//Munich: 2018 European Conference on Computer Vision, 2018: 418-434.

    [74]

    SKOCZEŃ M, OCHMAN M, SPYRA K, et al. Obstacle detection system for agricultural mobile robot application using RGB-D cameras[J]. Sensors, 2021, 21(16): 5292. doi: 10.3390/s21165292

    [75]

    CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Munich: 2018 European Conference on Computer Vision, 2018: 833-851.

    [76]

    HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Las Vegas: 2016 IEEE Conference on Computer Vision and Pattern RecognitionE, 2016: 770-778.

    [77]

    CHRISTIANSEN P, NIELSEN L, STEEN K, et al. DeepAnomaly: Combining background subtraction and deep learning for detecting obstacles and anomalies in an agricultural field[J]. Sensors, 2016, 16(11): 1904. doi: 10.3390/s16111904

    [78]

    BOUWMANS T. Traditional and recent approaches in background modeling for foreground detection: An overview[J]. Computer Science Review, 2014, 11-12: 31-66. doi: 10.1016/j.cosrev.2014.04.001

    [79]

    YAZDI M, BOUWMANS T. New trends on moving object detection in video images captured by a moving camera: A survey[J]. Computer Science Review, 2018, 28: 157-177. doi: 10.1016/j.cosrev.2018.03.001

    [80]

    ZENG F, LI B, WANG H, et al. Detection of calf abnormal respiratory behavior based on frame difference and improved YOLOv5 method[J]. Computers and Electronics in Agriculture, 2023, 211: 107987.

    [81]

    CHEN C, LIANG J, ZHAO H, et al. Frame difference energy image for gait recognition with incomplete silhouettes[J]. Pattern Recognition Letters, 2009, 30(11): 977-984. doi: 10.1016/j.patrec.2009.04.012

    [82]

    ZHU M, WANG H. Fast detection of moving object based on improved frame-difference method[C]//Dalian: 2017 6th International Conference on Computer Science and Network Technology, 2017: 299-303.

    [83]

    BARRON J L, FLEET D J, BEAUCHEMIN S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1): 43-77. doi: 10.1007/BF01420984

    [84]

    ZHANG Y, ZHENG J, ZHANG C, et al. An effective motion object detection method using optical flow estimation under a moving camera[J]. Journal of Visual Communication and Image Representation, 2018, 55: 215-228. doi: 10.1016/j.jvcir.2018.06.006

    [85]

    WANG Z, WU Y, NIU Q. Multi-sensor fusion in automated driving: A survey[J]. IEEE Access, 2020, 8: 2847-2868. doi: 10.1109/ACCESS.2019.2962554

    [86]

    HU J, ZHENG B, WANG C, et al. A survey on multi-sensor fusion based obstacle detection for intelligent ground vehicles in off-road environments[J]. Frontiers of Information Technology & Electronic Engineering, 2020, 21(5): 675-692.

    [87]

    KORTHALS T, KRAGH M, CHRISTIANSEN P, et al. Multi-modal detection and mapping of static and dynamic obstacles in agriculture for process evaluation[J]. Frontiers in Robotics and AI, 2018, 5: 28. doi: 10.3389/frobt.2018.00028

    [88]

    LV P, WANG B, CHENG F, et al. Multi-objective association detection of farmland obstacles based on information fusion of millimeter wave radar and camera[J]. Sensors, 2023, 23(1): 230.

    [89]

    KRAGH M, UNDERWOOD J. Multimodal obstacle detection in unstructured environments with conditional random fields[J]. Journal of Field Robotics, 2020, 37(1): 53-72. doi: 10.1002/rob.21866

    [90] 朱株. 基于三维数据面向无人车导航的非结构化场景理解[D]. 杭州:浙江大学,2014:75-95.

    ZHU Zhu. 3D Data Based Understanding of Unstructured Scenes for Vehicle Navigation[D]. Hangzhou: Zhejiang University, 2014: 75-95. (in Chinese with English abstract)

    [91] 胡炼,刘海龙,何杰,等. 智能除草机器人研究现状与展望[J]. 华南农业大学学报,2023,44(1):34-42. doi: 10.7671/j.issn.1001-411X.202203060

    HU Lian, LIU Hailong, HE Jie, et al. Research progress and prospect of intelligent weeding robot[J]. Journal of South China Agricultural University, 2023, 44(1): 34-42. (in Chinese with English abstract) doi: 10.7671/j.issn.1001-411X.202203060

    [92] 胡炼,罗锡文,张智刚,等. 株间除草装置横向偏移量识别与作物行跟踪控制[J]. 农业工程学报,2013,29(14):8-14.

    HU Lian, LUO Xiwen, ZHANG Zhigang, et al. Side-shift offset identification and control of crop row tracking for intra-row mechanical weeding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(14): 8-14. (in Chinese with English abstract)

    [93]

    WINTERHALTER W, FLECKENSTEIN F V, DORNHEGE C, et al. Crop row detection on tiny plants with the pattern hough transform[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 3394-3401. doi: 10.1109/LRA.2018.2852841

    [94]

    REID J, SEARCY S. Vision-based guidance of an agriculture tractor[J]. IEEE Control Systems Magazine, 1987, 7(2): 39-43. doi: 10.1109/MCS.1987.1105271

    [95]

    HOUGH P V C. Method and means for recognizing complex patterns: US3069654A[P]. 1962-12-18.

    [96]

    BAKKER T, WOUTERS H, VAN ASSELT K, et al. A vision based row detection system for sugar beet[J]. Computers and Electronics in Agriculture, 2008, 60(1): 87-95. doi: 10.1016/j.compag.2007.07.006

    [97]

    WINTERHALTER W, FLECKENSTEIN F, DORNHEGE C, et al. Localization for precision navigation in agricultural fields—Beyond crop row following[J]. Journal of Field Robotics, 2021, 38(3): 429-451. doi: 10.1002/rob.21995

    [98]

    SØGAARD H T, OLSEN H J. Determination of crop rows by image analysis without segmentation[J]. Computers and Electronics in Agriculture, 2003, 38(2): 141-158. doi: 10.1016/S0168-1699(02)00140-0

    [99]

    ENGLISH A, ROSS P, BALL D, et al. Vision based guidance for robot navigation in agriculture[C]//2014 IEEE International Conference on Robotics and Automation. Hong Kong, China: IEEE, 2014: 1693-1698.

    [100]

    ADHIKARI S P, KIM G, KIM H. Deep neural network-based system for autonomous navigation in paddy field[J]. IEEE Access, 2020, 8: 71272-71278. doi: 10.1109/ACCESS.2020.2987642

    [101]

    DE SILVA R, CIELNIAK G, WANG G, et al. Deep learning‐based crop row detection for infield navigation of agri‐robots[J]. Journal of Field Robotics, 2023, 40(5): 1-23.

    [102]

    BAH M D, HAFIANE A, CANALS R. CRowNet: deep network for crop row detection in UAV images[J]. IEEE Access, 2020, 8: 5189-5200. doi: 10.1109/ACCESS.2019.2960873

    [103]

    HE R, LUO X, ZHANG Z, et al. Identification method of rice seedlings rows based on Gaussian heatmap[J]. Agriculture, 2022, 12(10): 1736. doi: 10.3390/agriculture12101736

    [104] 王姗姗,余山山,张文毅,等. 基于特征点邻域Hough变换的水稻秧苗行检测[J]. 农业机械学报,2020,51(10):18-25.

    WANG Shanshan, YU Shanshan, ZHANG Wenyi, et al. Detection of rice seedling rows based on hough transform of feature point neighborhood[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(10): 18-25. (in Chinese with English abstract)

    [105]

    REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

    [106]

    ZHANG S, MA Q, CHENG S, et al. Crop row detection in the middle and late periods of maize under sheltering based on solid state lidar[J]. Agriculture, 2022, 12(12): 2011. doi: 10.3390/agriculture12122011

    [107] 张凯良,胡勇,杨丽,等. 玉米收获机自动对行系统设计与试验[J]. 农业机械学报,2020,51(2):103-114.

    ZHANG Kailiang, HU Yong, YANG Li, et al. Design and experiment of auto-follow row system for corn harvester[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 103-114. (in Chinese with English abstract)

    [108] 贺静,何杰,罗锡文,等. 基于多传感器融合的水稻行识别与跟踪导航研究[J]. 农业机械学报,2022,53(3):18-26,137.

    HE Jing, HE Jie, LUO Xiwen, et al. Rice row recognition and navigation control based on multi-sensors fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 18-26, 137. (in Chinese with English abstract)

    [109]

    KISE M, ZHANG Q, ROVIRA MÁS F. A stereovision-based crop row detection method for tractor-automated guidance[J]. Biosystems Engineering, 2005, 90(4): 357-367. doi: 10.1016/j.biosystemseng.2004.12.008

    [110]

    GAI J, XIANG L, TANG L. Using a depth camera for crop row detection and mapping for under-canopy navigation of agricultural robotic vehicle[J]. Computers and Electronics in Agriculture, 2021, 188: 106301. doi: 10.1016/j.compag.2021.106301

    [111] 翟志强,熊坤,王亮,等. 采用双目视觉和自适应Kalman滤波的作物行识别与跟踪[J]. 农业工程学报,2022,38(8):143-151.

    ZHAI Zhiqiang, XIONG Kun, WANG Liang, et al. Crop row detection and tracking based on binocular vision and adaptive Kalman filter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 143-151. (in Chinese with English abstract)

    [112]

    KILIC T, ZEZZA A, CARLETTO C, et al. Missing(ness) in action: Selectivity bias in GPS-based land area measurements[J]. World Development, 2017, 92: 143-157. doi: 10.1016/j.worlddev.2016.11.018

    [113]

    CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273-297.

    [114] 蔡道清,李彦明,覃程锦,等. 水田田埂边界支持向量机检测方法[J]. 农业机械学报,2019,50(6):22-27,109.

    CAI Daoqing, LI Yanming, QIN Chengjin, et al, Detection method of boundary of paddy fields using support vector machine[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(6): 22-27, 109. (in Chinese with English abstract)

    [115] 洪梓嘉,李彦明,林洪振,等. 基于双目视觉的种植前期农田边界距离检测方法[J]. 农业机械学报,2022,53(5):27-33,56.

    HONG Zijia, LI Yanming, LIN Hongzhen, et al. Field boundary distance detection method in early stage of planting based on binocular vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(5): 27-33,56. (in Chinese with English abstract)

    [116] 王侨,刘卉,杨鹏树,等. 基于机器视觉的农田地头边界线检测方法[J]. 农业机械学报,2020,51(5):18-27.

    WANG Qiao, LIU Hui, YANG Pengshu, et al. Detection method of headland boundary line based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 18-27. (in Chinese with English abstract)

    [117]

    RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//2015 Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241.

    [118]

    LI D, LI B, LONG S, et al. Robust detection of headland boundary in paddy fields from continuous RGB-D images using hybrid deep neural networks[J]. Computers and Electronics in Agriculture, 2023, 207: 107713. doi: 10.1016/j.compag.2023.107713

    [119]

    CHENG T, JI X, YANG G, et al. DESTIN: A new method for delineating the boundaries of crop fields by fusing spatial and temporal information from WorldView and Planet satellite imagery[J]. Computers and Electronics in Agriculture, 2020, 178: 105787. doi: 10.1016/j.compag.2020.105787

    [120]

    JONG M, GUAN K, WANG S, et al. Improving field boundary delineation in ResUNets via adversarial deep learning[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 112: 102877. doi: 10.1016/j.jag.2022.102877

    [121]

    GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communictions of the ACM, 2020, 63(11): 139-144.

    [122]

    TARAVAT A, WAGNER M P, BONIFAÇIO R, et al. Advanced fully convolutional networks for agricultural field boundary detection[J]. Remote Sensing, 2021, 13(4): 722. doi: 10.3390/rs13040722

    [123]

    CROMMELINCK S, BENNETT R, GERKE M, et al. Contour detection for UAV-based cadastral mapping[J]. Remote Sensing, 2017, 9(2): 171. doi: 10.3390/rs9020171

    [124]

    ARBELÁEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898-916. doi: 10.1109/TPAMI.2010.161

    [125]

    CROMMELINCK S C. Automating Image-based Cadastral Boundary Mapping[D]. Enschede: University of Twente, 2019: 115-135.

    [126]

    BOROWIEC N, MARMOL U. Using lidar system as a data source for agricultural land boundaries[J]. Remote Sensing, 2022, 14(4): 1048. doi: 10.3390/rs14041048

    [127]

    HE J, HU L, WANG P, et al. Path tracking control method and performance test based on agricultural machinery pose correction[J]. Computers and Electronics in Agriculture, 2022, 200: 107185. doi: 10.1016/j.compag.2022.107185

    [128]

    YANDUN NARVÁEZ F, GREGORIO E, ESCOLÀ A, et al. Terrain classification using ToF sensors for the enhancement of agricultural machinery traversability[J]. Journal of Terramechanics, 2018, 76: 1-13. doi: 10.1016/j.jterra.2017.10.005

    [129] 胡炼,杨伟伟,许奕,等. 基于GPS技术的水田平地机的设计与试验[J]. 华南农业大学学报,2015,36(5):130-134.

    HU Lian, YANG Weiwei, XU Yi, et al. Design and experiment of paddy field leveler based on GPS[J]. Journal of South China Agricultural University, 2015, 36 (5): 130-134. (in Chinese with English abstract)

    [130] 杜蒙蒙,刘颖超,姬江涛,等. 基于无人机与激光测距技术的农田地形测绘[J]. 农业工程学报,2020,36(22):60-67.

    DU Mengmeng, LIU Yingchao, JI Jiangtao, et al. Farmland topographic mapping based on UAV and lidar technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(22): 60-67. (in Chinese with English abstract)

    [131]

    ZHAO R, HU L, LUO X, et al. A novel approach for describing and classifying the unevenness of the bottom layer of paddy fields[J]. Computers and Electronics in Agriculture, 2019, 162: 552-560. doi: 10.1016/j.compag.2019.05.001

    [132] 朱思洪,马佳富,袁加奇,等. 水田作业工况的拖拉机振动特性[J]. 农业工程学报,2016,32(11):31-38.

    ZHU Sihong, MA Jiafu, YUAN Jiaqi, et al. Vibration characteristics of tractor in condition of paddy operation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(11): 31-38. (in Chinese with English abstract)

    [133]

    TU T, HE J, LUO X, et al. Methods and experiments for collecting information and constructing models of bottom-layer contours in paddy fields[J]. Computers and Electronics in Agriculture, 2023, 207: 107719. doi: 10.1016/j.compag.2023.107719

    [134] 王晨捷,罗斌,李成源,等. 无人机视觉SLAM协同建图与导航[J]. 测绘学报,2020,49(6):767-776.

    WANG Chenjie, LUO Bin, LI Chengyuan, et al. The collaborative mapping and navigation based on visual SLAM in UAV platform[J]. Acta Geoaetica et Cartographica Sinica, 2020, 49(6): 767-776. (in Chinese with English abstract)

    [135]

    ZHU X, VONDRICK C, FOWLKES C C, et al. Do we need more training data?[J]. International Journal of Computer Vision, 2016, 119(1): 76-92. doi: 10.1007/s11263-015-0812-2

    [136]

    KURTSER P, LOWRY S. RGB-D datasets for robotic perception in site-specific agricultural operations—A survey[J]. Computers and Electronics in Agriculture, 2023, 212: 108035. doi: 10.1016/j.compag.2023.108035

    [137]

    PEZZEMENTI Z, TABOR T, HU P, et al. Comparing apples and oranges: Off‐road pedestrian detection on the National Robotics Engineering Center agricultural person‐detection dataset[J]. Journal of Field Robotics, 2018, 35(4): 545-563. doi: 10.1002/rob.21760

    [138]

    PONNAMBALAM V R, BAKKEN M, MOORE R J D, et al. Autonomous crop row guidance using adaptive multi-ROI in strawberry fields[J]. Sensors, 2020, 20(18): 5249. doi: 10.3390/s20185249

    [139]

    KRAGH M, CHRISTIANSEN P, LAURSEN M, et al. FieldSAFE: Dataset for obstacle detection in agriculture[J]. Sensors, 2017, 17(11): 2579. doi: 10.3390/s17112579

    [140]

    GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: The KITTI dataset[J]. The International Journal of Robotics Research, 2013, 32(11): 1231-1237. doi: 10.1177/0278364913491297

    [141]

    CORDTS M, OMRAN M, RAMOS S, et al. The cityscapes dataset for semantic urban scene understanding[C]//Las Vegas: 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016: 3213-3223.

    [142]

    LIN T-Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context[C]//Zurich: 2014 European Conference on Computer Vision, 2014: 740-755.

    [143]

    TIAN S, LI L, LI W, et al. A survey on few-shot class-incremental learning[J]. Neural Networks, 2024, 169: 307-324. doi: 10.1016/j.neunet.2023.10.039

    [144]

    YANG J, GUO X, LI Y, et al. A survey of few-shot learning in smart agriculture: Developments, applications, and challenges[J]. Plant Methods, 2022, 18(1): 1-12. doi: 10.1186/s13007-021-00833-3

    [145]

    CAI Y, ZHANG T, WANG H, et al. 3D vehicle detection based on lidar and camera fusion[J]. Automotive Innovation, 2019, 2(4): 276-283. doi: 10.1007/s42154-019-00083-z

    [146]

    WANG X, XU L, SUN H, et al. On-road vehicle detection and tracking using MMW radar and monovision fusion[J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(7): 2075-2084. doi: 10.1109/TITS.2016.2533542

    [147]

    GARCIA F, MARTIN D, DE LA ESCALERA A, et al. Sensor fusion methodology for vehicle detection[J]. IEEE Intelligent Transportation Systems Magazine, 2017, 9(1): 123-133. doi: 10.1109/MITS.2016.2620398

    [148]

    ROSIQUE F, NAVARRO P J, FERNANDEZ C, et al. A systematic review of perception system and simulators for autonomous vehicles research[J]. Sensors, 2019, 19(3): 648. doi: 10.3390/s19030648

    [149] 龚健雅,季顺平. 摄影测量与深度学习[J]. 测绘学报,2018,47(6):693-704.

    GONG Jianya, JI Shunping. Photogrammetry and deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6): 693-704. (in Chinese with English abstract)

    [150]

    PARAFOROS D S, SHARIPOV G M, GRIEPENTROG H W. ISO 11783-compatible industrial sensor and control systems and related research: A review[J]. Computers and Electronics in Agriculture, 2019, 163: 104863. doi: 10.1016/j.compag.2019.104863

    [151] 宋岩,徐皑冬,杨为民. 农机总线ISO 11783网络技术研究[J]. 拖拉机与农用运输车,2007,34(1):80-82.

    SONG Yan, XU Aidong, YANG Weimin. ISO 11783 network technology research on agricultural machinery bus[J]. Tractor& Farm Transporter, 2007, 34(1): 80-82. (in Chinese with English abstract)

    [152] 翟长远,杨硕,王秀,等. 农机装备智能测控技术研究现状与展望[J]. 农业机械学报,2022,53(4):1-20.

    ZHAI Changyuan, YANG Shuo, WANG Xiu, et al. Status and prospect of intelligent measurement and control technology for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(4): 1-20. (in Chinese with English abstract)

  • 期刊类型引用(2)

    1. 李杨,李雪峰,许佳音,吴卫国,谢楠. 基于多传感器融合的定位导航系统设计. 工程机械. 2024(12): 8-11+7 . 百度学术
    2. 崔佳鹏,徐宏杨,公衍峰. 低空遥感技术在农业领域中的研究现状. 农机使用与维修. 2024(12): 38-45 . 百度学术

    其他类型引用(0)

图(9)  /  表(4)
计量
  • 文章访问数:  599
  • HTML全文浏览量:  92
  • PDF下载量:  292
  • 被引次数: 2
出版历程
  • 收稿日期:  2024-02-03
  • 修回日期:  2024-04-14
  • 网络出版日期:  2024-05-28
  • 刊出日期:  2024-04-29

目录

/

返回文章
返回