基于改进Mask-RCNN算法的作物害虫分类识别

张佳敏; 闫科; 王一非; 刘杰; 曾娟; 吴鹏飞; 黄求应

doi:10.11975/j.issn.1002-6819.202309191

基于改进Mask-RCNN算法的作物害虫分类识别

张佳敏^1,,
闫科²,
王一非³,
刘杰⁴,
曾娟⁴,
吴鹏飞^1, ,,
黄求应^2, ,

1.
华中农业大学信息学院，武汉 430070
2.
华中农业大学植物科学技术学院，武汉 430070
3.
农业智能技术教育部工程研究中心，武汉 430070
4.
全国农业技术推广服务中心，北京 100125

基金项目: 国家重点研发计划项目（2022YFD1400400）；华中农业大学自主科技创新基金项目（2021ZKPY018）

详细信息

作者简介:
张佳敏，研究方向为农业人工智能。Email：zz_zhangjm@163.com

通讯作者:
吴鹏飞，副教授，研究方向为农业人工智能、智能物联网。Email：chriswpf@mail.hzau.edu.cn

黄求应，教授，研究方向为害虫智能监测与控制技术。Email：qyhuang2006@mail.hzau.edu.cn

中图分类号: TP391
计量
- 文章访问数: 275
- HTML全文浏览量: 51
- PDF下载量: 122
出版历程
- 收稿日期: 2023-09-24
- 修回日期: 2024-03-03
- 网络出版日期: 2024-05-27
- 刊出日期: 2024-04-14

Classification and identification of crop pests using improved Mask-RCNN algorithm

1.
College of Informatics, Huazhong Agricultural University, Wuhan 430070, China
2.
College of Plant Science and Technology, Huazhong Agricultural University, Wuhan 430070, China
3.
National Agricultural Technology Extension Service Center, Wuhan 430070, China
4.
The National Agro-Tech Extension and Service Center, Beijing 100125, China

摘要

摘要:
智能虫情测报灯对农业生产中及时察觉虫害、虫灾问题有重大作用，准确的害虫分类识别为虫情测报提供可靠数据支撑的关键。该研究对智能虫情测报灯所需核心识别算法进行改进，针对分类目标多尺度、存在多种相似非目标害虫干扰、易产生目标粘连等问题，提出一种基于改进Mask-RCNN(mask region-based convolutional neural network)模型的害虫图像智能识别模型。该模型使用DeAnchor算法改进Mask-RCNN的锚框引导机制，使用NDCC(novelty detection consistent classifiers)训练分类器进行联合分类和检测，改善非目标杂虫的误识别问题。改进后模型对无杂虫、不同虫体密度图像的识别准确率最高达到96.1%，最密集时可达90.6%，在仅有非目标的图片识别中，误检率降至9%，非目标与目标共存且密度为40虫/图的误检率降至15%。试验表明，该文所提模型在现有分类模型的基础上，增强了对密集区域的检测能力，改善了非目标误识别问题，在实际检测环境下的害虫分类识别精度更高，可为虫害防治工作提供数据参考。
- 目标检测 /
- 虫害防治 /
- 分类识别 /
- Mask RCNN /
- 粘连目标
Abstract:
Intelligent insect detection and alarm lights can timely monitor the pests in the intelligent production of smart agriculture at present. However, some pest alarm lights cannot provide reliable data support for pest detection and reporting tasks, due mainly to the low accuracy of detection and identification. This study aims to improve the classification and recognition to fully meet the requirement of pest situation lamps using deep learning. The mask RCNN instance segmentation model was selected as the basic detection framework. A network model was constructed to recognize the multiple similar graphs using ResNet50-FPN convolutional neural network (CNN). According to Faster RCNN, a mask branch was added for the instance segmentation. An anchor frame was used for the classification and regression. The pixel segmentation and classification were added for a more accurate classification. The framework of object detection was obtained with the best detection accuracy in fine-grained classification. Nevertheless, the main difficulty of the model was the nonuniform size of the classification target. Much more interferences of similar insects were easy to produce the target adhesion, due to the high density. Mask RCNN model relied normally on the dense anchoring scheme, the predefined scale and the aspect ratio to sample uniformly. The improved predefined anchor frame cannot solve the adhesion of targets at various scales. Moreover, the difference between non-targets and targets cannot be distinguished, although there was a distinction among different subclasses of the same category. Five datasets of target pests were established in this case. A small proportion of the miscellaneous insect dataset was added to reduce the fraction of miscellaneous insects. In adhesion, soft NMS was used to replace NMS, and DeAnchor was adopted to learn each target area. The detection frame was then fitted to the target during model prediction and recognition. The detection frame was further reduced to exceed the area or expose the surroundings during prediction. The adhesion and recognition rate were greatly improved after three steps. In non-target misidentification, the NDCC was added to exclude the unknown miscellaneous insects using the novelty score. The reason was that there were many more types of non-targets similar to targets, leading to the high misidentification rate of non-targets. The optimal model was achieved with the highest recognition accuracy of 96.1% for the multi-insect pictures with 10 insects per picture, and 93.5% for multi-insect pictures with 20 insects per picture. The accuracy rate of multi-insect image recognition reached more than 90.6% for the identification number of 50 insects per image. The adhesion was basically solved in the larger adhesion target in the picture. Non-target recognition and misrecognition were improved in the pictures containing no-target insects. Moreover, the error of detection rate reached the lowest 9% in the recognition of 20 pure non-target images. The error of detection rate was also reduced to less than 15% in the recognition of 40 mixed target images. The functions of intensive and novelty detection were added to the existing classification model, in order to enhance the detection ability of dense areas. The non-target misidentification was improved for the higher classification and recognition accuracy of pest classification in the actual environment.
- target detection /
- pest infestation /
- classification recognition /
- Mask-RCNN /
- adhesion target

HTML全文

0. 引　言

随着人口的老龄化，智能化成为当前农业发展的重中之重。在农作物种植中，易出现多种虫害，主要由二化瞑、草地贪夜蛾、稻纵卷叶瞑、玉米螟和黏虫等引起，会造成粮食减产、庄稼受损，严重的虫灾还会导致更加严重的后果^[1]。各地区很早之前就已经成立了农业技术推广站，主管病虫防治工作。各地植保站的农艺师主要通过手动对害虫进行计数，预判虫灾是否发生。智能虫情测报灯的出现可以取代繁重的人工计数，它使用诱虫灯对当前农田中存在的特定种类害虫进行诱捕，通过工业相机按预定时间间隔采集昆虫图像，远程上传到对应的网络端口中对拍摄到的图片进行处理，使用物体检测算法对图片中目标害虫进行分类计数。智能虫情测报系统的关键点及重难点在于害虫图像检测识别算法，目前多使用计算机视觉领域中的目标检测算法检测识别图像中的靶标害虫。

一些研究^[2-6]指出害虫姿态样式多（躯干正反、翅膀伸缩各异、倾斜）导致识别难度增加，而实际环境下还同时存在多种类、多尺度目标害虫在一张图片内、识别目标密集时易粘连、识别图中存在非目标等问题。因此，不仅对识别精度有很高的要求，在实际使用中出现的目标粘连和非目标误识别问题也亟需解决。

本研究主要基于物体检测算法对细粒度类别进行分类的能力，相比传统机器学习方法，基于深度学习的图像识别模型能够达到更高的精度。而在多种深度学习网络模型中，Mask-RCNN(mask region-based convolutional neural network)^[7]在害虫检测识别的精度上具有优势^[8]。Mask-RCNN是一个实例分割模型，它以Faster RCNN为基础，增加了一条mask分支用于像素点分割，既使用anchor框进行分类与回归，又加入像素点分割与分类，分类更加精准。近年来，许多学者关注到虫类检测识别，且大多选择Mask-RCNN作为其基础识别算法，如DEEPIKA等^[9-11]研究针对每张图仅有一个目标或一个类别，准确率达92%以上，而MENDOZA等^[12]的一图两类的识别也达到了较高准确率。在LIU等^[13]研究中，检测4类分布稀疏且未考虑非目标相似虫类影响及较高密度情况，达到了最高92%的准确率。在ANALYN等^[14]研究中，对4类豆子进行分类，无非目标类别，在40颗/图的分类中，仅达到了87.5%的准确率。因此，Mask-RCNN模型对于一图多目标情况下产生的目标粘连、杂虫干扰等问题还有较大的改进空间。

本文针对高密度情况下的目标粘连和非目标易被误识别成目标的问题，进行深入探讨。在前期准备中，标注目标以及非目标图像共6000张，使用数据增强将其扩充至24000张，筛选后用于训练。对于粘连问题，现有解决方法多为如下2种模式：一是朱煜等^[15-17]使用的机器学习算法中K均值聚类、分水岭分割、距离变换、曲率分割、角点检测和凹点检测等方式，此类算法基于目标本身的形态学特征，如类圆形，或目标本身无凹点，可通过数学计算找到分割线进行分割。二是YANG等^[18-21]采取的基于改进神经网络和深度学习算法，主要是加入注意力机制以及改进分割轮廓。试验表明，由于本文研究对象翅膀张开幅度不一致，采取数学方式无法找到相应规律。因此，本文采取改进算法的方式，在网络模型中加入DeAnchor模块，使网络对目标的形状进行学习，引导更适应目标的锚框生成，以改善目标粘连情况。对于非目标误识别问题，有2种解决方式：1)增加负样本，使非目标加入训练；2)加入新颖性检测，找到非目标。第一种常见于对背景非目标的排除，通常应用于复杂背景环境，如蔡舒平等^[22]研究，通常背景与目标差距较大，并不会对目标识别产生影响。本文非目标与目标相似度过高，加入过多负样本易导致目标的识别精度下降。且由于非目标的多样性，无法收集到所有种类的非目标去制作数据集，而Mask-RCNN对于同一类别的不同子类之间的区分效果虽好，但无法分辩非目标与目标之间的差异，因此，选择使用新颖性检测方法计算新颖性得分，找到新颖性得分较高的异常点，对异常点进行处理。NDCC(novelty detection consistent classifiers)^[23]是细粒度视觉分类中最新的新颖性检测技术，可以对所有被检测出来的目标新颖性进行计算，得出一个新颖性分数，通过分数体现此目标与需识别目标的相似度，降低非目标得分，达到排除识别未在训练集中的非目标。

1. 材料与方法

1.1 图像数据获取与标注

靶标害虫样本来源于试验昆虫供应机构，部分来源于水稻田中诱捕后拍摄，拍摄环境为智能虫情测报灯，使用诱虫光源对特定害虫进行诱捕，经高温处理后落入传送带，内置1 200W工业相机进行定时拍摄，远程上传至PC云端，使用算法对其进行识别与计数。整个过程实现全自动的采集与识别，目标落地时角度多样，且存在部分非目标。因此，拍摄目标包含每个虫体的不同死亡姿态与不同落地角度，即拍摄虫体翅膀张开、收缩状态，与虫体腹部朝上、背部朝上、侧面朝上状态，如图1。使用Labelme对采集图像进行标注，分别标注数据集共6000张，分别包含草地贪夜蛾(Spodoptera frugiperda)、粘虫(Mythimna separata)、稻纵卷叶螟(cnaphalocrocis medinalis)、二化螟(Chilo suppressalis)、玉米螟(Pyrausta nubilalis)各1000张，标注1000张常见杂虫图片来排除非目标。并将Labelme生成的json文件格式和图片转为COCO数据集格式，才能被模型识别训练。

图 1 多种姿态试验目标与常见非目标杂虫

Figure 1. Experimental targets in multiple postures versus common non-target miscellaneous insects

下载: 全尺寸图片幻灯片

1.2 图像数据增强

由于测报灯电源使用电池供电，存在亮灯时间过长灯光亮度下降的问题，为了丰富数据集和增强数据集对不同光线的适应性，对已有数据集进行图像翻转、高斯模糊、不同程度的增强和降低亮度，以及增加椒盐噪声，并生成新的图片和json文件，挑选部分新生成的数据集加入原数据集，使得6000张已标注数据集扩展为24000张。根据实际测试效果对数据进行筛选，筛选10000张标注数据用于训练，使训练所得模型具备更强鲁棒性。

1.3 基于Mask-RCNN检测框架的改进模型

Mask-RCNN是一种两阶检测器，它是在Faster RCNN的基础上将ROI Pooling改为了ROI Align，并在最后加入mask生成分支，使其既可以对ROI生成框进行分类与回归，同时在每个ROI框中使用FCN语义分割对图像进行卷积池化等处理，最后对每个像素点进行分类。双重分类为物体检测的正确率提升提供了非常大的优势。对Mask-RCNN算法改进后的整体框架流程图如图2。

图 2 改进Mask-RCNN网络模型

Figure 2. Network model of improved Mask-RCNN

下载: 全尺寸图片幻灯片

1.3.1 DeAnchor算法

Mask-RCNN在基于强监督的训练下，对于单个目标图像的分类识别准确率已经达到了99.7%。但在多目标场景下，出现了目标越多，识别准确率下降幅度越大的情况，尤其在高密度情境中，出现大量杂虫粘连情况。凹点分割的基本原理是将原彩色图像通过二值化转为黑白图像，通过对图像进行边缘检测，通过对凹点的检测找到粘连部位，将其进行切割。因此，这种方式只能应用于目标边缘存在规律的粘连情况分割^[24]，其目标虽同为害虫，但其外型较圆滑，虫体边缘不存在多个较大凹点，小型凹点可通过夹角阈值进行筛选，使得凹点仅剩余粘连部位，再由此进行切割。而本研究中所有目标都存在较为明显且夹角较大的凹点，如害虫翅膀张开时，两个翅膀尾部之间的夹角。因此，进行凹点分割时，会将大量的害虫本身进行切割，影响最终分类检测。由于目标外形与姿势的多样性，在分割算法部分，始终无法找到一个规律，能够精准地对粘连部位进行分割，因此，将重点放到了目标大小不一致的特点上，WANG等^[25]提出Guided Anchoring算法，通过在训练中学习目标的尺度大小及位置特征，基于其语义特征指导Anchor框生成，其研究中目标所在位置及尺度大小存在一定规律，但位置规律并不适用于本研究，学习目标尺度的思想提供了一个方向，就是通过对每类目标大小的学习，使最终的生成框尽可能的贴合目标大小。当检测框足够贴合时，就会暴露出相距距离较近的目标，筛选候选框时能够保留这些候选框，从而达到使粘连目标分离的目的。

在本文中，基于将每一类目标检测框限制在目标周围的目的，首先调整Anchor size的尺寸设置，使其初始生成的检测框尽可能贴近每类目标，但由于计算问题，数字设置需遵循规律，否则会影响分类精度，因此，在不影响精度的情况下，将初始检测框大小尽可能设置的更贴合目标尺寸。其次，将NMS替换成Soft NMS^[26]，

NMS(non-maximum suppression)算法是按照得分从高到低对检测框进行排序，令分数最高的检测框显出，其余重叠严重的框被抑制。因此，当两个目标接近时，分数更低的框会因为重叠过多而被抑制，无法显现。Soft NMS仅将表示同一目标的框除得分最高的以外的框抑制，不同目标的框会被保留，使两个目标邻近或重叠时，检测框被最大程度的保留下来，即使检测框可能无法准确贴合目标，对于最终目标计数也会有一定帮助。

之后，在训练中加入面积学习算法，命名为DeAnchor，DeAnchor算法主要针对锚框大小进行引导,采取一种网络自适应的方式，在训练部分对每个类别害虫的尺寸大小进行一个阈值的限制，对于训练时超出阈值的检测框，对其施加一个惩罚，使其学习到对应类别更加适合的尺寸大小，引导验证时生成的Anchor更加贴近目标。

最后，在预测时，强制将较大的检测框缩减。在算法中，调整检测框大小时，会将边界调整到背景与目标分界处，对于粘连特别紧密的目标仍无法进行分割。因此，对于检测框过大的粘连目标，在预测时加一层保障，强制对超出面积的检测框进行再次缩减。此方法需保证即使缺少部分目标，仍能识别出目标类别，在麻鸭性别检测^[27]中，作者通过标注麻鸭彰显性别特征的局部位置，对麻鸭进行性别分类，使得同物种性别分类虽难，但却达到了非常高的准确率。因此，在数据集中加入完整目标的数据，使得检测框变小仍能识别出不同类别，并在预测时，对每种类别的面积大小进行计算，将超过此类目标最大面积的检测框缩减为极限值面积。此方法不仅让超限制的非目标降低识别为目标的得分，也能使部分目标预测框缩小，暴露出邻近的其余目标。对原本的算法达到一定补充效果，使得少数较大非目标降低得分，也使得少数未分开的粘连目标暴露出更多的检测框。此方法仅起到了一定查漏补缺的效果，对稀疏情况表下的识别结果未产生影响，但可以使密度较高情况下的识别准确率得到一定提升。

1.3.2 NDCC检测

NDCC(novelty detection consistent classifiers)是一种针对细粒度分类的新颖性检测。在本研究中，实际使用情境下，会出现多种非目标昆虫，这些非目标种类过多无法完全收集，收集到的非目标也存在不同大小、不同姿势的形态，收集过多非目标数据会使其在训练集中占比过大，而基于算力问题，目标数据又无法继续增加。又由于非目标与目标都属于昆虫类，相似度很高，因此，非目标加入比例过高会使得目标分类精度下降。从算法部分解决非目标混淆问题是最理想的解决方式，新颖性检测算法是解决此问题的关键。

本研究任务主要是识别测试数据中与训练数据不同的部分，通常这种检测检测主要分为单分类OCC(one-class classification)检测与多分类OOD(out of distribution)检测，单类分类OCC是多类分类的一种特殊情况^[28]，目标是学习一个表示或一个分类器，使其在推理过程中能够识别正向标签的查询。OOD检测是指使用模型检测出OOD样本，即不同于训练集内任何类别的新类样本，对于不同的大类，如猫、狗、鸟等，通过设定不同的置信度或阈值对不同于训练集的样本进行排除即可达到较好的效果，如SMOOD(softmax OOD)^[29]、ODIN^[30]与OODL(OOD discernment layer)^[31]等都是从此方向进行模型改进，以达到排除OOD样本的目的。因此对于可见类与不可见类从根本上不同时，可以通过OCC或OOD检测进行区分，而细粒度分类问题无法只通过阈值设置解决异常值误识别问题，极易将未知相似样本识别成目标样本，并且可以达到很高的置信度。因此就需要对细粒度类别进行ND(novelty detection)新颖性检测^[32]，属于广义OOD检测内多个类别中的一个类别。新颖性检测又可以分为单类和多类新颖性检测，但本质上都是将新类样本与训练集内样本区分开，属于二分类问题，其对于细粒度级别的最新研究即NDCC。由于CNN分类器所学习的类条件分布和相关的距离度量不可识别，与新颖性检测不一致，在NDCC论文中提出了一种新的正则化约束--类条件高斯性损失来消除这种不可辨识性，并强制执行高斯类条件分布。这使得训练新颖性检测一致分类器能够联合优化分类和新颖性检测。NDCC在CNN训练中加入最小化交叉熵损失来优化CNN参数，给定一批训练示例 ${\left\{\right({x}_{i},{y}_{i}\left)\right\}}_{i=1}^{m}$ ，W指类别权重，V为所属特征空间，b为偏差，最小化交叉熵损失(L_CE)计算如式(1)。

${L_{CE}} = - \frac{1}{m}\sum\nolimits_{i = 1}^m {\lg \frac{{{{\text{e}}^{({W_{{y_i}}},V({x_i})) + {b_{{y_i}}}}}}}{{\sum\nolimits_{K = 1}^C {{{\text{e}}^{({W_K},V({x_i})) + {b_K}}}} }}.}$

(1)

由于CNN中常用的是小批量的优化方式，需要使得y类下的 $V\left(x\right)$ 具有平均 ${\mu }_{y}\left(\theta \right)=\sum \left(\theta \right){W}_{y}$ 和协方差 $\sum \left(\theta \right)$ 。解决这个问题，首先， ${\left\{{\mu }_{k}\right(\theta \left)\right\}}_{k=1}^{C}$ 和 $\sum \left(\theta \right)$ 应拟合特征空间中的数据分布，需要通过最小化高斯模型{G(v(x))}的负对数似然(NLL)来完成，通过最小化NLL优化参数，达到最小化小批量训练实例的负对数似然结果(L_NLL)，公式如式(2)。

${L_{NLL}} = \frac{{\lg |\sum {(\theta )} |}}{2} + \frac{1}{{2m}}\sum\nolimits_{i = 1}^m {||V({x_i}) - {\mu _{{y_i}}}(\theta )||} _{\sum {(\theta )} }^2.$

(2)

式中 $V(\bullet )$ 需要符合 ${E}_{X|Y}\left[V\right(X\left)\right|y]=\sum \left(\theta \right){W}_{y}$ 的条件，这需要最小化从 ${\left\{V\right({x}_{i}\left)\right\}}_{i=1}^{m}$ 到 ${\left\{{\mu }_{{y}_{i}}\right(\theta )=\sum \left(\theta \right){W}_{{y}_{i}}\}}_{i=1}^{m}$ 的马氏距离(L_MD)来达到，其公式如式(3)。

${L_{MD}} = \frac{1}{{2m}}\sum\nolimits_{i = 1}^m {||V({x_i}) - {\mu _{{y_i}}}(\theta )||} _{\sum {(\theta )} }^2.$

(3)

结合式(2)和式(3)可以得到可识别正则化损失：

${L_{CCG}} = \gamma {L_{NLL}} + {L_{MD}}.$

(4)

式中 $\gamma > 0，\lambda > 0$ 均为平衡两项损失的乘数，式(4)与式(1)的损失函数组合成一个新的总损失(L):

$L = {L_{CE}} + \lambda {L_{CCG}}.$

(5)

此函数可以看作是一个运行在softmax层两侧的损失函数。一方面， ${L}_{CE}$ 在该层的输出处形成了类后验概率，确保了所见类的最佳分类。另一方面， ${L}_{CCG}$ 迫使输入层的分布是高斯分布,保证了输入和输出分布之间的一致性，消除了输入处的模糊性。其中类条件分布被强制为高斯分布，使得类条件概率分布与特征提取器中几何形状的距离函数能够识别，最终实现新颖性检测。通过新颖性检测算法来计算所有识别目标的新颖性得分，对其进行阈值化，作出新颖性检测决策，从而实现对非目标误识别问题的解决。

1.4 评价指标

本文主要评价指标为准确率(A_CC)，即在所有样本（包含目标与非目标）中预测正确的比例，计算公式如下：

$A_{CC} = \frac{{{T_p}}}{{P + N}} \times {\text{100\text{%} }}.$

(6)

式中T_p表示目标中预测正确的数量，P表示图中出现的目标数量，N表示图中出现的非目标数量。在不含非目标的试验测试中，N的值为0.

因为本文中需要计算每张图片中各个目标的数量，基于标注难度，无法对大量数据进行测试，仅使用准确率作为评价指标并不能完全体现算法性能，因此在实验中也使用均值平均精度mAP(mean average precision)作为评价指标，计算公式如下：

$\mathrm{mAP}=\left(\frac{T_p}{T_p+F_p}\mathord{\left/\vphantom{\frac{T_p}{T_p+F_p}5T}\right.}5T\right)\times100\text{%}$

(7)

式中T_p指正样本中预测正确的比例，F_p指负样本中预测成正样本的比例，T为验证集数量。本研究目标共5类。

对于非目标易混淆问题，采取非目标误检率F_D(false detection rate)进行评价，即在全部非目标中被混淆为目标的概率，非目标的误检率越低，算法效果越好。非目标误检率的计算为非目标中被识别为目标的数量占全部非目标数量的百分比。计算公式如下：

${F_D} = \frac{{{F_N}}}{N} \times 100\text{%} .$

(8)

其中F_N为非目标被识别成目标的数量。

2. 结果与分析

2.1 针对目标粘连问题的算法改进

2.1.1 DeAnchor

将NMS改为Soft NMS，并加入DeAnchor算法后，粘连情况得到改善。图3为算法改进前后典型的两种粘连情况对比，可以看到改进后模型对不同尺度粘连与相同尺度粘连的识别情况，使邻近目标粘连、小目标检测框被大目标覆盖等问题得到改善。

图 3 算法改进前后的粘连部分图片

Figure 3. Sticky part pictures before and after algorithm improvement

下载: 全尺寸图片幻灯片

对于算法改进前后采用了同一批数据集作对比，此数据集中，训练集采用了6000张混合了原始标注数据集和进行过数据处理的数据集，丰富了数据集，使得训练模型更具有鲁棒性。验证集部分采用了30张标注图像数据，每张图50只虫，无非目标存在。其训练过程的mAP对比结果如图4所示，对于50虫/图的验证集，mAP最高达到了90%，比算法改进前的最好效果提升了约15个百分点，对于多分类且不同类别处于同一图，还存在难度较高的密集型分类情况下，达到了较为优越的水平。

图 4 加入DeAnchor模型前后mAP对比

Figure 4. Comparison of mAP (mean average precision) before and after adding the DeAnchor model

下载: 全尺寸图片幻灯片

2.1.2 预测框强制缩减

算法改进后训练所得模型的预测效果使用不同密度的测试集来展示，因硬件设置，较少出现50虫/图的情况，使用50虫/图作为验证集，是希望在高难度识别情况下将问题暴露出来，再对算法进行改进，因此，在这里做不同密度下对不同种类目标与对所有标注图像的平均识别结果进行展示，表示此算法从最高到最低可达到的水平，每种密度分别标注了20张进行均值预测。表1是两个步骤完成后的识别结果，分别展示了混合图像中不同类别目标在不同密度下的分类准确率，以及所有目标混合的平均分类精度。

表 1 改进后模型对不同密度下测试集的识别结果

Table 1. The improved model recognizes the test sets at different densities %

密度 Density/(虫·图⁻¹)	识别准确率Accuracy of recognize					mAP	准确率Accuracy A_CC
密度 Density/(虫·图⁻¹)	草地贪夜蛾 Spodoptera frugiperda	稻纵卷叶螟 Cnaphalocrocis medinalis	二化螟 Chilo suppressalis	玉米螟 Pyrausta nubilalis	黏虫 Mythimna separata	mAP	准确率Accuracy A_CC
10	95	86	96	100	100	95.4	96.1
20	99	85	89	98	100	94.2	93.5
30	89	80	100	95	100	92.8	91.0
40	90	95	81	91	95	90.4	91.3
50	85	81	89	98	97	90.0	90.6

下载: 导出CSV

| 显示表格

从表1可以看出，使用此算法训练好的模型进行识别，密度为10、20、30、40、50虫/图时，mAP分别达到95.4%、94.2%、92.8%、90.4%、90%，准确率也达到了96.1%、93.5%、91.0%、91.3%、90.6%。从各类目标的识别结果看，大尺度目标识别准确率较高，小尺度目标的识别准确率偏低。整个模型在密度较低时可以达到较高的精确度，随密度升高识别率也逐渐下降。

2.2 使用NDCC改进模型后产生的结果

本试验主要采取两个步骤解决非目标误识别。首先，建立非目标数据集，将其标记为背景，加入训练集进行训练。所得模型对混合目标与非目标图片的预测中，非目标误检率大大降低，主要是对放入训练集的几个种类达到了降低误检率的效果。此步骤是通过人为的方法降低误检率，存在问题为，收集的非目标种类不够多，已有非目标种类误检率虽有降低，但不同姿势下仍易被识别为目标，若每种非目标都进行标注，每种非目标的不同飞行姿势也进行标注，易使得非目标数据占据训练集比例过大，会使目标识别率降低。因此，采取第二步，对算法进行新颖性检测方向的改进。此算法改进需保证改进后的算法不可影响任务目标的识别率，且改进后算法能够使非目标的误检率降低。图5展示了算法改进前后在训练过程中的mAP的变化，此对比使用同一批训练集（包含非目标），验证集密度为50虫/图。

图 5 加入NDCC模型前后mAP对比

Figure 5. Comparison of mAP before and after adding the NDCC model

下载: 全尺寸图片幻灯片

图5显示，加入NDCC算法前后，在相同训练集的训练中mAP的变化，证实加入NDCC后算法不会对目标害虫的分类识别产生影响。基于此事实，观察对非目标的误识别情况。表2为加入NDCC后训练所得模型在3种情况下对非目标的误检率。结果表明，原算法与纯目标数据集解决了一部分细粒度级别的非目标误识别问题，30只纯非目标图片的误检率降至29%，30与40只混合图片误检率降至51%和42%。加入NDCC对算法进行改进后，纯非目标图片误检率降至9%，混合30与40只的图片误检率降至18%和15%。

表 2 不同模型非目标的误检率

Table 2. The false rate of non-target in different models %

算法 Algorithm	30虫·图^-1非目标 30 pests per image non target	30虫·图^-1非目标+目标 30 pests per image non target and target	40虫·图^-1非目标+目标 40 pests per image non target and target
M (Mask-RCNN)+ D ( DeAnchor)	78	98	95
M + D + 非目标数据集	29	51	42
M + D + 非目标数据集 + NDCC	9	18	15

下载: 导出CSV

| 显示表格

2.3 实际检测效果分析

图6为智能虫情测报灯拍摄图像，图中所有目标由人为放入数量相同的5种目标以及非目标。因数据集整体曝光偏高的问题，预测时将曝光调整至原先的1.2倍，所得测试结果如图所示，30虫/图的识别准确率达到93.3%，误检率为16.6%，50虫/图的识别准确率达到90%，误检率为14.2%。

图 6 最终改进模型在不同密度下预测结果图

Figure 6. The ultimate improved model predicts the resulting plots at different densities

下载: 全尺寸图片幻灯片

图7为智能虫情测报灯在湖北省当阳市水稻田中实际拍摄图像的识别情况，因地点、气候等原因影响，实际拍摄图中大多为稻纵卷叶螟，夹杂少数二化螟，其余类型目标出现较少，非目标杂虫也仅出现在个别图中，无法用于整体结果测试。因此，选取两张较密集情况下的图片进行识别，示例一稻纵卷叶螟密集粘连，示例二非目标误检问题。

图 7 稻田中的识别结果图

Figure 7. Map of the identification results in a rice field

下载: 全尺寸图片幻灯片

测试结果证明，改进后的模型适用于密集情况下的虫体识别，目标粘连和非目标误识别问题得到改善。

本文主要任务为应用于智能探测虫情灯的识别算法改进，在要求高精度的同时，解决实际应用中出现的目标粘连和非目标误识别问题。原始模型主要依赖于密集锚定方案，使用预定义的尺度和纵横比均匀采样，且无法清除非目标对分类识别的影响。在本文中，使用算法学习目标语义特征对锚框形状进行引导，同时加入新颖性检测提升算法对非目标的识别性。为了更好地体现算法性能，表3给出了其他模型与本研究所提出模型在本试验数据与环境下的对比结果，此对比试验中使用了相同训练集与测试集，对其他模型参数也进行了微调。Mask-RCNN模型在各个模型中的识别准确率上表现最佳，改进Mask-RCNN模型比原模型mAP提升了5个百分点，误检率降低至15%。可以看到本文所提出的模型更满足本研究环境下对算法的要求，在各个评价指标上均取得较优的结果。

表 3 不同模型50虫·图^-1非目标与目标混合图的识别结果

Table 3. Recognition results of 50 pests per images mixed with non-target and target by different models %

模型 Models	mAP	A_CC	非目标误检率 Non target false detection rate F_D
YOLO v5	71	70	78
Faster RCNN	78	81	61
Mask-RCNN	85	82	58
M + D	90	85	42
M + D + NDCC	90	91	15

下载: 导出CSV

| 显示表格

3. 结　论

本研究主要任务为智能探测虫情灯提供识别算法，拍摄并标注5类目标害虫共6000张，为后续算法改进与研究提供了数据。识别算法以Mask-RCNN算法为基础，并针对目标粘连问题与非目标误识别问题进行了算法改进。主要研究结论如下：

1) 针对目标粘连问题：采取Soft NMS替换NMS，尽可能多的出现高得分预测框；采取DeAnchor对每种目标面积进行学习，使得模型预测识别时检测框尽可能贴合目标；预测时，进一步对超出面积的检测框进行缩减，尽可能暴露周围检测框。试验结果表明，纯目标验证集平均精度均值达到90%以上，同等大小与体型相差不大目标的粘连问题得到改善，最大与最小体型目标粘连问题仍存在进步空间。

2) 针对非目标误识别问题：加入非目标数据集降低其被识别为目标的得分，并加入细粒度级别的新颖性检测算法NDCC对算法进行改进，使得非目标误检率从78%降低到9%，改善了非目标误识别问题。

图 1 多种姿态试验目标与常见非目标杂虫

Figure 1. Experimental targets in multiple postures versus common non-target miscellaneous insects

下载: 全尺寸图片幻灯片

图 2 改进Mask-RCNN网络模型

Figure 2. Network model of improved Mask-RCNN

下载: 全尺寸图片幻灯片

图 3 算法改进前后的粘连部分图片

Figure 3. Sticky part pictures before and after algorithm improvement

下载: 全尺寸图片幻灯片

图 4 加入DeAnchor模型前后mAP对比

Figure 4. Comparison of mAP (mean average precision) before and after adding the DeAnchor model

下载: 全尺寸图片幻灯片

图 5 加入NDCC模型前后mAP对比

Figure 5. Comparison of mAP before and after adding the NDCC model

下载: 全尺寸图片幻灯片

图 6 最终改进模型在不同密度下预测结果图

Figure 6. The ultimate improved model predicts the resulting plots at different densities

下载: 全尺寸图片幻灯片

图 7 稻田中的识别结果图

Figure 7. Map of the identification results in a rice field

下载: 全尺寸图片幻灯片

表 1 改进后模型对不同密度下测试集的识别结果

Table 1 The improved model recognizes the test sets at different densities %

密度 Density/(虫·图⁻¹)	识别准确率Accuracy of recognize					mAP	准确率Accuracy A_CC
密度 Density/(虫·图⁻¹)	草地贪夜蛾 Spodoptera frugiperda	稻纵卷叶螟 Cnaphalocrocis medinalis	二化螟 Chilo suppressalis	玉米螟 Pyrausta nubilalis	黏虫 Mythimna separata	mAP	准确率Accuracy A_CC
10	95	86	96	100	100	95.4	96.1
20	99	85	89	98	100	94.2	93.5
30	89	80	100	95	100	92.8	91.0
40	90	95	81	91	95	90.4	91.3
50	85	81	89	98	97	90.0	90.6

下载: 导出CSV

表 2 不同模型非目标的误检率

Table 2 The false rate of non-target in different models %

算法 Algorithm	30虫·图^-1非目标 30 pests per image non target	30虫·图^-1非目标+目标 30 pests per image non target and target	40虫·图^-1非目标+目标 40 pests per image non target and target
M (Mask-RCNN)+ D ( DeAnchor)	78	98	95
M + D + 非目标数据集	29	51	42
M + D + 非目标数据集 + NDCC	9	18	15

下载: 导出CSV

表 3 不同模型50虫·图^-1非目标与目标混合图的识别结果

Table 3 Recognition results of 50 pests per images mixed with non-target and target by different models %

模型 Models	mAP	A_CC	非目标误检率 Non target false detection rate F_D
YOLO v5	71	70	78
Faster RCNN	78	81	61
Mask-RCNN	85	82	58
M + D	90	85	42
M + D + NDCC	90	91	15

下载: 导出CSV

参考文献(32)

[1]	蒋敏,李秀彬,辛良杰,等. 南方水稻复种指数变化对国家粮食产能的影响及其政策启示[J]. 地理学报,2019,74(1):1773-1787. JIANG Min, LI Xiubin, XIN Liangjie, et al. The impact of paddy rice multiple cropping index changes in southern china on national grain production capacity and its policy implications[J]. Journal of Geographical Sciences, 2019, 74(1): 1773-1787. (in English with Chinese abstract)
[2]	WATSON A T, O'NEILL M A, KITCHING I J. Automated identification of live moths (Macrolepidoptera) using digital automated identification system (DAISY)[J]. Systematics and Biodiversity, 2004, 1(3): 287-300. doi: 10.1017/S1477200003001208
[3]	CHENGLU W, DANIEL E G, WEI L. Local feature-based identification and classification for orchard insects[J]. Biosystems Engineering, 2009, 104(3): 299-307. doi: 10.1016/j.biosystemseng.2009.07.002
[4]	WEN C, GUYER D. Image-based orchard insect automated identification and classification method[J]. Computers and Electronics in Agriculture, 2012, 89(1): 110-115.
[5]	吕军,姚青,刘庆杰,等. 基于模板匹配的多目标水稻灯诱害虫识别方法的研究[J]. 中国水稻科学,2012,26(5):619-623. doi: 10.3969/j.issn.1001-7216.2012.05.016 LV Jun, YAO Qing, LIU Qingjie, et al. Identification of multi-objective rice linght-trap pests based on template matching[J]. Chinese Journal of Rice Science, 2012, 26(5): 619-623. (in Chinese with English abstract) doi: 10.3969/j.issn.1001-7216.2012.05.016
[6]	YAO Q, LV J, LIU Q. An insect imaging system to automate rice light-trap pest identification[J]. Journal of Integrative Agriculture, 2012, 11(6): 978-985. doi: 10.1016/S2095-3119(12)60089-6
[7]	HE K, GKIOXARI G, PIOTR D, et al. Mask R-CNN[C]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017: 2980-2988
[8]	LI W, ZHU T, LI X, et al. Recommending advanced deep learning models for efficient insect pest detection[J]. Agriculture. 2022, 12(7): 1065-1073.
[9]	DEEPIKA P, ARTHI B. Prediction of plant pest detection using improved mask FRCNN in cloud environment[J]. Measurement: Sensors, 2022, 24(3): 100549-100557.
[10]	KASINATHAN T, UYYALA S R. Detection of fall armyworm(spodoptera frugiperda)in field crops based on mask R-CNN[J]. Signal, Image and Video Processing, 2023, 17(6): 2689-2695. doi: 10.1007/s11760-023-02485-3
[11]	RONG M, WANG Z, BAN B, et al. Pest identification and counting of yellow plate in field based on improved Mask R-CNN[J]. Discrete Dynamics in Nature and Society, 2022, 28(5): 1155-1164.
[12]	MENDOZA, CHRISTIAN D, DENVER G. Black soldier fly or wasp: An instance segmentation using Mask R-CNN[EB/OL]. [2022-10-03].https://www.researchgate.net/publication/ 366000251.
[13]	LIU S, FU S, HU A, et al. Research on insect pest identification in rice canopy based on GA-Mask R-CNN[J]. Agronomy. 2023, 13(8): 2155-2173.
[14]	ANALYN N Y, MA C M S J, REGINA L C D. Detection and classification of defective fresh excelsa beans using Mask R-CNN algorithm[C]. Brisbane, Australia: International Conference on Computer and Automation Engineering (ICCAE), Brisbane, Australia, 2022: 97-102.
[15]	朱煜,江林佳,肖玉玲. 材料图像目标粘连点定位与分割方法研究[J]. 南京理工大学学报,2008,32(1):4-12. ZHU Yu, JIANG Linjia, XIAO Yuling. Research on target adhesion point localization and segmentation method of material image[J]. Journal of Nanjing University of Science and Technology, 2008, 32(1): 4-12. (in Chinese with English abstract)
[16]	李文勇,李明,钱建平,等. 基于形状因子和分割点定位的粘连害虫图像分割方法[J]. 农业工程学报,2015,31(5):175-180. LI Wenyong, LI Ming, QIAN Jianping, et al. Segmentation method for touching pest images based on shape factor and separation points location[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 175-180. (in Chinese with English abstract)
[17]	张建华,韩书庆,翟治芬,等. 改进自适应分水岭方法分割棉花叶部粘连病斑[J]. 农业工程学报,2018,34(24):165-174. doi: 10.11975/j.issn.1002-6819.2018.24.020 ZHANG Jianhua, HAN Shuqing, ZHAI Zhifen, et al. Improved adaptive watershed method for segmentation of cotton leaf adhesion lesions[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(24): 165-174. (in Chinese with English abstract) doi: 10.11975/j.issn.1002-6819.2018.24.020
[18]	YANG S, HUANG J, YU X, et al. Research on a segmentation and location algorithm based on Mask RCNN for agaricus bisporus[C]. Nanjing, China: 2022 2nd International Conference on Computer Science, Electronic Information Engineering and Intelligent Control Technology (CEI), 2022: 717-721.
[19]	梁喜凤,章鑫宇,王永维. 基于改进Mask R-CNN的番茄侧枝修剪点识别方法[J]. 农业工程学报,2022,38(23):112-121. LIANG Xifeng, ZHANG Xinyu, WANG Yongwei. Recognition method for the pruning points of tomato lateral branches using improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 112-121. (in Chinese with English abstract)
[20]	甘雨,郭庆文,王春桃,等. 基于改进EfficientNet模型的作物害虫识别[J]. 农业工程学报,2022,38(1):203-211. GAN Yu, GUO Qingwen, WANG Chuntao, et al. Recognizing crop pests using an improved EfficientNet model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(1): 203-211. (in Chinese with English abstract)
[21]	王鲁,刘晴,曹月,等. 基于改进Cascade Mask RCNN与协同注意力机制的群猪姿态识别[J]. 农业工程学报,2023,39(4):144-153. WAN Lu, LIU Qing, CAO Yue, et al. Posture recognition of group-housed pigs using improved Cascade Mask R-CNN and cooperative attention mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(4): 144-153. (in Chinese with English abstract)
[22]	蔡舒平,孙仲鸣,刘慧,等. 基于改进型YOLOv4的果园障碍物实时检测方法[J]. 农业工程学报,2021,37(2):36-43. CAI Shuping, SUN Zhongming, LIU Hui, et al. Real-time detection methodology for obstacles in orchards using improved YOLOv4[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(2): 36-43. (in Chinese with English abstract)
[23]	CHENG J, VASCONCELOS N. Learning deep classifiers consistent with fine-grained novelty detection[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE, 2021: 1664-1673.
[24]	陈树越,吴正林,朱军,等. 基于凹点检测的粮仓粘连害虫图像分割算法[J]. 计算机工程,2018,44(6):213-218. CHEN Shuyue, WU Zhenglin, ZHU Jun, et al. Image segmentation algorithm for grain overlapping pests based on pitting detection[J]. Computer Engineering, 2018, 44(6): 213-218. (in Chinese with English abstract)
[25]	WANG J, KAI C, YANG S, et al. Region proposal by guided anchoring[J]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) ,Long Beach, CA, USA:2019.
[26]	BODLA N, SINGH B, CHELLAPPA R, et al. Soft-NMS -- improving object detection with one line of code[J]. 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy: 2017.
[27]	ZHENG X, LI F, LIN B, et al. A two-stage method to detect the sex ratio of hemp ducks based on object detection and classification networks[J]. Animals. 2022; 12(9): 1177-1186.
[28]	PERERA P, OZA P, PATEL V M. One-class classification: A survey[EB/OL]. [2021-01-08] https://doi.org/10.48550/arXiv.2101.03064.
[29]	HENDRYCKS D, GIMPEL K. A baseline for detecting misclassified and out-of-distribution examples in neural networks[EB/OL]. [2018-10-03] https://doi.org/10.48550/arXiv.1610.02136.
[30]	LIANG S, LI Y , SRIKANT R. Principled detection of out-of-distribution examples in neural networks[EB/OL]. [2017-06-10]https://doi.org/10.48550/arXiv.1706.02690.
[31]	ABDELZAD V, CZARNECKI K, SALAY R, et al. Detecting out-of-distribution inputs in deep neural networks using an early-layer output[EB/OL].[2019-10-23] https://doi.org/10.48550/arXiv.1910.10307.
[32]	PIMENTEL M A F, CLIFTON D A, CLIFTON L, et al. A review of novelty detection[J]. Signal Processing, 2014, 99(6): 215-249. PIMENTEL M A F, CLIFTON D A, CLIFTON L, et al. A review of novelty detection[J]. Signal Processing, 2014, 99(6): 215-249.