Classifying crops from hyperspectral images using spatial-spectral dual branches and dynamic feature selection
-
摘要:
高光谱遥感可以捕获地表近乎连续的光谱曲线，以较高的光谱诊断能力对地表农作物进行精细分类与识别。传统基于深度学习的高光谱分类算法中空间、光谱特征捕捉利用困难、冗余特征筛选能力不足、模型约束过于单一等问题，导致农作物类型复杂且样本分布不均区域分类模型性能下降。该研究提出一种基于空间-光谱双分支动态特征选择的高光谱分类算法，在结合通道注意力机制和空间注意力机制进行空间-光谱特征提取的基础上，通过门控卷积层对提取到的特征进行相关性的计算和处理，实现空间维度和通道维度上的特征动态选择，并分别从空间、光谱和联合特征3个角度对分类结果约束，结合分类损失函数实现高光谱影像的分类任务。结果表明，在JAAS（Jiangsu academy of agricultural sciences，江苏省农业科学院）高光谱农作物分类数据集上，该研究算法总体精度、Kappa系数分别为99.35%和99.20%，相较于专为高光谱分类设计的算法CDCNN（contextual deep convolution network，上下文深层卷积网络）、WCRN（wide contextual residual network，广义上下文残差网络）、DBDA（double-branch dual-attention mechanism network，双分支双注意力机制网络）、DCNN（dual-channel convolution network，双通道卷积网络）分别提升了4.91%和6.12%、6.82%和8.53%、2.12%和2.63%、2.04%和2.54%；在公开数据集WHU-Hi-HanChuan区域，总体精度、Kappa系数分别为99.49%、99.41%，相较于CDCNN、WCRN、DBDA、DCNN分别提升了1.67%和1.96%、3.23%和3.80%、2.00%和2.35%、1.10%和1.29%；在WHU-Hi-Longkou区域，总体精度、Kappa系数分别为99.8%、99.74%，相较于CDCNN、WCRN、DBDA、DCNN分别提升了1.30%和1.71%、0.59%和1.74%、0.71%和0.93%、0.57%和0.76%。所提方法在样本分布不均的不同作物识别上均具有较高的识别准确率，可为基于高光谱影像的地物复杂且样本分布不均地区的农作物分类提供指导。
Abstract:Hyperspectral remote sensing images can capture the continuous spectral curves of the ground surface, and then enable the delicate classification of crops, due to their diagnostic capability of high spectral data. The conventional algorithms of hyperspectral image classification are highly required to explore the spatial information and effective utilization of spectral images. It cannot be fully addressed on the "same object, different spectra; different objects, same spectra" problem, such as the Hughes phenomenon. The classification accuracy has been improved with the continuous development of deep learning-based classification on hyperspectral images. However, there are still several issues that need to be addressed: 1) Traditional convolution layers can be calculated by the equal weights for all pixels in the feature extraction, particularly without considering the spatial correlation and local similarity within the feature neighborhood. 2) Although the previous algorithms have separately captured the spatial and spectral features in the hyperspectral images, the extraction of high-dimensional features can often result in redundancy, which is lacking in effective feature selection. 3) Traditional algorithms of deep learning can often merge the temporal and spatial features using a single feature constraint method, especially for loss calculation. Comprehensive feedback is required on the classification from the spatial and spectral perspectives. The comprehensiveness of the fused features can remain to be examined during this time. In this study, a hyperspectral classification algorithm was proposed using a spatial-spectral dual-branch architecture and a dynamic feature selection strategy. The channel and spatial attention modules were introduced to extract and screen the spatial-spectral joint features. Moreover, the gated convolutional layers were used to calculate the correlation of extracted features, enabling dynamic feature selection in both the spatial and channel dimensions. A novel loss function was designed to constrain the classification, in terms of the spatial and spectral perspectives. The results indicate that: 1) The DBDS algorithm performed better in the time efficiency and accuracy, compared with the mainstream crop classification. On the JAAS dataset, the OA and Kappa of the improved algorithms were 99.35% and 99.2%, respectively, which were 4.91% and 6.12%, 6.82% and 8.53%, 2.12% and 2.63%, 2.04% and 2.54% higher than those of CDCNN, WCRN, DBDA, and DCNN, respectively. On the WHU-Hi-HanChuan dataset, the OA of 99.49% and the Kappa of 99.41% were 1.67% and 1.96%, 3.23% and 3.80%, 2.00% and 2.35%, 1.10% and 1.29% higher than those of CDCNN, WCRN, DBDA, and DCNN, respectively. On the WHU-Hi-Longkou dataset, the OA and Kappa were also improved, reaching 99.8% and 99.74%, respectively, which were 1.30% and 1.71%, 0.59% and 1.74%, 0.71% and 0.93%, 0.57% and 0.76% higher than those of CDCNN, WCRN, DBDA, and DCNN, respectively. 2) The spatial-spectral features were effectively extracted to reduce the model degradation in the dataset with the limited samples, complex and difficult-to-distinguish land cover classification. On the WHU-Hi-Hanchuan dataset, the DBDA algorithm was focused on the extraction of spectral information. The better performance was achieved in the tasks of crop classification with sufficient samples, indicating the high f1 scores for the strawberry, Cowpea, soybean, and sorghum (99.60%, 99.10%, 99. 41%, and 99.71%, respectively). However, the significant degradation of the model was observed to classify the lack-sample targets, where the f1 scores for the watermelon and bare soil were only 86.30% and 91.07%, respectively. By contrast, the DBDS algorithm improved the recognition accuracy of various crops with the f1 scores of 96.65% and 98.23% for the watermelon and bare soil, respectively, indicating the effective extraction and utilization of spatial and spectral features. Therefore, the higher accurate and efficient classification was achieved in the fine-grained crop in the regions with the imbalanced samples and the diverse types of land covering. Therefore, 2D convolution-based hyperspectral classification algorithms can be expected to obtain the effective extraction of spatial-spectral features with comparable accuracy to 3D convolution with fewer parameter computations. This finding can also provide important implications and strong references for the target recognition tasks using hyperspectral data.
-
0. 引 言
随着科学技术、硬件设备以及航天航空技术的快速发展，遥感技术以其不需要接触被测目标即可远距离获得光谱几何信息，不受恶劣地面条件限制等优势得广泛应用[1]。高光谱影像由于记录了连续的窄光谱波段，不仅能够表征地物的结构、纹理信息，还可以反演大量的光谱信息，在资源环境监测、地质勘测、农业产业分析和估产等方面获得广泛应用[2-4]。
高光谱影像农作物分类（hyperspectral image classification，HSIC）通过判别影像中每个像素对应的农作物及其他混淆地物类型标签获得地表结构分布，近年来受到越来越多的关注。如何从高维度的光谱通道中针对性地提取最具判别性的地物目标本征特征是高光谱影像分类的关键。传统的高光谱影像分类算法为了捕捉丰富的光谱信息，引入逻辑回归[5]、K邻近分类器[6]、距离分类器[7]、最大似然分类器[8]等进行相似性检测和分类，但是，由于忽略了对于空间信息的探索，随着影像的光谱维度不断增高，分类结果的Hughes现象[9]明显。
考虑到高光谱数据“图谱合一”的特性，即不仅仅记录了丰富的光谱信息，也蕴含着大量的空间特征，光谱降维和空间、光谱联合特征提取技术相结合的高光谱分类算法逐渐发展起来，主成分分析（principal component analysis，PCA）、独立成分分析（independent components analysis，ICA）、线性判别分析（linear discriminant analysis，LDA）等[10-13]是最常用的光谱降维技术，空间特征提取过程中则多采用拓展形态学剖面[14]（extended morphological profiles，EMP）、局部二值模式[15]（local binary patterns，LBP）等技术，由于加入了空间特征[16]，如Garbor特征、差异形态学特征（differential morphological profile，DMP）、灰度共生矩阵（grey-level co-occurrence matrix，GLCM）等，这类算法的分类精度远高于传统方法，但“同物异谱，异物同谱”问题[17]仍然没有得到有效解决。
机器学习的发展使得支持向量机（support vector machine，SVM）、极限学习机（extreme learning machine，ELM）、随机森林（random forest，RF）、贝叶斯理论等逐渐在高光谱分类[18-21]领域崭露头角。然而这类算法中经验设计特征耗时耗力，参数阈值的选择依赖于多次试验和经验，算法的鲁棒性不强。能够自动提取经验设计特征中缺乏的浅、中、高层抽象语义特征的深度学习技术发展迅猛，深度置信网络（deep belief networks，DBN）、循环神经网络（recurrent neural network，RNN）、一维卷积神经网络（1D convolutional neural network，1D CNN）等[22-24]最先被引入高光谱分类领域，虽然分类结果较传统方法有很大的提升，但是这类方法在训练之前需要将高维高光谱影像处理成一维向量，导致空间、光谱结构性信息丢失。基于二维卷积神经网络（2D convolutional neural network，2D CNN）、三维卷积神经网络（3D convolutional neural network，3D CNN）[25-27]的分类算法由于可以捕捉目标丰富的高维特征，是近几年的研究热点。此外，空间特征和光谱特征的分别提取并融合的策略[28]被证明可以有效提升分类精度，成为目前基于深度学习的高光谱分类算法中主流的特征提取模块。
虽然基于深度学习的高光谱影像分类方法不断发展，分类精度不断提升，但仍存在以下问题亟待解决：1）在特征提取过程中，传统深度学习算法对于输入特征邻域内的所有像素点等权计算，特征邻域内的空间关联性和局部相似性缺乏探索，对于颜色、结构和纹理等不同类别特征进行了融合处理，缺乏对于空间尺度上不同位置特征重要性的探究；2）虽然之前算法针对高光谱影像中的空间特征和光谱特征分别进行捕捉，但是高维特征的提取往往会产生较多冗余，缺乏对特征的有效筛选；3）在特征约束的过程中，传统深度学习算法往往将时空特征融合，采用单一的特征约束方式进行损失计算，缺乏在空间、光谱不同角度进行分类结果的反馈，融合特征的全面性有待商榷。
针对上述问题，本文提出一种空间-光谱特征动态选择的高光谱影像农作物分类算法（hyperspectral images classification based on spatial-spectral dual branches and dynamic feature selection strategy，DBDS），设计了空间、光谱双分支结构，分别进行空间、光谱特征的提取，以减少2类特征之间的相互干扰，并且在对应分支中结合空间注意力机制、通道注意力机制模块，进行更具代表性特征的筛选；利用可以进行空间特征交互的门控卷积替换传统卷积层，捕捉不同位置特征之间的差异性进行加权计算，从空间维度对有效位置特征进行筛选；从不同的特征角度，对空间、光谱特征以及联合特征进行多输出损失计算和交叉约束。
1. 试验数据
1.1 WHU-HI开源数据集
本文选取开源高光谱分类数据集WHU-HI数据集中的Longkou、Hanchuan（http://rsidea.whu.edu.cn/resource_sharing.htm）开展试验。影像均为中国湖北省包含不同作物类型的农业区，由无人机搭载的Headwall Nano-Hyperspec传感器获取。与星载和机载高光谱平台相比，无人机高光谱系统可以获取高空间分辨率的高光谱图像，避免由于空间分辨率不足造成的混合像元现象对分类精度的影响。
HanChuan数据集影像由Leica Aibot X6无人机搭载传感器在距离地面250 m处拍摄获得，大小为1217×303，光谱范围400～1000 nm，划分为274个波段，共包含16种地物类别：草莓、豇豆、大豆、水芹菜、西瓜、高粱以及混淆地物草坪、绿地等，空间分辨率约0.109 m；LongKou数据集由大疆DJI Matrice 600 Pro无人机搭载传感器在距离地面500 m处拍摄获得，影像尺寸550×400像素，光谱范围为400～1000 nm，划分为270个波段，共包含9种地物类别：玉米、棉花、芝麻、大豆、水稻以及混淆目标等，空间分辨率约0.463 m。类别具体情况如表1所示，其中样本点数量为该数据集高光谱影像中归属于不同地物类型的像素点数。
表 1 WHU-HI数据集标签及样本数量Table 1. Number of labels and samples on WHU-HI dataset数据集
Data set编号No. 类别名
Class name样本点数量
Number of samplesHanchuan C1 草莓 44735 C2 豇豆 22753 C3 大豆 10287 C4 高粱 5353 C5 水芹菜 1200 C6 西瓜 4533 C7 草地 5903 C8 树 17978 C9 杂草 9469 C10 红色屋顶 10516 C11 灰色屋顶 16911 C12 塑料 3679 C13 裸土 9116 C14 道路 18560 C15 亮色地物 1136 C16 水 75401 Longkou C1 玉米 34511 C2 棉花 8374 C3 芝麻 3031 C4 阔叶大豆 63212 C5 窄叶大豆 4151 C6 水稻 11854 C7 水 67056 C8 路和房子 7124 C9 混合地物 5229 江苏省农业科学院
Jiangsu Academy of
Agricultural Sciences， JAASC1 花生 70530 C2 苘麻 87229 C3 西瓜 34257 C4 冬瓜 16702 C5 苦瓜 242170 C6 毛豆 10483 C7 裸土 238840 C8 道路 29027 C9 杂草 163245 1.2 JAAS高光谱农作物分类数据集
为验证本文算法的稳定性，构建了一套JAAS（Jiangsu academy of agricultural sciences，江苏省农业科学院）高光谱农作物分类数据集，数据于2023年6月12日在江苏省南京市六合区江苏省农业科学院蔬菜示范基地，由大疆DJI Matrice 600 Pro无人机搭载Pika L传感器，在距离地面100 m处采集，航拍区域及部分数据采集对象见图1。
经POS数据解析、航线数据分割边界确立、几何校正、地理配准、拼接、高光谱超立方体、辐射校正、反射率影像生成等预处理后，高光谱影像像素尺寸为1746×1772像素，光谱范围为400～1000 nm，划为150个波段，空间分辨率为0.1 m，共包含花生、苘麻、西瓜、冬瓜、苦瓜、毛豆、裸土、道路和杂草9种地物类别。
2. 模型构建
2.1 基于空间-光谱特征动态选择的高光谱农作物分类框架
基于空间-光谱特征动态选择的高光谱影像分类流程见图2。整个流程包括4个阶段：数据预处理、空间-光谱特征联合提取、高层语义特征融合、多尺度输出约束。
![]()
图 2 基于空间-光谱特征动态选择的高光谱影像农作物分类流程注：输入影像大小为H×W，d表示通道数，@后的数字为经过每一步骤操作后特征的通道数，GSA为门控卷积空间特征提取模块，GSE为门控卷积光谱特征提取模块，GB为门控卷积模块，softmax为归一化指数操作，每个卷积层中的卷积核大小为3×3，未标明的步长默认为1。Figure 2. Hyperspectral image crop classification process based on dynamic selection of spatial and spectral featuresNote：The size of the input image is H×W, d is the number of channel, the numbers followed by @ are the dimensions of features. GSA is the gated convolution block based spatial feature extraction module, GSE is the gated convolution block based spectral feature extraction module, and GB is the gated convolutional module, softmax is a normalized exponential function, kernel size of the convolution layer is 3×3, and the stride is 1 if not specifically marked.首先，由于高光谱影像数据量较大，在进行模型训练的过程中，考虑到计算机的算力性能，一般需要先进行分块操作。因此在数据预处理部分，本文首先设定好窗口大小，通过zero-padding操作进行原始高光谱影像尺寸调整，利用滑窗完成块的分割，生成基于块的数据集（如图3所示）。同时由于高光谱影像数据量级和覆盖范围之间相互限制，成像范围相对较小，为了防止训练过程中出现由于训练样本不够而导致的过拟合现象，对分块得到的数据进行数据增强，包括随机尺度缩放、裁剪、翻转和随机旋转等。
其次，为了有效提取空间和光谱特征，避免两者之间的相互干扰，采用独立对称的双分支特征提取结构，同时进行空间和光谱的特征提取，每个分支包含4个特征提取模块。为了提取特征的多尺度信息，设计了多尺度特征提取分支，对空间特征和光谱特征进行有效融合后，利用不同步长实现多尺度特征提取。
最后，从空间、光谱和多尺度联合特征3个角度，利用softmax激活函数分别进行分类结果的预测，结合categorical cross-entropy多类交叉熵损失函数计算与标签之间的差异，实现多输出特征交叉验证和有效的反向传播训练。
2.2 空间特征动态选择策略
普通卷积层在进行特征提取时认为感受野内每个位置的像素重要性相同，进行等权重操作。但是在分类任务中，由于地物类别的差异，局部邻域每个位置的特征相似性和差异性需要考虑，当邻域内某个位置的地物类型和中心像素的地物类型差异很大时，它的特征对于最后的分类判别作用很小，因此为了防止下一层特征之间的计算干扰，给无用特征赋值一个较小的权重进行抑制是有必要的。
为了对提取到的特征进行空间上的位置筛选，本文选取门控卷积[29]替代传统卷积层，在特征提取之后，针对每个通道和空间位置，自适应学习动态特征选择机制，有效区分颜色、结构和纹理等不同种类特征的同时，抑制特征提取过程中的噪声。具体计算式如下：
Gy,x=∑∑Wg⋅I+bg (1) Fy,x=∑∑Wf⋅I+bf (2) Oy,x=∅(Fy,x)⊙φ(Gy,x) (3) 式中I为输入特征，Wg和Wf分别是门控特征和图像特征所对应卷积的权重，bg和bf是相应的偏置，⋅表示卷积操作，⊙为特征间的逐点相乘运算。φ为sigmoid函数，∅是类似ReLU、Leaky ReLU和ELU等的任意激活函数，本研究选取ReLU激活函数。∅(Fy,x)计算每个感受野内的非线性特征，φ(Gy,x)在学习到的门控特征基础上通过Sigmoid激活函数计算∅(Fy,x)所对应的值域为[0,1]的特征位置编码信息，也就是非线性特征空间位置上的权重，∅(Fy,x)和φ(Gy,x)相乘得到经过筛选的特征。
针对不同感受野内迥异的地物信息，无论是特征提取还是空间上位置权重信息的学习，该过程无需任何特征经验设计和判别，仅通过卷积层及对应的激活函数，利用网络的正馈-反馈传播机制，结合标签进行损失计算和反向传播，进行参数的学习，不断优化提取到信息的准确性及不同感受野内每个点位对于最后分类的重要性，从而自适应地实现特征的空间上的有效动态筛选。
2.3 双分支特征提取结构
针对传统深度学习高光谱分类算法提取特征冗余的问题，本文提出一种独立对称的特征提取结构，分别进行空间特征和光谱特征的学习，在每个特征提取模块中，分别加入空间注意力机制和通道注意力机制[30]，同时为了探究联合特征的多尺度信息，在进行空间特征和光谱特征的有效融合后，设计了多尺度特征网络。网络结构如图4所示。
其中，空间特征提取分支由4组连续堆叠的门控卷积空间特征提取模块（gated convolution block based spatial feature extraction module，GSA）构成，如图5所示，每个GSA模块内部由2个门控卷积模块和一个空间注意力机制构成。空间注意力机制的引入主要为了从空间维度进行特征筛选，使得网络在特征提取过程中聚焦更有价值的局部信息，抑制无效位置信息，但是在空间注意力机制的实现过程中，空间尺寸为H×W的输入特征被列化为K×1（K为H与W的乘积）大小，邻域内像素间的空间相关性被忽略，门控卷积层则能很好地描述邻域内部的空间位置相关性进行特征筛选，有效弥补了空间注意力机制中出现的空间位置相关性模糊的问题。每个门控卷积模块由1个卷积核大小为3×3、步长为1的门控卷积层（convolution layer）和1个BN层（batch normalization layer）组成。光谱特征提取分支由对称的4组连续堆叠的门控卷积光谱特征提取模块（gated convolution block based spectral feature extraction module，GSE）构成，对应位置利用通道注意力机制进行光谱维度特征权重计算，使得光谱特征提取过程中注意力更多的集中在有意义的通道上，一定程度上抑制了无用通道的特征。多尺度特征提取分支中，在对空间特征和光谱特征利用串联层（concatenate）融合后，采用3个由卷积核大小为3×3、步长为2的门控卷积层和BN层串联组成的门控卷积模块（gated convolution block，GB）进行多尺度特征的提取。
![]()
图 5 特征提取模块注：c为经过处理后特征的通道数。Figure 5. Feature extraction moduleNote：c is the channel number of processed feature.2.4 多输出交叉验证约束模块
在损失计算过程中，单一的特征约束仅在网络提取的最高层特征上进行了处理，在高光谱分类任务中，高层空间语义特征和光谱语义特征中也蕴含了丰富的信息，为了防止后续多尺度特征融合后丢失部分重要信息，探究不同特征对于分类结果的影响，本文设计了多输出交叉验证模块，将空间特征分支、光谱特征分支和多尺度特征分支的高层语义特征分别输入softmax激活函数中进行分类，结合多类交叉熵损失函数（categorical cross-en-tropy）纳入损失计算，参与反向传播约束（如图6所示）。
2.5 模型训练
算法在Ubuntu环境下基于python语言和深度学习框架Keras实现，显卡为NVIDIA tesla A100 40 G。在本文算法及对比算法的模型训练过程中，epoch统一设置为100，batch_size为256，经过分块操作后按照训练集：验证集：测试集=3:1:6的比例进行试验数据的划分（如表2所示）。测试模型选取训练过程中经过验证集交叉验证得到的最优模型。
表 2 试验数据分布Table 2. Distribution of experimental data数据集
Data set测试集
Test set验证集
Validation set训练集
Training set块尺寸
Block size/PixelHanchuan 358262 59710 179131 9×9 Longkou 180767 30128 90384 9×9 JAAS 1271414 220478 635707 9×9 在试验结果精度评价部分，除了目视评价之外，选取准确率（precision）、召回率（recall）、f1指数（f1-score）和总体精度（overall accuracy，OA）、Kappa系数对分类结果进行定量评价。其中，准确率、召回率、f1指数针对每一类地物的分类结果进行精度评价，准确率也称查准率，指分类为该类别的样本中真正为该类别的比例；召回率也称查全率，表示真正为该类别的样本中被正确分类为该类别的比例；f1指数是综合考虑准确率和召回率的指标；OA和Kappa系数是从所有类别的角度进行分类精度评价的指标，验证多类别分类模型的稳定性，OA指被正确分类的像元数占所有类别总像元的比例，Kappa系数是基于混淆矩阵计算的分类结果一致性评价指标，同时对在测试集上测试时长进行了统计，以对比算法的效率。
对比算法选取基于二维卷积神经网络的高光谱分类算法CDCNN[31]、DCNN[32]、WCRN[33]以及基于三维卷积神经网络的高光谱分类算法DBDA[28]。
3. 结果与分析
3.1 WHU-Hi-Hanchuan数据集试验结果与分析
表3给出了基于深度学习的不同高光谱分类算法在WHU-Hi-Hanchuan数据集上的定量评价结果。WCRN与CDCNN由于仅利用连续堆叠的卷积层捕捉高光谱影像的空间特征及局部高层语义特征，缺乏对不同层级特征的有效利用，对于光照阴影扭曲的地物信息识别困难，精度较低，OA和Kappa系数分别为96.38%、95.77%和97.86%、97.50%；DBDA综合利用3D卷积层和注意力机制模块实现空间-光谱联合特征的抽象提取，有效缓解了“同物异谱，异物同谱”造成的分类误差，但由于其对于空间-光谱特征进行了串联提取，缺乏有效筛选，在小样本目标的分类上仍然存在性能骤降的问题，例如西瓜、裸土（第6、13类）等的f1指数只有86.30%、91.07%，同时3D卷积的引入增加了模型的计算量，使得其时间效率降低，测试集的预测时间为14 s；DCNN设计了一种双通道卷积网络，结合全局特征学习模块、多尺度特征融合模块有效捕捉融合高光谱影像中的抽象局部、非局部特征，不同样本量类别的分类结果显著提升，OA、Kappa系数分别为98.41%、98.14%；与上述四种方法相比，本文提出的DBDS算法具有更为优异的分类效果，在训练样本稀少的水芹菜和西瓜上，f1指数分别可达98.91%和96.65%，其他训练样本充足的作物类别上，f1指数达99%以上（草莓：99.60%，豇豆：99.10%，大豆：99.41%，高粱：99.71%），OA、Kappa系数分别为99.49%和99.41%，比DCNN算法分别提升1.10%和1.29%，与利用3D卷积层提取光谱特征的DBDA相比，DBDS中基于2D卷积进行光谱特征提取的模块效果不遑多让，值得注意的是，DBDS能够有效区分样本量稀少的复杂难区分地物，从而提高了影像的总体分类精度，证明了模型的稳健性与鲁棒性。
表 3 不同算法在WHU-Hi-Hanchuan数据集上的评价指标统计结果Table 3. Statistics of evaluation metrics for different algorithms on WHU-Hi-Hanchuan dataset（%） 类别
ClassCDCNN WCRN DBDA DCNN DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 98.54 97.84 98.19 99.80 91.41 95.42 99.17 98.14 98.65 99.63 97.61 98.61 99.67 99.52 99.60 C2 98.40 95.11 96.73 98.45 94.85 96.62 98.33 95.32 96.80 99.69 97.49 98.58 99.07 99.13 99.10 C3 98.01 98.91 98.46 99.61 95.42 97.47 98.72 96.76 97.73 95.67 99.17 97.39 99.42 99.40 99.41 C4 99.38 99.11 99.24 99.60 99.64 99.62 97.10 99.96 98.51 98.81 99.96 99.38 99.51 99.91 99.71 C5 83.17 99.75 90.81 98.22 98.41 98.32 94.92 99.99 97.39 99.80 99.40 99.60 99.01 98.81 98.91 C6 81.10 96.01 87.93 81.57 93.22 87.01 77.55 97.27 86.30 93.77 96.48 95.11 96.25 97.06 96.65 C7 91.15 98.91 94.87 82.89 99.11 90.28 88.95 97.78 93.16 96.57 98.87 97.71 99.84 99.35 99.60 C8 98.50 94.03 96.21 93.75 94.13 93.94 98.43 93.71 96.01 96.36 97.13 96.74 99.14 98.72 98.93 C9 93.57 97.28 95.39 92.81 99.04 95.83 95.78 98.06 96.91 99.21 98.42 98.81 99.02 98.87 98.94 C10 99.75 99.12 99.43 98.72 99.59 99.15 99.61 99.32 99.47 97.50 99.66 98.57 99.46 99.89 99.67 C11 98.40 98.93 98.67 98.84 95.13 96.95 94.90 98.55 96.69 97.11 99.47 98.28 99.86 99.69 99.77 C12 95.54 99.74 97.59 84.69 99.87 91.65 97.47 99.81 98.62 95.24 95.73 95.48 98.91 99.68 99.29 C13 91.49 94.67 93.05 76.12 96.42 85.08 87.93 94.44 91.07 89.49 98.07 93.58 97.90 98.56 98.23 C14 98.72 96.63 97.66 95.15 96.60 95.87 98.56 94.88 96.69 99.76 96.69 98.20 99.54 99.62 99.58 C15 96.31 98.53 97.41 94.62 99.58 97.04 93.87 99.58 96.64 97.49 97.90 97.70 98.53 98.32 98.43 C16 99.98 99.61 99.80 99.89 99.38 99.63 99.96 99.02 99.49 99.96 99.52 99.74 99.99 99.99 99.99 总体精度/% 97.86 96.38 97.54 98.41 99.49 Kappa系数/% 97.50 95.77 97.13 98.14 99.41 耗时/s 12 10 14 12 11 图7为WHU-Hi-Hanchuan数据集上高光谱影像分类结果，直观展示了各类地物的分布信息。可以发现，CDCNN、WCRN、DBDA的分类结果中存在明显的错分现象，DCNN算法椒盐噪声严重，DBDS的分类结果与真实标签最为接近，错检最少。
![]()
图 7 不同算法在Hanchuan数据集上的分类结果Figure 7. Classification results of different hyperspectral algorithms on Hanchuan dataset3.2 WHU-Hi-Longkou数据集试验结果与分析
表4给出了在WHU-Hi-Longkou数据集上的客观评价结果。DBDS由于能够分别捕捉空间、光谱特征，并对高维信息进行有效筛选和融合，效果最佳，在各类地物目标的分类上均有较为优异的效果，玉米、棉花、芝麻、阔叶大豆、窄叶大豆、水稻的f1指数可达99.94%、99.79%、99.65%、99.79%、98.55%、98.84%，总体的OA和Kappa系数分别为99.80%和99.74%；DCNN注重对于全局、局部多尺度特征的有效利用，在多类地物混淆区域，能够获得较好的结果，但OA和Kappa系数较之DBDS下降0.57%和0.76%；DBDA中空间-光谱联合特征的捕捉和筛选使其分类精度尚可，但是时间效率较差，需要11 s，CDCNN与WCRN的效果最差，尤其是训练样本较少的窄叶大豆的分类上，f1指数仅有90.19%和91.94%。
表 4 不同算法在WHU-Hi-Longkou数据集上的评价指标统计结果Table 4. Statistics of evaluation metrics for different algorithms on WHU-Hi-Longkou dataset（%） 类别
ClassCDCNN WCRN DBDA DCNN DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 96.75 99.89 98.29 99.91 99.72 99.81 99.84 99.82 99.83 99.95 98.66 99.30 99.96 99.92 99.94 C2 98.95 98.83 98.89 98.64 99.26 98.95 99.83 99.03 99.43 96.07 98.61 97.32 99.80 99.77 99.79 C3 98.75 98.90 98.82 98.60 99.84 99.22 99.61 99.21 99.41 82.12 99.92 90.15 99.30 99.99 99.65 C4 99.91 95.74 97.78 99.72 98.40 99.06 99.93 97.88 98.89 99.61 98.93 99.27 99.89 99.69 99.79 C5 82.40 99.60 90.19 86.77 97.76 91.94 90.89 99.60 99.60 96.82 99.60 98.19 97.74 99.37 98.55 C6 99.68 99.86 99.77 99.82 99.86 99.84 99.60 99.99 99.89 99.82 99.94 98.88 99.72 99.96 99.84 C7 99.99 99.97 99.98 99.84 99.84 99.84 99.98 99.73 99.85 99.99 99.89 99.94 99.99 99.96 99.98 C8 92.66 99.63 96.02 99.84 99.84 99.84 88.08 98.56 93.03 99.42 97.46 98.43 99.70 99.23 99.97 C9 96.08 98.18 97.12 98.84 99.84 99.84 94.42 99.32 96.80 97.93 99.18 98.55 99.82 99.84 99.93 总体精度/% 98.52 99.21 99.10 99.23 99.80 Kappa系数/% 98.06 98.03 98.82 98.99 99.74 耗时/s 10 8 11 10 9 图8为WHU-Hi-Longkou数据及上的高光谱影像分类结果。
![]()
图 8 不同算法在Longkou数据集上的分类结果Figure 8. Classification results of different hyperspectral algorithms on WHU-Hi-Longkou dataset可以发现，一味强调通过加深网络层来提取高维特征的方法CDCNN、WCRN缺乏对于高光谱数据本质特征的有效利用，分类结果中存在较多的错分区域，DBDA与DCNN通过不同的侧重点对于空间-光谱联合特征进行了有益的探索，分类效果明显提升，错分点明显减少，同时DCNN中的局部/非局部特征的捕捉有效区分了复杂目标，分类边缘完整，DBDS由于引入对于特征提取与筛选研究，效果最佳。
3.3 JAAS数据集试验结果与分析
表5给出了JAAS数据集上不同算法分类结果的客观评价。由于研究范围较之前两个数据集较大，在JAAS数据集上各算法之间的精度差异明显，WCRN和CDCNN在对花生的判别中，f1指数分别只有88.65%和86.06%，WCRN在训练样本充足的苦瓜的提取中，f1指数仅83.29%；结合3D卷积实现光谱维度特征补充的DBDA效果提升明显，OA和Kappa较之CDCNN分别提升了2.73%和3.40%，但是由于计算量增大，其分类时间也增加了6 s；DBDS无论是在时间效率还是在分类精度上优势明显，OA和Kappa系数分别为99.35%和99.20%，且各类地物f1指数均在98%以上。
表 5 不同算法在JAAS数据集上的评价指标统计结果Table 5. Statistics of evaluation metrics for different algorithms on JAAS dataset（%） 序号
No.CDCNN WCRN DBDA DCNN DBDS模型 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 86.97 90.40 88.65 85.11 87.04 86.06 94.18 92.97 93.57 94.51 93.80 94.15 98.55 98.26 98.40 C2 96.47 96.92 96.69 93.76 96.04 94.88 95.23 99.53 97.34 95.92 99.47 97.66 99.34 99.57 99.45 C3 97.71 98.44 98.07 96.70 95.45 96.07 99.33 98.48 98.91 97.57 99.49 98.52 99.70 99.73 99.71 C4 98.96 96.82 97.88 97.47 95.00 96.22 99.57 98.12 98.84 98.35 99.37 98.86 99.92 99.94 99.93 C5 88.19 96.79 92.29 72.34 98.15 83.29 91.73 99.01 95.23 93.16 97.40 95.23 98.85 99.03 98.94 C6 96.62 99.56 98.07 97.75 96.93 97.34 98.63 99.26 98.94 98.52 99.44 98.98 99.61 99.13 99.37 C7 97.37 92.34 94.79 95.91 92.77 94.31 97.93 97.59 97.76 98.85 96.43 97.63 99.33 99.48 99.40 C8 93.61 98.74 96.11 95.13 91.35 93.20 97.02 99.42 98.20 98.97 97.95 98.46 99.53 99.72 99.63 C9 66.54 99.64 79.80 69.24 96.31 80.56 93.88 97.61 95.71 94.08 96.91 95.47 98.76 97.58 98.17 总体精度/% 94.70 93.01 97.29 97.36 99.35 Kappa系数/% 93.48 91.40 96.66 96.74 99.20 耗时/s 23 20 29 22 21 图9为JAAS数据集上各算法的分类结果图。CDCNN、WCRN的分类结果椒盐噪声明显。
![]()
图 9 不同算法在JAAS数据集上的分类结果Figure 9. Classification results of different hyperspectral algorithms on JAAS datasetWCRN中冬瓜错分为西瓜的现象明显，DCNN与DBDA的分类结果较好，地物类型复杂区域的误分现象仍然存在，DBDS分类结果完整，与标签数据最为接近。
3.4 网络消融试验分析
为进一步研究DBDS中空间特征动态选择策略、双分支特征提取结构、多输出交叉验证约束模块的作用，在WHU-Hi-Hanchuan数据集上开展消融试验。表6给出了不同模块下高光谱分类结果的客观评价，DBDS_w/o_MO表示在DBDS的基础上去除多输出交叉验证模块，DBDS_w/o_gated为整个网络仅使用普通卷积层进行特征提取的算法，DBDS_w/o_spatial、DBDS_w/o_spectral分别代表只提取光谱特征和空间特征的网络结构。
表 6 不同改进的高光谱分类算法在WHU-Hi-Hanchuan数据集上的评价指标统计结果Table 6. Statistics of evaluation metrics for different improved hyperspectral classification algorithms on WHU-Hi-Hanchuan dataset% 序号
No.DBDS_w/o_MO DBDS_w/o_gated DBDS_w/o_spatial DBDS_w/o_spectral DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 98.71 97.76 98.23 99.45 99.45 99.48 98.43 98.83 98.63 98.43 95.84 97.11 99.67 99.52 99.60 C2 96.93 96.65 96.79 98.33 98.65 98.49 93.95 98.43 96.14 97.69 93.48 95.54 99.07 99.13 99.10 C3 89.19 94.17 91.61 97.52 99.03 98.27 98.83 98.06 98.44 98.38 96.90 97.63 99.42 99.40 99.41 C4 90.82 91.99 91.40 99.69 99.38 99.53 99.91 98.62 99.26 99.24 99.02 99.13 99.51 99.91 99.71 C5 93.18 97.62 95.35 98.61 98.41 98.51 95.03 98.61 96.79 98.22 98.41 98.32 99.01 98.81 98.91 C6 85.63 82.30 83.93 91.93 90.28 91.10 84.46 97.32 90.43 65.77 89.92 75.97 96.25 97.06 96.65 C7 96.02 96.45 96.24 99.27 99.11 99.19 99.72 99.19 99.45 89.88 97.14 93.37 99.84 99.35 99.60 C8 93.87 95.05 94.45 97.99 97.47 98.93 97.84 95.36 96.59 93.67 91.97 92.82 99.14 98.72 98.93 C9 93.56 90.95 92.24 96.95 97.36 97.15 97.29 98.44 97.86 92.73 95.95 94.32 99.02 98.87 98.94 C10 95.58 94.39 94.98 99.30 99.64 99.47 99.22 97.76 98.48 98.90 99.48 99.19 99.46 99.89 99.67 C11 91.41 95.88 93.59 99.35 99.41 99.38 98.92 98.07 98.49 98.21 98.63 98.42 99.86 99.69 99.77 C12 94.81 98.06 96.40 98.40 99.29 98.84 97.09 97.28 97.19 96.07 98.12 97.09 98.91 99.68 99.29 C13 95.17 95.66 95.41 97.83 97.88 97.86 94.54 92.71 93.62 86.39 90.83 88.55 97.90 98.56 98.23 C14 98.94 97.42 98.18 99.83 99.22 99.52 96.55 97.18 96.86 98.20 96.75 97.47 99.54 99.62 99.58 C15 80.42 97.27 88.05 99.16 98.53 98.84 88.11 97.90 92.75 94.04 99.16 96.53 98.53 98.32 98.43 C16 99.33 98.23 98.78 99.97 99.90 99.94 99.97 98.30 99.13 99.99 99.61 99.80 99.99 99.99 99.99 总体精度/% 96.44 99.04 97.87 96.78 99.49 Kappa系数/% 95.83 98.88 97.51 96.24 99.41 耗时/s 11 10 10 10 11 结果显示：1）多输出交叉验证模块通过在空间、光谱、联合结果上的有效约束，对高光谱分类任务的影响最大，在同等网络参数量级的情况下OA和Kappa分别提升了3.16%和3.74%；2）空间特征的有效提取对于分类任务而言也是至关重要的，对比DBDS_w/o_spatial的结果，DBDS的OA和Kappa分别有着1.66%和1.95%的提升；3）利用2D卷积模块提取得到的光谱特征对于分类结果也有不俗的正向促进作用，对比仅着重提取高光谱数据空间特征的DBDS_w/o_spectral，DBDS的OA和Kappa有着2.80%、3.29%的提升；4）无论从各类地物的精度还是总体OA、Kappa指标上来看，引入的门控卷积通过对特征的空间维度有效筛选实现了高光谱分类任务的精度提升。
图10为不同改进的网络结构的目视评价结果。从目视效果上看，虽然每种方法均能大致将各类农作物有效区分，但多特征联合约束模块的缺失导致分类结果的椒盐噪声现象严重，门控卷积的引入可以有效缓解冗余特征造成的错分问题，空间-光谱联合特征的有效提取可以大幅提升分类精度，尤其是光谱特征。
![]()
图 10 不同改进网络在WHU-Hi-Hanchuan数据集上的分类结果Figure 10. Cassification results of different improved networks on WHU-Hi-Hanchuan dataset4. 结 论
为了解决传统高光谱分类算法中空间-光谱联合特征提取不够有效、冗余特征筛选能力不足、模型约束过于单一等问题，本研究设计了一种基于空间-光谱特征动态选择的高光谱影像分类算法（DBDS）。对于空间维度的特征冗余，选取门控卷积及GSA模块中的空间注意力模块实现逐像素重要特征的筛选；门控卷积利用卷积层与不同的激活函数，分别学习感受野下的特征及其对应的位置权重信息（门信息），很好的从邻域内部空间位置相关性的角度出发进行空间特征的筛选；空间注意力机制则从特征整体的角度出发，结合最大池化和平均池化操作，逐点计算实现像素级的权重计算；两者相结合，在网络反向传播机制的基础上，不断更新卷积层及池化层中的参数，自适应学习最优解，实现特征在空间位置上的有效筛选。针对光谱维度的特征冗余，选取GSE模块中的通道注意力模块，将特征的空间信息作为一个整体，仅关注通道维度的差异，通过计算每个通道的平均值和最大值，进行通道上特征的加权计算，增加有效特征层的权重，降低相关性较低的特征权重。整个空间-光谱特征筛选过程完全通过网络反馈的损失进行权重调整计算，无需任何人工干预，从而有效实现空间-光谱特征的动态选择。在JAAS高光谱数据集和开源数据集WHU-Hi的LongKou、HanChuan上进行试验，得出如下结论：
1）与主流基于高光谱影像的作物分类方法相比，本文提出的DBDS算法无论在时间效率还是精度上均有明显优势。在JAAS数据集上，检测时间为21 s，各类作物的分类精度均在98%以上，总体精度达99.35%，Kappa系数达99.20%，分别比CDCNN、WCRN、DBDA、DCNN高4.91%和6.12%、6.82%和8.53%、2.12%和2.63%、2.04%和2.54%。
2）空间-光谱特征的有效提取及筛选较好的解决了小样本复杂难区分地物分类中模型退化的问题。在WHU-Hi-Hanchuan数据集中，着重光谱信息提取的DBDA算法在样本充足的作物分类任务中有着不错的效果，草莓、豇豆、大豆、高粱的f1指数分别为99.60%、99.10%、99.41%、99.71%，但在小样本目标的分类上模型退化问题严重，西瓜、裸土的f1指数仅86.30%、91.07%，通过空间和光谱特征的有效提取和利用，本文提出的DBDS算法在有效提升各类作物的识别精度的同时，西瓜、裸土的f1指数达96.65%和98.23%。
本文提出的DBDS算法实现了在样本不均衡、地物类型复杂多样区域的高精度、高时效农作物精细分类，基于2D卷积的空间-光谱特征有效提取与利用可以在较少参数计算量的基础上，达到与基于3D卷积高光谱分类算法相媲美的精度，对于更高精度、效率的农作物精细分类研究具有一定的指导意义，也为其他基于高光谱数据的目标识别任务提供了参考。
-
![]()
图 2 基于空间-光谱特征动态选择的高光谱影像农作物分类流程
注：输入影像大小为H×W，d表示通道数，@后的数字为经过每一步骤操作后特征的通道数，GSA为门控卷积空间特征提取模块，GSE为门控卷积光谱特征提取模块，GB为门控卷积模块，softmax为归一化指数操作，每个卷积层中的卷积核大小为3×3，未标明的步长默认为1。
Figure 2. Hyperspectral image crop classification process based on dynamic selection of spatial and spectral features
Note：The size of the input image is H×W, d is the number of channel, the numbers followed by @ are the dimensions of features. GSA is the gated convolution block based spatial feature extraction module, GSE is the gated convolution block based spectral feature extraction module, and GB is the gated convolutional module, softmax is a normalized exponential function, kernel size of the convolution layer is 3×3, and the stride is 1 if not specifically marked.
![]()
图 5 特征提取模块
注：c为经过处理后特征的通道数。
Figure 5. Feature extraction module
Note：c is the channel number of processed feature.
![]()
图 7 不同算法在Hanchuan数据集上的分类结果
Figure 7. Classification results of different hyperspectral algorithms on Hanchuan dataset
![]()
图 8 不同算法在Longkou数据集上的分类结果
Figure 8. Classification results of different hyperspectral algorithms on WHU-Hi-Longkou dataset
![]()
图 9 不同算法在JAAS数据集上的分类结果
Figure 9. Classification results of different hyperspectral algorithms on JAAS dataset
![]()
图 10 不同改进网络在WHU-Hi-Hanchuan数据集上的分类结果
Figure 10. Cassification results of different improved networks on WHU-Hi-Hanchuan dataset
表 1 WHU-HI数据集标签及样本数量
Table 1 Number of labels and samples on WHU-HI dataset
数据集
Data set编号No. 类别名
Class name样本点数量
Number of samplesHanchuan C1 草莓 44735 C2 豇豆 22753 C3 大豆 10287 C4 高粱 5353 C5 水芹菜 1200 C6 西瓜 4533 C7 草地 5903 C8 树 17978 C9 杂草 9469 C10 红色屋顶 10516 C11 灰色屋顶 16911 C12 塑料 3679 C13 裸土 9116 C14 道路 18560 C15 亮色地物 1136 C16 水 75401 Longkou C1 玉米 34511 C2 棉花 8374 C3 芝麻 3031 C4 阔叶大豆 63212 C5 窄叶大豆 4151 C6 水稻 11854 C7 水 67056 C8 路和房子 7124 C9 混合地物 5229 江苏省农业科学院
Jiangsu Academy of
Agricultural Sciences， JAASC1 花生 70530 C2 苘麻 87229 C3 西瓜 34257 C4 冬瓜 16702 C5 苦瓜 242170 C6 毛豆 10483 C7 裸土 238840 C8 道路 29027 C9 杂草 163245 
下载: 导出CSV
表 2 试验数据分布
Table 2 Distribution of experimental data
数据集
Data set测试集
Test set验证集
Validation set训练集
Training set块尺寸
Block size/PixelHanchuan 358262 59710 179131 9×9 Longkou 180767 30128 90384 9×9 JAAS 1271414 220478 635707 9×9
下载: 导出CSV
表 3 不同算法在WHU-Hi-Hanchuan数据集上的评价指标统计结果
Table 3 Statistics of evaluation metrics for different algorithms on WHU-Hi-Hanchuan dataset
（%） 类别
ClassCDCNN WCRN DBDA DCNN DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 98.54 97.84 98.19 99.80 91.41 95.42 99.17 98.14 98.65 99.63 97.61 98.61 99.67 99.52 99.60 C2 98.40 95.11 96.73 98.45 94.85 96.62 98.33 95.32 96.80 99.69 97.49 98.58 99.07 99.13 99.10 C3 98.01 98.91 98.46 99.61 95.42 97.47 98.72 96.76 97.73 95.67 99.17 97.39 99.42 99.40 99.41 C4 99.38 99.11 99.24 99.60 99.64 99.62 97.10 99.96 98.51 98.81 99.96 99.38 99.51 99.91 99.71 C5 83.17 99.75 90.81 98.22 98.41 98.32 94.92 99.99 97.39 99.80 99.40 99.60 99.01 98.81 98.91 C6 81.10 96.01 87.93 81.57 93.22 87.01 77.55 97.27 86.30 93.77 96.48 95.11 96.25 97.06 96.65 C7 91.15 98.91 94.87 82.89 99.11 90.28 88.95 97.78 93.16 96.57 98.87 97.71 99.84 99.35 99.60 C8 98.50 94.03 96.21 93.75 94.13 93.94 98.43 93.71 96.01 96.36 97.13 96.74 99.14 98.72 98.93 C9 93.57 97.28 95.39 92.81 99.04 95.83 95.78 98.06 96.91 99.21 98.42 98.81 99.02 98.87 98.94 C10 99.75 99.12 99.43 98.72 99.59 99.15 99.61 99.32 99.47 97.50 99.66 98.57 99.46 99.89 99.67 C11 98.40 98.93 98.67 98.84 95.13 96.95 94.90 98.55 96.69 97.11 99.47 98.28 99.86 99.69 99.77 C12 95.54 99.74 97.59 84.69 99.87 91.65 97.47 99.81 98.62 95.24 95.73 95.48 98.91 99.68 99.29 C13 91.49 94.67 93.05 76.12 96.42 85.08 87.93 94.44 91.07 89.49 98.07 93.58 97.90 98.56 98.23 C14 98.72 96.63 97.66 95.15 96.60 95.87 98.56 94.88 96.69 99.76 96.69 98.20 99.54 99.62 99.58 C15 96.31 98.53 97.41 94.62 99.58 97.04 93.87 99.58 96.64 97.49 97.90 97.70 98.53 98.32 98.43 C16 99.98 99.61 99.80 99.89 99.38 99.63 99.96 99.02 99.49 99.96 99.52 99.74 99.99 99.99 99.99 总体精度/% 97.86 96.38 97.54 98.41 99.49 Kappa系数/% 97.50 95.77 97.13 98.14 99.41 耗时/s 12 10 14 12 11
下载: 导出CSV
表 4 不同算法在WHU-Hi-Longkou数据集上的评价指标统计结果
Table 4 Statistics of evaluation metrics for different algorithms on WHU-Hi-Longkou dataset
（%） 类别
ClassCDCNN WCRN DBDA DCNN DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 96.75 99.89 98.29 99.91 99.72 99.81 99.84 99.82 99.83 99.95 98.66 99.30 99.96 99.92 99.94 C2 98.95 98.83 98.89 98.64 99.26 98.95 99.83 99.03 99.43 96.07 98.61 97.32 99.80 99.77 99.79 C3 98.75 98.90 98.82 98.60 99.84 99.22 99.61 99.21 99.41 82.12 99.92 90.15 99.30 99.99 99.65 C4 99.91 95.74 97.78 99.72 98.40 99.06 99.93 97.88 98.89 99.61 98.93 99.27 99.89 99.69 99.79 C5 82.40 99.60 90.19 86.77 97.76 91.94 90.89 99.60 99.60 96.82 99.60 98.19 97.74 99.37 98.55 C6 99.68 99.86 99.77 99.82 99.86 99.84 99.60 99.99 99.89 99.82 99.94 98.88 99.72 99.96 99.84 C7 99.99 99.97 99.98 99.84 99.84 99.84 99.98 99.73 99.85 99.99 99.89 99.94 99.99 99.96 99.98 C8 92.66 99.63 96.02 99.84 99.84 99.84 88.08 98.56 93.03 99.42 97.46 98.43 99.70 99.23 99.97 C9 96.08 98.18 97.12 98.84 99.84 99.84 94.42 99.32 96.80 97.93 99.18 98.55 99.82 99.84 99.93 总体精度/% 98.52 99.21 99.10 99.23 99.80 Kappa系数/% 98.06 98.03 98.82 98.99 99.74 耗时/s 10 8 11 10 9
下载: 导出CSV
表 5 不同算法在JAAS数据集上的评价指标统计结果
Table 5 Statistics of evaluation metrics for different algorithms on JAAS dataset
（%） 序号
No.CDCNN WCRN DBDA DCNN DBDS模型 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 86.97 90.40 88.65 85.11 87.04 86.06 94.18 92.97 93.57 94.51 93.80 94.15 98.55 98.26 98.40 C2 96.47 96.92 96.69 93.76 96.04 94.88 95.23 99.53 97.34 95.92 99.47 97.66 99.34 99.57 99.45 C3 97.71 98.44 98.07 96.70 95.45 96.07 99.33 98.48 98.91 97.57 99.49 98.52 99.70 99.73 99.71 C4 98.96 96.82 97.88 97.47 95.00 96.22 99.57 98.12 98.84 98.35 99.37 98.86 99.92 99.94 99.93 C5 88.19 96.79 92.29 72.34 98.15 83.29 91.73 99.01 95.23 93.16 97.40 95.23 98.85 99.03 98.94 C6 96.62 99.56 98.07 97.75 96.93 97.34 98.63 99.26 98.94 98.52 99.44 98.98 99.61 99.13 99.37 C7 97.37 92.34 94.79 95.91 92.77 94.31 97.93 97.59 97.76 98.85 96.43 97.63 99.33 99.48 99.40 C8 93.61 98.74 96.11 95.13 91.35 93.20 97.02 99.42 98.20 98.97 97.95 98.46 99.53 99.72 99.63 C9 66.54 99.64 79.80 69.24 96.31 80.56 93.88 97.61 95.71 94.08 96.91 95.47 98.76 97.58 98.17 总体精度/% 94.70 93.01 97.29 97.36 99.35 Kappa系数/% 93.48 91.40 96.66 96.74 99.20 耗时/s 23 20 29 22 21
下载: 导出CSV
表 6 不同改进的高光谱分类算法在WHU-Hi-Hanchuan数据集上的评价指标统计结果
Table 6 Statistics of evaluation metrics for different improved hyperspectral classification algorithms on WHU-Hi-Hanchuan dataset
% 序号
No.DBDS_w/o_MO DBDS_w/o_gated DBDS_w/o_spatial DBDS_w/o_spectral DBDS 准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-score准确率
Precision召回率
Recallf1指数
f1-scoreC1 98.71 97.76 98.23 99.45 99.45 99.48 98.43 98.83 98.63 98.43 95.84 97.11 99.67 99.52 99.60 C2 96.93 96.65 96.79 98.33 98.65 98.49 93.95 98.43 96.14 97.69 93.48 95.54 99.07 99.13 99.10 C3 89.19 94.17 91.61 97.52 99.03 98.27 98.83 98.06 98.44 98.38 96.90 97.63 99.42 99.40 99.41 C4 90.82 91.99 91.40 99.69 99.38 99.53 99.91 98.62 99.26 99.24 99.02 99.13 99.51 99.91 99.71 C5 93.18 97.62 95.35 98.61 98.41 98.51 95.03 98.61 96.79 98.22 98.41 98.32 99.01 98.81 98.91 C6 85.63 82.30 83.93 91.93 90.28 91.10 84.46 97.32 90.43 65.77 89.92 75.97 96.25 97.06 96.65 C7 96.02 96.45 96.24 99.27 99.11 99.19 99.72 99.19 99.45 89.88 97.14 93.37 99.84 99.35 99.60 C8 93.87 95.05 94.45 97.99 97.47 98.93 97.84 95.36 96.59 93.67 91.97 92.82 99.14 98.72 98.93 C9 93.56 90.95 92.24 96.95 97.36 97.15 97.29 98.44 97.86 92.73 95.95 94.32 99.02 98.87 98.94 C10 95.58 94.39 94.98 99.30 99.64 99.47 99.22 97.76 98.48 98.90 99.48 99.19 99.46 99.89 99.67 C11 91.41 95.88 93.59 99.35 99.41 99.38 98.92 98.07 98.49 98.21 98.63 98.42 99.86 99.69 99.77 C12 94.81 98.06 96.40 98.40 99.29 98.84 97.09 97.28 97.19 96.07 98.12 97.09 98.91 99.68 99.29 C13 95.17 95.66 95.41 97.83 97.88 97.86 94.54 92.71 93.62 86.39 90.83 88.55 97.90 98.56 98.23 C14 98.94 97.42 98.18 99.83 99.22 99.52 96.55 97.18 96.86 98.20 96.75 97.47 99.54 99.62 99.58 C15 80.42 97.27 88.05 99.16 98.53 98.84 88.11 97.90 92.75 94.04 99.16 96.53 98.53 98.32 98.43 C16 99.33 98.23 98.78 99.97 99.90 99.94 99.97 98.30 99.13 99.99 99.61 99.80 99.99 99.99 99.99 总体精度/% 96.44 99.04 97.87 96.78 99.49 Kappa系数/% 95.83 98.88 97.51 96.24 99.41 耗时/s 11 10 10 10 11
下载: 导出CSV
-
[1] 张良培,张立福. 高光谱遥感 [M]. 武汉:武汉大学出版社,2005. [2] 李德仁. 展望大数据时代的地球空间信息学[J]. 测绘学报,2016,45(4):379-384. doi: 10.11947/j.AGCS.2016.20160057 LI Deren. Towards geo-spatial information science in big data era[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(4): 379-384. (in Chinese with English abstract) doi: 10.11947/j.AGCS.2016.20160057
[3] 邓永鹏,朱洪芬,丁皓希,等. 基于高光谱技术的退耕还林地年限判别[J]. 农业工程学报,2022,38(3):66-74. DENG Yongpeng, ZHU Hongfen, DING Haoxi, et al. Identification of the years of returning farmland to forest land using hyperspectral technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(3): 66-74. (in Chinese with English abstract)
[4] 杨元喜. 综合PNT体系及其关键技术[J]. 测绘学报, 2016,45(5):505-510. YANG Yuanxi. Concepts of comprehensive PNT and related key technologies[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(5): 505-510. (in Chinese with English abstract)
[5] FOODY G M, MATHUR A. A relative evaluation of multiclass image classification by support vector machines[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(6): 1335-1343. doi: 10.1109/TGRS.2004.827257
[6] SAMANIEGO L, BARDOSSY A, SCHULZ K. Supervised classification of remotely sensed imagery using a modified KNN technique[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(7): 2112-2125. doi: 10.1109/TGRS.2008.916629
[7] KUMAR S, GHOSH J, CRAWFORD M M. Best-bases feature extraction algorithms for classification of hyperspectral data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(7): 1368-1379. doi: 10.1109/36.934070
[8] EDIRIWICKREMA J, KHORRAM S. Hierarchical maximum-likelihood classification for improved accuracies[J]. IEEE Transactions on Geoscience and Remote Sensing, 1997, 35(4): 810-816. doi: 10.1109/36.602523
[9] HUGHES G. On the mean accuracy of statistical pattern recognizers[J]. IEEE Transactions on Information Theory, 1968, 14(1): 55-63. doi: 10.1109/TIT.1968.1054102
[10] FARRELL M D, MERSEREAU R M. On the impact of PCA dimension reduction for hyperspectral detection of difficult targets[J]. IEEE Geoscience and Remote Sensing Letters, 2005, 2(2): 192-195. doi: 10.1109/LGRS.2005.846011
[11] DU Q. Modified fisher's linear discriminant analysis for hyperspectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2007, 4(4): 503-507. doi: 10.1109/LGRS.2007.900751
[12] BANDOS T V, BRUZZONE L, CAMPS-VALLS G. Classification of hyperspectral images with regularized linear discriminant analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(3): 862-873. doi: 10.1109/TGRS.2008.2005729
[13] WANG J, CHANG C-I. Independent component analysis-based dimensionality reduction with applications in hyperspectral image analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(6): 1586-1600. doi: 10.1109/TGRS.2005.863297
[14] GU Y, LIU T, JIA X, et al. Nonlinear multiple kernel learning with multiple-structure-element extended morphological profiles for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(6): 3235-3247. doi: 10.1109/TGRS.2015.2514161
[15] HUANG L, CHEN C, LI W, et al. Remote sensing image scene classification using multi-scale completed local binary patterns and fisher vectors[J]. Remote Sensing, 2016, 8(6): 466-483. doi: 10.3390/rs8060483
[16] JIA S, ZHUANG J, DENG L, et al. 3-D gaussian–gabor feature extraction and selection for hyperspectral imagery classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 8813-8826. doi: 10.1109/TGRS.2019.2923213
[17] PAN B, SHI Z, XU X, et al. CoinNet: Copy initialization network for multispectral imagery semantic segmentation[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(5): 816-820. doi: 10.1109/LGRS.2018.2880756
[18] YUAN S, SUN Y, HE W, et al. MSLM-RF: A spatial feature enhanced random forest for on-board hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-17.
[19] XIE L, LI G, XIAO M, et al. Hyperspectral image classification using discrete space model and support vector machines[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(3): 374-378. doi: 10.1109/LGRS.2016.2643686
[20] PRIYA T, PRASAD S, WU H. Superpixels for spatially reinforced bayesian classification of hyperspectral images[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(5): 1071-1075. doi: 10.1109/LGRS.2014.2380313
[21] 帅爽,张志,张天,等. 特征优化结合随机森林算法的干旱区植被高光谱遥感分类方法[J]. 农业工程学报,2023,39(9):287-293. SHUAI Shuang, ZHANG Zhi, ZHANG Tian, et al. Hyperspectral image classification method for dryland vegetation by combining feature optimization and random forest algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2023,39(9): 287-293. (in Chinese with English abstract)
[22] CHEN Y, ZHAO X, JIA X. Spectral–spatial classification of hyperspectral data based on deep belief network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 2381-2392. doi: 10.1109/JSTARS.2015.2388577
[23] LIU B, YU X, YU A, et al. Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification[J]. Journal of Applied Remote Sensing, 2018, 12(2): 026017-026028.
[24] LI W, WU G, ZHANG F, et al. Hyperspectral image classification using deep pixel-pair features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(2): 844-853. doi: 10.1109/TGRS.2016.2616355
[25] 徐永浩. 面向高光谱遥感影像分类的深度学习与对抗防御方法研究 [D]; 武汉:武汉大学,2021. XU Yonghao. Research on Deep Learning and Adversarial Defense Methods for Hyperspectral Remote Sensing Image Classification [D]. Wuhan: Wuhan University, 2021. (in Chinese with English abstract)
[26] TU B, ZHOU C, LIAO X, et al. Feature extraction via 3-D block characteristics sharing for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(12): 10503-10508.
[27] 刘帅,张旭含,李笑迎,等. 基于双分支卷积网络的高光谱与多光谱图像协同土地利用分类[J]. 农业工程学报,2020,36(14):252-262. LIU Shuai, ZHANG Xuhan, LI Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract)
[28] LI R, ZHENG S, DUAN C, et al. Classification of hyperspectral image based on double-branch dual-attention mechanism network[J]. Remote Sensing, 2020, 12(3):582-593.
[29] YU J, LIN Z, YANG J, et al. Free-form image inpainting with gated convolution [C]//Proceedings of the IEEE/CVF Intern-ational Conference on Computer Vision. Los Angeles CA, United States. 2019: 4471-4480.
[30] FU J, LIU J, TIAN H, et al. Dual Attention Network for Scene Segmentation [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Los Angeles CA, United States. 2019: 3146-3154.
[31] LEE H, KWON H. Going deeper with contextual CNN for hyperspectral image classification[J]. IEEE Transactions on Image Processing, 2017, 26(10): 4843-4855. doi: 10.1109/TIP.2017.2725580
[32] YU H, ZHANG H, LIU Y, et al. Dual-channel convolution network with image-based global learning framework for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.
[33] LIU S, LUO H, TU Y, et al. Wide Contextual Residual Network with Active Learning for Remote Sensing Image Classification [C]//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018: 7145-7148.
-
期刊类型引用(3)
1. 李敏，殷雄，刘雪婧，马世一，周延，种道彤，熊兵，李锟. 基于紫外光谱的油气两相流含气率检测研究. 光谱学与光谱分析. 2025(02): 522-531 . 
百度学术
2. 张京，赵泽瑄，赵艳茹，卜泓超，吴星宇. 基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法. 智慧农业(中英文). 2024(02): 40-48 . 百度学术
3. 毛星，张欣，王宝佳，段玉林，李卫国，任妮. 长三角区域农业遥感应用：进展、挑战与展望. 中国农业信息. 2023(06): 37-48 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 342
- HTML全文浏览量: 53
- PDF下载量: 113
- 被引次数: 5
