DOI : 10.11992/tis.202003018
林丽惠1,2，罗志明2,3，王军政4，李绍滋4
（1. 武夷学院 数学与计算机学院，福建 武夷山 354300; 2. 武夷学院 认知计算与智能信息处理福建省高校重点实验室，福建 武夷山 354300; 3. 厦门大学 信息与通信工程博士后流动站，福建 厦门 361005; 4. 厦门大学 信息科学与技术学院，福建 厦门 361005）
摘 要：针对武夷岩茶鲜茶叶叶片图像分类问题，提出一种融合整体与局部信息的分类方法。该方法使用两分支并行结构构建了一个整体与局部信息融合的卷积神经网络模型。实验表明，在9个品种共计7 330张武夷岩茶鲜茶叶叶片图像数据集上，基于ResNet18构造的两分支并行卷积神经网络模型的分类准确率为96.68%，超过了其他CNN 模型的分类准确率。这表明通过融合全局信息、边缘形状信息和纹理局部信息能有效提高分类准确率。关键词：武夷岩茶叶片分类；深度学习；迁移学习；特征融合；卷积神经网络；残差网络；边缘形状；纹理中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)05−0919−06 中文引用格式：林丽惠, 罗志明, 王军政, 等. 融合整体与局部信息的武夷岩茶叶片分类方法[J]. 智能系统学报, 2020, 15(5):919–924.
英文引用格式：LIN Lihui, LUO Zhiming, WANG Junzheng, et al. Classification of Wuyi rock tealeaves by integrating global and local information[J]. CAAI transactions on intelligent systems, 2020, 15(5): 919–924.
Classification of Wuyi rock tealeaves by integrating
global and local information
LIN Lihui 1,2，LUO Zhiming 2,3，WANG Junzheng 4，LI Shaozi 4
(1. School of Mathematics and Computer Science, Wuyi University, Wuyishan 354300, China; 2. The Key Laboratory of Cognitive Computing and Intelligent Information Processing of Fujian Education Institutions, Wuyi University, Wuyishan 354300, China; 3. Post-Doctoral Mobile Station of Information and Communication Engineering, Xiamen University, Xiamen 361005, China; 4. Department of Artificial Intelligence, School of Informatics, Xiamen University, Xiamen 361005, China)
Abstract : In this study, we focused on the classification of fresh Wuyi rock tealeaf images into different fine-grained categories and the construction of a two-branch parallel-structured convolution
al neural network (CNN) model by integ-rating global and local information. We constructed a Wuyi rock tealeaf image dataset comprising 7 330 fresh tealeaf im-ages of nine varieties. The experimental results showed that the proposed two-branch parallel-structured CNN model with ResNet18 achieved an accuracy of 96.68% on the Wuyi rock tealeaf image dataset, which is superior to that of oth-er CNN models. This result demonstrates that integrating global information and local information relating to edge shape and texture can effectively improve classification accuracy.
Keywords : classification of Wuyi rock tealeaves; deep learning; transfer learning; feature integration; convolutional neural network; residual network; edge shape; texture
武夷岩茶是中国传统名茶，品种资源丰富，史书记载有上千个品种。因此武夷岩茶茶树品种的智能识别技术对研究武夷岩茶茶树的分布情况以及种质资源保护具有重要意义。基于叶片的识别是植物种类识别最直接有效的方法[1]
。鉴于武夷岩茶不同茶树品种的叶片在形态、大小和颜上
收稿日期：2020−03−12.
基金项目：国家自然科学基金项目(61876159，61806172，
U1705286)；福建省2011协同创新中心—中国乌龙茶产业协同创新中心专项（闽教科〔2015〕75号）；福建省自然科学基金项目(2017J01780，2018J01562，2020J01421)；武夷学院认知计算与智能信息处理福建省高校重点实验室开放课题项目(KLCCIIP2018105，KLCCIIP2018201) .
通信作者：李绍滋. E-mail ：*************.
第 15 卷第 5 期智 能 系 统 学 报
Vol.15 No.52020 年 9 月
CAAI Transactions on Intelligent Systems
Sep. 2020
存在差异，因此，武夷岩茶叶片是识别茶树品种的首要特征。然而不同品种的武夷岩茶鲜茶叶叶片大小、形状、颜区别细微，在没有丰富经验的情况下，仅凭肉眼不易分辨茶叶所属品种，因此研究自动化的茶叶品种识别方法是必要且有意义的工作。
当前，深度学习已成为解决图像分类问题的一种重要方法[2-5]，尤其是基于卷积神经网络(convolutional neural network,CNN)的深度学习。该方法能得到更准确且接近图像高级语义的特征，
已在图像分类方面取得了突破性进展[6-8]。目前，有不少研究者尝试将CNN应用于植物分类问题。Yalcin等[9]提出了一种改进的CNN结构，并在植物图像的分类问题上取得了比基于LBP、GIST等特征描述方法更高的分类准确率。Lee 等[10]采用基于解卷积网络的方法识别植物叶片特征，展示了植物叶片特征从低层抽象到高层抽象的层次转换。Grinblat等[11]使用深度CNN模型自动提取植物叶脉特征，证明通过增加模型深度可提高植物分类的准确率。Pawara等[12]使用基于CNN的方法在多种植物图像数据集上进行分类实验，结果表明深度CNN方法优于人工特征提取方法。
在武夷岩茶鲜茶叶叶片图像分类问题上，目前还未见到基于CNN的相关研究工作，已有方法仍然采用人工提取特征的技术路线。例如，林丽惠等[13]人工提取武夷岩茶鲜茶叶叶片图像的14种形状和纹理图像特征，然后使用支持向量机进行分类，取得了91%的分类准确率。总体上，基于人工提取特征的鲜茶叶叶片图像分类方法的分类准确率都在90%左右[14-16]。
本研究针对武夷岩茶鲜茶叶叶片图像分类问题，在现有CNN模型的基础上，提出了一个融合整体与局部信息的两分支并行卷积神经网络模型。该模型在武夷岩茶的9个茶叶品种共计7330张鲜茶叶叶片图像数据集上的分类准确率显著超过已有方法。
1 常见的CNN模型
2012年，由Alex等提出的AlexNet[17]模型赢得了2012年ImageNet项目的大规模视觉识别挑战(ILSVR
C)的第一名，取得Top-5错误率为16.4%的成绩。2014年，牛津大学视觉几何组提出的VGGNet模型[18]在ILSVRC比赛中将Top-5错误率降到7.32%。Google提出的GoogLeN-et模型及其后续版本[19]在ILSVRC比赛中将Top-5错误率降低至4.8%。从上述CNN模型发展过程看，采用越来越深的网络结构是发展趋势。因为从AlexNet、VGGNet到GoogLeNet，网络模型的深度越来越深，同时在ILSVRC比赛上取得的成绩也越来越好。
2 ResNet模型 + 迁移学习
在CNN模型中，常通过增加网络深度来提升模型的表达能力。但随着网络深度的增加，梯度消失等问题导致网络参数的寻优过程变得愈发困难。为此，何恺明等[20]提出了深度残差网络(re-sidual network，ResNet)，并在2015年的ILS-VRC比赛中将Top-5错误率降至3.57%。Res-Net模型的核心思想是引入输入到输出的捷径连接(图1)，以降低数据中信息的冗余度[21]。Res-Net模型有不同的网络层数，常用的有18层深度的ResNet18和50层深度的ResNet50。
图 1 ResNet中的捷径连接
Fig. 1 Shortcut connection in ResNet
将深度CNN模型应用于图像分类问题的困难之一是需要庞大的图像数据集，否则其分类准确率不佳。迁移学习[22]是一种把源领域知识迁移到目标领域的方法，适用于源领域数据量充足而目标领域数据量较小的情况。因此在图像数据量较小的情况下，可将CNN模型和迁移学习相结合。这样做有3个益处:1) CNN模型能充分利用源领域的大数据来预训练网络的参数；2) CNN模型在训练过程中性能提升的速率更快；3) CNN模型训练过程能更平稳地收敛到局部最优值。
3 整体与局部信息融合的CNN模型
针对武夷岩茶鲜茶叶叶片分类问题，本研究构建了一个如图2所示的整体与局部信息融合
·920·智 能 系 统 学 报第 15 卷
的CNN 模型(IGL-CNN)，并将在ImageNet 数据集上预训练的ResNet 模型通过微调网络参数的方式迁移到武夷岩茶鲜茶叶叶片分类问题中。
输入图像
预处理
ResNet 模型
ResNet 模型
特征融合
分类
整个叶片图像
叶片图像块
图 2 整体与局部信息融合的CNN 模型
Fig. 2 CNN mode constructed by integrating global and local information
徐州旅行团旅游报价3.1 网络模型结构概述
开封市IGL-CNN 模型包含两个并行分支，分别用于提取鲜茶叶叶片的全局特征和局部特征。两个分支都采用
在ImageNet 数据集上通过预训练得到的ResNet 模型。第一个分支的输入是完整的茶叶叶片图像(整体信息)，其输出是叶片的全局特征。第二个分支的输入是局部的茶叶叶片图像(局部信息)，其输出是叶片的局部特征。其次，在特征融合层将全局特征和局部特征进行融合，得到叶片图像对应的最终特征向量。最后，通过分类层将融合后的特征向量分类到不同的茶品种类别。
3.2 局部特征提取
3×3将叶片图像归一化到224像素×224像素，然后再将叶片图像均匀划分为 的子块(图3)。把子块分为3组。第1组由标注为1的子块组成，代表图像中间信息。第2组由标注为2的子块组成，代表图像前后端信息。第3组由标注为3的子块组成，代表图像边缘信息。以上3组局部信息经过并行分支结构中的第2个分支处理后得到对应的局部特征。
3
23
3
3
1233
武汉旅游图 3 叶片图像的块划分
Fig. 3 Division of a leaf image into blocks
3.3 特征融合
g l 用特征串联操作将IGL-CNN 模型提取出的茶叶叶片图像全局特征 与局部特征 组合为特
[g ,l ]g l 征向量 ，其中 和 均为512维的向量。3.4 损失函数
C k p C [t 1,t 2,···,t C ]k i t i =1t i =0k q =[y 1,y 2,···,y C ]
k l CE 考虑到武夷岩茶鲜茶叶叶片图像样本数量的不均匀性，本研究使用交叉熵作为损失函数。假设待分类的武夷岩茶鲜茶叶叶片共有 个品种。对叶片样本 ，定义其真实的类标签 为一个维度为 的向量 ，当样本 属于品种 时，，否则 。将叶片样本 在分类模型的输出预测概率分布记为 。对叶片样本 ，其真实类标签与输出预测分布之间的差异用交叉熵 来表示：
N L 对所有 个叶片样本，总损失函数 如下：
k i t ki =1t ki =0y ki k i 当叶片样本 属于品种 时，，否则
。 是IGL-CNN 模型预测叶片样本 属于
品种 的概率。
4 实验
4.1 数据集
数据集为实地采集武夷岩茶中9个茶叶品种共计7 330张鲜茶叶叶片图像。图4列出了9种茶叶品种的鲜茶叶叶片图像数目。4.2 数据预处理
通过基于阈值的图像分割算法对叶片图像进行预处理，提取图像前景区域，然后将背景颜设置为纯白。图5为武夷岩茶鲜茶叶叶片图像的预处理结果。
第 5 期林丽惠，等：融合整体与局部信息的武夷岩茶叶片分类方法·921·
黄
观
音
瑞
香
百
岁
香
北
斗
丹
桂
茗
科
1号
奇
兰
肉
桂水
仙
2004006008001 0001 2001 4001 6001 8002 000茶叶品种
云南旅行社一览表图 4 9种茶叶品种的鲜茶叶叶片图像数目
Fig. 4 Numbers of fresh tealeaf images of nine kinds of teas
(a) 黄观音
(d) 北斗(g) 奇兰(h) 肉桂(i) 水仙
(e) 丹桂(f) 茗科一号
(b) 瑞香
(c) 百岁香
图 5 预处理后的9个品种的鲜茶叶叶片图像
Fig. 5 Images of fresh tealeafs of nine kinds of teas after
preprocessing
4.3 训练过程
将7 330张叶片图像数据按7:3的比例划分为训练集和测试集。在IGL-CNN 模型中，第1个ResNet 模型的输入为整个叶片图像，用于提取叶片图像的全局特征，第2个ResNet 模型的输入为叶片图像块，即图3所示的3组叶片图像块中的一组或者多组，用于提取叶片图像的局部特征。IGL-CNN 模型中全连接
层的输出设为9维矢量，以适应9类茶叶品种。
使用随机梯度下降方法训练模型。为客观比较网络模型和训练机制对分类准确率的影响，对实验中的超参数进行统一处理，超参数的具体值如表1所示：
表 1 超参数值
Table 1 The values of hyperparameters
参数类型参数值Lr(学习率)10−3Weight_decay(权重衰减)
10
−4
Momentum(动量)0.9Epoch(回合数)50Batch_size(批样本大小)
30世界各国航母一览表
4.4 实验结果与分析
4.4.1 配置ResNet18的IGL-CNN 模型
将IGL-CNN 模型中的两个分支均设置为ResNet18。局部的茶叶叶片信息分为边缘、中间和前后端3类，实验中选择了7种组合作为第2个分支的输入。表2给出了这7种输入对应的分类准确率，可见全局信息与边缘信息融合的策略取得了96.68%的最高分类准确率。
表 2 配置ResNet18的IGL-CNN 模型的分类准确率Table 2 Classification accuracies of IGL-CNN mode with
ResNet18
组合编号
输入的图像局部信息
分类准确率/%
1
边缘信息96.682边缘信息 + 中间信息
96.593中间信息
96.274
边缘信息 + 前后端信息95.045中间信息 + 前后端信息94.636
边缘信息 + 中间数据 + 前后端信息
93.917
前后端信息
92.25
4.4.2 配置ResNet50的IGL-CNN 模型
将IGL-CNN 模型中的两个分支均设置为ResNet50。为了与配置ResNet18的IGL-CNN 模型进行最优分类准确率的对比，将配置ResNet50的IGL-CNN 模型的第2个分支的输入设置为图像边缘信息。实验结果表明其分类精度为96.36%，低于对应配置ResNet18的IGL-CNN 模型的分类准确率96.68%。这表明对于7 330张叶片图像数据集，18层的网络已足够深。如果希望在配置ResNet50的IGL-CNN 模型上取得更好的分类准确率，7 330张叶片图像数据集小了，需要更大的数据集。
4.4.3 单分支CNN 模型
为验证两分支并行卷积神经网络相较于单分支卷积神经网络的优越性，对单分支CNN 模型进行了实验。第1次实验将单分支设为ResNet18模型，第2次实验将单分支设为ResNet50模型，第3次实验将单分支设为VGG16模型，第4次实验将单分支设为AlexNet 模型。
综合以上3类实验结果，可得到以下结论。1)当IGL-CNN 模型的输入是整个叶片图像信息与图像边缘信息时取得96.68%的最高分类准确率；
2)当IGL-CNN 模型的输入是整个叶片图像信息与图像中间信息时，分类准确率为96.27%，
·922·
智 能 系 统 学 报第 15 卷
高于单分支CNN模型的最高分类准确率96.04%；
3)当IGL-CNN模型的输入是整个叶片图像和图像前后端信息时，分类准确率为92.25%，略高于单分支CNN模型的最低分类准确率92.21%。
4)对于武夷岩茶鲜茶叶叶片分类问题，除了全局信息，叶片图像的边缘局部信息和中间局部信息也是区分叶片种类的重要信息。图像的边缘信息反映了叶片的边缘形状特征，图像的中间信息反映了叶片
的纹理特征。因此，边缘形状和纹理是分类叶片种类的重要信息。在加入图像的前后端信息后，叶片分类的准确率出现了下降，这说明叶片图像的前后两端信息对区分叶片种类的作用不大。
5)合理选择CNN模型的深度很重要。理论上，模型深度越深，模型的表达能力越好。如表3所示，R e s N e t50模型的分类准确率要高于ResNet18模型的分类准确率。但对于配置Res-Net50的IGL-CNN模型和配置ResNet18的IGL-CNN模型而言，这种情况出现了逆转。考虑到IGL-CNN模型的两分支并行结构包含的参数数目是单分支CNN模型的2倍，这说明7330张叶片图像数据集对于配置ResNet50的IGL-CNN模型是不够的，如果想进一步提高配置ResNet50的IGL-CNN模型的分类准确率，还需增大图像数据集的容量。
表 3 4种单分支CNN模型的分类准确率
Table 3 Classification accuracies of 4 kinds of single-branch CNN models
模型分类准确率/%
ResNet1894.36
ResNet5096.04
VGG1693.22
AlexNet92.21
5 结束语
官方订机票
针对武夷岩茶鲜茶叶叶片图像分类问题，本研究设计了一个两分支并行结构的CNN模型。该模型融合了叶片图像的整体与局部信息，并在给定的武夷岩茶鲜茶叶叶片图像数据集上取得了很好的分类准确率。此外，实验结果还表明，除了图像的全局信息外，图像的边缘信息和纹理信息也是识别武夷岩茶鲜茶叶叶片的重要特征。以上结论为后续研究工作提供了有益的借鉴。参考文献：
张宁, 刘文萍. 基于图像分析的植物叶片识别技术综述[J]. 计算机应用研究, 2011, 28(11): 4001–4007.
ZHANG Ning, LIU Wenping. Plant leaf recognition tech-nology based on image analysis[J]. Application research of computers, 2011, 28(11): 4001–4007.
[1]
卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理, 2016, 31(1): 1–17.
LU Hongtao, ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision[J]. Journ-al of data acquisition and processing, 2016, 31(1): 1–17. [2]
王成济, 罗志明, 钟准, 等. 一种多层特征融合的人脸检测方法[J]. 智能系统学报, 2018, 13(1): 138–146.
WANG Chengji, LUO Zhiming, ZHONG Zhun, et al. Face detection method fusing multi-layer features[J]. CAAI transactions on intelligent systems, 2018, 13(1): 138–146.
[3]
周俊宇, 赵艳明. 卷积神经网络在图像分类和目标检测应用综述[J]. 计算机工程与应用, 2017, 53(13): 34–41.
ZHOU Junyu, ZHAO Yanming. Application of convolu-tion neural network in image classification and object de-tection[J]. Computer engineering and applications, 2017, 53(13): 34–41.
[4]
刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 0428001.
LIU Dawei, HAN Ling, HAN Xiaoyong. High spatial res-olution remote sensing image classification based on deep learning[J]. Acta optica sinica, 2016, 36(4): 0428001. [5]
李亚飞, 董红斌. 基于卷积神经网络的遥感图像分类研究[J]. 智能系统学报, 2018, 13(4): 550–556.
LI Yafei, DONG Hongbin. Classification of remote-sens-ing image based on convolutional neural network[J]. CAAI transactions on intelligent systems, 2018, 13(4): 550–556.
[6]
刘彪, 黄蓉蓉, 林和, 等. 基于卷积神经网络的盲文音乐识别研究[J]. 智能系统学报, 2019, 14(1): 186–193.
LIU Biao, HUANG Rongrong, LIN He, et al. Research on braille music recognition based on convolutional neural networks[J]. CAAI transactions on intelligent systems, 2019, 14(1): 186–193.
[7]
周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229–1251.
ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of con-volutional neural network[J]. Chinese journal of com-puters, 2017, 40(6): 1229–1251.
[8]
YALCIN H, RAZAVI S. Plant classification using convo-lutional neural networks[C]//2016 Fifth International Con-ference on Agro-Geoinformatics. Tianjin, China, 2016: 1−5.
[9]
LEE S H, CHAN C S, MAYO S J, et al. How deep learn-[10]
第 5 期林丽惠，等：融合整体与局部信息的武夷岩茶叶片分类方法·923·
