任胜兰,郭慧娟,黄文豪,亓 慧
(1.太原师范学院,计算机科学与技术学院 山西 晋中 030619;2.太原理工大学 信息与计算机学院 山西 太原030600; 3. 华南理工大学 软件学院 广东 广州 510006)
物联网[1,2](Internet of things,IoT)由包含物理传感器的各种设备组成,连接到互联网以采集和传播信息,且不需要人与人或人与机器的交互。IoT极大促进了通信技术和自动化的进步发展。近些年人工智能技术的快速发展和普及,已经在物联网应用方面显示出巨大威力,显著提升了物联网的智能化和自动化,形成了“智能物联网”范式[3]。
人工智能在物联网方面的应用众多,如有些研究人员已提出智能害虫防治系统,在菜地和果园内直接安装智能传感器网络,通过收集作物健康相关的实时数据进行监测和优化资源使用[4,5]。根据类型来分,传感器可分为基于图像、基于光谱和基于超声三类,其分别对应于可见光相机、红外相机和超声传感器[6]。文献[7]提出了结合IoT和红外传感器的害虫防控方案。文献[8]提出了基于光声频谱分析的橄榄实蝇检测系统,基于翅振分析和随机森林分类器检测昆虫种类。但此类方法无法区分同种昆虫的不同类型,传感器读数易于受到太阳能辐射等环境因素的影响,误警率较高。
近期,基于图像的深度学习技术[9,10]逐渐用于克服上述限制,实现实时准确的自动害虫监测系统。如文献[11]提出了基于卷积神经网络(Convolutional neural networks,CNN)的温室害虫多类识别的方法,通过多个CNN分类器实现多种类的害虫检测,并通过采样控制策略提高分类精度。但此类网络非常复杂,无法在嵌入式设备上实施。此外,由于针对试验室环境而设计,不适用于农作物现场采集图像的分类。文献[12]提出了基于改进Faser R-CNN的针叶树害虫红脂大小蠹的自动检测方法,利用信息素诱捕器内的集成摄像头自动采集图像以进行害虫分类和计数。但该方案需要将采集到的图像数据发送至服务器处理,通信量需求较大,不适用于通信受限的偏远农村地区。文献[13]使用在ImageNet上预训练的MobileNet-V2作为骨干网络,结合注意力机制和分类激活图(Classification activation map,CAM)学习输入图像中的显著害虫信息,并在学习过程中实施了损失函数优化和两阶段迁移学习,提高了害虫识别的准确度。但其使用的数据是理想的试验环境下得到的高分辨率图像,没有考虑到现实环境的干扰和约束,限制了该方法的应用范围。
考虑到智能物联网应用中的能源限制、通信限制和可扩展性需求,本文提出了基于Yolo-v4-tiny的智能诱捕器。本文通过搭建低功耗嵌入式平台,利用树莓派(Raspberry PI)和神经计算棒本地执行图像自动检测和分类并将结果发送至用户,无需人工和云端干预,提高了设备部署的可扩展性,极大降低了通信成本,解除了偏远农村地区的通信限制;通过改进的轻量级Yolo-v4-tiny神经网络完成害虫自动检测,检测性能优于其他同类方法;诱捕器通过太阳能供电,可在无需人工干预的情况下长期工作,节约人力和维护成本。
图1给出了所提具有自动环境信息读取和害虫识别能力的智能诱捕器架构,其中在诱捕器的底部放置基于信息素的粘虫板,有针对性地捕捉害虫。粘虫板上方安装相机,采集害虫图像。将图像数据输入树莓派和神经计算棒,运行Yolo-v4-tiny进行图像检测与识别,并定期将包括环境数据和害虫计数的所有信息发送至用户。整个系统采用边缘计算设计,自主工作并通过太阳能系统供电,最大限度降低了人力负担和通信网络负担。深度学习网络是嵌入式系统的灵魂,其中,骨干网以Darknet53-tiny为基础,使用Leaky_Relu激励函数,保留了原YOLO-V4的大部分特点。卷积单元使用Linear激励函数,从预测角度,Linear 函数更快和更容易形成可预测的输出结果。CSP Block通过跨阶段残差边缘对两部分进行合并,支持梯度流在两个不同网络通路内的传播,提高梯度信息的相关性差异。
图1 智能诱捕器原型框架图
1.1 硬件设备
基于智能诱捕器的应用需求和成本考量设计定制化硬件平台。其中,每个智能诱捕器均包括图像和环境信息采集模块,数据处理模块,通信模块和电源管理模块。下文将详细解释每个模块的硬件配置。
(1)图像和环境信息采集。使用IMX477高质量摄像头模块,连接到树莓派Pi 3b+以采集粘虫板上的害虫图像。该摄像头模组可提供高达1230万像素的分辨率(图像尺寸4056×3040),背光式成像技术可实现在低照度下拍摄高质量图像,能够满足害虫检测识别的应用要求。此外,将温度湿度传感器DHT11模块搭载到树莓派上,以采集诱捕器周围的环境信息,帮助用户制定更合理的害虫防止策略。
(2)数据处理模块。使用低功耗的树莓派Raspberry Pi 3b+负责管理传感器的数据采集和传输,实现计算能力、能量需求和成本之间的平衡。此外,将Intel神经计算棒2(Neural Computing Stick2,NCS2)与树莓派连接,NCS2仅在深度神经网络处理过程中启动,以提高处理性能,缩短推理时间。在执行推理过程中,树莓派的功耗约为2W,NCS2的功耗约为3W,能够满足自主设备长期工作的需求。
(3)通信传输模块。将华为ME909s连接到树莓派,以支持3G/4G通信功能。由于所提模型在本地进行图像处理,仅需将处理结果发送至用户,将通信量降低至数个字节。此外,用户也可在有必要的情况下主动获取摄像头拍摄到的图像,对识别结果进行人工比对。
(4)电源管理模块。图2给出了供电模块框图,田阳能面板直接连接到德州仪器的能量采集器BQ25504,为可充电锂电池供电。bq25504非常适合满足超低功率应用的特殊需求,可有效获取和管理光伏直流电源产生的微瓦到毫瓦的功率。低压差稳压器向MCU3.3V电压。通过微控制器(Micro control unit,MCU)STM32L010管理Buck-Boost稳压器FAN49103,向树莓派稳定的5 V电压。此外,MCU通过电池电量及LC709204F对锂电池状态进行检测,并利用内置的实时时钟(Real time clock,RTC)管理树莓派和NCS2的启动和关闭。用户可通过定义MCU中的RTC设定图像采集和通知发送的频率,以最大化提高智能诱捕器的工作寿命。
图2 电源管理框图
2.1 网络架构
YOLO是针对快速准确的实时目标检测而设计的全卷积神经网络(Full convolutional networks,FCN),取原始图像作为输入,输出包围框和识别目标的相关类别。具有与其他目标检测算法(RetinaNet、Faster-RCNN)类似的准确度,但速度快的多,适用于实时嵌入式应用。
Yolo-v4-tiny[14]以Yolo-v4为基础,快速进行目标检测,促进了嵌入式系统或移动设备上目标检测算法的部署。图3给出了Yolo-v4-tiny的网络架构。其中,CSPDarknet53-tiny网络在跨阶段部分网络中使用CSP Block模块,取代残差网络中的Res Block模块。CSP Block模块将特征图分为两部分,并通过跨阶段残差边缘对两部分进行合并,由此支持梯度流在两个不同网络通路内的传播,提高梯度信息的相关性差异。
为进一步简化计算,Yolo-v4-tiny在CSPDarknet53-tiny中使用LeakyRelu作为激活函数,以取代Yolov4中使用的Mish激活函数。Leaky Relu计算为
(1)
式中:ai∈(1,+∞)为常数参数。
图3 Yolo-v4-tiny网络架构
特征融合方面,Yolo-v4-tiny利用特征金字塔网络提取不同尺寸的特征图,而不使用Yolov4中的通道聚合网络,以加快目标检测速度。同时,Yolo-v4-tiny使用13×13和26×26两个不同尺寸的特征图预测检测结果。
2.2 预测过程
数据经过两个CBL区块处理后,Yolo-v4-tiny将输入图像分割为大小S×S的网格。每个网格使用B个包围框进行目标检测,为每个输入图像生成S×S×B个包围框。若目标中心落入网格内,则预测该网格中包含目标。
为减少冗余包围框数量,计算每个检测区域的置信度,并移除置信度低于阈值的检测结果。第i个网格内第j个包围框的检测置信度定义为
(2)
Yolo-v4-tiny的损失函数定义为
L=l1+l2+l3
(3)
式中:l1、l2和l3分别表示置信度损失函数、分类损失函数和包围框回归损失函数。
2.3 Yolo-v4-tiny-SPP架构
尽管Yolo-v4-tiny检测速度较快,但在识别小目标时性能较差,误检率较高。为满足本文研究的害虫检测应用,有必要对原始架构做出改进。本文通过结合空间金字塔池化(Spatial pyramid pooling,SPP)模块,结合C-IoU损失函数[15]提高收敛速度和回归准确度。
原始Yolo-v4-tiny网络的特征提取网络包含21个卷积层和3个最大池化层,利用特征提取层后的两个YOLO检测层执行检测。为提高害虫检测准确度,本文在特征提取层(即第3个CSP Block)之后添加了1个SPP模块,以提取更丰富的特征。表1给出了SPP模块结构,其中包含3个大小为1×1,3×3和5×5的最大池化层,将输入图尺寸从26×26×512变为13×13×2048。
表1 SPP模块
2.4 改进损失函数
为提高目标的快速准确检测,在设计损失函数时,首先需要缩短预测包围框和目标包围框之间的归一化距离,以加快收敛速度。其次,需要改善回归的速度和准确度。为此,本文采用了C-IoU损失函数,将目标检测作为回归任务处理
(4)
式中:IoU为交并比,ρ(·)为欧氏距离,c为覆盖预测包围框和真实包围框的最小包围框的对角线长度。B为预测包围框,Bgt为目标包围框。α为正权衡参数,v用于测量高宽比的一致性。
2.5 模型训练
训练过程分为两阶段。首先,将迭代次数初始化为100,最大和最小学习率分别初始化为100和0.001。该阶段中,批大小为4,使用Adam优化器对网络权重进行优化和更新。评价指标不再提升后,将学习率下降10%。当验证损失连续三次不再下降时,终止训练程序。
基于第一阶段的结果,对模型进行第二阶段的训练,以提升验证性能。该阶段中,将迭代次数、最大学习率和批大小初始化为第一阶段相同,但最小学习率从0.001降至0.000 1。此外,为防止该阶段模型过拟合,若连续3次迭代中验证损失值不再下降或验证集准确度持续下降,则提前终止训练。训练程序终止时的输出网络权重即为最终模型权重。
3.1 数据集
将所提智能诱捕器放置于瓜田,并采集果蝇图像。从3月初至4月底,共采集到355张诱虫板图像,作为原始数据集,并对采集到的数据集应用数据增强技术得到合成数据集,以改善数据集稀疏性。最终生成的试验数据集包含769张图像,其中模拟了实际应用中可能会遇到的各种干扰,以提高检测网络在各种情况下的识别性能。试验数据集按6∶2∶2的比例分割为训练集、验证集和测试集。图4给出了数据集样例,其中图4(a)为原始果蝇图像,图4(b)为添加反光干扰的图像,图4(c)为添加灰尘干扰的图像,图4(d)为添加其他昆虫干扰的图像。
图4 数据集样例
3.2 评价指标
精度。该指标衡量模型正确检测数量与总检测数量之比,以展示检测准确度
(5)
式中:TP为正确检测到的害虫数,FP为误警数。
召回率。该指标衡量正确检测数量与真实害虫数之比,以分析漏检情况。召回率数值随漏检数量增加而上升
(6)
式中:FN为漏检数。
F1得分。该指标通过平等考量精度和召回率数值,展示精度和召回率之间的平衡和相对关系
(7)
交并比(Intersection over union,IoU):真实包围框与相应检测包围框之间的交并比。IoU值越大,两者的匹配程度越高。平均IoU即所有成对的检测包围框和真实包围框之间的IoU均值。该指标反应了模型的定位性能[16]。
3.3 比较方法
比较本文方法与MobilenetV1、MobileNetV2和Yolo-v4-tiny在试验数据集上的害虫检测性能。
MobileNetV1[17]是针对移动和嵌入式系统应用设计的轻量级深度卷积网络,在延迟和准确度之间实现了高效平衡。该模型基于逐深度可分卷积,并利用两个缩小超参数width multiplier和resolution multiplier进一步降低计算量。
MobileNetV2[18]在MobileNetV1的基础上构建,同样使用了逐深度可分卷积架构。此外,该方法在卷积块中利用线性瓶颈层优化神经架构,并利用倒置残差设计实现瓶颈层之间的shortcut连接,改善了梯度传播能力。
3.4 结果分析
表2给出了不同检测模型在原始数据集上的试验结果。进行比较的四种方法均是针对低功耗设备设计的轻量级神经网络。从结果中可发现,尽管MobileNetV2比MobileNetV1的计算量和参数量大幅减少,但依然取得了比后者更好的性能,证明倒置残差和线性瓶颈有效提高了MobileNetV2的学习能力,保留了更多有价值的特征。Yolo-v4-tiny整体上取得了次优性能,各项指标较MobileNetV2均实现了显著提升。本文方法取得了最好性能,证明在Yolo-v4-tiny的基础上添加的SPP模块和改进损失函数能够有效增强了小目标的识别能力。尽管计算复杂度也会显著高于MobileNet网络,但所提智能诱捕器并非严格的实时应用,后文的功耗和运行时间分析结果证明,所提模型完全能够满足害虫自主检测预警的应用需求。
表2 原始数据集测试结果
表3给出了各方法在合成数据集上的试验结果。由于合成数据集的图像上添加了反光、灰尘和其他昆虫等干扰,所以各模型的指标都出现了一定程度的下降。从结果中可发现,本文方法依然取得了整体最优性能,展示了较好的抗干扰能力。此外,所提方法的平均IoU结果几乎与原始数据集相同,证明所提方法具有非常好的目标定位能力。
表3 合成数据集测试结果
3.5 系统功耗分析
根据普通使用场景需求,假定所提智能诱捕器每日执行两次害虫检测并将结果发送至用户,并再次基础上分析整个系统的功耗情况,图5给出了试验结果。其中将害虫检测任务分为5个子任务,分别为:T1:树莓派启动,耗时约42.3 s;T2:捕捉图像,耗时约3.28 s;T3:树莓派执行图像预处理,耗时约为4.27 s;T4:树莓派+NCS2进行图像检测,耗时约为10.22 s;T5:发送检测结果,耗时约为0.52 s。完成子任务T5后,系统进入休眠,并在下一个规划时间点到来时由MCU的RTC发出启动指令。所提系统从启动至休眠的一个完整任务周期耗时为60.59 s,在低功耗设备上表现出了较高的任务完成效率。此外,从图5中可发现,所提系统得益于使用的低功耗设备和轻量级神经网络,系统功耗始终保持在较低水平。且由于任务周期数较少,能够满足设备自主长期运行的应用需求。
图5 功耗和执行时间分析
本文提出了基于深度学习和IoT技术的瓜田果蝇害虫自动监测预警方案。在太阳能供电的边缘设备平台上,利用改进Yolo-v4-tiny模型自动检测信息素诱捕器捕捉到的果蝇信息,并将结果定时发送至用户,从而及时采取适当的防治措施。试验结果证明,所提方案能够准确有效地完成害虫检测任务,且整体功耗能够满足低功耗平台的长期作业要求。
猜你喜欢树莓害虫模块28通道收发处理模块设计成都信息工程大学学报(2022年3期)2022-07-21“选修3—3”模块的复习备考中学生数理化(高中版.高考理化)(2022年5期)2022-06-01蜗牛一觉能睡多久？好孩子画报(2021年9期)2021-09-26冬季果树常见蛀干害虫的防治今日农业(2020年23期)2020-12-15基于树莓派的骑行智能头盔设计电子制作(2019年11期)2019-07-04枣树害虫的无公害防治现代园艺(2017年21期)2018-01-03基于树莓派的远程家居控制系统的设计电子制作(2017年17期)2017-12-18响应面法优化红树莓酒发酵工艺中国酿造(2016年12期)2016-03-01农业害虫的冬季防治现代农业(2016年5期)2016-02-28欧盟：速冻树莓比鲜食树莓市场更好中国果业信息(2013年7期)2013-01-22