水下无人机，深度学习实现鱼类识别

心中u你

水下无人机，开源硬件制作，具有360度全景图像功能，基于深度学习实现鱼类识别。
可用于调查水下鱼类状况，也可用于在网上实时欣赏水族馆或海洋水下场景。
pdf全文下载：
系统设计

该系统包括3个部分：

• Picam360-CAM：水下无人机主体；
  
• Picam360-FPV：显示无人机获取的图像；
  
• PC/Smartphone：在PC浏览器或智能手机上显示来自无人机的图像。
  

系统总体构成

硬件实现

Picam360-CAM和PiCAM360-FPV都使用开源硬件Raspberry Pi（树莓派）计算模块实现。
Raspberry Pi计算模块广泛应用于各种领域，特别是嵌入式系统。某些版本配备了700 MHz ARM中央处理器（CPU），24个FFLOPs图形处理单元（GPUs）和MIPI接口。46个通用输入/输出引脚，便于扩展。可以应用多种接口，例如，UART、I2C和SPI等。
Raspberry Pi计算模块的电路图是开放的，可以轻松扩展。
系统实现时扩展了基本的计算模块：在印刷电路板上添加一个双列直插式存储器模块（SODIMM）插座、电源电路、两个MIPI相机接口、两个UART、USB 2.0和以太网100BASE-T。



用树莓派（Raspberry Pi）开源硬件构建水下无人机



树莓派（Raspberry Pi）开源硬件构建360全景图像显示（5英寸显示屏）



在PC和智能手机上实现图像显示

深度学习

模型

基于深度学习的鱼类识别，使用了LeNet、AlexNet和GoogLeNet三种模型。它们都是CNN的经典模型。其中，LeNet于1998年推出，GoogLeNet在ImageNet大规模视觉识别挑战赛2014（ILSVRC14）夺得冠军。
数据集

从谷歌搜索引擎中挑选了四种在日本最受欢迎的观赏鱼的图像，每种鱼各100幅。但尺寸和图像质量都不均匀。这些数据只是作为初期的研究，将来会用水下无人机收集真实图像。
数据增强

400幅图对于识别学习显然不够。于是，利用“模糊”和“旋转”来增加新的图像。
经过36次旋转和5次模糊之后，产生了72,000个模糊图像和14,400个非模糊图像。所有86,400张图像分别制作成224×224像素的图片作为训练数据。



数据增强的一个例子，（a）原始图像，（b）-（g）旋转图像，（h）模糊原始图像，（i）-（n）模糊旋转图像。

实验与识别结果

用于识别的机器有四块Geforce GTX-1080 Ti GPU板; 每块GPU板都有3584个CUDA核心和11GB GDDR5x内存。
水下无人机实现了2048×1024、5fps的实时图像流。 由鱼眼镜头拍摄的两个235度全景图像被校正为360度全景图像。



在湖中潜水的无人机：（a）无人机（最新版本，后面图为老版本），（b）无人机在水中活动，（c）无人机潜水，（d）无人机到达一定的深度 （a）是持续发布的版本。

四种鱼的测试图像如下图。



测试图像示例

使用三种模型的识别结果示于下图。其中，AlexNet和GoogLeNet的平均结果分别达到87%和85%。



对四种鱼的识别率

三种模型的训练时间和识别115幅图像的时间见下表。



三种模型的训练时间和识别时间
结论：综合考虑识别率和识别时间，AlexNet比较适合实时鱼类识别。
文献：
L. Menget al., Underwater-Drone With Panoramic Camera for Automatic Fish RecognitionBased on Deep Learning, IEEE Access, Vol.6, 2018, Special Section on Multimedia Analysis for Internet-of-Things.

原文地址：https://zhuanlan.zhihu.com/p/62010842