图像分割涨点技巧。从39个Kaggle竞赛中总结出的分割Tips和Tricks

wolf

图像分割涨点技巧！从39个Kaggle竞赛中总结出的分割Tips和Tricks

从数据预处理、增强、模型设计到损失函数、调参技巧！作者参加了39个Kaggle比赛，总结了非常多的技巧和经验，现在全部分享给大家。

参考文献：
Image Segmentation: Tips and Tricks from 39 Kaggle Competitions(这个应该是最早的，最新更新于2022年7月21日)
计算机视觉Daily-微信公众号
CVer计算机视觉-知乎
作者在kaggle上参加的比赛包括：

• Data Science Bowl 2017 – $1,000,000
  
• Intel & MobileODT Cervical Cancer Screening – $100,000
  
• 2018 Data Science Bowl – $100,000
  
• Airbus Ship Detection Challenge – $60,000
  
• Planet: Understanding the Amazon from Space – $60,000
  
• APTOS 2019 Blindness Detection – $50,000
  
• Human Protein Atlas Image Classification – $37,000
  
• SIIM-ACR Pneumothorax Segmentation – $30,000
  
• Inclusive Images Challenge – $25,000
  

比赛含金量还是十分充足的，可见作者分享的技巧也非常有实用价值。39点技巧可分为11大类，包括

• 使用外部数据
  
• 数据探索和直觉
  
• 预处理
  
• 数据增强
  
• 模型结构
  
• 硬件设置
  
• 损失函数
  
• 训练技巧
  
• 评估和验证
  
• 集成方法
  
• 后处理
  

（一）使用外部数据

• 使用 LUng Node Analysis Grand Challenge 数据，因为这个数据集包含了来自放射学的标注细节。
  
• 使用 LIDC-IDRI 数据，因为它具有找到了肿瘤的所有放射学的描述。
  
• 使用Flickr CC，维基百科通用数据集
  
• 使用Human Protein Atlas Dataset
  
• 使用IDRiD数据集
  

(二) 数据探索和直觉

• 使用0.5的阈值对3D分割进行聚类
  
• 确认在训练集和测试集的标签分布上有没有不一样的地方
  

(三) 预处理

• 使用DoG（Difference of Gaussian）方法进行blob检测，使用skimage中的方法。
  

import skimage
​
img_dog = skimage.feature.blob_dog(image, min_sigma=1, max_sigma=50, sigma_ratio=1.6, threshold=2.0, overlap=0.5, *, exclude_border=False)
img_doh = skimage.feature.blob_doh(image, min_sigma=1, max_sigma=30, num_sigma=10, threshold=0.01, overlap=0.5, log_scale=False)
img_log = skimage.feature.blob_log(image, min_sigma=1, max_sigma=50, num_sigma=10, threshold=0.2, overlap=0.5, log_scale=False, *, exclude_border=False)API参考：

skimage.feature.blob_dog
skimage.feature.blob_doh
skimage.feature.blob_log

• 使用基于patch的输入进行训练，为了减少训练时间。
  
• 使用cuDF加载数据，不要用Pandas，因为读数据更快。
  

cuDF是一个Python GPU DataFrame库（基于Apache Arrow列式内存格式构建），用于加载、连接、聚合、过滤和以其他方式操作数据。cuDF还提供了一个类似pandas的API，数据工程师和数据科学家将很熟悉，因此他们可以使用它轻松地加速工作流程，而无需深入了解CUDA编程的细节。示例代码：
import cudf
df = cudf.DataFrame({'a': list(range(20)),
                     'b': list(reversed(range(20))),
                     'c': list(range(20))
                    })
df

• 确保所有的图像具有相同的方向。（这一点，很有意思，我也有体会，若使用transform进行图像随机旋转，那么在预测时将预测图片旋转后再投票集成的方式会提高一定分数）
  
• 在进行直方图均衡化的时候，使用对比度限制。
  
• 直方图均衡化（CLAHE）的时候使用kernel size为32×32
  

import cv2
​
out1 = cv2.equalizeHist(image)#图像均衡化
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))#限制对比度自适应直方图均衡化,第二条的建议是tileGridSize改为(32,32)
out2 = clahe.apply(image)API参考:

cv2.equalizeHist
cv2.createCLAHE

• 使用OpenCV进行通用的图像预处理。
  
• 使用自动化主动学习，添加手工标注。(这个没太理解，手工标注不建议哈~而且一般赛事明确备注手工标注属于作弊行为)
  
• 将所有的图像缩放成相同的分辨率，可以使用相同的模型来扫描不同的厚度。
  
• 将扫描图像归一化为3D的numpy数组。
  
• 对单张图像使用暗通道先验方法进行图像去雾。
  

代码实现可看暗通道去雾经典算法复现以及paddlers.transforms.dehaze

• 将所有图像转化成Hounsfield单位（放射学中的概念）。
  
• 使用RGBY的匹配系数来找到冗余的图像。
  
• 开发一个采样器，让标签更加的均衡。
  
• 对测试图像打伪标签来提升分数。
  
• 将图像/Mask降采样到320x480。（我猜测应该是resize）
  
• 将DCM转化为PNG。（DCM图是医学领域的图片格式的一种，python使用第三方库pydicom读取）
  

import pydicom
import matplotlib.pyplot as plt
​
in_path = 'xxx.dcm'
ds = pydicom.read_file(in_path)  #读取.dcm文件
img = ds.pixel_array  # 提取图像信息
plt.imshow(img)
plt.show()

• 当有冗余图像的时候，为每个图像计算md5 hash值。(计算这干嘛，没看懂。。。)
  

(四) 数据增强

• 使用 albumentations 进行数据增强。(这个库被作者引用多次)
  
• 使用随机90度旋转。
  

API参考:

paddle.vision.transforms.rotate(img, angle, resample=False, expand=False, center=None, fill=0)
paddle.vision.transforms.RandomRotation(degrees, interpolation='nearest', expand=False, center=None, fill=0, keys=None)
paddleseg.transforms.transforms.RandomRotation(max_rotation=15, im_padding_value=(127.5, 127.5, 127.5), label_padding_value=255)

• 使用水平翻转，上下翻转。
  

API参考:

paddle.vision.transforms.RandomVerticalFlip(prob=0.5, keys=None)
paddle.vision.transforms.RandomHorizontalFlip(prob=0.5, keys=None) paddleseg.transforms.transforms.RandomHorizontalFlip(prob=0.5) paddleseg.transforms.transforms.RandomVerticalFlip(prob=0.1)

• 可以尝试较大的几何变换：弹性变换，仿射变换，样条仿射变换，枕形畸变。
  

retval = cv2.getAffineTransform(src, dst)#仿射变换API参考:

cv2.getAffineTransform
弹性形变代码参考
paddleseg.transforms.transforms.RandomAffine(size=(224, 224), translation_offset=0, max_rotation=15, min_scale_factor=0.75, max_scale_factor=1.25, im_padding_value=(128, 128, 128), label_padding_value=255)

• 使用随机HSV。
  
• 使用loss-less增强来进行泛化，防止有用的图像信息出现大的loss。
  
• 应用channel shuffling。
  
• 基于类别的频率进行数据增强。
  
• 使用高斯噪声。
  

def gasuss_noise(image, mean=0, var=0.001):
  '''
    添加高斯噪声
    mean : 均值
    var : 方差
  '''
  image = np.array(image/255, dtype=float)
  noise = np.random.normal(mean, var ** 0.5, image.shape)
  out = image + noise
  if out.min() < 0:
    low_clip = -1.
  else:
    low_clip = 0.
  out = np.clip(out, low_clip, 1.0)
  out = np.uint8(out*255)
  #cv.imshow(&#34;gasuss&#34;, out)
  return outAPI参考:

paddleseg.transforms.transforms.RandomNoise(prob=0.5, max_sigma=10.0)

• 对3D图像使用lossless重排来进行数据增强。
  
• 0到45度随机旋转。
  

paddle.vision.transforms.RandomRotation(degrees, interpolation=&#39;nearest&#39;, expand=False, center=None, fill=0, keys=None)
paddleseg.transforms.transforms.RandomRotation(max_rotation=15, im_padding_value=(127.5, 127.5, 127.5), label_padding_value=255)

• 从0.8到1.2随机缩放。
  

API参考:

paddle.vision.transforms.Resize(size, interpolation=&#39;bilinear&#39;, keys=None)
paddle.vision.transforms.resize(img, size, interpolation=&#39;bilinear&#39;)
ppdet.data.transform.operators.RandomResize(target_size, keep_ratio=True, interp=cv2.INTER_LINEAR, random_size=True, random_interp=False)

• 亮度变换。
  

API参考:

paddle.vision.transforms.adjust_brightness(img, brightness_factor)
paddle.vision.transforms.BrightnessTransform(value)
paddleseg.transforms.functional.brightness(im, brightness_lower, brightness_upper)

• 随机改变hue和饱和度。
  

API参考:

paddle.vision.transforms.adjust_hue(img, hue_factor)
paddle.vision.transforms.HueTransform(value)
paddle.vision.transforms.SaturationTransform(value)
paddleseg.transforms.functional.hue(im, hue_lower, hue_upper)
paddleseg.transforms.functional.saturation(im, saturation_lower, saturation_upper)

然后这里添加对比度调整以及自动调整对比度、饱和度、色调的参考API：

paddle.vision.transforms.adjust_contrast(img, contrast_factor)
paddle.vision.transforms.ContrastTransform(value)
paddle.vision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0, keys=None)
contrast(im, contrast_lower, contrast_upper)

• 使用D4增强。
  
• 在进行直方图均衡化的时候使用对比度限制。(同上)
  
• 使用AutoAugment增强策略。
  

(五) 模型结构

没什么好说的，PaddleSeg里有大量的模型，可以自行选择，很方便

• 使用U-net作为基础结构，并调整以适应3D的输入。
  
• 使用自动化主动学习并添加人工标注。
  
• 使用inception-ResNet v2 architecture结构使用不同的感受野训练特征。
  
• 使用Siamese networks进行对抗训练。
  
• 使用ResNet50, Xception, Inception ResNet v2 x 5，最后一层用全连接。
  
• 使用global max-pooling layer，无论什么输入尺寸，返回固定长度的输出。
  
• 使用stacked dilated convolutions。
  
• VoxelNet。
  
• 在LinkNet的跳跃连接中将相加替换为拼接和conv1x1。
  
• Generalized mean pooling。
  
• 使用224x224x3的输入，用Keras NASNetLarge从头训练模型。
  
• 使用3D卷积网络。
  
• 使用ResNet152作为预训练的特征提取器。
  
• 将ResNet的最后的全连接层替换为3个使用dropout的全连接层。
  
• 在decoder中使用转置卷积。
  
• 使用VGG作为基础结构。
  
• 使用C3D网络，使用adjusted receptive fields，在网络的最后使用64 unit bottleneck layer 。
  
• 使用带预训练权重的UNet类型的结构在8bit RGB输入图像上提升收敛性和二元分割的性能。
  
• 使用LinkNet，因为又快又省内存。
  
• MASKRCNN
  
• BN-Inception
  
• Fast Point R-CNN
  
• Seresnext
  
• UNet and Deeplabv3
  
• Faster RCNN
  
• SENet154
  
• ResNet152
  
• NASNet-A-Large
  
• EfficientNetB4
  
• ResNet101
  
• GAPNet
  
• PNASNet-5-Large
  
• Densenet121
  
• AC-GAN
  
• XceptionNet (96), XceptionNet (299), Inception v3 (139), InceptionResNet v2 (299), DenseNet121 (224)
  
• AlbuNet (resnet34) from ternausnets
  
• SpaceNet
  
• Resnet50 from selim_sef SpaceNet 4
  
• SCSEUnet (seresnext50) from selim_sef SpaceNet 4
  
• A custom Unet and Linknet architecture
  
• FPNetResNet50 (5 folds)
  
• FPNetResNet101 (5 folds)
  
• FPNetResNet101 (7 folds with different seeds)
  
• PANetDilatedResNet34 (4 folds)
  
• PANetResNet50 (4 folds)
  
• EMANetResNet101 (2 folds)
  
• RetinaNet
  
• Deformable R-FCN
  
• Deformable Relation Networks
  

(六) 硬件设置

列举的硬件很乱，没什么条理，也不知道为什么要用这些硬件，也没多少人会为了一个比赛买新硬件吧~能随意购买硬件的土豪还会在乎比赛奖金吗？

• Use of the AWS GPU instance p2.xlarge with a NVIDIA K80 GPU
  
• Pascal Titan-X GPU
  
• Use of 8 TITAN X GPUs
  
• 6 GPUs: 21080Ti + 41080
  
• Server with 8×NVIDIA Tesla P40, 256 GB RAM and 28 CPU cores
  
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD
  
• GCP 1x P100, 8x CPU, 15 GB RAM, SSD or 2x P100, 16x CPU, 30 GB RAM
  
• NVIDIA Tesla P100 GPU with 16GB of RAM
  
• Intel Core i7 5930k, 2×1080, 64 GB of RAM, 2x512GB SSD, 3TB HDD
  
• 980Ti GPU, 2600k CPU, and 14GB RAM
  

(七) 损失函数

损失函数是很重要的，也是小白调节参数的最直接最简单的方式

• Dice Coefficient ，因为在不均衡数据上工作很好。
  

API参考：

paddle.nn.functional.dice_loss(input, label, epsilon=1e-05)
paddleseg.models.losses.DiceLoss(weight=None, ignore_index=255, smooth=1.0)

• Weighted boundary loss 目的是减少预测的分割和ground truth之间的距离。
  
• MultiLabelSoftMarginLoss 使用one-versus-all损失优化多标签。
  
• Balanced cross entropy (BCE) with logit loss 通过系数来分配正负样本的权重。
  

API参考：

paddle.nn.BCELoss(weight=None, reduction=&#39;mean&#39;, name=None)
paddle.nn.functional.binary_cross_entropy(input, label, weight=None, reduction=&#39;mean&#39;, name=None)
paddleseg.models.losses.BCELoss(weight=None, pos_weight=None, ignore_index=255, edge_label=False)
paddle.nn.functional.binary_cross_entropy_with_logits(logit, label, weight=None, reduction=&#39;mean&#39;, pos_weight=None, name=None)
paddle.nn.BCEWithLogitsLoss(weight=None, reduction=&#39;mean&#39;, pos_weight=None, name=None)

• Lovasz 基于sub-modular损失的convex Lovasz扩展来直接优化平均IoU损失。
  

API参考：

paddleseg.models.losses.LovaszSoftmaxLoss(ignore_index=255, classes=&#39;present&#39;)
paddleseg.models.losses.LovaszHingeLoss(ignore_index=255)

• FocalLoss + Lovasz 将Focal loss和Lovasz losses相加得到。
  

API参考：

paddleseg.models.losses.FocalLoss(alpha=0.25, gamma=2.0, ignore_index=255)
paddleseg.models.losses.MultiClassFocalLoss(num_class, alpha=1.0, gamma=2.0, ignore_index=255)

• Arc margin loss 通过添加margin来最大化人脸类别的可分性。
  
• Npairs loss 计算y_true 和 y_pred之间的npairs损失。
  
• 将BCE和Dice loss组合起来。
  
• LSEP – 一种成对的排序损失，处处平滑因此容易优化。
  
• Center loss 同时学习每个类别的特征中心，并对距离特征中心距离太远的样本进行惩罚。
  
• Ring Loss 对标准的损失函数进行了增强，如Softmax。
  
• Hard triplet loss 训练网络进行特征嵌入，最大化不同类别之间的特征的距离。
  
• 1 + BCE – Dice 包含了BCE和DICE损失再加1。
  
• Binary cross-entropy –  log(dice) 二元交叉熵减去dice loss的log。
  
• BCE, dice和focal 损失的组合。
  
• Lovasz Loss，即损失对平均交叉点进行直接优化，而不是联合损失
  
• BCE + DICE - Dice损失通过计算平滑的dice系数得到。
  
• Focal loss with Gamma 2 标准交叉熵损失的升级。
  
• BCE + DICE + Focal – 3种损失相加。
  
• Active Contour Loss 加入了面积和尺寸信息，并集成到深度学习模型中。
  
• 1024 * BCE(results, masks) + BCE(cls, cls_target)
  
• Focal + kappa – Kappa是一种用于多类别分类的损失，这里和Focal loss相加。
  
• ArcFaceLoss —  用于人脸识别的Additive Angular Margin Loss。
  
• soft Dice trained on positives only – 使用预测概率的Soft Dice。
  
• 2.7 * BCE(pred_mask, gt_mask) + 0.9 * DICE(pred_mask, gt_mask) + 0.1 * BCE(pred_empty, gt_empty) 一种自定义损失。
  
• nn.SmoothL1Loss()，如果绝对元素误差小于1，则使用平方项，否则使用L1项。
  

API参考：

paddle.nn.SmoothL1Loss(reduction=&#39;mean&#39;, delta=1.0, name=None)
paddle.nn.functional.smooth_l1_loss(input, label, reduction=&#39;mean&#39;, delta=1.0, name=None)

• 使用Mean Squared Error objective function，在某些场景下比二元交叉熵损失好。
  

API参考：

paddleseg.models.losses.MSELoss(reduction=&#39;mean&#39;, ignore_index=255)
paddle.nn.MSELoss(reduction=&#39;mean&#39;)
paddle.nn.functional.mse_loss(input, label, reduction=&#39;mean&#39;, name=None)

(八) 训练技巧

• 尝试不同的学习率。
  
• 尝试不同的batch size。
  
• 使用SGD + 动量 并手工设计学习率策略。
  
• 太多的增强会降低准确率。
  
• 在图像上进行裁剪做训练，全尺寸图像做预测。
  
• 使用Keras的ReduceLROnPlateau()作为学习率策略。
  
• 不使用数据增强训练到平台期，然后对一些epochs使用软硬增强。
  
• 冻结除了最后一层外的所有层，使用1000张图像进行微调，作为第一步。
  
• 使用分类别采样
  
• 在调试最后一层的时候使用dropout和增强
  
• 使用伪标签来提高分数
  
• 使用Adam在plateau的时候衰减学习率
  
• 用SGD使用Cyclic学习率策略
  
• 如果验证损失持续2个epochs没有降低，将学习率进行衰减
  
• 将10个batches里的最差的batch进行重复训练
  
• 使用默认的UNET进行训练
  
• 对patch进行重叠，这样边缘像素被覆盖两次
  
• 超参数调试：训练时候的学习率，非极大值抑制以及推理时候的分数阈值
  
• 将低置信度得分的包围框去掉。
  
• 训练不同的卷积网络进行模型集成。
  
• 在F1score开始下降的时候就停止训练。
  
• 使用不同的学习率。
  
• 使用层叠的方法用5 folds的方法训练ANN，重复30次。
  

(九) 评估和验证

• 按类别非均匀的划分训练和测试集
  
• 当调试最后一层的时候，使用交叉验证来避免过拟合。
  
• 使用10折交叉验证集成来进行分类。
  
• 检测的时候使用5-10折交叉验证来集成。
  
• Sklearn分层K折叠函数。
  

API参考：

sklearn.model_selection.StratifiedKFold(n_splits=5, *, shuffle=False, random_state=None)

• 5折交叉验证
  
• 对抗性验证和加权
  

(十) 集成方法

• 使用简单的投票方法进行集成
  
• XGBoost在3个缩放级别、z位置和陌生组织的数量下显示最大恶性度
  
• 对于类别很多的模型使用LightGBM，这仅针对原始数据特征进行。
  
• 对2层模型使用CatBoost。
  
• 使用 ‘curriculum learning’ 来加速模型训练，这种训练模式下，模型先在简单样本上训练，再在困难样本上训练。
  
• 使用ResNet50, InceptionV3, and InceptionResNetV2进行集成。
  
• 对物体检测使用集成。
  
• 具有分类网络的Mask RCNN、YOLOv3和Faster RCNN架构的集合 — DenseNet-121体系结构。
  

(十一) 后处理

• 使用test time augmentation(TTA) ，对一张图像进行随机变换多次测试后对结果进行平均。
  
• 对测试的预测概率进行均衡化，而不是使用预测的类别。
  
• 对预测结果进行几何平均。
  
• 在推理的时候分块重叠，因为UNet对边缘区域的预测不是很好。
  
• 进行非极大值抑制和包围框的收缩。
  
• 在实例分割中使用分水岭算法后处理来分离物体。
  

总结

这些Tricks有许多我也不太清楚具体操作，针对不同的比赛，Tricks也有不同的适配，大佬分享的很多都很有意义，自己也可以更好的学习。
我在AI Studio上获得至尊等级，点亮9个徽章，来互关呀~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/71231
请点击此处查看本环境基本用法.   Please click here for more detailed instructions.
此文章为搬运  原项目链接

原文地址：https://zhuanlan.zhihu.com/p/585846244