AI赋能液滴微流控

微流控技术，作为创新前沿的多学科领域，通过在微观尺度上对流体进行精确操控，彻底革新了化学、生物和材料合成的研究。液滴微流控技术能够通过在非混合载液中一致地分配从纳升到皮升的液体样本，实现高度并行化和小型化的测试。作为基本单元的微滴提供了独特的特性，如用于单细胞或单分子检测的隔离舱室、快速混合、可忽略的热惯性，以及存在不混溶液体以用于新型材料合成和界面反应。受控的微流控系统促进了高通量分析，使得复杂的反应成为可能，靶向药物装载与递送、单细胞研究、先进制造、原子能转换以及液滴冷却系统。这突显了微滴技术在小型化、效率和变革性应用中的关键作用，从疾病诊断到环境监测和先进材料合成。微流控液滴由于其独特的特性和广泛的应用，在化学、生物和材料合成研究中至关重要。尽管人工智能加速的微流控技术研究蓬勃发展，但大多数研究工作集中在微流控系统的上游设计阶段。生成用户所需的微流控液滴仍然是一项费力、低效且耗时的工作。

为了解决长期存在的准确高效地识别、分类以及分析单重和双重乳液液滴的形态和生成速率的挑战，来自香港科技大学的姚舒怀等团队提出了一种利用可变形检测变换器（DETR）算法的新型机器视觉方法。这种方法能够在包括真实世界和模拟环境在内的各种规模和场景中实现快速且精确的检测（检测相对误差<4%且精度>94%）。开发了一种基于网络的工具——微流控液滴识别与分析系统（MDIA），它由可变形DETR提供动力，支持迁移学习以提高特定用户场景下的准确性。MDIA通过直径、数量、频率和其他参数来表征液滴。随着其他用户添加更多的训练数据，MDIA的能力和通用性将得到扩展，为液滴微流控领域贡献一个全面的数据库。这项工作突出了人工智能在推进微流控液滴调控、制备、无标签分类和分析方面的潜力，加速了生物化学科学和材料合成工程的发展。相关工作以题为“A Machine Vision Perspective on Droplet-Based Microfluidics”的文章发表在2025年01月01日的期刊《Advanced Science》。    

【建立提出的可变形DETR】

图1b展示了所采用的可变形DETR框架的示意图，该框架由四个组件组成：Backbone、Head、Encoder和Decoder。Backbone主要用于提取微流控液滴的多尺度图像特征图（MSFMs），以便于后续的特征融合。Head接收来自Backbone传输的特征，并构建位置嵌入和尺度级嵌入。通过这些嵌入，增强了MSFMs，作为后续Encoder的输入。Encoder部分的主要功能是利用自注意力机制学习不同尺度下微流控液滴图像的全局特征。随后，Decoder负责将Encoder生成的特征信息转化为可识别的目标位置和类别信息，从而实现对象识别和定位。如图1b所示，有三个类别标签：1) SD, 2) 外部液滴, 3) DE液滴的内部液滴。

图1 微流控液滴的机器视觉概念

在建立了可变形DETR之后，使用手动标记的微流控液滴的训练和测试数据集进行了参数调整，以优化机器视觉模型。典型的手动标记微流控液滴的多种场景如图2a所示。带有人工注释的手动标记矩形框（MLRBs）被用来训练可变形DETR模型，使其能够理解微流控液滴的具体形态，并将不同的形态与相应的微流控液滴分类联系起来。如图2a所示，有三个注释分类，即SDs、DE液滴的外部液滴和内部液滴。参数（学习率和周期）调整的结果基于MLRBs（被视为真实框）与测试数据集中机器识别框（MIB）之间的比较。定量地，本文采用了三个评价指标，即长度误差δl、面积误差δA和交并比（IoU），来选择最佳参数，如图2e右侧所示，具有更高的IoU（0.93）。如图2e所示，优秀的识别通常具有较高的IoU，同时δl和δA较小。选择的最佳学习率和周期分别为3e-4和80，实现了持续的优秀识别（δl = 4.3%，δA = 4.0%，IoU = 92.5%）。

图2 手动标记和机器识别的微流控液滴示意图及评估系统

【基于单图像的识别】

本文利用可变形的DETR（Deformable DETR）在单张图像和视频中识别微流控液滴。对于单张图像中的微流控液滴识别，可以提取出所识别液滴的数量和几何统计信息。通过视频中的微流控液滴可以获得聚焦的微流控液滴生成频率数据。图3展示了来自不同来源的单张图像中微流控液滴的机器识别情况。图3a中的DE（Double Emulsion）液滴图像最初来源于Mettler的研究。如图3a所示，可变形DETR共识别出23个DE液滴。然而，只有16个被黄色“√”标记的液滴被送去进行统计分析。可以看到，其余被识别出的DE液滴位于图像边缘，且部分缺失。这就是为什么这些不完整的DE液滴虽然被识别出来，但未能送去进一步分析的原因。本文利用MIB（最小包围框）的长度l（较长的一边）和宽度w来判断一个微流控液滴是否完整。如果长宽比l/w≥0.8，机器会认为它是一个完整的微流控液滴，并将其送去进一步分析。只有当其外层液滴和内层液滴（如果有的话）都满足上述条件时，才认为一个DE液滴是完整的。关于图3a中用蓝色“×”标记的液滴，尽管在人工视觉检查下它呈现为一个完整的实体，但它却未被机器检测到。同样地，在图3b中用红色虚线圈出的液滴案例中，算法未能识别出外层液滴成分，尽管它成功识别出了内层液滴。因此，由于完全未被检测或部分误识别，这些液滴的数据在后续的统计分析中仍未被考虑。    

图3 基于单图像的微流控液滴识别与多场景分析

如图3c和3d所示，当样本量少于十个液滴时，分析结果简化为仅显示平均值，并辅以最大值和最小值的极值，通过简单的柱状图进行图形化展示。相反，在数据集包含超过十个液滴的情况下，如图3a、3b和3e所示，数据可视化扩展到基本的柱状图之外，增加了更多的统计见解。这里使用箱线图来阐明液滴参数的分布特征。这些箱线图提供了全面的概述，揭示出异常值、中位数、均值、上四分位数和下四分位数的值，从而深入理解液滴群体内在的统计模式。对于图3f、3g、3h和3i中用虚线橙色框标记的液滴，统计数据以柱状图的形式展示在图4中。这一汇编确保所有相关的统计信息都可以用于进一步的审查和分析。有趣的是，在图3i中，最初来自Zhang的研究，字母标签“C”被错误地解释为一个DE液滴，这种差异在放大后变得明显。从计算机视觉的角度来看，鉴于“圆内圆”这一共同特征，这种误分类是有道理的，因为它可能导至不同元素之间的混淆。与真实情况相比，已建立的可变形DETR的平均相对误差在4%以内，平均检测精度超过94%。    

图4 图3f、g、h、i中微流控双乳液（DEs）的详细数据信息

【基于视频的识别】

基于视频的识别结果和统计数据如图5所示。图5a–d和f中的视频来自本研究团队的实验。如图5a所示，DEs和SDs交替生成。对于SDs的统计分析，可以提供所有生成液滴中的SD直径和SD比例。对于DEs，外液滴和内液滴的直径、同心度以及核壳比进行了统计分析。如上所述，基于视频识别的一个优势是可以获得液滴生成频率。通过监测液滴N的数量和它们经过绿色参考线所需的时间T，可以计算出频率（N/T）。在我们的模型中，还可以识别出跨过该线的液滴种类，整体频率计算为51.1 Hz（用红色虚线框标记），有效频率（DE生成频率）为26.4 Hz（用蓝色虚线框标记）。与图5a不同，图5b显示了DEs连续产生的情况，仅提供了DEs的参数统计，如图5b右侧所示。在涉及连续生成的液滴电极（DEs）的情况下，整体频率等同于有效频率，测量值为30.3 Hz。    

图5c和d展示了脂质体DEs的识别结果。如图5c所示，检测到带有单个核心的DEs的频率等于有效频率4.4 Hz，表明脂质体DEs的制造成功率为100%。图5d展示了带有多个核心（4个核心）的脂质体DEs的识别结果，也显示出100%的制造成功率。带有多个核心的液滴外径（约0.50毫米）比带有单个核心的液滴（约0.24毫米）大100%以上。图5d中平均识别的内部液滴数量为3.75，与图3e中的现象相似。尽管在图5c中的纳米莓负载的内部液滴直径通常远小于多核心DEs中的直径，但图5c中识别的内部液滴直径的差异特别大（从0.123毫米到0.208毫米）。本文使用箱线图进一步展示四个参数（外液滴和内液滴直径、同心度和核壳比）的统计分布，可以在图中看到许多异常值。对于基于视频的识别，相同的目标会被多次识别，因此菱形标记的异常值只来自有限的识别目标。图5f展示了本文实验中用于识别单细胞封装液滴的代表静态图像。生成液滴的频率计算为75.1，而有效频率，即封装了单个细胞的液滴产生频率，约为13.8。这表明单细胞封装率（成功率）为18.4%。

图5 基于视频的微流控液滴机器识别与多场景分析

【基于网络的MDIA和迁移学习】

基于上述检测和统计算法，我们开发了一个开源的、基于网络的软件工具MDIA，用于识别微流控液滴。这个工具旨在满足最广泛可能的研究人员和行业专业人士的需求，他们从事涉及微流控液滴的工作。图6a展示了MDIA操作机制的流程图，图6b展示了MDIA的主页。该工具有两个主要功能：1）机器识别，2）迁移学习。在机器识别中，用户可以在单细胞封装、双重乳化和单液滴这三个模块中选择一个适当的模块。可变形DETR可以应用于这三个模块，并且当可变形DETR未能识别单个液滴时，边缘检测算法也可以被选为主要识别算法。在选择所需的识别算法后，识别过程从选择并上传包含待识别微流控液滴的本地图像或视频开始。当上传图像时，需要输入每像素的实际大小作为用户定义参数，以进行进一步的统计分析。当上传视频时，除了每像素的实际大小外，还需要输入其他三个用户定义参数（视频的实时跨度、流动方向和参考线位置）。最终，生成可视化和统计结果。

图6 基于网络的MDIA和迁移学习   

【总结与展望】    

总之，本文开发了一种用于识别和分析微流控单重和双重乳液液滴的稳健的机器视觉方法。利用可变形DETR算法，本文的方法可以在不同场景中准确检测微流控液滴和一般的核壳结构，检测相对误差小于4%，检测精度大于94%。我们创建的MDIA网络工具支持迁移学习，允许用户根据他们的特定需求定制液滴识别过程。随着来自全球用户的更多训练数据输入，MDIA的功能、可扩展性和通用性将会得到扩展以供更广泛使用。MDIA能够快速量化液滴特性，如直径、数量、频率、同心度、核心/外壳比率，为推进数字微流控研究和应用提供了宝贵的资源。开源的MDIA具有巨大的潜力被用作一个强大的现场实时工具，监测、分类和主动控制生成的微流控液滴，用于合成、无标签分类、追踪、自动统计分析以及自动化的微流控实验和生产。