《Light: Science & Applications》又一医检领域会被人工智能取代? ... ...

标准的组织学染色程序在可以在光学显微镜下检查样本之前，需要进行耗时的样本制备（例如，组织固定、包埋和切片）和费力的组织学染色步骤（图a）。开发虚拟染色或染色到染色转换模型所需的工作流程通常包括图像数据收集、图像预处理以及网络训练和验证。根据用于创建虚拟染色模型的学习方案（例如，有监督或无监督），相应的上游数据收集和预处理方法将有所不同。在监督训练设置中，需要完全配对的输入和真实图像来训练图像变换虚拟染色网络。在无监督训练设置中，来自输入和图像不一定要一一对应。然而，这节省了数据预处理的工作量，增加了网络架构和训练计划的复杂性。

对于这两种学习方案，开发可靠的虚拟染色模型通常需要获取和处理大量数据，并仔细设计和训练神经网络，这可能需要大量时间。然而一旦获得并验证了令人满意的虚拟染色模型，使用标准计算机只需几分钟即可创建组织切片的全玻片虚拟组织学图像，而无需等待任何化学染色程序完成。这种虚拟染色过程不仅节省了时间和劳动力，而且消除了有毒染色化合物的使用，因此更环保。

生物组织的自发荧光发射特征携带其代谢状态和病理条件的复杂空间光谱信息，使用深度学习已成功实现使用自发荧光图像对组织样本进行虚拟染色，例如唾液腺、甲状腺、肝脏和肺，转换为多种组织学染色，包括H&E、MT和Jones染色，且与标准组织化学染色图像紧密匹配（图a）。此外，Zhang等人用单个网络在同一组织切片上实现了微结构和多重组织学染色。除了标准的组织化学染色，无标记组织的自发荧光图像可以用来产生更复杂的分子染色，例如，IHC染色，突出特定的蛋白质表达。Bai等人使用未标记的乳房组织切片的自发荧光图像成功地证明了人表皮生长因子受体2（HER2）蛋白的虚拟IHC染色。

基于未染色生物样品的折射率分布的定量相位成像（QPI）也被用于虚拟染色。Rivenson等人使用各种无标记组织切片的QPI图像，并使用卷积神经网络将其转化为虚拟H&E、Jones和MT染色，在染色质量方面匹配其组织化学染色的对应物（图d）。在另一项工作中，Nygate等人演示了使用QPI对人类精子细胞进行虚拟染色，从而可以实时评估生育能力。

其他显微镜方法，如非线性光学成像，也被用于无标记的虚拟染色。Borhani等人使用双光子激发荧光（TPEF）和荧光寿命成像（FLIM）作为输入，对大鼠肝脏样本进行H&E虚拟染色。Pradhan等人将相干反斯托克斯拉曼散射（CARS）、二次谐波成像（SHG）显微镜和TPEF相结合，在人类结肠样本上创建虚拟H&E染色（图e）。另外多通道全吸收光声遥感（TA-PARS）光声显微镜、高光谱反射成像都可作为神经网络的输入。

虚拟染色技术也可以与非侵入性显微镜成像模式相结合，在不进行活检的情况下实现体内虚拟染色（即“虚拟活检”）。比如，使用反射共聚焦显微镜（RCM）的体内虚拟染色方法可用于创建人类皮肤组织的虚拟H&E染色（图h），该方法可用于恶性皮肤肿瘤的快速诊断，同时消除不必要的活检和疤痕以及繁琐的样品制备步骤。

深度学习还能够将已经染色的组织的显微图像转换为其他类型的染色。例如，Gadermayr等人使用深度学习实现了从PAS染色到酸性品红橙G（AFOG）、CD31 IHC和胶原III（Col3）染色的图像转换。这些染色到染色的转换使在同一视场（FOV）内能比较不同染色类型下肾小球的分割精度。

染色到染色的转换提供了一种非常方便和快速的方法，通过使用普遍便宜的染色（如H&E）来获得更难获得染色类型。de Haan等人（图a），训练深度神经网络将H&E染色的人类肾脏样本转化为特殊染色，包括Jones银、MT和PAS染色。Levy等人从人类肝脏样本的H&E染色中生成虚拟三色染色，以研究肝纤维化的分期。此外，Lin等人在人类肾脏样本上证明了从H&E到PAS、MT和PASM染色的多重染色转移。

除了特殊染色外，还成功地使用H&E图像作为输入生成了不同的基于IHC的染色。Liu等人证明了在神经内分泌和乳腺组织样本上从H&E转化为Ki-67 IHC染色（图b）。虚拟生成的Ki-67阳性和Ki-67阴性细胞的IHC图像显示出与的真实图像高度一致。Xie等人从H&E染色的3D全前列腺活检样本中实现了细胞角蛋白8（CK8）的虚拟IHC染色，有可能改善前列腺癌的风险分层。由H&E产生/转化的其他虚拟IHC染色包括乳腺样本上的HER2，和磷酸组蛋白H3（PHH3），肝脏样本上的SOX10 ，以及肝脏和胃样本上的细胞角蛋白（CK）。

与比色IHC染色相比，同样基于抗原识别的免疫荧光（IF）染色允许通过使用荧光标记物来提高灵敏度和信号放大。还报道了从其他染色类型产生虚拟IF染色：Ghahremani等人使用人肺和膀胱样本上的Ki-67 IHC染色图像产生了各种生物标志物的多重虚拟IF染色。Burlingame等人实现了将H&E染色图像转换为人类胰腺癌症样本上泛细胞角蛋白（panCK）生物标记物的虚拟IF染色图像（图d）。

除了使用福尔马林固定的石蜡包埋（FFPE）组织切片进行染色-染色转化外，还报道了从新鲜小鼠大脑Hoechst染色的紫外表面激发显微镜（MUSE）图像产生H&E染色（图e）作为另一种染色-染色转换形式，优点是Hoechst染色非常快速且相对简单。

虚拟染色模型的训练，图像预处理步骤是必要的。这些数据预处理步骤主要集中在交叉配准输入和目标图像。数据预处理的另一个目的是解决领域漂移问题，这是指模型的训练数据集内或训练数据集与测试数据集之间的统计分布偏差。

用于虚拟染色的各种网络结构中，生成对抗网络（GAN）是最常用和最广泛使用的框架之一，因为它具有强大的表示能力。与非基于GAN的推理模型相比，GAN可以生成相对更高的分辨率和感知上更逼真的图像。在现有的虚拟染色研究中，GAN占主导地位并被广泛采用。最近还报道了用于虚拟染色的其他新型网络架构和自定义损失函数。例如，Meng等人展示了一种并行特征融合网络（PFFN），该网络从多尺度维度提取和合成特征，以提高由自发荧光图像生成的虚拟H&E图像的质量。此外，Liu等人利用pyramid pix2pix架构来计算多个空间尺度上的特征损失。随着基于深度学习的图像到图像转换的训练的进步，可以实现虚拟染色质量的进一步提高。

大多数虚拟染色技术与现有的临床工作流程兼容，且染色质量的可变性降低，将极大地释放对实验室基础设施和人员培训的苛刻要求，节省宝贵的实验室资源，并允许在相同的实验室容量下处理更多的样本。随着这一新兴技术的进步，还需要进一步的贡献来加速虚拟染色应用程序的开发和采用。这些努力将包括促进数据一致性、提高染色吞吐量、引入最新的深度学习进展以提高虚拟染色网络的泛化能力，以及建立/验证更好的模型表征方法。

与大多数基于深度学习的数据驱动技术一样，大量高质量数据的可访问性是成功训练虚拟染色模型的关键。然而，由于生成一致的组织学基础图像的技术限制，染色结果受到实验室与技术人员差异的影响，给创建虚拟染色数据集带来了独特的挑战。未来研究的另一个方向是提高虚拟染色方法的吞吐量。需要为优化成像硬件和协议做出专门的工程努力，以实现高通量虚拟染色方法。为非固定的新鲜组织样本开发快速稳定的无标记成像系统并对其进行虚拟染色将是一个有影响力的研究方向，这可以消除在某些解剖位置进行活检的需要，并极大地有利于外科手术中的术中咨询。另外，需要为虚拟染色技术的临床成功建立一个定量基准，以反映由于化学染色和观察者间差异导至的诊断错误或不确定性水平，这将为所有虚拟染色研究提供参考，以与案例研究的正确设计进行比较和指导。