「AI+生物学」如何保证安全？Evo2等DNA基础模型生成「致病生物」怎么办？

HaHa

编辑 | 萝卜皮
相信大家已经听过很多 AI 在生命科学领域的一次次革命性进展，甚至 2024 年的诺贝尔化学奖都颁给了计算生物学领域的科学家们。
譬如 Alphafold3、Evo2 等明星般的 AI 生物学工具，已经可以预测几乎所有生命分子的结构和功能；科学家亦可用这些工具，根据实际用途来设计工程酶、疫苗、抗体、药物……
等下，既然能设计「药」，不是也可以设计「毒药」？能设计 mRNA 疫苗，是不是也可以设计「病毒」？
近日，来自普林斯顿大学、斯坦福大学、浙江大学等机构的研究者发布了首个系统性评估 DNA 大模型「越狱攻击」生物安全风险的框架——GeneBreaker。
他们发现，即使在训练时已经去除了所有致病序列，当前最强的 Evo2-40B 模型仍可以被引导生成接近 SARS-CoV-2、HIV、脊髓灰质炎病毒等病原体的 DNA 序列，攻击成功率高达 60%。
该研究以「GeneBreaker: Jailbreak Attacks against DNA Language Models with Pathogenicity Guidance」为题，于 2025 年 5 月 28 日发布在 arXiv 预印平台。


论文链接：https://arxiv.org/pdf/2505.23839
DNA 编码了几乎所有生物体的遗传指令，对 DNA 密码的破译推动了基因组学和合成生物学的突破性进展。近年来，DNA 基础模型在设计合成功能性 DNA 序列，甚至设计全基因组方面均取得了成功。
然而，这些模型对「越狱」的敏感性如何，我们却不得而知。科学家们开始担心这些模型会不会产生有害序列（例如病原体或产毒基因）。
于是，科学家开发了首个系统性评估 DNA 基础模型越狱漏洞的框架 GeneBreaker。
GeneBreaker 的越狱攻击包含三个关键组件：
(a) 用于提示设计的 LLM 智能体，它使用带有定制生物信息学提示的 ChatGPT-4o 来检索与目标致病区域（例如 HIV-1 env 基因）具有高同源性的非致病 DNA 序列，从而协助类似 LLM 的上下文学习的越狱攻击；
(b) 一种由 PathoLM（以致病性为中心的 DNA 模型）和平均对数概率启发式方法指导的集束搜索策略，该策略迭代地对序列块进行采样和评分，以引导生成类似病原体的输出，同时保持序列的一致性；
(c) 一个评估流程，该流程使用核苷酸/蛋白质 BLAST 将生成的序列与精选的人类病原体数据库（JailbreakDNABench）进行比较，当序列与已知病原体（例如 SARS-CoV-2）匹配时，根据序列同一性标记「成功的越狱攻击」。


图示：GeneBreaker：破解 DNA 语言模型，生成人类病原体。（来源：论文）
为了验证 GeneBreaker，研究人员构建的了用于测试DNA模型「越狱」的基准数据集 JailbreakDNABench，它包含众多与人类健康息息相关的各类病毒序列，包括 6 个主要类别：大 DNA 病毒，小 DNA 病毒，正链 RNA 病毒，负链 RNA 病毒，双链病毒和肠道 RNA 病毒。


图示：构建的 JailbreakDNABench。（a）病毒类别的分布；（b）显示每种病毒中采样的编码DNA序列（CDS）的平均长度（每种病毒最多3个）。（来源：论文）
研究人员在 JailbreakDNABench 上对模型进行了评估。结果显示，GeneBreaker 成功使 6 种病毒类别内的最新 Evo 系列模型发生了持续越狱，其中 Evo2-40B 的攻击成功率高达 60%。


图示：越狱尝试的攻击成功率。（来源：论文）


图示：使用 Evo2 7B 对 GeneBreaker 进行进一步分析。（a）与病原体靶标的序列相似性与序列 Log P 之间的相关性；（b）平均越狱攻击成功率与即时同源性之间的关系；（b）GeneBreaker 的消融研究。（来源：论文）
研究人员还使用「越狱」后的模型生成了近似SARS-CoV-2 刺突蛋白和HIV-1 包膜蛋白的两种「病毒」DNA 序列。
AlphaFold3 的结构预测表明，生成的 DNA 序列不仅与 Sars-Cov-2 刺突蛋白具有较高的核苷酸和氨基酸相似性（例如，DNA 序列相似性为 92.77%，蛋白质序列相似性为 95.29%），而且生成的蛋白质在结构上与其天然对应物一致。
越狱生成的 HIV-1 包膜蛋白的预测结构与晶体结构的 RMSD 仅为 0.334，说明「越狱」非常成功。


图示：GeneBreaker 使用 Evo2 40B 重新设计了 SARS-CoV-2 刺突蛋白和 HIV-1 包膜蛋白。（来源：论文）
研究人员还使用 GeneBreaker（Evo2 40B）对 SARS-CoV-2 刺突蛋白进行了进化建模研究。GeneBreaker 生成的序列涵盖了广泛的进化枝，这表明 DNA 语言模型能够重现进化上不同的刺突蛋白变体。并且，可以根据比对序列计算得出完整刺突蛋白的氨基酸突变熵。


图示：使用 GeneBreaker (Evo2 40B) 模拟 SARS-CoV-2 刺突蛋白的进化。 (a) 显示检索到的 SARS-CoV-2 变体，并按进化枝着色组织成系统发育树。 (b) 显示整个刺突蛋白的氨基酸突变熵。（来源：论文）
用普通话来解释就是，理论上 DNA 基础模型能生成大量病毒的变异株。小编又脑补了一下可能发生的故事：医生研发的治疗药物、疫苗会完全无法应对 AI 随手生成的千变万化的病毒毒株。
这时有些像小编一样爱做梦的小伙伴可能会说：「太可怕了！这像极了《瘟疫公司》……」


小编提醒大家，不用过分担心。刚刚的场景只是基于假设想象出来的，并没有真的发生，小编只是吓唬大家一下。并且，科学家做这项研究的目的就是呼吁大家在一切没有变糟糕之前采取行动！
科学家通过 GeneBreaker 揭示 DNA 基础模型生成致病序列的漏洞，正是为构建更健全的防御机制和安全架构提供了方向。
尽管生物学 AI 存在被恶意滥用和公众信任的风险，但主动识别漏洞对确保生物模型安全性至关重要。
科学家呼吁应当通过加强跨学科合作和限制高风险信息传播来降低风险，同时优先考虑伦理从而保障生物生成式 AI 的安全未来。
GeneBreaker 的相关数据已经上传在 github，感兴趣的小伙伴可以去尝试一下。
代码获取：https://github.com/zaixizhang/GeneBreaker
相关内容：
https://www.nature.com/articles/s41587-025-02650-8
https://www.science.org/content/article/built-safeguards-might-stop-ai-designing-bioweapons

原文地址：https://zhuanlan.zhihu.com/p/1914380970368402870