金桔
金币
威望
贡献
回帖 0 精华 在线时间 小时
2019年底把申请毕设什么的都忙完之后总算有点时间看点论文写写代码了（菜鸡的哭泣(;´༎ຶД༎ຶ`)，最近看了一些graph embedding的内容有了一点想法想记录下来。由于能力所限，知识和想法上的错误还请读者们指出讨论。Introduction 在分子的 substructure 与NLP的 word embedding 之间建立了一种对应关系， 使得NLP中用于做 embedding 的方法可以迁移运用到分子 embedding 中 。本文将主要围绕ECFP，mol2vec 和 graph2vec 这三个算法展开对分子机器学习中子结构embedding的讨论。其中ECFP通过直接数子结构得到的embedding缺乏子结构之间的关联性，而mol2vec利用word2vec将同一个化合物中子结构的关系加进了embedding，graph2vec则进一步将这种关系深入到更局部的分子拓扑结构上。 ECFP：基于子结构的传统的分子指纹 搜索所有化合物中所有给定步长的子结构（substructure） ，通过哈希后得到每个子结构的哈希值并进而形成的对应指纹。例如某个10种分子的化合物集一共有100个步长为2的子结构，最终对每个分子得到一个形如1001010...11011的一百维one hot encoding vector即为其ECFP，开头的1001就意味着这个分子中含有第一个子结构和第四个子结构，以此类推。ECFP还可以扩展出ECFC，即把原来向量中0/1bit作为有/无的信息直接换成一个int代表其中含有几个这样的子结构。得到这个指纹后就可以在后面搭个机器学习模型进行预测了。不同的分子指纹一般区别于不同的子结构。 例如MACCS/PubChem 使用的子结构是预定的官能团/化学键/化学结构等，也就是说它给出的指纹只关心化合物中是否存在我们想找的一些子结构[1] 。基于拓扑或路径的指纹，例如ECFP等则是在不同的化合物集上计算这个集合中能找到的所有子结构。下图中画出了一些我在使用的时候找到的子结构示意图（步长为2）。不同子结构的定义就框定了这一指纹的信息量和适用范围。 mol2vec：子结构作为分子的 building block [2] 。算法思想在NLP和分子之间搭建了一种对应关系，将子结构视为词语，将每一个化合物视为一个sentence ，这样一来直接使用 word2vec 获得的词向量就是每个子结构的embedding 。为了获得分子embdding，将一个分子中所能找到的所有子结构加和平均即得到一个分子的embedding。 算法的具体步骤事实上也很简单，在得到每个分子的子结构（到这里是one hot encoding）后通过打包组成sentences，然后调调相关参数喂给 word2vec 模型就能用了。当然具体怎么实现化合物中的 CBOW/skip-gram 的方法，以及作者设计的对于蛋白质的特殊 prot2vec 等具体内容就不再展开，感兴趣的读者可以去看原文。不熟悉 word2vec 的化学背景读者可以先学习一下词向量相关的知识。稠密embedding比原来ECFP的稀疏指纹降维了 ：虽然ECFP不像纯的one-hot encoding那么稀疏，但是在一个巨大的训练集上维度也是爆炸的，一般都取最常见的一部分作为实际输入，降维后操作容易些。体现了子结构之间的相关性 ：事实上就是word2vec的优势。因为训练中会根据分子中部分的子结构预测部分的分子结构，对于ECFP来说增加了不少分子内部的结构信息。非监督性： 由于分子机器学习中，所给的测试集在训练集以外的情况非常常见（药物设计/未知物质性质预测），因此分子embedding的泛化能力非常重要。mol2vec算法是非监督的，这意味着 embedding 和性质预测可以分成两个不同的部分来做。如果我们已有的数据只是想要预测的所有分子中的一小部分，在大分子集上做mol2vec可能能获得更好的效果。我在测试这个算法的时候选择了几个不同大小的化合物集做预测，目前的结果发现在更大的分子集上做mol2vec再在小的有数据的上面做性质预测效果似乎会好不少。sentence embedding ：在从子结构得到分子embedding的过程中实际上就是从word embedding得到sentence embedding的过程。mol2vec算法中直接用了加和平均，会损失部分信息。可能需要用其他 sentence embedding 的方法来获得更好的效果。这一步骤和graph embedding中readout部分事实上也是类似的。这一点会在后面讲graph2vec的时候提到，也可以看我专栏之前讲图网络的文章。子结构是无序的： 这大概是子结构和词语之间最大的不同。句子中的词语是有序的，但分子里的子结构是无序的。因此一些基于语序的内容不能直接套用，例如seq2seq或者一些memory network把词向量一个个输进去获得sentence embedding的方法。Graph2vec：加一点子结构之间的联系会不会更好 [3] 。与推荐系统中的一些问题不同的是，图网络在机器学习中主要用于获得分子的graph embedding进而进行预测，因此需要的是获得graph embedding的算法[4] 。[5] ，而这里的子图实际上就是一种子结构。算法过程类比了 word2vec 以及 doc2vec，把化合物中的子结构作为基础 embedding 单元进而得到最终分子的 embedding。与mol2vec不同的是，mol2vec中的子结构是一次搜索后定死的，而graph2vec中的子结构会通过相邻节点的子结构更新其neighbourhood的信息。换言之，mol2vec中的子结构只是个指定步长一次搜索后的哈希值（lower order substructure），而graph2vec中的子结构是图中的真正的结构（higher order substructure） 。（虚假的子结构/真正的子结构.jpg）语料库的word是subgraph，而sentence/document是整个graph 。子图的产生使用了 Weisfeiler-Lehman relabeling process。这一算法起初用于检测两个图是否同构，但也可用于聚合相邻节点的信息。在每一步迭代中，这个算法聚合自身和领域节点的所有node embedding，并将hash后新的值得到该节点新的node embedding（具体算法可参阅其他文献，不详细展开[6] ）。由此得到的 subgraph 即认为是聚合了相邻乃至整个 graph 的结构信息，也可以简单地认为这种subgraph是包含了邻近关系的子结构 。训练时采用doc2vec算法来同时得到word2vec以及document embedding。在doc2vec 的PV-DM方法中，每一次的 word2vec训练都要拼接一个 document embedding，用上下文以及这个document embedding 进行预测并训练。即在训练中，不同文本的word embedding共享，document embedding不共享，但每次都根据特定文本接一个特定的document embedding。详细算法介绍可参考“Distributed representations of sentences and documents”[7] 。总之，这一步在训练word2vec中的word embedding（事实上是subgraph embedding）的同时训练出了doc2vec中的document embedding（事实上是graph embedding） 。准备好上面的语料后，训练过程直接喂到doc2vec模型上就好。[3] 。在图卷积网络中（Graph Convolutional Network），图卷积层会逐渐传播节点信息，最终在每个节点上得到有意义的 node embedding，进而通过 readout 获得graph embedding。而相比于graph2vec算法：从卷积层来看： 为了得到比较好的node embedding，两者自然都要聚合相邻节点的信息，不过一个是graph convolutional layer，一个是WL relabeling process。也有一种说法说WL test是GNN性能的上限[8] 。从readout算法来看： doc2vec自然比部分暴力加和的readout要好一些，具体情况似乎还要具体分析。从目标函数来看： 由于GCN常常是监督学习，怎么传播节点信息，图卷积层的参数就由这一监督学习的目标所决定。而graph2vec是类比word2vec的非监督学习的方法，目标函数是提高相邻节点的预测率而非直接得到最终的性质预测值。获得更能体现分子结构的子结构特征，并且可以体现分子中局部的结构信息 ，这都是mol2vec做不到的。Discussion 规范相关化合物空间的作用， 具体内容可以参考我之前写的文章或参考相关论文[9] 。 相比于直接从化合物表达式暴力训练和从化合物各个原子空间坐标来训练embedding的方法，我认为子结构embedding是一个效率和效果都不错的出发点，与NLP中各种算法的对应关系也很有启发。参考 ^ 分子指纹简介 http://blog.molcalx.com.cn/2019/01/29/fingerprint.html ^ Jaeger S, Fulle S, Turk S. Mol2vec: unsupervised machine learning approach with chemical intuition[J]. Journal of chemical information and modeling, 2018, 58(1): 27-35. https://pubs.acs.org/doi/abs/10.1021/acs.jcim.7b00616 ^a b 论文笔记：图网络和分子性质预测 https://zhuanlan.zhihu.com/p/53355626 ^ Goyal P, Ferrara E. Graph embedding techniques, applications, and performance: A survey[J]. Knowledge-Based Systems, 2018, 151: 78-94. https://www.sciencedirect.com/science/article/pii/S0950705118301540 ^ Narayanan A, Chandramohan M, Venkatesan R, et al. graph2vec: Learning distributed representations of graphs[J]. arXiv preprint arXiv:1707.05005, 2017. https://arxiv.org/pdf/1707.05005.pdf ^ WL test和GNN https://zhuanlan.zhihu.com/p/66589334 ^ Distributed representations of sentences and documents https://blog.acolyer.org/2016/06/01/distributed-representations-of-sentences-and-documents/ ^ Xu K, Hu W, Leskovec J, et al. How powerful are graph neural networks?[J]. arXiv preprint arXiv:1810.00826, 2018. https://arxiv.org/abs/1810.00826 ^ 论文笔记：基于SMILES的连续化合物空间 https://zhuanlan.zhihu.com/p/42318383
楼主热帖
/3 
浙公网安备33010802005999号 
2025庆【网站十二周
2024庆中秋、迎国庆
2024庆【网站十一周
2023庆【网站十周年
2022庆【网站九周年
2021庆中秋、迎国庆
雷达卡
发表于 2025-1-19 21:53
提升卡
