MIT团队提出蛋白生成新模型，无需预训练，可从头生成新蛋白质，主链长度可达500个氨基酸序列

MIT团队提出蛋白生成新模型，无需预训练，可从头生成新蛋白质，主链长度可达500个氨基酸序列

来源：生辉 2023-07-24 10:28

生成式 AI 被视为人工智能皇冠上一颗璀璨的 明珠 ，已经在多个领域表现出独特的价值，从编程再到、艺术、写作、游戏、数学计算到生物医药等等。

Nature Biotechnology上的一篇社论文章指出，生成式 AI 正在生物医学领域全速前进。其中，以几何深度学习和扩散模型为基础的生成式AI模型在生物制药中已经开始走向成熟，相关模型在蛋白质和抗体设计方向也取得了一些重要的进展。

近日，麻省理工学院的研究人员开发出了一种扩散模型 FrameDiff，这是一种生成式深度学习工具，能够生成自然界中不存在的新型蛋白质结构。在研究中，研究团队将 FrameDiff 应用于蛋白质主链生成，该模型可以生成多达 500 个氨基酸序列的蛋白质主链，且无需依赖于预训练蛋白质结构预测网络。相关研究已经上传到预印本平台 ArXiv 上。

（来源：ArXiv）

官方新闻稿指出，FrameDiff 能够提高蛋白质工程能力，有助于加快疫苗和药物的研发进程，改善基因治疗水平等。

本文的第一作者是，电子工程与计算机科学系和数据、系统与社会研究所的 Thomas Siebel 教授为这项研究提供了建议。Jason Yim 目前是 MIT 计算机科学与人工智能实验室（CSAIL）博士二年级的学生，他曾在约翰霍普金斯大学获得计算机科学和应用数学学士学位，还曾担任 DeepMind 的研究工程师。他的研究方向是开发生物学和化学等科学领域的机器学习方法，将几何深度学习、生成模型（扩散和基于评分的模型）、离散优化、黎曼流形等方法应用于医学成像、蛋白质结构建模、蛋白质适应性优化以及从头蛋白质设计等。

表示，在自然界中，蛋白质设计是一个缓慢进化的过程，需要数百万年的时间。我们的技术旨在为制造蛋白质提供解决方案，其蛋白质设计速度远快于自然界蛋白质设计的速度。

参数少 4 倍，无需预训练，生成蛋白主链长度可达 500 个氨基酸

蛋白质具有复杂的结构，其由许多通过化学键连接的原子组成。其中决定蛋白质三维结构的最重要原子称为 主链 ，这类似于蛋白质的 脊柱 。主链上，每个原子的三联体都有相同的化学键和原子类型模型。

新闻稿中指出，这些模型可以利用微分几何和概率的思想来构建机器学习算法，这也是框架（frames）的用武之地。从数学上讲，这些三联体可以建模为刚体，称之为 框架 ，他们在 3D 结构中相应的有位置和旋转。

这些框架可以为每个三联体提供足够的信息，并描述其空间环境。然后，机器学习算法的任务是学习如何移动每个框架来构建蛋白质主干，通过学习构建现有蛋白质，有望泛化并构建新型蛋白质。

训练构建蛋白质的扩散模型会涉及到注入噪声（injecting noise），随机移动所有的框架，模糊原始蛋白质的外观。这种算法的工作是移动和旋转每一个框架，直到看起来像原始蛋白质。虽然很简单，但框架上进行扩散需要黎曼流形上的随机微积分技术。

RF 扩散（RoseTTAFold Diffusion，RFdiffusion）是一种具有代表性的扩散模型，这是结合结果预测网络和生成扩散模型的蛋白质设计方法，由David Baker 团队开发。这一模型将 RosettaFold2 与 SE（3）扩散相结合，基于 AlphaFold2 和 RoseTTAFold 等结构预测方法对蛋白质结果进行深入理解，并优化改进蛋白质设计扩散模型，最终开发出了一种生成全新蛋白质的引导扩散模型（guided diffusion model）。这种 RF 扩散方法能够预测蛋白质结构，并提供蛋白质各部分如何组合在一起的信息，然后使用这些信息指导整个蛋白质生成过程。

受此启发，SE（3）扩散通过将框架整合到扩散模型中，以进一步采用框架的概念。并利用 SE（3）扩散学习概率分布，概率分布会将每个框架的平移和旋转分量连接起来。SE（3）扩散已被用于生成和验证新型蛋白质。

研究团队以 SE（3）不变扩散模型的理论基础建立了一个新框架FrameDiff，这是一个基于中心 Se (3) N 随机过程建模框架采样蛋白质主链的扩散模型，也是一个用于学习多框架的 SE（3）等变分数。论文中这样描述道，研究人员以去噪分数匹配（DSM）训练的形式描述了李群尤其是 S O（3）上布朗运动的分布，并定义了 S E (3) N 上允许分离平移和旋转的前向过程。