ICML(International Conference on Machine Learning,国际机器学习大会)作为国际机器学习学会主办的国际会议,被公认是人工智能、机器学习领域最顶级的国际会议之一,在整个计算机科学领域享有崇高的声望。

今年,百图生科首席AI科学家宋乐教授担任ICML大会主席,作为Program Chair,全面负责大会程序委员会的组建和论文评选等管理工作。中国生物计算企业高管出任AI顶级学术会议的此类职位,也可以被视作中国生物计算行业崛起的风向标。

ICML生物医药行业关键词被提及超过200次 行业前景被看好

作为全球著名的机器学习和图深度学习专家,宋乐教授自2008年起就在卡内基梅隆大学和乔治亚理工学院从事生物计算相关研究,利用机器学习技术对靶点挖掘、药物设计取得了一系列突破性成果。在多年学界探索之后,他于去年8月加入百图生科,“投身业界,更多是因为可观测的生物数据量越来越多,比如说蛋白质的序列数据已经超过十亿条。其次是计算能力的提升,再次是AI算法能力的积累,AI和制药领域出现了很多新的模型和方法,能够更准确的预测。当然,目前的研究仅仅是冰山一角,AI+Drug还有无比广阔的探索空间,我对这个赛道非常期待。”宋乐教授在入职百图生科时对媒体讲到。

ICML 2022的论文收录情况也体现了宋乐教授的远见。“从ICML今年收录的近千篇论文情况来看,像医学、生物学、蛋白质、药物、分子、化学等关键词在文章标题和摘要被提及次数总计超过200次,成为单一最大的研究方向之一。我们已经看到越来越多的人工智能专家在开始关注生物医药这个领域”宋教授表示。

百图生科首席AI科学家 宋乐

生物计算大模型将成为人工智能赋能全行业最大、最高价值的基础设施

人工智能落地已经进入“大模型”时代。大规模预训练模型使用自监督学习的方法让模型对海量无标注数据中的规律和知识进行提炼、学习,当面向任务和场景应用时,只需要少量的任务标注数据,就能通过持续微调得到在应用场景中非常好用的模型,对具体任务的赋能效果显著,大规模预训练模型在NLP、CV等多类任务上已经展现出强大的优势。

在宋教授看来,人工智能大模型的下一个奇迹,将出现在生物计算领域,生物计算行业将出现规模最大、效果最好、价值最高的大模型,成为行业的重大基础设施,不仅彻底改写药物研发的技术能力,也将对人工智能底层技术发展起到巨大的推动作用,反哺其他行业的AI技术发展。

“人体这个多尺度的复杂网络,加上多模态、高噪音的超大规模生物数据,需要独有的超大模型来提升研发效果,这也是百图生科在全力攻坚的事”。根据宋教授的介绍,百图生科正围绕建模免疫系统复杂运作机理的需求,构建一系列对不同生物物质、不同互作关系具有表征能力的大模型,覆盖细胞、蛋白、基因、免疫系统等多个层面,而不只局限于热门的蛋白质结构预测领域。但即使在蛋白质结构预测这个已经被AlphaFold2充分挖掘的问题上,大模型也能带来显著的提升。百图生科与百度合作开发了这个领域的大规模预训练模型模块,在没有同源序列的帮助下对蛋白质的结构预测,对标AlphaFold2预测的TM score结果,从0.3显著提高到0.67。

“当然,这只是起点,我们正在开发的是超过千亿参数的超大规模多模态预训练模型体系,我们把它称作BioMap X(xTrimo,Cross-modal Transformer Representation of Interactome and Multi-Omics),它将是全球最大的生物多模态预训练模型体系,可用于生物医药领域包括靶点发现和药物开发的多个环节”。利用这个大规模预训练模型的初步基础,百图生科已经在一系列具体任务问题上,特别是一些已有数据很少的问题上,收获了明显的效果。例如,围绕组合药物协同效应的预测,大幅度的超过了SOTA水平。目前,在一些实验数据很稀缺的免疫细胞上进行的靶点发现任务,也取得了良好的前期效果,即将完成验证后对外公布。

超大规模模型是AI行业的明珠,背后需要巨大的投入和综合的底层技术能力,而这正是生物计算大模型被宋教授看好的原因。“药物发现问题的商业价值极高,比起其他任务场景,更能支持大规模模型的建设投入,目前百图生科作为平台型生物计算企业敢于这样做,未来一定也会有更多企业投身到这个趋势中,最终推动生物计算大模型成为AI届最亮的明珠”。

超大规模模型建设离不开超大规模的计算资源和高性能高并发计算能力。百图生科的团队,包括一大批百度主任架构师、阿里P9专家这样的高级人才,他们在学术上累计发表过上千篇论文,在工程上实际构建过超大规模的知识图谱、计算集群,具有丰富的计算经验。百图生科也得益于百度的助力,搭建了高弹性的超大规模计算集群,实现了大模型的高效训练。同时,大模型能力的芯片化是下一步的关键方向。百图生科正与包括百度昆仑芯科技等领先芯片企业合作,共同研发生物计算的专用芯片,通过探索与前沿生物计算算法相匹配的前沿芯片设计,将大模型和生物计算特色需求的能力固化到芯片上。

高通量干湿闭环 也是AI的用武之地

超大规模生物数据无疑是建设大模型的另一个关键点。截止目前,百图生科的免疫图谱已经形成了超十亿级的实体数据、百亿级的互作关系数据、千亿级的关联数据,为大模型的打造提供了基础。这些海量数据的形成,来自于百图生科从创立之初就多管齐下的大投入决心和AI、生物技术能力建设。

宋教授认为,公开数据此前一直被认为存在较高的噪音和不准确,但这正是大模型所能消化的数据燃料,也是AI知识图谱等技术在数据清洗上的优势所在。百图生科构建了大规模的挖掘引擎,从论文挖掘和知识抽提,到大规模生物数据库的清洗整合、AI提升batch effect(批次效应)消除,再到利用知识图谱推理技术发现分歧。运用高通量湿实验能力去验证,公开数据的整合挖掘仍然大有可为。

但更关键的是海量自产数据的获得。“之前我一直在讲,高通量干湿实验闭环是生物计算的未来,这也是百图生科一直打造的差异化优势,过往一年我们也在不断努力,构建了一万多平米的高通量实验室,自主研发了世界首创的免疫模拟系统,从而能产生海量的数据和高速的验证闭环。我们的系统具有对蛋白质、细胞的高通量读写能力,能实现把物理世界的生物体快速读取,获得他们的几十个参数维度,也能实现对多种蛋白、细胞的快速制备/编辑/改写,让他们能验证模型的结果,形成快速的闭环。”

在高通量实验系统打造的过程中,百图生科融合了世界一流的生物技术团队和AI团队。生物团队中,上百位来自大药企、著名实验室的专家,参与过100个以上的新药研发项目,掌握全链条的世界领先技术,例如免疫细胞的基因编辑技术等。AI团队中,有一批在细胞视觉、运筹优化等领域经验丰富的专家,他们和生物团队融合,利用细胞视觉大大提升原有生物检测方法的参数维度、反应速度、成本优势,不仅可以带来更好的数据,还可以用于闭环控制、确保生物系统的稳定。“这就是我们自己研发的激光雷达,有独家的激光雷达能力,我们希望能成为最强大的‘自动驾驶’公司”。

百图生科实验室自有设备拍摄的高内涵细胞视觉数据

在技术能力之外,百图生科还通过强大的临床合作网络,为高通量实验能力找到更多的用武之地。“多组学数据、临床科研数据对于模型构建和算法提升帮助很大,因此公司成立之初就投入10亿元建设‘免疫图谱卓越计划’,已经与十余家中国TOP 30的医院建立了合作,一批临床医院的著名专家、院长、主任成为了我们的合作PI,我们也很快会推出‘卓越计划’二期来加速这个过程。”宋教授补充道。

鼓励更多AI人才跨界 抓住生物计算早时机“上车”

百图生科AI业务的迅速发展离不开团队力量的有力支撑,事实上,宋教授加入公司之后,人员招聘也是他工作的重中之重。目前,他的团队已经拥有数十名专家,累计发表了近1000篇论文,获得过300个专利,人才来源覆盖了国内外的顶级计算生物学院系,和头部的AI科技大厂。值得关注的是,这里面很多人才并没有计算生物学、生物信息学等生物相关的背景。

“Insitro创始人Daphne Koller就曾感慨具有计算和生命科学交叉背景的人才招聘非常困难,交叉学科背景的人才相当抢手”。宋教授认为,对于AI方向人才来说,生物学虽然听起来复杂,但在具体工作中上手其实没那么难,底层AI技术在过往其他行业的经验完全可以复用,加上公司有大量的医药及生物专家,良好创业公司氛围可以帮助AI方向人才将生物知识背景迅速补齐,我们已经吸引到了一大批来自其他方向的AI人才,愿意突破舒适圈进入生物计算,并获得成功。

百图生科负责靶点大模型的王太峰同学就是很好的例子。王太峰是来自AI大厂的资深算法专家,之前在微软亚洲研究院工作多年,是开源软件LightGBM、畅销书《分布式机器学习:算法、理论与实践》的作者,他曾在DROP、OGB等多项国际比赛中获得第一名,论文引用近万次。他之前的研究方向主要涉及广泛多模态、NLP、计算广告、图学习、因果推断、分布式及其学习等等,加入公司前,他对生物医药并没有太多了解。加入之后,体系化的生物基础知识培训,生物专家拆解特定问题,一对一转换生命科学和计算机科学语言,帮助他迅速了解NLP、知识图谱推理、预训练模型在生物问题上的应用场景,很快由他主导的免疫知识图谱算法1.0版本已经开发完成。

除了当下的任务,百图生科还在不久前成立了研究院,围绕生命体精细化观测、新型蛋白质合成和细胞编辑、前沿多组学技术等方向建立了研究小组,与国内外众多一线高等院校、科研院所合作,利用公司的场景优势、生物和计算基础设施优势,与高校双轨制培养优秀人才,使其兼具研发能力和工业落地的实践精神。

“现在的生物计算行业其实很像二十多年前互联网行业爆发的前夜,有人说21世纪是生物学的世纪,也有人说21世纪是人工智能的世纪,我觉得人工智能技术赋能下的生物医药行业,将会成为这个世纪最有潜力的方向。随着越来越多的交叉学科人才涌入这个行业,这个行业的人才竞争也会加剧,但现在还是提早上车的最好时候。”宋教授微笑着补充道。