关闭广告

AI并没有学习!Nature子刊最新研究解码人工智能黑盒

新智元9746人阅读


新智元报道

编辑:alan

【新智元导读】人工智能模型一直以「黑匣子」的形态让人们感到不安,AI到底从数据中学到了什么?又是如何作出推理?最新研究为你揭秘AI的内部原理

人工智能(AI)一直在迅速发展,但对人类来说,强大的模型却是个「黑匣子」。

我们不了解模型内部的运作原理,不清楚它得出结论的过程。

然而最近,波恩大学(University of Bonn)的化学信息学专家Jürgen Bajorath教授和他的团队取得了重大突破。

他们设计了一种技术,揭示了药物研究中使用的某些人工智能系统的运行机制。

他们的研究结果表明,这些人工智能模型主要依赖于回忆现有数据,而不是学习特定的化学相互作用,来预测药物的有效性。

——也就是说,AI预测纯靠拼凑记忆,机器学习实际上并没有学习!

他们的研究结果最近发表在《自然机器智能》(Nature Machine Intelligence)杂志上。


论文地址:https://www.nature.com/articles/s42256-023-00756-9

在医药领域,研究人员正在狂热地寻找有效的活性物质来对抗疾病——哪种药物分子最有效?

通常,这些有效的分子(化合物)会对接在蛋白质上,蛋白质作为触发特定生理作用链的酶或受体。

在特殊情况下,某些分子还负责阻断体内的不良反应,例如过度的炎症反应。

可能的化合物数量巨大,寻找有效的化合物就像大海捞针一样。

因此,研究人员首先使用AI模型来预测,哪些分子最能与各自的靶蛋白对接并牢固结合。然后在实验研究中,更详细地进一步筛选这些候选药物。


自人工智能发展以来,药物发现研究也越来越多地采用AI相关的技术。

比如图神经网络(GNN),适用于预测某种分子与靶蛋白结合的强度。

图由表示对象的节点和表示节点之间关系的边组成。在蛋白质与配体复合物的图表示中,图的边连接蛋白质或配体节点,表示物质的结构,或者蛋白质和配体之间的相互作用。

GNN模型使用从X射线结构中提取的蛋白质配体相互作用图,来预测配体亲和力。

Jürgen Bajorath教授表示,GNN模型对于我们来说就像一个黑匣子,我们无法得知它如何得出自己的预测。


Jürgen Bajorath教授任职于波恩大学LIMES研究所、波恩-亚琛国际信息技术中心(Bonn-Aachen International Center for Information Technology)和拉玛机器学习与人工智能研究所(Lamarr Institute for Machine Learning and Artificial Intelligence)。

人工智能如何工作?

来自波恩大学化学信息学的研究人员,与罗马Sapienza大学的同事一起,详细分析了图神经网络是否真的学习到了蛋白质与配体的相互作用。

研究人员使用他们专门开发的「EdgeSHAPer」方法分析了总共六种不同的GNN架构。

EdgeSHAPer程序可以判断GNN是否学习了化合物和蛋白质之间最重要的相互作用,或者是通过其他的方式来得出预测。

科学家们使用从蛋白质配体复合物结构中提取的图训练了六个GNN,——化合物的作用方式以及与靶蛋白的结合强度已知。

然后,在其他复合物上测试经过训练的GNN,并使用EdgeSHAPer分析GNN如何产生预测。

「如果GNN按照预期行事,它们需要学习化合物和靶蛋白之间的相互作用,并且通过优先考虑特定的相互作用来给出预测」。

然而,根据研究小组的分析,六个GNN基本上都没有做到这一点。大多数GNN只学会了一些蛋白质与药物的相互作用,主要集中在配体上。


上图展示了在6个GNN中的实验结果,色标条表示用EdgeSHAPer确定的每个预测的前25个边中蛋白质、配体和相互作用所占的平均比例。

我们可以看到,代表绿色的相互作用本该是模型需要学到的,然而在整个实验中所占的比例都不高,而代表配体的橙色条占了最大的比例。

为了预测分子与靶蛋白的结合强度,模型主要「记住」了它们在训练过程中遇到的化学相似分子及其结合数据,而不管靶蛋白如何。这些被记住的化学相似性基本上决定了预测。


这让人想起「聪明的汉斯效应」(Clever Hans effect),——就像那匹看起来会数数的马,实际上是根据同伴面部表情和手势的细微差别,来推断出预期的结果。

这或许意味着,GNN所谓的「学习能力」可能是站不住脚的,模型的预测在很大程度上被高估了,因为可以使用化学知识和更简单的方法进行同等质量的预测。

不过,研究中也发现了另外一个现象:当测试化合物的效力增加时,模型倾向于学习到更多的相互作用。

也许通过修改表征和训练技术,这些GNN还能朝着理想的方向进一步改进。不过,对于可以根据分子图学习物理量的假设,一般来说应该谨慎对待。

「人工智能不是黑魔法。」

参考资料:

https://scitechdaily.com/decoding-the-black-box-of-ai-scientists-uncover-unexpected-results/


版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

全明星正赛东部大胜西部:唐斯50分利拉德39+6首夺MVP 引名嘴吐槽

厝边人侃体育 浏览 9958

空军西安飞行学院某旅开展跨昼夜飞行训练

人民资讯 浏览 10129

专家初步判断:天津津南区局部地面沉降属突发地质灾害

津云 浏览 80326

50岁的女人想显气质少穿卫衣,推荐你试试这3款上衣,更时髦

静儿时尚达人 浏览 8507

日赚超1.16亿元!宁德时代预计去年净利同比增长逾三成

澎湃新闻 浏览 9710

30件白色系好物,清凉百搭超适合夏天!

美丽也是技术活 浏览 12856

预售15.18万元起,零跑C10开启预售

天天汽车 浏览 9804

卢卡申科证实普里戈任抵达白俄罗斯

界面新闻 浏览 78421

3nm制程M3芯片将上线?消息称苹果或于下半年更新iMac产品

财联社 浏览 16432

美密苏里号核潜艇抵达韩国釜山港口

央视新闻客户端 浏览 10543

袋鼠云CEO宁海元:大模型时代,Data+AI将成为新的基础设施

数据猿DataYuan 浏览 8029

司马懿伐辽东留残局隋唐两朝困扰50年!唐太宗也头疼

趣看热点 浏览 23116

起亚EV5长续航版最新消息,将于3月正式上市

天天汽车 浏览 9747

准备一年游❓卢顿首笔引援身价仅200万欧,队内最高身价600万欧

直播吧 浏览 12876

男子开金店第1年卖了1000万:大专毕业 曾月入3000元

中国新闻周刊 浏览 70580

好家伙!鞠婧祎新剧开播,满屏一星差评,观众的理由出奇一致

不八卦会死星人 浏览 9824

智界S7交付困难,另有隐情?不是产能不足,而是有人“使绊子”?

小李车评李建红 浏览 9860

美国计划将胡塞武装重新列为恐怖组织

央视新闻客户端 浏览 65828

吉林小伙因一辆黑摩托坐23年牢 出狱后多了468万资产

社会奇闻君 浏览 79188

尴尬的红毯!倪妮撞衫 孟子义摔倒 上淇流鼻血

叶公子 浏览 10837

陈妍希喊刘德华"老公"!陈晓反应惊人

网易娱乐 浏览 16829
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1