分析人工智能研究的特性
玛格丽特公主癌症中心的高级科学家,论文的第-一作者本杰明·海贝·凯恩斯博士说:“科学的进步取决于研究人员审查研究结果并复制主要研究结果的能力。”“但是在计算研究中,尚无法*访问AI研究的细节的普遍标准。这不利于我们的进步。”
加拿大多伦多---科学家正在挑战他们的同事,以提高人工智能(AI)研究的透明度和可重复性,以加快其发现对癌症患者的影响。
在2020年10月14日发表在《自然》杂志上的一篇文章中,多伦多大学,玛格丽特公主大学,斯坦福大学,约翰·霍普金斯大学,麻省理工学院哈佛公共卫生学院等机构的科学家挑战科学期刊以聘用计算研究人员更高的透明度标准,并呼吁同事在出版物中共享其代码,模型和计算环境。
在McKinney等人于2020年1月发表在著名科学杂志上的Google Health研究声称人工智能(AI)系统在两个方面均能胜过人类放射科医生后,作者对AI研究缺乏透明度和可重复性表示了担忧乳腺癌筛查的鲁棒性和速度。这项研究在科学界引起了轰动,并在公众中引起了轰动,头条新闻出现在BBC新闻,CBC和CNBC中。
仔细检查会引起一些担忧:该研究缺乏对所用方法的充分描述,包括其代码和模型。缺乏透明度使研究人员无法确切了解该模型的工作原理以及如何将其应用于自己的机构。
Haibe-Kains博士解释说:“研究人员更有动力发表研究发现,而不是花费时间和资源来确保研究能够被重复。”“期刊很容易受到人工智能的'炒作'的影响,并且可能降低接受论文的标准,这些论文不包括使研究可重复的所有材料,通常与他们自己的准则相矛盾。”
这实际上会减慢AI模型到环境的转换速度。研究人员无法了解模型的工作原理,无法以深思熟虑的方式复制它。在某些情况下,这可能会导致不必要的试验,因为适用于一组患者或一个机构的模型可能不适用于另一组。
Haibe-Kains博士说:“在纸面上和理论上,麦金尼等人的研究都是美丽的,但是,如果我们不能从中学到,那么它就几乎没有科学价值。”
Haibe-Kains博士是多伦多大学医学生物物理学的副教授,同时也是Vector Vector Institute for AI的副教授,他说,这只是计算研究中一种有问题的模式的例子。