AIを使った科学研究が注目を浴びる一方で膨大な間違いを指摘した「論文のファクトチェック」が無視されている

2025年06月05日 15時00分 サイエンス

近年は生物学などの分野でAIを用いた研究が盛んになっており、AIは科学研究を大幅に加速させると期待されています。しかし、AIを用いた研究論文が注目を浴びる一方で、その内容をファクトチェックして膨大な間違いを指摘した論文が無視されていると、サンフランシスコ大学応用データ倫理センター創設者のレイチェル・トーマス氏が指摘しています。

Rachel Thomas, PhD - Deep learning gets the glory, deep fact checking gets ignored

https://rachel.fast.ai/posts/2025-06-04-enzyme-ml-fails/index.html

今回トーマス氏が取り上げた論文は、韓国科学技術院(KAIST)やカリフォルニア大学サンディエゴ校の研究チームが2023年に発表した、「Functional annotation of enzyme-encoding genes using deep learning with transformer layers(Transformer層を用いたディープラーニングによる酵素コード遺伝子の機能注釈)」です。

Functional annotation of enzyme-encoding genes using deep learning with transformer layers | Nature Communications

https://www.nature.com/articles/s41467-023-43216-z

酵素はさまざまな化学反応を触媒しており、生体内で起きることを理解する上で非常に重要です。酵素には、反応形式に従ってEC番号(酵素番号)が割り当てられており、数千もの異なる機能を階層的に分類するシステムが構築されています。

問題の論文は、GoogleのディープラーニングモデルであるTransformerを用いたAIモデルで、酵素のアミノ酸配列から酵素番号を予測するというもの。研究チームは、2200万を超える酵素とそのEC番号が掲載されているデータベース・UniProtを用いてAIモデルのトレーニングと検証を行い、機能がわかっていない約450の酵素についてEC番号を予測しました。この論文は世界的な学術誌であるNature Communicationsに掲載され、約2万2000回も閲覧されており、オンライン論文の注目度を示すAltmetricという指標でも上位5％に入ったとのこと。

その後、この研究結果を調査して多くの誤りがあることを示した論文が、プレプリントサーバーのbioRxivに掲載されました。しかし、トーマス氏によると「ファクトチェック」を行ったこの論文は、元となった論文と比較してほとんど注目されていないとのこと。

Limitations of Current Machine-Learning Models in Predicting Enzymatic Functions for Uncharacterized Proteins | bioRxiv

https://www.biorxiv.org/content/10.1101/2024.07.01.601547v2.full

元の論文では、約450の酵素について予測を行った後に3つの酵素をテストしましたが、このうちの1つである「yciO」という酵素は、フロリダ大学教授のValérie de Crécy-Lagard氏が10年以上前に研究していました。元の論文では、「yciO」が別の「TsaC」という酵素と同じ機能を持つと予測されていましたが、de Crécy-Lagard氏は長年の経験からそれが間違っていることを知っていたとのこと。 以前の研究では、たとえ「yciO」が過剰発現していても「TsaC」が大腸菌にとって必須であることがわかっており、これらは異なる機能を持っていることが示唆されていました。また、元論文が報告した「yciO」の活性は「TsaC」の1万分の1以下だったそうで、これも2つの酵素が同じ機能を果たしていないことを示しています。

この誤りに気付いたde Crécy-Lagard氏らの研究チームは、元論文で機能が予測された約450の酵素をすべて詳しく調査しました。その結果、135の酵素はトレーニングに使われたUniProtにすてに掲載されており、148の酵素では同じ機能が非常に高い頻度で反復されており、非常に特異的な機能が最大12回も出現するなど生物学的に考えられないほどだったとのこと。また、生物学的文脈や詳細な文献検索により、生物学的に誤りであると確認できたケースもあったそうです。 酵素の機能を特定する作業には、「同じ機能ファミリー内の酵素に既知の酵素ラベルを適用する」というものと、「真に未知の機能を発見する」というものの2つがあります。de Crécy-Lagard氏らの研究チームは、「設計上、教師あり機械学習モデルは真に未知のものの機能を予測するためには使用できません」と指摘しており、既知の酵素ラベルを適用する際もさまざまなエラーが発生しうると警告しました。 トーマス氏は、「これらの論文は、専門分野外の研究におけるAIの主張を評価することがいかに困難か、あるいは不可能であるかを改めて認識させてくれます」「一見すると印象的な論文のうち、厳密な検証に耐えられるものはどれほどあるのでしょう？数百の酵素予測を確認する作業は、それらを生成したAIモデルを構築する作業ほど華やかではありませんが、むしろより重要な作業です」とコメントしました。