2026年8月19日

査読の行方

大学などの研究者の主な仕事のひとつが、論文を書き、論文誌に発表することである(学会でも発表するが、ここでは論文誌だけを考える)。日本のニュースでも「A大学からこんな研究成果が出て、プレスリリースされ、論文誌Bに論文が発表された」という記事は出るので、ご存知かもしれない。

今から書くことは、誰かがもう書いたかもしれないが、最近とみに思うことなので書きます。

論文誌には分野ごとに格付けがある(格付けシステムに対する反論はあるが、ここでは取り扱わない)。ネイチャー、サイエンスなどは最上位誌のグループに入るとされる。

研究者が自分の論文を論文誌に送ると、査読(他の研究者などが、普通は匿名で、その論文の良し悪しについて意見し、詳細なコメントを述べること)が行われる。単純化すると、査読者が ok した論文が論文誌から出版される。そうでない論文は落とされ、研究者は他の論文誌(しばしば、最初にトライした論文誌よりも格下の論文誌)に論文を投稿することになる。 投稿された各論文には、査読過程(例えば2人以上の査読者から来る意見)をとりまとめて最終決定を下す担当エディタもついて、掲載可否の判断を下す。

「論文査読」というこの仕組みは、何十年も使われてきている。しかし、ここ10〜20年に渡って仕組みが崩壊していることが(私から見ると)甚だしい。いくつかの理由がある:

  • 研究者が雑務などで昔より忙しく、査読に時間を割きにくい(かもしれない)。
  • 一人あたりが書いて投稿する論文の数が、平均的に昔より多い。すると、査読しなければいけない論文の総数は、研究者の数が増えている以上のペースで増える。
  • 「他者の仕事を適切に査読できるレベルにはまだ達していないけれども、著者としては論文を論文誌に投稿する」ような層の研究者が多分増えている。
  • 査読の仕事はボランティアなので、査読を行うことのメリットのなさが昔よりも目立って認識されてしまっている?

崩壊とは何か? 例えば、1本の投稿されてきた論文が、2人の査読者に精査される必要があるとする。このとき、

  • 担当エディタが、査読を引き受けてくれる人を、昔よりも見つけにくい。私もいくつかの雑誌の担当エディタをしている。15年前なら、5人や10人に頼めば、2人は引き受けてくれたのに、今だと30人に頼んで0〜1人にしか引き受けてもらえない、という感じである。上位誌になるとこの割合は改善するが、それでも昔よりは悪くなっている。
  • 引き受けてくれた査読者が、期限を全然守ってくれなかったり、結局査読コメントを返してくれない(つまり、査読してくれない)まま終わる。10〜15年前はそういうことは今より少なかった。
  • 査読者が担当エディタに送ってくる査読コメントの質が低すぎる。ちゃんと論文読んでないことがすぐに分かる、査読コメントが極端に短くて担当エディタとしては困る、など。

そして、ここにAIが台頭してきた。「AIで論文を書く」ということには色々な意味が含まれる。ただ、起こりそうだと思うことは、色々な論文誌に投稿される論文の数が、数年以内に今までの何倍といったレベルで増えるかもしれない、ということである。数年以内に世の中の論文総数が今までの3倍になっても、研究者の数は数年以内なら今と同じ位なので、一人の査読者が査読する数を今までの3倍にしなければいけない。例えば、私が年に15本の論文を査読者として査読しているなら、来年(?)からは年に45本を査読しなければならない。そんなのできるわけない。

したがって、私が思う近未来は、論文を「本当に」査読しきれない世界である。今まででも、質を考慮すれば、査読しきれていない(査読がざるになっている、あるいは査読結果が帰ってくるまでに不当だと思われてもしょうがないような長い時間がかかる)論文誌はいくつもあるが、今後は「本当に」査読しきれなくなると考える。当然、査読者が AI を使って査読する (AI に査読レポートを書かせる) ことが考えられるが、それは普通禁止されている。ただ、人が読んで査読する価値がある論文が、今後どれだけあるのだろうか。

上位以外の論文誌は、存在価値がなくなるかもしれない。査読前の論文を発表する媒体として arXiv (生物だと bioRxiv, 医学だと medRxiv なども) という無料のシステムが20世紀からあるが、そこに出しておしまい、それでよいという世界になるかもしれない。現時点まででは、標準レベルの論文誌でも、「査読されて」論文誌に論文を出すということに一定の価値があると思われている。しかし、今後は(あるいは、今でもある程度)、査読の質が低すぎて価値がなくなるかもしれない。

公に AI が査読するというのはどうだろう。論文誌 Journal Reviewed by AI (JRAI) では、ChatGPT と Claude (の最上位版)が査読を行う。投稿されてきた論文を、特定のプロンプト文とともにこれらの AI に投げて査読させる。AI は賛成や反対意見を言うだろうが、それが一定の基準に満たしていれば(論文を修正の上、あるいはそのままでいい論文はそのまま)採録される。そうでなければ、却下される。最近研究で使うようになったからわかるが、少なくともこれらの AI は、研究の正しさをかなり高いレベルで、かつかなりの高精度で判断できる(また、ChatGPT Pro は Claude よりも数学に強い、などの特徴もある)。なので、私の分野なら、最上位版の ChatGPT や Claude が査読するなら、私は論文の「正しさ」については大体満足である。やる気のない査読者や忙しすぎて落ち着いて論文を読む時間がない査読者が査読するよりは、現時点でもすでによい。近未来には、もっとよくなる。

論文のインパクト、科学としての面白さ、社会貢献、といったことは多分判断させない方がいい。論文のインパクト等は問わずに正しいものは全て出版するというポリシーで継続している既存論文誌がいくつかあるが、そういった雑誌のポリシーに似ている。JRAI(架空の雑誌です)では、そうして ok になった論文のみが出版される。

著者の立場からすると、論文を投稿する前に、同じ AI とプロンプト(JRAI が査読に使うプロンプト文も公開されているようにする)を使って論文を検査することができる。すると、自分がこれから JRAI に投稿しようとしている論文について、JRAI に ok されるか却下されるかが事前に分かる。

それでよい。そもそも、論文を書く人は、中途半端に書かれたものではなく、ちゃんとチェックが行き届いているという意味での自信作を論文誌に投稿すべきである。

最上位版の ChatGPT や Claude(など)を使うにはお金がかかるので、それを払えない研究者はどうするのか、という問題はある。現時点では、それぞれ、月に100ドルかかる。ただ、この問題は何とかなる(あるいは目をつぶる)と仮定する。

標準レベルやそれ未満のレベルの雑誌は、JRAI で置き換えるでよいと思う。でも、そのような標準レベルの雑誌や JRAI に論文を発表する意味がない、ということではない。いぶし銀のような仕事や、今は価値が分かられない(したがって、上位の論文誌には ok されにくい)けれども10年後に人々が注目し始める論文とかもある。

自分だったら、「そういった何らかの理由で上位の論文誌には投稿・発表しにくいけど標準レベルでしっかり発表しておきたい論文」には、JRAI を使うだろう。また、最初は上位誌を狙ったけど、却下されてしまった結果として JRAI に行って無事発表されることになる論文もあるだろう。 今の時点で、毎年、私の論文の半分以上が標準レベルの論文誌に発表されているが、それと同じことである。

JRAI には、読みきれないほどの論文が出るだろう(なぜなら、そういった論文を一定の質をコントロールしたもとで吸収するのが JRAI の目的なのだから)。そうしたら、研究者として研究成果という意味では(お金をとってくるとか、教育や大学業務をしっかりやるということも大事だが、研究だけに話を絞ると)何が重要になるか。私が思うのは、

  • 自分の分野での上位誌に論文を出すこと。
  • JRAIに出た論文を、学会などで一本一本しっかり宣伝するとかして、他の研究者に認知してもらったり、使ってもらうこと。これは、JRAI だけれども被引用数(発表後に他の論文に引用された数)が多い論文にしよう、という目的と重複する。

さあ、JRAI を作って下さい。

また、研究者(や研究者以外の人)とのコミュニケーションとか、主張していくこととかが、今も大事だけど今後はもっと大事になりそうだと思う。

PS: Google ブログは読者への認知度がいまいちのように感じていて、乗り換えるかもしれません。note がいいよ、というコメントを2人の人からもらいました。コメント求む (naokimas@gmail.com または、Facebook/LinkedIn メッセージで)。