21:42論文の再現性についてTweet夏休みなのですが、文科省関係のいくつかの審議会の委員を務めていて、けっこう宿題があってブログの更新が遅れてしまいました。前のブログの続きを書かないとね。その前に前回のブログのコメントで11jigenさんから、最近、論文の再現性の低いことが問題にされていることが書かれていますので、ちょっと僕のコメントも書いておきます。僕もまったく11jigenさんに同感です。僕は、論文の質だけではなく量も大切であると主張しているのですが、この論文の再現性の問題、つまり質の問題は何とかしていただかないといけませんね。前になりますが、僕は1984-86年にアメリカのテネシー州バンダービルト大学医学部の分子生理学部門にポスドクとして留学をしていました。研究テーマはインスリンの脂肪細胞における糖輸送促進作用についての基礎的な研究でした。その時のラボのボスが河野哲郎(故人)という日本人で、インスリンの糖輸送促進作用のメカニズムとして”トランスロケーション説”を初めて実証した業績で、その分野では有名な先生でした。研究の説明は長くなるので今回は省きます。ある佐々木信綱記念館には、河野哲郎先生が幼いころ、おじいさんの佐々木信綱に宛てた和歌の手紙が残っていました。河野哲郎先生は、科学者として厳しい姿勢を貫かれた先生です。彼の研究者としての信条は、誰にでも追試ができる論文、つまり再現性のある論文を書くということでした。そのために、僕たち若手研究者のやった実験も、必ずご自分で追試をされ、再現できたデータだけを論文にしておられました。その結果、河野先生の論文の数は、他の研究者に比べて少なく、半年に1編くらいのペースだったと思います。論文数が少なかった理由としては、ポスドクの数が少なく、研究室そのものが小さかったことも一因です。河野先生と、彼の実験助手が1人、あと日本人のポスドクが2人の4人だけでした。Chemistryという、生化学の分野では、まずまず定評のある学術雑誌に幸い2編の論文を出すことができましたが、ポスドクの中には3年間滞在して1編も論文を書けずに帰国せざるをえない人もいました。彼の口癖は科学者としての信用がもっとも大切であるということでした。Chemistryの論文ですら、8割は追試ができない、というものでした。8割はちょっと高すぎる数字なのではないかと僕は思っていました。追試のやり方が悪いという場合もありますしね。今回11jigenさんがあげておられる参考文献を見ると、河野先生がおっしゃっていた8割というのは、間違っていない数字だったかもしれませんね。いずれにせよ、再現のできない論文がたくさん存在するというのは、今に始まったことではなく、けっこう前からあるということだと思います。再現できない論文が多々あることの理由としては、意図的なねつ造の場合もありうるわけですが、多くはねつ造ではなく、研究者本人はほんとうにその結果が出たことを正しいと信じて論文を書いています。意識的ではなくても、自分が立てた仮説に好都合のデータがたまたま偶然の確率で出た場合には、それを信じ切って、そうならないデータを異常値であるとして切り捨ててしまうことなどは、十分に起こりうることであると感じます。河野先生ご自身も、いつもどおり追試をして再現ができたので論文を書き、いざ投稿しようとする直前に、まてよ、もういっぺん確認してみよう、と思い直して、再再度追試をやったところ、再現ができないことが時々あったとおっしゃっていました。そんなことで投稿直前までいったけれども間一髪でお蔵入りになった論文の原稿が、けっこううず高く積もっているとのことでした。それだけ、再現性のある論文を書くことは大変ということだと思います。河野先生は、他の研究者からも、彼の論文は追試ができるということで、高い評価を受けていました。科学者として信用されていました。再現性があるということは、論文として最低限満たさなければならない”質”だと思うのですが、再現性のある論文を書く研究者が尊敬されるということ自体、現実は、いかに再現性のない論文が多いかということの裏返しであるとも思います。研究者が非常に重要な発見をしたと思った場合に、他の研究者に先を越される危険があるので、十分な確認をせずに、見切り発車で論文を書いてしまうこともありうることです。一瞬の差でノーベル賞を逃した研究者の存在はしばしば聞き及ぶ話です。それが当たれば、たいへん高く評価されるわけですが、見切り発車であるが故に、再現ができない論文となる確率も高まることになります。rate、つまり、後で取り消すことになる論文の率が高いというデータがあるようですが、これを説明する仮説の一つとして、先ほどのことが挙げられています。他の可能性としては、有名な雑誌ほど、衆目の目が集まりやすく、間違いが見つかりやすいとか、あるいは、レフェリーの能力の限界が挙げられています。多くの研究者に引用される論文には、追試ができない論文の割合は少ないのではないか、そして、追試のできない論文は、時間が経てば、他の研究者から引用されることもなく自然に忘れさられる運命にあるのではないか、と思うのですが、11jigenさんのあげておられる文献の中には、被引用数の多い論文でも追試のできない論文がけっこうあるようです。再現性とは異なりますが、論文の数にこだわりすぎる研究者の中には、同じような実験を手を変え品を変えて繰り返し、その都度論文にするというケースもしばしば見られます。僕の研究分野でも、毎月1編以上の論文を1人で産生している研究者もいましたが、ぼくにはそんな芸当はできませんでした。本質的に同じ実験を、手を変え品を変えて論文数を増やしても、その一連の論文が読者に伝えることのできるメッセージは少ないわけです。それを勘違いして、論文の数が多ければいいということで、とにかくおびただしい英語の論文を量産して、しかし、教授の選考で選ばれなかったケースを見ました。見る人が見れば、一見論文数は多いけれども、本質的なメッセージが少ないことは見抜けるわけです。僕たちが他の研究者の論文を引用する場合も、本質的に同じメッセージの論文を手を変え品を変えて数を増やした論文をすべて引用することはせずに、通常はその研究者の代表的論文を1つ引用することが多いのではないでしょうか。被引用数の多い論文を選ぶということは、このようなメッセージ性の少ない論文を省く作用もあるのではないかと想像します。11jigenさんのコメントの通り、論文の質は非常に大切です。質×量、つまり、再現性があり、かつメッセージ性の高い論文の数を増やすことが最も大切であると思います。再現できない論文を0にすることは難しいと思いますが、少しでも少なくするような何らかの仕組みを導入しつつ、現時点では、論文数や注目度の高い論文数が増えれば、ある程度質の高い論文数も増えると仮定して、分析をするしかないのかなと思っています。いずれにせよ、論文の質×量を高めるには、お金が必要であるという考えに変わりはありません。時間が遅くなったので、前回のブログの続きは次回です。Corporationログインログインするアカウントをお選びください。以下のいずれかのアカウントでBLOGOSにログインすることができます。いずれかで認証を行う必要があります。※livedoorIDでログインした場合、ご利用できるのはフォロー機能、マイページ機能、支持するボタンのみとなります。%>ログアウトさんの、内容変更はマイページの設定でいつでもできます。ログインする方で認証ができました。ガイドラインに同意する。今までにログインしたことのあるアカウントをお選びください。同じユーザーとしてログインが可能になります。twitterでログインfacebookでログインlivedoorでログインTweetコメント。