トップ 一覧 検索 ヘルプ RSS ログイン

パソコンによる予知能力の実験の変更点

  • 追加された行はこのように表示されます。
  • 削除された行はこのように表示されます。
超心理学の研究から得られるひとつの教訓は、「'''統計的有意性は影でしかない'''」ということ。影をいくら見ても超能力が実在するかどうかはわからない。その影を投げかけている元の存在を直接見て確かめない限り。

数学者の秋山仁は、統計を味噌汁の味見に例えたという。味噌汁の味見をするのにどんぶり一杯飲む必要はない。小皿にちょっと取ってなめてみればいい。つまり、全体のおおよその傾向を少量のサンプルから予想するのが統計学。こういう手法では味噌汁にほんのちょっとだけポタージュが混ざっているかどうかなどということはわからない。超心理学はそういう間違った方法で、統計学をずっと利用してきたのである。

!!![[ディーン・ラディン|ディーン・ラディン(Dean Radin)]]の主張
メリーランド大学教授で、米物理学会ワシントン事務所長のロバート・L.・パーク([Robert L. Park|http://en.wikipedia.org/wiki/Robert_L._Park])の著書「[わたしたちはなぜ科学にだまされるのか―インチキ!ブードゥー・サイエンス|http://www.amazon.co.jp/o/ASIN/4072289213]」(文献7)にラディン氏による予知能力の実験が紹介されている。(この本ではディーン・レイディンとして紹介されている) パソコンにより被験者に様々な画像を見せ、その反応を被験者の皮膚の発汗量の測定(electrodermal activity, EDA、皮膚電気活動の測定)により調べた。画像には穏やかなものもあれば、不快なものもある。不快な画像の場合、画像が映し出される直前に発汗量が上昇することがあるらしい。つまり次にどのような画像が現れるか、被験者が直前に予知したというのだ。

この実験は「[フィールド 響きあう生命・意識・宇宙|http://www.amazon.co.jp/o/ASIN/4309906079]」(文献8)でより詳しく紹介されている。この本によると、発汗量(皮膚の電気抵抗)のみではなく、心拍数や血圧の生理学的変化も測定されたようだ。パソコンでランダムに表示された画像は、穏やかな風景、ショックや刺激を与えるようにデザインされたシーン、エロティックな写真やいらだたしい写真だった。その結果、『ラディンは、被験者たちが実際に写真を見る前に生理的反応を記録し、自分たちがみせられるものを予見していることに気づく。』 また、『ラディンは暴力よりもセックスに関連した写真で予測の精度がずっと高いことを見出している。もしかするとアメリカ人は暴力よりもセックスに敏感なせいかもしれない』とのこと。

!!!石川氏の記述
石川幹人氏は自著「[超心理学 封印された超常現象の科学|http://www.amazon.co.jp/dp/4314010983/]」(紀伊國屋書店 、2012/8/29)の221ページで、2002年にライン研究センター夏期研修会で体験したリチャード・ブロートン担当の予感実験実習の様子を以下のように語っている。

"" ところが、トムの信号は、刺激的な画像を見たときほどではないにせよ、休憩時間も大きくゆらいでいたので、そのせいで三秒前から上昇しはじめたのかどうか、まったくわからない。研修生一同は、その現実を目の前にして、期待外れの色を隠せない。トム自身も当然ながら、将来が予感できるという実感はないらしく、不満そうだ。
"" ブロートンは、その雰囲気を察知してか、諭すように実験の手順の奥深さを語る。大きなゆらぎを取り除くフィルター技術が知られているので、まずは個々にその信号処理をほどこすそうだ。そのあと個人の実験データを全部重ね合わせても予感の傾向ははっきりとは出ないのだが、実験に参加した人々のデータを重ね合わせればようやく出てくるという。

ノイズ除去のためにフィルターを使用したり、複数のデータを積算したりしており、生データで直に超能力の存在を確かめられるというわけではないようだ。(こういうデータ解析には恣意的なバイアスが入る余地がある) また、石川氏は以下のようにも述べている。

""説明をひととおり聞いた私は、一回前が平穏な画像であったり、平穏な画像が何回も続いていたりした場合、「次はきっと刺激的な画像が出るぞ」と予測することでEDAが上がってしまうのではないか、それが誤って予感と解釈されないかと質問した。その問題はすでに指摘されており、そうした予測の影響を取り除く分析が進められている。予測では説明がつかない以上の予感効果があるとみてよいだろうとのことだった。

しかし、これでは具体的にどうやって「予測の影響を取り除く分析」を行っているのかはわからない。通常の期待効果と予感現象は厳密に区別できるのだろうか?ここにもバイアスが入る余地がある。また、250ページの脚注7には以下のように書いてある。

""ラディンのPA論文では、前に平穏な画像が何枚続いたかによって、別々に集計して、それぞれの差がないことを示している。私が指摘した通常の期待効果による差ではなく、予感現象に由来する差と考えられる。

ラディンの実験には「通常の期待効果による差」がないのだとすると、前述の「予測の影響を取り除く分析」で取り除いているものはいったいなんなのだろう? 場合によって取り除いたり、除かなかったりしているのだろうか?だとすると、ここにもバイアスが入る余地がある。

!!!ベムの予感実験の論文
*「[Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect|http://www.ncbi.nlm.nih.gov/pubmed/21280961]」(pubmed) Bem DJ., J Pers Soc Psychol. 2011 Mar;100(3):407-25.

この論文の草稿はダリル・ベム([Daryl Bem|http://en.wikipedia.org/wiki/Daryl_Bem])のサイトの[こちら|http://dbem.ws/FeelingFuture.pdf](pdf)で読むことができる。この実験について上述の石川氏は『封印を解くためのデータはそろいはじめた』(249ページ)と楽観的だが、超能力研究は過去にもこよのうな騒動を何度も繰り返しており、そのたびに結局なにもわからずウヤムヤになって終わる。今回もそうなるかもしれない。

日本語の記事としては以下のようなものがある。

*「[人間はポルノのことだと予知能力が上がる。コーネル大名誉教授が発見|http://www.excite.co.jp/News/net_clm/20101201/Gizmodo_201012_post_8091.html]」 2010年12月1日 21時00分, Gizmodo
""統計的には当たる確率は半々のはずなのに、いざ実験してみたらポルノ写真が現れる時はなんと50%より大幅に高い53.1%の命中率! やっぱり気合いの違いでしょうか!
""...え? 「たった3.1%の違いじゃん...」て?  いやま確かにケチな数字ですけど、これだけ違うと単に統計学的な異常だけじゃ説明がつかなくて、それ以上のもっと重要な何かが作用してるって意味らしいですよ。で、とりあえずベム教授は人間には「エロティックな刺激の予知検出能力」と「ネガティブな刺激の予知回避能力」がある、と結論付けているのですね。

!サイエンス誌の記事
*「[ESP Paper Rekindles Discussion About Statistics|http://www.sciencemag.org/content/331/6015/272.summary?sid=b0988fb3-d1c2-4996-a9f7-0334be8914f3]」 Greg Miller, Science, 21 January 2011: Vol. 331 no. 6015 pp. 272-273

上記のサイエンス誌の記事については以下のエントリの「続報」を参照。

*スゴモリ
**「[超まじめな超心理学実験|http://www.su-gomori.com/2011/01/%E8%B6%85%E3%81%BE%E3%81%98%E3%82%81%E3%81%AA%E8%B6%85%E5%BF%83%E7%90%86%E5%AD%A6%E5%AE%9F%E9%A8%93.html]」 (神無 久:サイエンスあれこれ)
**「[続報!超まじめな超心理学実験|http://www.su-gomori.com/2011/01/shinri.html]」 (神無 久:サイエンスあれこれ)

*サイエンスあれこれ
**「[未来が過去を変える?〜超まじめな超心理学|http://blog.livedoor.jp/science_q/archives/1370474.html]」 2011年01月13日 02:31
**「[超まじめな超心理学実験(続報)|http://blog.livedoor.jp/science_q/archives/1385137.html]」 2011年01月25日 02:25
""しかし、頻度主義統計学では、実験の試行回数が増えるほど、現実的には非常にわずかな差に対し低いp値が与えられ、さらには、偶然か必然かのラインを100回に5回 とする、ある意味恣意的な絶対基準によって、それは偶然とは見なされなくなります。これに対しベイズ主義統計学では、そのような絶対的な基準を持ち出す代 わりに、実験結果の前後でその仮説、この場合超能力の存在、に対する信頼度がどれだけ変化したのかという相対的な基準で評価します。例えば、試験の点数 が、一定の合格ラインを超えたかどうかを問題にするか、前回の点数よりどれだけ上がったか、あるいは下がったかを問題にするのかの違いです。
"" 
""そこで、統計学者らはベム博士の実験結果を、ベイズ主義統計学によって処理しました。すると、40というベイズ因子を得ました。これは、実験結果によって、超能力の存在に対する信頼度が40倍上昇したことを意味します。ただし、これは絶対的な信頼度ではないので、まあまあ1%くらいは超能力を信じていた人は、ベム博士の実験結果からその信頼度を40%にまで上げてもいいことになるけれど、最初から100万分の1程度しか信じていなかった超能力懐疑派の信頼度は、100万分の40になっただけとも言えます。従って、超能力懐疑派にとっては、今回の実験結果に十分な説得力があったとは言えないということになります。
"" 
""結局どちらの統計処理法を採用するかで、微妙に結果の解釈が変ってきますよね。どっちを信じたらいいのやら。でも、これがある意味現代統計学の限界なのです。偶然という聞こえはいいがあいまいな基準を拠り所とするか、最初からあいまいな信頼度がどれだけ変化したかを拠り所とするか。実はこの二つの、発想を異にする統計処理法のどちらが優れているのかの決着は未だ着いていないと言います。さらにベイズ手法の中にも様々なやり方があり、今回の実験結果を別のベイズ手法で処理すると、超能力は存在しないという結論になったそうです。非常に微妙な差を、意味のある差だと言い切れる統計手法は未だ存在しないというのが実情のようです。

!Richard Wisemanによる事前登録制追試の呼びかけ
ワイズマンの反応は以下を参照。
*「[BEM’S ESP RESEARCH……|http://richardwiseman.wordpress.com/2010/11/18/bems-esp-research/]」 NOVEMBER 18, 2010, Quirky Mind Stuff, Richard Wiseman

*「[Are you conducting a replication of Daryl Bem's 'Feeling the Future' experiments?|http://www.richardwiseman.com/BemReplications.shtml]」 REPLICATION REGISTRY, Richard Wiseman

実験をこれからやるという事前登録をしておけば、「お蔵入り効果」と呼ばれる「成功した実験は報告されるが、失敗した実験は報告されない」という出版バイアスの悪影響を、極小化できると考えられる。

!James Alcockによる批判
James Alcockによる批判は以下のリンクを参照。
*「[Back from the Future: Parapsychology and the Bem Affair|http://www.csicop.org/specialarticles/show/back_from_the_future]」 James Alcock, January 6, 2011, Skeptical Inquirer, Vol. 35, No. 2, March/April 2011, 31-39

この記事に対するベムの反論は以下のリンクを参照。

*「[Response to Alcock’s “Back from the Future: Comments on Bem”|http://www.csicop.org/specialarticles/show/response_to_alcocks_back_from_the_future_comments_on_bem]」 Daryl J. Bem, January 6, 2011, Skeptical Inquirer

ベムの反論に対するアルコックの再反論は以下のリンクを参照。

*「[Response to Bem’s Comments|http://www.csicop.org/specialarticles/show/response_to_bems_comments]」 James Alcock, January 6, 2011, Skeptical Inquirer

!ネイチャーの記事
*「[Negative results need airing too|http://www.nature.com/nature/journal/v470/n7332/full/470039a.html]」 Nitin Gupta & Mark Stopfer, Nature 470, 39 (03 February 2011)

この記事では、やはり「成功した実験ばかり報告されて、失敗した実験は報告されない」という出版バイアスの悪影響を危惧している。以下に述べるように、この危惧は現実のものとなる。

!その他の記事
*[Study showing that humans have some psychic powers caps Daryl Bem's career|http://news.cornell.edu/stories/2010/12/study-looks-brains-ability-see-future] By George Lowery  |  December 6, 2010、Cornell Chronicle

*[Feeling The Future: Is Precognition Possible?|https://www.wired.com/2010/11/feeling-the-future-is-precognition-possible/] NAH LEHRER、11.15.10、12:39 PM、Wired

*「[Journal's Paper on ESP Expected to Prompt Outrage|http://www.nytimes.com/2011/01/06/science/06esp.html?_r=1]」 By BENEDICT CAREY, Published: January 5, 2011, The New York times
**「[When Science Goes Psychic|http://www.nytimes.com/roomfordebate/2011/01/06/the-esp-study-when-science-goes-psychic]」 Room for Debate, JANUARY 6, 2011, The New York times

*[Bem is Back: A Skeptic's Review of a Meta-Analysis on Psi|http://osc.centerforopenscience.org/2014/06/25/a-skeptics-review/] by EJ Wagenmakers、Jun 25, 2014、Open Science Collaboration

!!「再現性なし」の論文、同じジャーナルに却下されるが、その後、別の否定的追試が掲載される
*「[Correcting the past: failures to replicate psi.|http://www.ncbi.nlm.nih.gov/pubmed/?term=correcting+the+past:+failure+to+replicate+psi]」 J Pers Soc Psychol. 2012 Dec;103(6):933-48, Galak J, Leboeuf RA, Nelson LD, Simmons JP

ベムの実験に再現性はなかったという論文が、ベムの論文が掲載されたのと同じジャーナルに掲載された。

ところが、下記のSkeptic Inquirerの記事によると、当初Journal of Personality and Social Psychologyは「再現性のない報告は掲載しない」という方針だったようだ。(以下で記述するように、J Pers Soc Psycholは、「再現性のあるなしにかかわらず、追試は掲載しない」という方針だったらしい)

*「[Failure to replicate results of Bem parapsychology experiments published by same journal|http://www.csicop.org/si/show/failure_to_replicate_results_of_bem_parapsychology_experiments_published_by]」 Kendrick Frazier, Skeptical Inquirer, March/April 2013, 5-6

この記事によると、ベムの結果は「タイプI型のエラー」によるものと論文の作者らは結論しているとのこと。つまり、これは「帰無仮説の誤った棄却」のことである。

以下の記事も参照。

*「[Backwards step on looking into the future|http://www.guardian.co.uk/commentisfree/2011/apr/23/ben-goldacre-bad-science?CMP=twt_gu]」 Ben Goldacre, The Guardian, Series: Bad science, Saturday 23 April 2011

*「[Controversial Psychic Ability Claim Doesn't Hold up in New Experiments|http://www.livescience.com/19058-controversial-psychic-finding-fails.html]」 Stephanie Pappas, LiveScience Senior WriterDate: 14 March 2012 Time: 05:00 PM ET

これらの記事によると、Stuart Richie、Chris French、Richard Wisemanの3人による否定的な追試実験の論文を、Journal of Personality and Social Psychologyが却下したとのこと。その理由は「他人の実験の再現実験は今まで出版したことがない」からだったらしい。

*「[Psi study highlights replication problems|http://www.thepsychologist.org.uk/blog/blogpost.cfm?threadid=1984&catid=48]」 Christian Jarrett, May 11, 2011、, The Psychologist News
*「[Journal rejects studies contradicting precognition|http://www.newscientist.com/article/dn20447-journal-rejects-studies-contradicting-precognition.html]」 15:51 05 May 2011 by Peter Aldhous, New Scientist

上記の記事によると、Journal of Personality and Social Psychologyの編集委員は「このジャーナルは、成功・不成功にかかわらず、再現実験は掲載しない」という方針で、Richieらの論文を審査なしで却下したとのこと。この方針に従い、Richieらとは逆の「追試に成功した」という論文も却下しているとのこと。

*「[Precognition studies and the curse of the failed replications|http://www.guardian.co.uk/science/2012/mar/15/precognition-studies-curse-failed-replications]」 Chris French, guardian.co.uk, Thursday 15 March 2012 07.49 GMT
こちらの記事は、共著者のひとり、Chris Frenchによるもの。これによると、Journal of Personality and Social Psychologyに却下されたあと、論文はScience Breviaに投稿されたが、こちらも同じ理由で却下されたとのこと。さらに、Psychological Scienceに投稿したが、これも審査なしで却下されたそうだ。

British Journal of Psychologyでやっとピア・レビューに回され、一人目の審査員は掲載に肯定的だったが、二人目は否定的で、編集委員が論文を却下したとのこと。驚くべきことに、'''出版に否定的だった審査員はダリル・ベム本人だった'''らしい。ベムとは「利害の対立」の可能性があるので、編集委員に第3の審査員による判定を訴えたが、編集委員はこれを却下したとのこと。

これはけっこう大きなスキャンダルであり、'''心理学界自体が出版バイアスの悪影響について真面目に考えていない'''という疑惑さえ生じかねない。

結局、批判に耐え切れず、別の否定的再現実験の論文を掲載したということのようだ。

上記のBad scienceの記事は2011年4月のものだが、2012年8月に出版された石川幹人氏の「超心理学 封印された超常現象の科学」には、この出来事に関する記述はない。超心理学が専門のはずの石川氏はこういう出来事があったことを知らなかったのだろうか?『封印を解くためのデータ』は、まだそろっていなかったようだ。

なお、却下されたワイズマンら3人の論文は、その後、PLoS ONEに掲載された。

*「[Failing the Future: Three Unsuccessful Attempts to Replicate Bem's ‘Retroactive Facilitation of Recall’ Effect|http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0033423]」 Stuart J. Ritchie, Richard Wiseman, Christopher C. French, PLoS ONE 7(3): e33423, Published: March 14, 2012

これに対するベムの反論は以下の読者コメントで読むことができる。

*「[Bem's response to Ritchie, Wiseman, and French|http://www.plosone.org/annotation/listThread.action;jsessionid=CD75472CE019E8CB332F21AE0908DCB7?root=211]」 Posted by dbem on 15 Mar 2012 at 02:38 GMT, PLoS ONE

これによると、ワイズマンは、ベムの実験の再現実験の事前登録を呼びかけており、その締め切りまでに全部で6報の登録があった。そのうち2報はベムの報告に肯定的な内容だったにもかかわらず、ワイズマンはこれを無視したと非難している。(なお、この事前登録は今も続いており、今後メタ解析が行われる予定である)

ベムは「実験者効果」についても言及しているが、この文章を読む限り、通常のバイアスのことを言っているようにも読める。ワイズマンらは有名な懐疑論者であるので、彼らが実験をやると実験者効果によって否定的な結果しか出ないと言いたいようだ。これに対し、ベム自身は'''サイの存在について公正な立場'''と主張しているが、このような我田引水の自己申告は信用できない。

そもそもこれは予知の実験なので、パソコンによる選択は実験者の解答のあとに行われる。当てるのもわざとハズすのも、超能力がなければできないように設定されていないといけない。通常の方法でわかるのであれば、それは予知実験として破綻している。

よって、ベムの言う「実験者効果」には、超心理学の独自ルールである「超能力による実験者効果」を暗に含んでいると考えるべきだろう。つまり、ベムは「公正な立場」ではなく、超能力の信奉者である。お蔵入り効果防止のための実験の事前登録を行っているのも、ベムではなくて、懐疑派のワイズマンである。

で、ベムの反論に対するワイズマンらの再反論は以下を参照。(ほんと、きりがないな…)
*「[Authors' response to Bem|http://www.plosone.org/annotation/listThread.action;jsessionid=7A227E0ADC2B2B53D2C157756935B1EC?root=18283]」 Posted by StuartJRitchie on 15 Mar 2012 at 20:15 GMT、PLoS ONE

ベムの論文のバイアスに関しては以下の文献も参照。

*「[Fearing the Future of Empirical Psychology: Bem’s (2011) Evidence of Psi as a Case Study of Deficiencies in Modal Research Practice|http://psychology.okstate.edu/faculty/jgrice/psyc5314/ModalResearchProg_2011.pdf]」(pdf) Etienne P. LeBel, Kurt R. Peters, Review of General Psychology 2011, Vol. 15, No. 4, 371-;379

*「[Too good to be true: Publication bias in two prominent studies from experimental psychology|http://www2.psych.purdue.edu/~gfrancis/Publications/GFrancis-R1.pdf]」(pdf) Gregory Francis, Psychonomic Bulletin & Review 19 (2): 151-156 (February 2012)

*[Too Good to Be True|http://www.slate.com/articles/health_and_science/science/2013/07/statistics_and_psychology_multiple_comparisons_give_spurious_results.html] By Andrew Gelman、JULY 24 2013 12:37 PM、Slate

もし、バイアスを完全に排除した実験が成立するのであれば、超能力的な「実験者効果」が存在していても、超能力の存在を実証できる可能性はある。しかし、今のところ、超心理学界はそういう実験を行おうという努力を怠っているように見える。

ワイズマンが行っているような「事前登録制の実験」はバイアスを小さくする方向に一歩前進する提案である。こうした実験は超能力の実在を完全に否定してしまう可能性もあるが、その実在を証明してしまう可能性もある。

つまり、ワイズマンら懐疑主義者が超能力の実証に大きな貢献をしたとして、歴史に名を刻まれる可能性もゼロではないのである。超能力肯定派はこのような可能性について考えたことがあるのだろうか?

!その他の再現性のなかった追試
*「[Examining Retroactive Facilitation of Recall: an Adapted Replication of Bem (2011, Study 9) and Galak and Nelson (2010)|http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1935942]」 Steve Snodgrass, September 27, 2011,  Social Science Research Network

*「[A Replication of the Procedures from Bem (2010, Study 8) and a Failure to Replicate the Same Results|http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1699970]」 Jeff Galak, Leif D. Nelson, October 29, 2010, Social Science Research Network

!それESP研究とちゃうやろ
*「[新たなESP研究、未来は予知できる?|http://www.nationalgeographic.co.jp/news/news_article.php?file_id=20140128001]」 Susan Brink for National Geographic News, January 28, 2014

この記事でも『コーネル大学のダリル・ベム(Daryl Bem)氏が2011年に発表した研究』が登場する。しかし、以下の「PLOS ONE」誌に掲載された『最新の研究』は、予知の研究でもなければESP研究でもない。

"" ESPを信じる人には受け入れがたいだろうが、これらの疑問に最新の研究が出した結論は明確な「ノー」だ。この研究は、米オンライン科学誌「PLOS ONE」誌に1月13日付で発表された。 
"" 
"" オーストラリア、メルボルン大学のピアーズ・ハウ(Piers Howe)氏とマーガレット・ウェッブ(Margaret Webb)氏は、ボランティア48名に対し、一瞬の間をおいて人の写真を2枚見せる実験を行った。2枚の写真は全く同じ場合もあれば、一方に小さな変化(髪型や口紅など)が加えられていることもある。その結果、参加者は一貫して変化に気づいたが、具体的な違いまでは答えられなかったという。

ハウ氏らの論文は以下の記事でも取り上げられている。

*「[第六感は存在しない! 直感的能力は脳の仕業であることが判明|http://rocketnews24.com/2014/01/21/405604/]」 Nekolas / 2014年1月21日、ロケットニュース24

ロケットニュース24の記事では、その研究内容は以下のように紹介されている。

""第六感の正体を研究したのは、豪メルボルン大学心理学科のハウ博士だ。被験者に女性が写った写真を1.5秒間見せた後、1秒の間隔を空け、再び同じ写真を見せる実験を行った。実験のうちの数回は、髪型など少し違いが加えられた写真が混ぜられており、被験者が認識できるか反応を見た。
"" 
""被験者に2枚目の写真を見せた後、両写真が同じものだったか訊ね、もし違いがあるなら「イヤリング、ネックレス、眼鏡、帽子、口紅、アイシャドー、アイライナー、服、髪型」の9項目から、どこに変化があったか選んでもらった。その結果、写真に違いがある場合、被験者は具体的にどこが違うのか特定できなくても、何かが違うと感覚的に認識していることが判明した。
"" 
""次に、人間の顔が写っていない別の写真で同じ実験を行ったが、結果は同じだった。

しかし、これを読めばわかるように、ハウ氏らの研究は「第六感」の正体を突き止められるようなものではない。話を広げ過ぎだろう。この論文の結論は、「写真のどこが違うのか、具体的に特定できなくても、何かが違うと被験者が感覚的に認識していることが判明した」というものであり、超能力的要素はどこにもない。

以下がハウ氏らの論文。

*「[Detecting Unidentified Changes|http://www.plosone.org/article/info:doi/10.1371/journal.pone.0084490]」  Piers D. L. Howe, Margaret E. Webb, PLoS ONE 9(1): e84490. doi:10.1371/journal.pone.0084490

!!!超心理学終了のお知らせ
*[Daryl Bem Proved ESP Is Real|https://slate.com/health-and-science/2017/06/daryl-bem-proved-esp-is-real-showed-science-is-broken.html?wpsrc=sh_all_dt_tw_ru] Which means science is broken. MAY 17, 2017,By Daniel Engber,Slate

タイトルを直訳すると、「ダリル・ベムがESPが本当だったと証明-つまり科学が壊れているということ-」みたいな感じ。ただし、ESPが実在したという結論ではない。

この記事を一言で要約すると、「'''とんでもない結果が出てしまったとき、その結果が正しいと飛びつくのではなく、その実験方法に間違いがないか、きちんと確かめるべき'''」ということ。たとえ、それが標準的な科学的実験方法だったとしても。

結局、ベムら超心理学者がこぞって多用した統計的な手法に問題があった。'''つまり、超能力は実在しない。''' 懐疑論者がず〜〜〜〜っと指摘してきたように、統計的有意性だけでは意味がないということがようやく認知されてきたのである。これまでも、統計評価を多用する分野の研究は再現性が低いことが指摘されてきたが、バイアスの影響は過小評価されていた。ところが、権威ある心理学者であるベムが、根拠薄弱な超能力の実験をすると、無視できない統計的有意性が検出されてしまい、論文が権威ある学術誌に受理されてしまった。ここに来て、やっと「これは今までの統計的手法になにかおかしな点があるのではないか?」と気付いたということである。これはひとつのパラダイムシフトだと思う。p値検定のような統計的評価は所詮人間が決めた基準である。きちんと実際の効果の大きさを測量して、その原因を論理的に説明できたとき、初めてそれは科学となる。

なぜ統計的有意性にバイアスが容易に入り込むかというと、「後付けの理由」の効果が大きい。つまり、実験終了後に実験データをどう評価するか決めると、恣意性が入り込みやすい(p-ハッキング)。ところが、心理学分野では、こうした後付けの評価が2010年頃まで普通に行われていたというのである。今後は、実験を行う前に、どういう実験を行い、それをどう解析するか宣言してから、実験を行う「open science」が主流の時代が来るかも知れない。

この結論がもたらしたもう一つの衝撃は、'''レイ・ハイマンとチャールズ・ホノートンが1986年に発表した共同コミュニケが、その後、30年近くにわたりまったく遵守されていなかった'''ということである。要するに、強制力のない規律は無意味だったのである。「人間の良心」に依拠するシステムは簡単に崩壊するということ。

これまでの研究方法が間違っていたとしても、それを修正すれば心理学の研究は続けられる。しかし、超心理学は超能力がなければ成立しないので、今後は非常に苦しい状況となるであろう。

以下の記事も参照。

*[P-Hacher Confessions: Daryl Bem and Me|https://www.csicop.org/specialarticles/show/p-hacker_confessions_daryl_bem_and_me] Stuart Vyse、June 13, 2017、Skeptical Inquirer, 25-27

科学研究の「再現性の危機」に関しては以下の文献を参照。

*[Why Most Published Research Findings Are False|http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124] John P. A. Ioannidis, Published: August 30, 2005、PLoS Med 2(8): e124. https://doi.org/10.1371/journal.pmed.0020124

*[Shall We Really Do It Again? The Powerful Concept of Replication Is Neglected in the Social Sciences|https://www.researchgate.net/publication/232450980_Shall_We_Really_Do_It_Again_The_Powerful_Concept_of_Replication_Is_Neglected_in_the_Social_Sciences] Stefan SchmidtStefan Schmidt、June 2009Review of General Psychology 13(2):90-100、DOI10.1037/a0015108

*[HARKing: Hypothesizing After the Results are Known|http://www.socialrelationslab.com/uploads/1/8/9/6/18966149/harkingkerr1998.pdf] (pdf) Norbert L. Kerr、Personality and Social Psychology Review、1998, Vol. 2, No.3, 196-217

*[Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy|https://www.researchgate.net/publication/12384017_Null_Hypothesis_Significance_Testing_A_Review_of_an_Old_and_Continuing_Controversy] Raymond Nickerson、July 2000Psychological Methods 5(2):241-301、DOI10.1037/1082-989X.5.2.241

*[False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant|http://opim.wharton.upenn.edu/DPlab/papers/publishedPapers/Simmons_2011_False-Positive%20Psychology.pdf] (pdf) Joseph P. Simmons, Leif D. Nelson, and Uri Simonsohn、Psychological Science、22(11) 1359–1366

以下の文献では、2千人以上の心理学者を調査したところ、半数以上が問題のある研究手法を実践していたという結論になっている。

*[Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling|https://www.cmu.edu/dietrich/sds/docs/loewenstein/MeasPrevalQuestTruthTelling.pdf] Leslie K. John, George Loewenstein, and Drazen Prelec、Psychological Science、23(5) 524–532

p値判定の問題は、例えば以下のリンクを参照。

*[72人の統計学者が連名でp値の閾値を0.05から0.005にしようと言っている。|http://sci.tea-nifty.com/blog/2017/08/72p0050005-c56b.html] 2017年8月 6日 (日)、Fallen Physicist, Rising Engineer

*[Not Even Scientists Can Easily Explain P-values|http://fivethirtyeight.com/features/not-even-scientists-can-easily-explain-p-values/] By Christie Aschwanden、FiveThirtyEight

しかし、p値の閾値を変えたところで根本的な解決にはならないだろう。バイアスを排除する実験設計が重要。p値が特定の閾値を越えたかどうかだけに基づいて、科学的な結論を下してはいけない。

以下は、アメリカ統計学会ASAのp値利用に関する声明。

*[The ASA's Statement on p-Values: Context, Process, and Purpose|http://amstat.tandfonline.com/doi/abs/10.1080/00031305.2016.1154108] Ronald L. Wasserstein & Nicole A. Lazar、Pages 129-133、Accepted author version posted online: 07 Mar 2016, Published online: 09 Jun 2016