О воспроизводимости результатов опять

[shvarz]

Очень хороший выпуск подкаста EconTalk - интервью с Brian Nosek, возглавляющим Reproducibility Project: Psychology. Проект заключался в том, чтобы аккуратно воспроизвести результаты экспериментов, опубликованных в трех журналах по психологии в 2008 году. Были четко оговорены критерии отбора, выбор экспериментов, методология повторения, статистический анализ полученных данных. Протестировали эксперименты из 100 статей. Результаты "воспроизвелись" примерно 40. В среднем, эффект наблюдаемый в повторах был в два раза ниже, чем эффект в первоначальных исследованиях. Всю статью целиком можно прочитать вот тут.

Ключевая картинка:


Что мне особенно понравилось, это как он обсуждает полученные результаты. В отличие от Ионнидиса (не к ночи будь помянут) - не выдает их за сенсацию или за конец света, оговаривает потенциальные недостатки проекта, подчеркивает что подавляющее большинство исследователей очень хорошо отнеслись к этому проекту, и в целом очень разумно все обсуждает. Очень советую послушать.

Comments

[tiy.livejournal.com]

Спасибо, интересно!

[vasja-iz-aa.livejournal.com]

что такого ужасного сделал Ионнидис? я о нем ничего не слыхал долгие годы

[shvarz.livejournal.com]

Да ничего особо ужасного, но он на этой невоспроизводимости сделал себе имя и карьеру, делая не очень хорошо контролируемые сравнения (не сравнить с этой работой) и очень далеко идущие выводы.

[vasja-iz-aa.livejournal.com]

не то, что бы мне его хотелось как то защитить, но ко времени нашумевшей публикации Иониддис уже был достаточно успешен в карьерном плане

я сам полагаю, что ситуация с фальсификацией результатов настолько удручающая, что преувеличить там что угодно крайне сложно при описании -- некуда преувеличивать, врут все. ну, т.е. я(и мои уважаемые коллеги) не врем никогда, а остальные все и всегда