Ложь, Наглая ложь и Статья в Атлантике

[shvarz]

vdinets подкинул ссылку на статью про Джона Ионидиса. Джон - профессиональный разоблачитель некачественных научных исследований. Согласно его оценкам, порядка 90% биомедицинских научных статей приходят к неверным выводам, что ведет к тому, что доктора лечат нас неправильно.

Что мы можем сказать по этому поводу?

Припомился мне курс, который я брал в самом начале своей аспирантуры и который вел старый и очень милый дедушка-профессор. Курс назывался "Критическое чтение научной литературы" или что-то в этом роде. Он нам приносил статьи, а мы, совсем зеленая шпана, находили в них недостатки. И какой-бы хорошей не была статья, каким бы матерым не был последний автор, мы всегда находили в них или недостающий контроль или необъясненную полоску на геле или недостаточно обоснований для выводов. Я из того курса вынес то, что биологические системы настолько сложны и разнообразны, что при их изучении невозможно сделать идеальную статью - в любом эксперименте всегда остается место для ошибки, и это нормально, и так и делается наука.

Еще припомнился мне разговор с noyau, который я сейчас найти не могу, но в котором я говорил (и до сих пор так считаю), что если 90% (точную цифру не помню) результатов, полученных ученым, оказываются верными, то этот ученый каким-то неправильным делом занимается и впустую деньги налогоплательщиков тратит. У хорошего ученого с истиной должно процентов 10% сходиться - это говорит о том, что он исследует действительно неисследованное. noyau мне так убедить и не удалось, но не в этом дело.

А дело в том, что многие люди считают, что научные публикации - это такие цельные, доказанные и самодостаточные факты в науке. Вроде гугловских наивных knol-ов. И что научный процесс заключается в накоплении этих публикаций/фактов. Однако это в корне не верно. Научные публикации - это не конечный результат, а процесс приближения к результату - спор в научном сообществе между конкурирующими теориями. Некоторые из спорящих находятся на верной стороне, другие (и их большинство) - нет. И еще хорошо, если в споре оказывается, что одна из сторон была права. А то ведь часто бывает, что истина лежит совсем в ином направлении. И истина эта устанавливается в процессе спора, а не одной конкретной публикацией. А когда истина уже установлена, то никто не оформляет ее в красивом виде, поставив последний-окончательный-все решающий эксперимент. Потому что уже "проехали", все уже дальше ушли. После этого уже остается только обзорные статьи писать.

Вот вам пример: Приходят ВИЧ-дениалисты и требуют - покажи нам статью, в которой выделили ВИЧ, определили что это ретровирус и показали, что именно он вызывает СПИД и как он это делает. Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет.

Ок, вернемся к Ионидису. Что больше всего шокирует в его работе? То, что врачи нас лечат, ссылаясь на эти 90% неверных статей. Однако разве врачи лечат, исходя из вышедшей две недели назад научной статьи? Если да, то я их осуждаю. Но я думаю, что все-таки это не так. Врачебная практика плетется существенно позади "последних научных результатов". Поэтому смотреть надо не не то, сколько биомедицинских научных статей оказались ошибочны, а на то, сколько медицинских подходов оказались ошибочны. Я где-то видел (и кажется даже писал об этом), что подобные исследования дали цифру в 50% - именно столько медицинских процедур имеют научно-подтвержденную полезность для здоровья пациентов. Эта цифра, во-первых, существенно выше Ионидисовых 10%, а во-вторых, оставшиеся 50% содержат в себе вполне даже нужные процедуры (хоть и не имеющие научного подвтерждения полезности). Они включают в себя процедуры, которые используются давно и очевидно-полезны, но никогда не были формально протестированы (смотри пример с парашютами). И они включают в себя новые диагностические тесты, которые позволяют узнать чем именно болен пациент, даже если против определяемой болезни нет лекарств. Так что картина складывается куда более положительная, чем ее представляет Джон Ионидис.

Как же нам относиться к его работам? Мне кажется, что они - сродни (современному) искусству. Они шокируют, заставляют задуматься и по-новому взглянуть на мир. В них много сенсационализма. Хорошо, что он этим занимается, но буквально воспринимать его слова не следует.

Comments

[kobak.livejournal.com]

Насколько я понимаю, речь идет не об абстрактной философии науки, а вполне конкретно о том, что медики допускают ошибки в статистике и публикуют статистически незначимые результаты, выдавая их за статистически значимые, -- результаты, которые потом, естественно, опровергаются другими исследованиями. В этом нет ничего хорошего. Не знаю, что Вы имели в виду в споре, о котором Вы упоминаете, но, надеюсь, Вы не считаете, что хороший ученый должен в 90% случаев ошибаться в статистике.

Понятно, что такая ситуация не только в медицине. Вот, например, нашумевшая прошлогодняя статья про нейронауку: http://pps.sagepub.com/content/4/3/274.full

[shvarz.livejournal.com]

Нет, у него как раз речь не об ошибках в конкретной статистике, а об ошибке в общем подходе. Простой пример из его рассуждений: Если 10 лаб делают примерно один и тот же эксперимент, то в 1-2 из них p value (подсчитанное совершенно грамотно) может оказаться меньше 0.05, даже если нулевая гипотеза верна. Получившие этот результат публикуют его и в результате получается статья, чьи выводы не верны. И если собрать все факторы, которые могут таким образом действовать, то окажется, что очень большое количество статей неверны.

Я, конечно, не считаю, что ученый должен в 90% случаев ошибаться в статистике. Я имел в виду, что если ученый изучает что-то действительно новое, то он в принципе не может предвидеть всех необходимых контролей и возможных интерпретаций его экспериментов. Поэтому часто (не с частотой 90%, конечно, но скажем 20%) его выводы из экспериментов будут неверны. И в этом нет ничего такого уж ужасного.

[kobak.livejournal.com]

Я имел в виду не только непосредственные ошибки в статистике, но и некорректное использование статистики вообще. Бездумная вера в p-value сюда еще как относится! p-value в 0.05 -- это довольно большое значение, в 5% случаев такой результат может получится при нулевой гипотезе. Если поставлен эксперимент и экспериментальные данные отличаются от контрольных только с p=0.05, то какие-то выводы отсюда можно делать, по-моему, только при наличии очень веских сторонних оснований. Например, есть нескольких разных экспериментов. Или есть теоретические объяснения, почему предполагаемого эффекта стоит ожидать. И т.д.

Конечно, в науке никто не застрахован от неправильных выводов из хороших экспериментов. Но речь в данном случае идет не о каких-то глубоких выводах, а о простейшем вопросе: есть эффект, или его нет.

[shvarz.livejournal.com]

В p-value вообще невозможно верить или не верить. Как любят говорить "the data is the data", все что дальше - интерпретация. И данные конечно важны, но в конечном счете то все эксперименты делаются ради интерпретации.

Вы почитайте его статью, я там ссылку дал.

[kobak.livejournal.com]

Да, я читал.

[shvarz.livejournal.com]

Ну вот. Там ведь не об ошибках в конкретной статистике речь. Об общем подходе к науке, вроде уже упомянутой вами "веры в p-value".

[russian-o.livejournal.com]

"Если поставлен эксперимент и экспериментальные данные отличаются от контрольных только с p=0.05, то какие-то выводы отсюда можно делать, по-моему, только при наличии очень веских сторонних оснований."

Ну, обычно так и бывает. Мало кто базирует все свои выводы только на одной статистике подобного качества. Именно поэтому статьи где с подобной достоверностью демонстрируют "эффект" гомеопатии дружно отправляются на ...

Есть мета-анализ, в конце концов, если речь идет о данных трудно поддающихся экспериментальной проверке другими путюми.

[rednyrg721.livejournal.com]

Насчёт p-values недавно интересный пост был:
http://golem.ph.utexas.edu/category/2010/09/fetishizing_pvalues.html

[kobak.livejournal.com]

Спасибо за ссылку. К p-values надо относиться с осторожностью и применять их с умом, -- но книжка, которая обсуждается по Вашей ссылке, выглядит подозрительно. Я просмотрел сейчас краткую версию (http://www.statlit.org/pdf/2009ZiliakMcCloskeyASA.pdf) и что-то это не особо убедительно. В обсуждении по Вашей ссылке есть ссылки на вполне разумную критику.

[shvarz.livejournal.com]

Сейчас только собрался и прочитал, спасибо. Там совершенно верно написано, я и сам собирался написать подобный пост, но собирался ориентировать его на lay public (у которой могут быть проблемы с этими концепциями). Но я с трудом представляют себе ученых, которым такие вещи надо объяснять.

[rednyrg721.livejournal.com]

Там в комментариях ещё стоящие дискуссии, и автор свою позицию яснее выражает, почитайте, если ещё не. Насколько я понял, текст и ориентирован на тех, кто не слушал ни одного курса по статистике. Кстати, в последних комментах и Ионидиса вспомнили :)

[vasja-iz-aa.livejournal.com]

Многие действительно не знают. Что б не ходить далеко за примерами -- Вы сами давали ссылку на статью системных биологов, которая Вам показалась приличной. Та статья полна была таблицами и рассуждениями, в которых использованы только р, но величины эффектов. Я, правда, не поверю, что все авторы статьи наивны и не понимают ошибочности такого описания, в некоторых местах они правильно прадставляют наблюденные закономерности.

[shvarz.livejournal.com]

Можно утверждать, что для системной биологии сам факт наличия эффектов важнее их величины. Потому что а) они ищут взаимосвязи для построения систем, б) в сложных системах небольшой сигнал может амплифицироваться и регулировать большую часть функционала и, наконец, с) это способ поиска гипотез, а не их подтверждения. Но вообще да, учитывая что многие биологи частно неверно ухватывают саму концепцию p value, наверно имеет смысл и такие тонкости им объяснять :)

сам факт наличия эффектов важнее их

[vasja-iz-aa.livejournal.com]

попробуйте прикинуть, что небходимо для того, что бы сказать: наше исследование "показало наличие эффекта(корреляции)", "не показало наличие эффекта(корреляции)","показало отсутсвие эффекта(корреляции)". очень интересно задавать эти вопросы разнообразо образованым биологиским коллегам, лучше последовательно, следующий вопрос после ответа на предыдущий и в конце опять первый, еще раз.

[vasja-iz-aa.livejournal.com]

>что медики допускают ошибки в статистике и публикуют статистически незначимые результаты, выдавая их за статистически значимые, -- результаты, которые потом, естественно, опровергаются другими исследованиями.

Это системные биологи такое публикуют. А медики, как правилом, ошибаются не в статистике. У них, не менее часто, наоборот бывает -- с точки зрения теоретических статистических подходов все выглядит ужасно, а результаты, невзирая на, подтверждаются.