Ложь, Наглая ложь и Статья в Атлантике

[shvarz]

vdinets подкинул ссылку на статью про Джона Ионидиса. Джон - профессиональный разоблачитель некачественных научных исследований. Согласно его оценкам, порядка 90% биомедицинских научных статей приходят к неверным выводам, что ведет к тому, что доктора лечат нас неправильно.

Что мы можем сказать по этому поводу?

Припомился мне курс, который я брал в самом начале своей аспирантуры и который вел старый и очень милый дедушка-профессор. Курс назывался "Критическое чтение научной литературы" или что-то в этом роде. Он нам приносил статьи, а мы, совсем зеленая шпана, находили в них недостатки. И какой-бы хорошей не была статья, каким бы матерым не был последний автор, мы всегда находили в них или недостающий контроль или необъясненную полоску на геле или недостаточно обоснований для выводов. Я из того курса вынес то, что биологические системы настолько сложны и разнообразны, что при их изучении невозможно сделать идеальную статью - в любом эксперименте всегда остается место для ошибки, и это нормально, и так и делается наука.

Еще припомнился мне разговор с noyau, который я сейчас найти не могу, но в котором я говорил (и до сих пор так считаю), что если 90% (точную цифру не помню) результатов, полученных ученым, оказываются верными, то этот ученый каким-то неправильным делом занимается и впустую деньги налогоплательщиков тратит. У хорошего ученого с истиной должно процентов 10% сходиться - это говорит о том, что он исследует действительно неисследованное. noyau мне так убедить и не удалось, но не в этом дело.

А дело в том, что многие люди считают, что научные публикации - это такие цельные, доказанные и самодостаточные факты в науке. Вроде гугловских наивных knol-ов. И что научный процесс заключается в накоплении этих публикаций/фактов. Однако это в корне не верно. Научные публикации - это не конечный результат, а процесс приближения к результату - спор в научном сообществе между конкурирующими теориями. Некоторые из спорящих находятся на верной стороне, другие (и их большинство) - нет. И еще хорошо, если в споре оказывается, что одна из сторон была права. А то ведь часто бывает, что истина лежит совсем в ином направлении. И истина эта устанавливается в процессе спора, а не одной конкретной публикацией. А когда истина уже установлена, то никто не оформляет ее в красивом виде, поставив последний-окончательный-все решающий эксперимент. Потому что уже "проехали", все уже дальше ушли. После этого уже остается только обзорные статьи писать.

Вот вам пример: Приходят ВИЧ-дениалисты и требуют - покажи нам статью, в которой выделили ВИЧ, определили что это ретровирус и показали, что именно он вызывает СПИД и как он это делает. Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет.

Ок, вернемся к Ионидису. Что больше всего шокирует в его работе? То, что врачи нас лечат, ссылаясь на эти 90% неверных статей. Однако разве врачи лечат, исходя из вышедшей две недели назад научной статьи? Если да, то я их осуждаю. Но я думаю, что все-таки это не так. Врачебная практика плетется существенно позади "последних научных результатов". Поэтому смотреть надо не не то, сколько биомедицинских научных статей оказались ошибочны, а на то, сколько медицинских подходов оказались ошибочны. Я где-то видел (и кажется даже писал об этом), что подобные исследования дали цифру в 50% - именно столько медицинских процедур имеют научно-подтвержденную полезность для здоровья пациентов. Эта цифра, во-первых, существенно выше Ионидисовых 10%, а во-вторых, оставшиеся 50% содержат в себе вполне даже нужные процедуры (хоть и не имеющие научного подвтерждения полезности). Они включают в себя процедуры, которые используются давно и очевидно-полезны, но никогда не были формально протестированы (смотри пример с парашютами). И они включают в себя новые диагностические тесты, которые позволяют узнать чем именно болен пациент, даже если против определяемой болезни нет лекарств. Так что картина складывается куда более положительная, чем ее представляет Джон Ионидис.

Как же нам относиться к его работам? Мне кажется, что они - сродни (современному) искусству. Они шокируют, заставляют задуматься и по-новому взглянуть на мир. В них много сенсационализма. Хорошо, что он этим занимается, но буквально воспринимать его слова не следует.

Comments

[rednyrg721.livejournal.com]

Насчёт p-values недавно интересный пост был:
http://golem.ph.utexas.edu/category/2010/09/fetishizing_pvalues.html

[kobak.livejournal.com]

Спасибо за ссылку. К p-values надо относиться с осторожностью и применять их с умом, -- но книжка, которая обсуждается по Вашей ссылке, выглядит подозрительно. Я просмотрел сейчас краткую версию (http://www.statlit.org/pdf/2009ZiliakMcCloskeyASA.pdf) и что-то это не особо убедительно. В обсуждении по Вашей ссылке есть ссылки на вполне разумную критику.

[shvarz.livejournal.com]

Сейчас только собрался и прочитал, спасибо. Там совершенно верно написано, я и сам собирался написать подобный пост, но собирался ориентировать его на lay public (у которой могут быть проблемы с этими концепциями). Но я с трудом представляют себе ученых, которым такие вещи надо объяснять.

[rednyrg721.livejournal.com]

Там в комментариях ещё стоящие дискуссии, и автор свою позицию яснее выражает, почитайте, если ещё не. Насколько я понял, текст и ориентирован на тех, кто не слушал ни одного курса по статистике. Кстати, в последних комментах и Ионидиса вспомнили :)

[vasja-iz-aa.livejournal.com]

Многие действительно не знают. Что б не ходить далеко за примерами -- Вы сами давали ссылку на статью системных биологов, которая Вам показалась приличной. Та статья полна была таблицами и рассуждениями, в которых использованы только р, но величины эффектов. Я, правда, не поверю, что все авторы статьи наивны и не понимают ошибочности такого описания, в некоторых местах они правильно прадставляют наблюденные закономерности.

[shvarz.livejournal.com]

Можно утверждать, что для системной биологии сам факт наличия эффектов важнее их величины. Потому что а) они ищут взаимосвязи для построения систем, б) в сложных системах небольшой сигнал может амплифицироваться и регулировать большую часть функционала и, наконец, с) это способ поиска гипотез, а не их подтверждения. Но вообще да, учитывая что многие биологи частно неверно ухватывают саму концепцию p value, наверно имеет смысл и такие тонкости им объяснять :)

сам факт наличия эффектов важнее их

[vasja-iz-aa.livejournal.com]

попробуйте прикинуть, что небходимо для того, что бы сказать: наше исследование "показало наличие эффекта(корреляции)", "не показало наличие эффекта(корреляции)","показало отсутсвие эффекта(корреляции)". очень интересно задавать эти вопросы разнообразо образованым биологиским коллегам, лучше последовательно, следующий вопрос после ответа на предыдущий и в конце опять первый, еще раз.