Ложь, Наглая ложь и Статья в Атлантике

[shvarz]

vdinets подкинул ссылку на статью про Джона Ионидиса. Джон - профессиональный разоблачитель некачественных научных исследований. Согласно его оценкам, порядка 90% биомедицинских научных статей приходят к неверным выводам, что ведет к тому, что доктора лечат нас неправильно.

Что мы можем сказать по этому поводу?

Припомился мне курс, который я брал в самом начале своей аспирантуры и который вел старый и очень милый дедушка-профессор. Курс назывался "Критическое чтение научной литературы" или что-то в этом роде. Он нам приносил статьи, а мы, совсем зеленая шпана, находили в них недостатки. И какой-бы хорошей не была статья, каким бы матерым не был последний автор, мы всегда находили в них или недостающий контроль или необъясненную полоску на геле или недостаточно обоснований для выводов. Я из того курса вынес то, что биологические системы настолько сложны и разнообразны, что при их изучении невозможно сделать идеальную статью - в любом эксперименте всегда остается место для ошибки, и это нормально, и так и делается наука.

Еще припомнился мне разговор с noyau, который я сейчас найти не могу, но в котором я говорил (и до сих пор так считаю), что если 90% (точную цифру не помню) результатов, полученных ученым, оказываются верными, то этот ученый каким-то неправильным делом занимается и впустую деньги налогоплательщиков тратит. У хорошего ученого с истиной должно процентов 10% сходиться - это говорит о том, что он исследует действительно неисследованное. noyau мне так убедить и не удалось, но не в этом дело.

А дело в том, что многие люди считают, что научные публикации - это такие цельные, доказанные и самодостаточные факты в науке. Вроде гугловских наивных knol-ов. И что научный процесс заключается в накоплении этих публикаций/фактов. Однако это в корне не верно. Научные публикации - это не конечный результат, а процесс приближения к результату - спор в научном сообществе между конкурирующими теориями. Некоторые из спорящих находятся на верной стороне, другие (и их большинство) - нет. И еще хорошо, если в споре оказывается, что одна из сторон была права. А то ведь часто бывает, что истина лежит совсем в ином направлении. И истина эта устанавливается в процессе спора, а не одной конкретной публикацией. А когда истина уже установлена, то никто не оформляет ее в красивом виде, поставив последний-окончательный-все решающий эксперимент. Потому что уже "проехали", все уже дальше ушли. После этого уже остается только обзорные статьи писать.

Вот вам пример: Приходят ВИЧ-дениалисты и требуют - покажи нам статью, в которой выделили ВИЧ, определили что это ретровирус и показали, что именно он вызывает СПИД и как он это делает. Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет.

Ок, вернемся к Ионидису. Что больше всего шокирует в его работе? То, что врачи нас лечат, ссылаясь на эти 90% неверных статей. Однако разве врачи лечат, исходя из вышедшей две недели назад научной статьи? Если да, то я их осуждаю. Но я думаю, что все-таки это не так. Врачебная практика плетется существенно позади "последних научных результатов". Поэтому смотреть надо не не то, сколько биомедицинских научных статей оказались ошибочны, а на то, сколько медицинских подходов оказались ошибочны. Я где-то видел (и кажется даже писал об этом), что подобные исследования дали цифру в 50% - именно столько медицинских процедур имеют научно-подтвержденную полезность для здоровья пациентов. Эта цифра, во-первых, существенно выше Ионидисовых 10%, а во-вторых, оставшиеся 50% содержат в себе вполне даже нужные процедуры (хоть и не имеющие научного подвтерждения полезности). Они включают в себя процедуры, которые используются давно и очевидно-полезны, но никогда не были формально протестированы (смотри пример с парашютами). И они включают в себя новые диагностические тесты, которые позволяют узнать чем именно болен пациент, даже если против определяемой болезни нет лекарств. Так что картина складывается куда более положительная, чем ее представляет Джон Ионидис.

Как же нам относиться к его работам? Мне кажется, что они - сродни (современному) искусству. Они шокируют, заставляют задуматься и по-новому взглянуть на мир. В них много сенсационализма. Хорошо, что он этим занимается, но буквально воспринимать его слова не следует.

Comments

[shvarz.livejournal.com]

Вы пост вообще читали? Серия публикаций - она и есть проверка.

[mahead.livejournal.com]

Если есть спрос на "в красивом виде", то почему бы его не удовлетворить?
Да и эти самые "все" - это сколько в абсолютных цифрах?

[shvarz.livejournal.com]

В том и дело, что спроса большого нет. И удовлетворение того спроса что есть не стоит ни требуемых денег, ни усилий, ни времени.

О каких абсолютных цифрах может идти речь? Все же зависит от конкретной области и конкртеного вопроса. Чем-то два человека занимаются, чем-то двести. К тому же проверки и коррекции часто приходят из областей совершенно не связанных с областью начального вопроса.

[mahead.livejournal.com]

каких усилий, если (если я правильно понял) осталось лишь собрать всё в одном месте? и что значит спроса нет, когда идея "спида нет, учёные всех дурят ололо" - не такая уж и редкость (и многие ли из потенциальных спонсоров способны понять что к чему?)

[shvarz.livejournal.com]

Если написать обзор - небольших. И их полно. Повторить массовые эпидемиологические наблюдения - очень многих усилий. Да и с этикой проблемы.

Вообще же неверно представляете себе мотивацию вовлеченных сторон. Ученым не важно доказывать кому-то что-то, им важно самим знать. А спонсоры заботятся о том, чтобы больных людей было меньше. До горстки идиотов-конспирологов, которые все равно ничему не поверят хоть повтори им все эксперименты десять раз, никому особенно большого дела нет.

[mahead.livejournal.com]

> Ученым не важно доказывать кому-то что-то, им важно самим знать.

"динаялисты"-то учёными уже не являются чтоли? но я понял о ком речь.

> До горстки идиотов-конспирологов, которые все равно ничему не поверят

Может и горстка, но их неплохо слышно. И им-то верят. Схоластические натяжки в исходном посте (например в "абсолютно нет" откуда взялось "абсолютно"? - вывод-то что "нет" вообще откуда выводится? - логической связи не усмотрел) заставляют и меня думать, что возможно эти чудики не так уж и неправы, например мне вообще непонятно, что мешает показать ин-витро, что ВИЧ является ретровирусом, например. (и это при том, что я не верю в заговор, но помимо злого умысла всегда присутствует глупость. Возможно, в данном случае - моя, но "неспособность объяснить является глупостью в той же мере, что и неспособность понять" или что-то вроде того.

[shvarz.livejournal.com]

Вполне понятно, почему я не могу вам ничего объяснить. Для объяснений должна быть какая-то начальная общая точка, а у нас, похоже, их очень мало.

Смотрите, в моем примере с "абсолютно нет", это "абсолютно нет" было не выводом, а предпосылкой. Вы этого не поняли, и поэтому естественно, что для вас этот пример оказался непонятен. Я не делал вывод о том, что "абсолютно нет", я с него начинал: Мы знаем, что "абсолютно нет" и мы знаем, что большинство публикаций на эту тему имеют в себе некорректности или ошибки, но одно не противоречит другому, следовательно то, о чем я рассуждал выше - верно.

[mahead.livejournal.com]

> Для объяснений должна быть какая-то начальная общая точка

База у меня есть. Вопрос мне кажется простым: "по каким (пусть косвенным) признаком установили, что вич является ретровирусом?

> "абсолютно нет" было не выводом, а предпосылкой

Строго говоря, оно не было ни тем ни другим. Но это не важно. Да, я согласен, что следует работать ради тех 10%. Теперь, пожалуйста, ответьте на вопрос (можно ссылкой, я не нашёл).

[shvarz.livejournal.com]

Ну если, как мы выше обсудили, отбросить все промежуточные шаги и перейти к самому серьезному аргументу, отвечающему на этот вопрос сегодня, то ВИЧ является ретровирусом согласно последовательности его генома. Она характерна для ретровирусов (содержит гомологичные гены и РНК-структуры) и группируется на филогенетическом дереве с другими ретровирусами. Этот критерий на сегодняшний день является необходимым и достаточным для того, чтобы отнести любой новый вирус к ретровирусам.
Ссылка: http://www.hiv.lanl.gov/content/sequence/HIV/mainpage.html