Ложь, Наглая ложь и Статья в Атлантике

[shvarz]

vdinets подкинул ссылку на статью про Джона Ионидиса. Джон - профессиональный разоблачитель некачественных научных исследований. Согласно его оценкам, порядка 90% биомедицинских научных статей приходят к неверным выводам, что ведет к тому, что доктора лечат нас неправильно.

Что мы можем сказать по этому поводу?

Припомился мне курс, который я брал в самом начале своей аспирантуры и который вел старый и очень милый дедушка-профессор. Курс назывался "Критическое чтение научной литературы" или что-то в этом роде. Он нам приносил статьи, а мы, совсем зеленая шпана, находили в них недостатки. И какой-бы хорошей не была статья, каким бы матерым не был последний автор, мы всегда находили в них или недостающий контроль или необъясненную полоску на геле или недостаточно обоснований для выводов. Я из того курса вынес то, что биологические системы настолько сложны и разнообразны, что при их изучении невозможно сделать идеальную статью - в любом эксперименте всегда остается место для ошибки, и это нормально, и так и делается наука.

Еще припомнился мне разговор с noyau, который я сейчас найти не могу, но в котором я говорил (и до сих пор так считаю), что если 90% (точную цифру не помню) результатов, полученных ученым, оказываются верными, то этот ученый каким-то неправильным делом занимается и впустую деньги налогоплательщиков тратит. У хорошего ученого с истиной должно процентов 10% сходиться - это говорит о том, что он исследует действительно неисследованное. noyau мне так убедить и не удалось, но не в этом дело.

А дело в том, что многие люди считают, что научные публикации - это такие цельные, доказанные и самодостаточные факты в науке. Вроде гугловских наивных knol-ов. И что научный процесс заключается в накоплении этих публикаций/фактов. Однако это в корне не верно. Научные публикации - это не конечный результат, а процесс приближения к результату - спор в научном сообществе между конкурирующими теориями. Некоторые из спорящих находятся на верной стороне, другие (и их большинство) - нет. И еще хорошо, если в споре оказывается, что одна из сторон была права. А то ведь часто бывает, что истина лежит совсем в ином направлении. И истина эта устанавливается в процессе спора, а не одной конкретной публикацией. А когда истина уже установлена, то никто не оформляет ее в красивом виде, поставив последний-окончательный-все решающий эксперимент. Потому что уже "проехали", все уже дальше ушли. После этого уже остается только обзорные статьи писать.

Вот вам пример: Приходят ВИЧ-дениалисты и требуют - покажи нам статью, в которой выделили ВИЧ, определили что это ретровирус и показали, что именно он вызывает СПИД и как он это делает. Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет.

Ок, вернемся к Ионидису. Что больше всего шокирует в его работе? То, что врачи нас лечат, ссылаясь на эти 90% неверных статей. Однако разве врачи лечат, исходя из вышедшей две недели назад научной статьи? Если да, то я их осуждаю. Но я думаю, что все-таки это не так. Врачебная практика плетется существенно позади "последних научных результатов". Поэтому смотреть надо не не то, сколько биомедицинских научных статей оказались ошибочны, а на то, сколько медицинских подходов оказались ошибочны. Я где-то видел (и кажется даже писал об этом), что подобные исследования дали цифру в 50% - именно столько медицинских процедур имеют научно-подтвержденную полезность для здоровья пациентов. Эта цифра, во-первых, существенно выше Ионидисовых 10%, а во-вторых, оставшиеся 50% содержат в себе вполне даже нужные процедуры (хоть и не имеющие научного подвтерждения полезности). Они включают в себя процедуры, которые используются давно и очевидно-полезны, но никогда не были формально протестированы (смотри пример с парашютами). И они включают в себя новые диагностические тесты, которые позволяют узнать чем именно болен пациент, даже если против определяемой болезни нет лекарств. Так что картина складывается куда более положительная, чем ее представляет Джон Ионидис.

Как же нам относиться к его работам? Мне кажется, что они - сродни (современному) искусству. Они шокируют, заставляют задуматься и по-новому взглянуть на мир. В них много сенсационализма. Хорошо, что он этим занимается, но буквально воспринимать его слова не следует.

Comments

[yucca.livejournal.com]

Не знаю, как у Ионидиса, а в статье все же в основном примеры не про процедуры и тесты, а про nutrition, витамины всякие, где корреляцию гораздо труднее установить.

[shvarz.livejournal.com]

Ну я специально не стал разбирать детали, потому что, на мой взгляд, тут важнее принцип. Но можно, конечно, и конкретные претензии поразбирать.

[mevamevo.livejournal.com]

Тонко. Статья про парашют понравилась. Так всё же, как теперь отличить, что действительно полезно на основании современных стандартов определения полезности (двойные слепые методы и проч.), а что полезно просто на основании того, что "эти методы применяются уже десятки лет"?

Пример с парашютом, кажется, очевиден, но что делать с менее очевидными случаями? Просто ждать несколько десятков лет, пока "ленивая" статистика сама собой станет достаточно достоверной?

[shvarz.livejournal.com]

Надо просто принять, что жизнь - сложная штука, без простых ответов и уверенность в полезности каждого метода не бинарна, а лежит в плавном градиенте. Что делать на практике? Доверять профессионалам, наверно :) Они может и ошибаются, но лучше них все равно никто не знает.

[(Anonymous)]

"И еще хорошо, если в споре оказывается, что одна из сторон была права. А то ведь часто бывает, что истина лежит совсем в ином направлении."
По мне так истина всегда в ином направлении, а спор всего лишь метод выяснения и уточнения взаимных позиций.

[true-stranger.livejournal.com]

Выше я, не залогинившийся по небрежности.

[yelya.livejournal.com]

Мне кажется, что Вам надо почитать оригинальную статью Ионидиса, в ПЛОСе она где-то совсем недавно вышла. Он не пытается создать сенсацию, а просто математически анализирует все эти медицинские исследования и показывает, откуда берется bias.

[shvarz.livejournal.com]

Вот эту? http://www.plosmedicine.org/article/info:doi/10.1371/journal.pmed.0020124

Я ее просмотрел (не очень внимательно, признаюсь), она мне показалась довольно наивной.

[kit58.livejournal.com]

заставляют задуматься и по-новому взглянуть на мир. В них много сенсационализма. Хорошо, что он этим занимается

По-моему ничего хорошего в этом нет. Впрочем как и плохого. Потребители таких статей - любители пораскрывать всемирные заговоры, читатели National Enquirer и Sun. Им один заговор быстро надоедает, новые давай. И про Ионидиса скоро забудут.

[shvarz.livejournal.com]

Ну, он действительно публикуется в более-менее серьезных журналах, не только Атлантик про него пишет :) Я выше комментом дал ссылку на одну статью.

[overscience-mes.livejournal.com]

А я сегодня читала где-то как в канаде собираются бороться с мискондактом, это будет какая-то другая наука... противно как-то. Не люблю професситональных разоблачителей.

[shvarz.livejournal.com]

Видел заголовок, но не прочитал в чем там дело. А в чем там дело?

[ahmash.livejournal.com]

Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет.
- есть. Ревью называется. Только их писать не очень любят - гиморно всё перелопачивать.

[entropia-n.livejournal.com]

И в ревью частенько пишут такое: "одна группа получила такой результат, другая - такой же, а третья - вовсе другой. Это может объясняться тем-то, а может и ничем пока не объясняться, надо дальше работать"
Так что и обзор, если он хороший, не дает однозначных ответов.

[how-are-u.livejournal.com]

Черт. Я один прочел его имя как Индиана Джонс? :-)

[lisiy-hvost.livejournal.com]

Не, не один. :)

[hoegni.livejournal.com]

Мне не нравится только, что тема "недобросовестных ученых" обсуждается все массивнее. Я чувствую, что скоро начнут переходить к оргвыводам с тотальным учетом и контролем, опечатыванием лаб.журналов и т.д.

[shvarz.livejournal.com]

Да, это не есть good....

[arkaun.livejournal.com]

Не знаю как в биологии, но не во всех областях науки так. Например во вспомогательных исторических дисциплинах.

[shvarz.livejournal.com]

Не знаю, поэтому не могу судить.

[glukanat.livejournal.com]

в медицине статистические исследования по большей части проводятся настолько безумно неправильно (во всяком случае на нижнем уровне), что доверят можно фактически не науке, а обычаю - так делали раньше и считали, что это хорошо, и мы так будем делать. Может в медицине по-другому нельзя, но очнь жалко, что эта наука растет преданием.

[shvarz.livejournal.com]

Последние лет 20-30 идет движение в сторону доказательной медицины. Медики, надо сказать, сопротивляются. Но надо и признать, что сопротивляясь кое в чем они таки правы.

[psilogic.livejournal.com]

Смысл в том, что научная гипотеза, которая проверялась, но не подтвердилась - это еще не "неверный вывод" - верно я вас понял?

[shvarz.livejournal.com]

Нет, смысл в том, что вывод подтвердилась гипотеза или нет в одном конкретном исследовании очень мало говорит о том, верна эта гипотеза или нет.

[mfreidin.livejournal.com]

Иоанидис достал уже со своими разоблачениями.

[shvarz.livejournal.com]

А что, где-то уже обсуждали?

[kobak.livejournal.com]

Насколько я понимаю, речь идет не об абстрактной философии науки, а вполне конкретно о том, что медики допускают ошибки в статистике и публикуют статистически незначимые результаты, выдавая их за статистически значимые, -- результаты, которые потом, естественно, опровергаются другими исследованиями. В этом нет ничего хорошего. Не знаю, что Вы имели в виду в споре, о котором Вы упоминаете, но, надеюсь, Вы не считаете, что хороший ученый должен в 90% случаев ошибаться в статистике.

Понятно, что такая ситуация не только в медицине. Вот, например, нашумевшая прошлогодняя статья про нейронауку: http://pps.sagepub.com/content/4/3/274.full

[shvarz.livejournal.com]

Нет, у него как раз речь не об ошибках в конкретной статистике, а об ошибке в общем подходе. Простой пример из его рассуждений: Если 10 лаб делают примерно один и тот же эксперимент, то в 1-2 из них p value (подсчитанное совершенно грамотно) может оказаться меньше 0.05, даже если нулевая гипотеза верна. Получившие этот результат публикуют его и в результате получается статья, чьи выводы не верны. И если собрать все факторы, которые могут таким образом действовать, то окажется, что очень большое количество статей неверны.

Я, конечно, не считаю, что ученый должен в 90% случаев ошибаться в статистике. Я имел в виду, что если ученый изучает что-то действительно новое, то он в принципе не может предвидеть всех необходимых контролей и возможных интерпретаций его экспериментов. Поэтому часто (не с частотой 90%, конечно, но скажем 20%) его выводы из экспериментов будут неверны. И в этом нет ничего такого уж ужасного.

[velta-1.livejournal.com]

== многие люди считают, что научные публикации - это такие цельные, доказанные и самодостаточные факты в науке. Научные публикации - это не конечный результат, а процесс приближения к результату - спор в научном сообществе между конкурирующими теориями==

Тут нет противоречия.

ЛЮБАЯ научная публикация - это описание доказанного и самодостаточного факта. Если это не так - то это не публикация, а профанация. Или прямое жульничество.
Основное требование к экспериментальным статьям - воспроизводимость результатов. Если то, что написал один, больше ни у кого в тех же условиях не получилось - он ошибся. Если получается у большинства - это ДОКАЗАННЫЙ ФАКТ.

Но, конечно, ни одна публикация не является самодостаточной. Каждый найденный и опубликованный факт - лишь звено в цепи понимания какого-то более широкого и более сложного процесса. Это всего лишь одно арифметическое действие в длинном уравнении - но если в этом действии ошибка - уравнение будет решено неправильно.

Насколько можно в практике (в частности, медицинской) опираться на такие "не самодостаточные" факты?
Если я публикую, что некое химическое вещество ингибирует вирус в клетке - это не повод совать это вещество в человека.
Для того, чтоб его применять в медицине, нужно минимум пять слагаемых:
1. Показать, что действует на уровне клетки (или даже предварительно на уровне какого-то вирусного фермента, а потом уже пихать в клетку).
2. Показать, что действует на уровне мышиного организам (или другого, которого не очень жалко)
3. Показать, что не оказывает вредных эффектов (не токсично, или токсическая доза сильно отличается от эффективной дозы в бОльшую сторону). Определить индекс селективности.
4. Сунуть в другой организм, который уже жалко, но все же меньше, чем человеческий. но который по метаболизму приближен к человеческому. Лучше всего в шимпанзю.
5. Наконец провести первую стадию клинических испытаний на людях. Причем по возможности на таких людях, которым нечего терять: других лекарств от их болезни нет, или они им не помогли, и эти люди все равно обречены на гибель.
6. И только тогда, когда от лекарства никто не помер, и хотя бы сколько-то народу вылечилось - только тогда это попадает в медицину.

Как минимум, 6 публикаций: по первым четырем статьи, по последнему - статья и протоколы клинических испытаний.

Изымите одно звено - и цепь оборвется. Вот как-то так.

[moon-lake.livejournal.com]

"Основное требование к экспериментальным статьям - воспроизводимость результатов. Если то, что написал один, больше ни у кого в тех же условиях не получилось - он ошибся."

Это очень упрощенный подход. Невозможно повторить те же условия - по определению в экспериментах фиксируется конечное число переменных, считающихся "условиями". Тут вспоминается мне история про ученого, который насвистывал, колдуя над своими пробирками. И никто не мог воспроизвести его результат. Оказалось, что свистом он вызывал колебания воздуха, которые действовали подобно катализатору процесса.

А перечисленные 6 пунктов - ошибка может вкрасться в любой из этих этапов, и закрепиться в следующем, и вот мы на выходе имеем ошибку, помноженную на 6.

Mein Kampf by Schwartz

[anonym-mouse.livejournal.com]

Всё что "шварц" наваял - абсолютно бессмыссленный балласт, который лишь подводит к главному, ради чего писалась заметка:

Вот вам пример: Приходят ВИЧ-дениалисты и требуют - покажи нам статью, в которой выделили ВИЧ, определили что это ретровирус и показали, что именно он вызывает СПИД и как он это делает. Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон. Так что тоже можно сказать, что 90% опубликованных по ВИЧ статей неверны. Ну и что? Означает ли это, что окончательный вывод неверен? Абсолютно нет."

Это такой национальный спорт, опровержение несогласных с Линией Партии. Шварцу всё равно, кого ниспровергать: в одну минуту он станет обличать "отрицателей холокоста", в следующую "ВИЧ-дениалистов" (надо же, слово выдумал, безграмотное насекомое, ни по-английски, ни по-русски, а на брайтоновской смеси), потом "скептиков 9-11", после "тех, кто против вакцинации и Страшной Пандемии Свиного Гриппа", а напоследок "совков, коммуняк и врагов Демократии"

Единственное действительно важное для "шварцев" - чтобы пункт, который он защитит, входил в список политических инициатив детелей Нового Мирового Порядка. Это же святое. Это же "наши" делают. Это - шварцева "Моя Борьба".

И никакого отношения к науке.

Re: Mein Kampf by Schwartz

[shvarz.livejournal.com]

Спасибо :)

Post Scriptum

[anonym-mouse.livejournal.com]

Беда в том, что говорить с вами СЕРЬЁЗНО невозможно: понимая, что в таком случае ваше поражение в споре неизбежно, вы начинаете косоротить, выдумывать соломенные чучела, кричать "гевалт" и как писала одна брошюра-инструкция по хасбаре для активистов в американских университетах "знать, когда закрыть дверь".

Например, вы кричите о дураках-антипрививочниках. Однако неизбежно вы "не заметите" разумных, вполне в русле научной логики позиций.
Например, можно даже верить в то, что механизм прививок разумен и работает. Но при том отказываться от прививок. Почему? -- да потому что не "идеальные научные", а вполне земные и подлые люди изготавливают вакцины (скандал прошлым летом, когда чешский кажется лаборант случайно полез проверять и обмаружил, что поставленая партия вакцины содержит живой вирус птичьего гриппа, т.е. является попыткой применить биооружие). А еще более подлые разрабатывают _тайно_ например вакцины, которые обеспечат бесплодие. Как было открыто в Мексике и Малайзии - анти-столбнячную вакцину вводили только женщинам детородного возраста, хотя на ржавые гвозди мужчины наступают столь же часто. Проверка показала, что вакцина вызывала отторжение зародыша как посторонней ткани.

Обеспечивающие же людоедские методы тех из "ваших" что стоят наверху и оплачивают изготовление таких методов ведения войны с людьми ублюдки, вроде "боталекса" или в духе ваших публикаций никогда о подобных _фактах_, прекрасно документированных, разговаривать не будут.

Ну это примерно как человек А в гостях у отравителя Б откажется есть и пить, вполне рациональный поступок. Однако придворный холуй отравителя начнёт кричать, что А сошел с ума, потому что утверждает, что есть вредно. Животики надорвёшь, он же подохнет с голоду.

Вот какова настоящая, научная логика сих вопросов.

Re: Post Scriptum

[progenes.livejournal.com]

Паранойя?

[mahead.livejournal.com]

> А когда истина уже установлена, то никто не оформляет ее в красивом виде, поставив последний-окончательный-все решающий эксперимент. Потому что уже "проехали", все уже дальше ушли.

Все, да не все. А проверку даже в школе делают. И что есть истина (особенно в такой-то отрасли)

[shvarz.livejournal.com]

Вы пост вообще читали? Серия публикаций - она и есть проверка.

[vasja-iz-aa.livejournal.com]

90% статей вздорны не потому, что там выводы неверные, а потому, что руки мыть тшателЕе надо. а выводы так как раз самые распрекрасные бывают

[leolion-1.livejournal.com]

Философски смиренное отношение к сложности сущего и связанным с этим неизбежным ошибкам - это прекрасно и очень мудро. Есть только одно маленькое "но", которое слегка зудит - аппетиты "науки 21-го века" под лозунгами "возьмите пару миллиардов у них и дайте их нам, потому что именно эти исследования спасут в будущем сотни тысяч...нет, десятки миллионов...а, да что там - миллиарды жизней!!! Обязательно спасут, фирма гарантирует"

[shvarz.livejournal.com]

:)
Бедный вы, несчастный, как вам живется без отобранных двух миллиардов?

Цифра 90% для меня лично...

[alex7103.livejournal.com]

выглядит как-то совсем удручающе. Наше поколение аспирантов "воспитывалось", если так можно сказать, на цифре 70. И, наверное, в этом есть определенный смысл, так как для объяснения собственных результатов всегда опираешься на результаты предшественников. Гораздо хуже, когда не на что сослаться, чем сослаться на неправильно сделанное кем-то заключение. Ну, Вы сами, наверное, знаете про закон Мюнхаузена. Что мне Вам про это долго рассказывать.

Re: Цифра 90% для меня лично...

[shvarz.livejournal.com]

Да я не верю особенно этим 90%. Это его "оценки" и, как выше верно заметили, все перечисляемые им источники bias точно так же относятся и к нему самому.

[andy-scott.livejournal.com]

Да где же я ее возьму? Нет такой статьи, есть сотни (если не тысячи) статьей, где это обсуждалось и выяснялось. Из кусочков сложилась общая картина и каждый кусочек сам по себе - несовершенен и неполон.

Ну вот и очень зря, что никто не взял на себя такой механический, скушный труд - обобщить эти мегатонны ошибок и изложить обобщающую, банальную, как километровый столб у шоссе, статью. Или монографию, неважно - важнон, чтобы она была. Это нужно.

[shvarz.livejournal.com]

Нет, вы не поняли. Монографий и обзорных статей хватает. Чего нет, это, пусть выборочного, но дублирования всех предыдущих экспериментальных работ с целью их повторения в одном большом исследовании.