Как читать научные новости

[shvarz]

Краткий список вопросов, которые стоит задавать, когда вы в очередной раз читаете о том, что "британские учоные открыли". С упором на медицину и в порядке примерной важности:

1. На каком организме было проведено исследование? Исследования на клеточных культурах, мышах, обезьянах могут показывать прекрасные результаты и быть очень информативными, но они очень редко повторяются в человеке без дополнительных исследований (большинство не повторяется вообще).

2. Что конкретно измерялось, а что является экстраполяцией? Если лекарство убивает раковые клетки, то это означает, что "лекарство убивает раковые клетки", это НЕ означает, что "лекарство лечит рак". Если первая стадия клинических испытаний вакцины прошла успешно, то это означает, что "вакцина безопасна", но ничего не говорит о том, вызывает ли она нужный иммунный ответ и уж тем более, что "вакцина эффективна".

3. Каков размер эффекта? Часто новости сообщают лишь, что "люди принимавшие Х существенно чаще испытывали Y", но это "существенно" может относиться к статистической достоверности результата, а не к его размеру. Например, можно очень достоверно показать, что какая-нибудь диета уменьшает риск рака, но если уменьшение риска всего 1%, то оно может не иметь никакой практической ценности.

4. Можно ли доверять репутации? Где было опубликовано исследование? В фейсбуке? На личной странице ученого? В солидном научном журнале? Кто сделал исследование и кто его комментирует? Если и те и другие - регулярно публикующиеся в научных журналах ученые, то доверия им больше, чем если исследователь известен в основном как автор книг о диете, а комментируют его результаты известные актрисы, клянущиеся, что диета работает.

5. Если это исследование на людях, то каков был его размер? Это единичный случай, группа из 10 человек, из 100, из 1000? Как правило, чем больше размер, тем больше достоверность результата. Обратной стороной монеты является то, что чем больше выборка, тем меньшую разницу можно обнаружить и тогда см. пункт 3.

6. Каков дизайн исследования? Есть ли надлежащие контроли? Двойным слепым исследованиям обычно можно верить больше, особенно если речь идет о симптомах, где оценка эффективности субъективна. Часто для того, чтобы ответить на этот вопрос, нужно быть специалистом в теме, но иногда и человеку с улицы может быть понятно.

7. Делались ли подобные исследования раньше и что они находили? Результатам, полученным в нескольких исследованиях и разными группами, можно доверять больше, чем одиночному исследованию. Одинаковым результатам, полученным разными методами, можно доверять больше, чем простому повтору. К сожалению, не являясь специалистом в области, трудно ответить на этот вопрос, но если в новости рассказывается о предыдущих исследованиях, то это хороший знак.

8. Существуют ли объяснения механизма наблюдаемого явления, основанные на современных знаниях биологии-химии? Это не обязательное требование, но к необъяснимым результатам стоит относиться с большим скептицизмом (да, гомеопатия, это про тебя).

9. Каков общий тон сообщения? Указываются ли слабые места или направления для будущих исследований? Если утверждается, что что-то 100% работает и нет никаких нюансов, то либо журналисты переврали, либо это фуфло. Если утверждается, что что-то лечит разные не связанные между собой болезни (рак и эболу), то это на 100% фуфло. Если в новости есть сдержанные комментарии (пусть даже в целом хвалебные) от ученых, то доверия больше.

По мотивам этого и этого.

Comments

[(Anonymous)]

Есть такая интересная книга Religion is not about God теолога Loayl Rue.

Там в конце такой комментарий про противостояние науки и религии: изначально если ты оправдываешься, ищешь в своих тезисах слабые стороны и прочие оговорки, это делает тебя менее авторитетным для слушателей на их подсознательном уровне.

С другой стороны, чем безапелляционней твои тезисны, чем меньше оговорок и т.д., тем более убедительным ты кажешься среднему слушателю.

Поэтому он делает вывод, что для многих даже современных людей на подсознательном уровне научные результаты не являются авторитетным источником информации.

Ну это так, к вопросу психологии восприятия. Недавно еще статья была, что большинство опровержений старых материалов в прессе не приводят к изменению позиции читателей по вопросу.

Мне кажется, что это очень применимо к политике, особенно в отдельных странах, где человека-мачо предпочитают человеку мыслящему.

[zlata-gl.livejournal.com]

От моей френд-ленты - Вашей.
Мыть курицу перед приготовлением - смертельно опасно. (http://potrebitel-il.livejournal.com/20002734.html)

[shvarz.livejournal.com]

Ок, не вникая в детали, просто пробежавшись по новости как она изложена здесь:
http://www.food.gov.uk/news-updates/news/2014/jun/fsw#.U8auaPldWQZ

1. На людях
2. Что измерялось не ясно
3. Размер эффекта не указан
4. Да, организация уважаемая
5. Не указано
6. Не указано
7. Не указано
8. Да, вполне понятно как это может работать
9. Несколько алармистский, учитывая что п.2,3,5,6,7 не объяснены

[zlata-gl.livejournal.com]

Короче, "по науке" получается тот же вывод, что по простому здравому смыслу: ФУФЛО.
Несмотря на п.4.

Именно п.8 вносит основной вклад: опасность представляет не мытье КУРИЦЫ, а разбрызгивание грязной воды от мытья чего угодно.
Степень опасности не выяснена. (2,3).

[shvarz.livejournal.com]

Не совсем так. То, что в новости что-то не указано, не означает, что оно не выяснено. Вполне может быть выяснено, но в новость не попало. Это означает лишь, что исходя из самой новости судить невозможно, надо искать первоисточники чтобы получить эту информацию.

[deadmadcat.livejournal.com]

Можно еще задаться вопросом, насколько это эффективно в сравнении с уже существующими аналогами.

А еще довольно часто встречается такая подмена понятий, когда наличие корелляции между какими-то там условно А и Б используется как доказательство того, что А является следствием Б. Хотя, строго говоря, может быть и наоборот. Или и то и другое может быть следствием чего-то третьего. Вот об этом тоже надо бы помнить.

[misha-makferson.livejournal.com]

Да это общая беда (или фича если угодно) современной науки. Не только в медицине, но и вообще. Поиск корреляций и big data. Впрочем я думаю, что это люди не "со зла". Неправильно, но зато экономно и операционально, то есть вообще говоря такие логические построения неверны, но во многих конкретных случаях корреляция действительно указывает на сущностную связь.

[deadmadcat.livejournal.com]

Она и указывает, только неизвестно, какого рода связь. Между тем из всех возможных вариантов истолкования этой связи люди выбирают один - тот, который им по какой-то причине нравится, и представляют его доказанным. Вывод по неполным данным. Конечно, таким обычно занимаются всякие переписыватели, несущие свет в массы. Но бывает, что и сами исследователи грешат. И вот уже обнаруживается, что просмотр телевизора делает школьников агрессивными, а верующие верят в бога, потому что глупые. Это из особо запомнившегося.

[polenadisto.livejournal.com]

П.3 и 5 частенько и самими учеными забываются, к сожалению...

[shvarz.livejournal.com]

Да, бывает.

[akaishi.livejournal.com]

Готов подписаться под каждым пунктом.

[mancunian.livejournal.com]

http://rusplt.ru/world/v-donetskoy-oblasti-poterpel-krushenie-malayziyskiy-boing777-11348.html#live70

:((((

[shvarz.livejournal.com]

Нам коллеги сообщили, как только стало известно. Я его близко не знал, но пересекался когда-то на конференциях. Беспокоимся об одной женщине, которая тоже могла быть на этом рейсе и пока от нее ничего не слышно.

[scienceblogger.livejournal.com]

"Телеграф" пишет о 108 делегатах... Неужели так?

[shvarz.livejournal.com]

Еще не видел, но вполне возможно. Это крупнейшая конференция, на нее слетаются со всего мира.

[praeinant.livejournal.com]

Тут большинство пунктов в осмыслении новости (так или иначе – прямо или косвенно) сводится и к тому «как они делали», а не в «автономный разбор данной позиции».
Конечно наука есть «социальная игра», но, по моему, без навыков «индивидуального укрупнения деталей» все научные направления будет и дальше укореняться в тенденции «все большее (само)изоляция специализации».
По мне (и образно говоря) результат полученный при социальном раскладе поиска решения (1000 ученых решает одну проблему) должен совпасть с личным/индивидуальным решением поиска (только в 1000 раз укрупненном плане)(это если тут есть крайне незнакомая специализация и т.д.).

А для развития собственного размышления можно поискать научную и общепонимаемую парадигму обобщения. Но "ху из ит"?

[shvarz.livejournal.com]

О глубоком осмыслении речи не идет, речь о тех основных моментах, которые должны быть в новости для того, чтобы ее можно было осмыслить.

[praeinant.livejournal.com]

И все же обязательно есть передатчик (новость) и приемник (человек). Вы (глубоко) описали некую структуру и последовательность работы передатчика, а сам приемник тут вроде есть нечто понятное само собой или менее важное... .

Допустим по каким-то причинами в научном оповещении все статьи, публикации и т.д. стали бы анонимными (скрытое авторство). И тогда вся оценка статей развалилась бы как картежный домик. Ибо там вся оценка велась на уровне механизма на котором отдельный индивид есть «отдельный кирпич в кирпичной стене». Т.е. отдельный индивид только соблюдает некий оценочный регламент (и описанный Вами) в котором другие индивиды определяет свои выводы.
А тут было бы уже не возможно отследит авторство, количество цитируемости, (тем) иерархичность научных журналов и т.д. – и вся структура в которой «индивид есть только часть механизма» развалилась бы.

Таким образом тут развивается некий антагонизм:
Наука вроде целенаправленно (в сторону «социализации») развивается, а развитие созидательности, творчества в разуме индивида вроде пускается на самотек. Ну, а тут этот самотек уперся в то, что индивид в своем разуме «тупеет». Т.е. он все больше доверяет определенным выводам других индивидов и параллельно не развивает свое автономное мышление, созидательность, творческие способности и т.д. опять же направленные на лучшую автономную оценку тех самых новых научных результатов.

[(Anonymous)]

прокомментируете?
http://www.telegraph.co.uk/news/worldnews/australiaandthepacific/australia/10975275/Leading-HIV-researchers-lost-as-flight-MH17-is-downed-in-Ukraine.html

[zlata-gl.livejournal.com]

Еще один пример научной новости
Ученые обнаружили препарат, одна инъекция которого избавляет от диабета (http://www.newsru.co.il/health/17jul2014/diabet_111.html)

Они обнаружили, что одной одной инъекции белка FGF1, введенной мышам с сахарным диабетом, достаточно, чтобы в течение более двух дней поддерживать нормальный уровень сахара в крови.
Ни фига не понятно: "избавить от диабета" или "в течение двух дней поддерживать", а потом надо повторять ?

Разбираться по-английски лениво.

[shvarz.livejournal.com]

Как заметка про научные новости, эта далеко не самая плохая. В ней отмечены многие важные детали из списка выше.

[zlata-gl.livejournal.com]

А заголовок соответствует тексту или нет ?

Вы будете смеяться, я завела сообщество "Общество защиты ушей от лапши" (в основном, политической направленности) lapsha_ru_il и пытаюсь там пропагандировать алгоритмы, подобные Вашему.
Однако, кину туда перепост с Вашей темы.

[shvarz.livejournal.com]

Соответствует с небольшими добавками :)
Ученые обнаружили препарат, одна инъекция которого избавляет мышей от диабета на две недели

[zlata-gl.livejournal.com]

одна инъекция которого избавляет мышей от диабета на две недели
Вроде бы на 2 дня.
Конечно, это лучше нынешних препаратов, требующих нескольких инъекций в день.
Но это - никак не "избавление от диабета".
ИМХО, избавиться от болезни - это сделать так, чтобы болезни не было после ПРЕКРАЩЕНИЯ приема лекарств.
Как лечат дифтерию или дизентерию.
А диабет пока - неизлечим и требует приема лекарства пожизненно.

[shvarz.livejournal.com]

Двух дней значит, я не читал подробно. Да, речь как раз о том, как пройти сквозь заголовок, оценить что именно было сделано и на основании этого составить более реалистичную картину.

[zlata-gl.livejournal.com]

речь как раз о том, как пройти сквозь заголовок
Вот я и ругаюсь с журналистами за заголовки.

[bdene.livejournal.com]

"Каков дизайн исследования?"

что это значит? можно подробней?

[shvarz.livejournal.com]

Мда, на самом деле довольно сложно объяснить. Надо, наверно, поправить пост. В дизайн исследования входит много что: как были поставлены контроли (негативный, позитивный), была ли устранена возможность предвзятой интерпретации данных (обычно делается путем постановки двойного слепого исследования, когда ни врач ни пациент не знают, получил пациент плацебо или активное вещество), как были отобраны пациенты. Это все довольно сложные концепции на самом деле и читающему обывателю в них может быть трудно разобраться.

Но на бытовом уровне это может сводиться к здравому смыслу. Например, если вы видите, что исследование заключалось в том, что группе людей дали "таблетки от худения", а потом те измеряли вес, то у вас должен появляться вопрос: "А как исследователи знали, что люди не стали просто меньше есть?"

[zlata-gl.livejournal.com]

"А как исследователи знали, что люди не стали просто меньше есть?"
А они таки СТАЛИ меньше есть. Допустим, таблетки вызвали снижение аппетита.
Это очень правильный метод лечения ожирения.
У человека какое-то гормональное расстройство, в результате которого он постоянно ощущает голод. Не есть - значит непрерывно мучиться.
И вот (допустим) появляется таблетка, которая "убивает" ощущение голода.
Человек мало ест - и худеет. А как еще можно похудеть ?
Дайте мне две пачки !

Двойным слепым методом можно проверить, действительно ли влияет таблетка.
Или просто человек сам решил проявить силу воли.

[shvarz.livejournal.com]

Далеко не всегда можно что-либо сделать двойным слепым. Например, операцию по уменьшению желудка. Речь о том, чтобы оценить достоверность вывода. Если люди стали меньше есть, то должен быть способ отличить эффект таблетки от психологического эффекта.

[zlata-gl.livejournal.com]

не всегда можно что-либо сделать двойным слепым
Таки да.

Например, операцию по уменьшению желудка.
Вот уж после нее точно человек будет меньше есть.

[mfi.livejournal.com]

Меньше есть за единицу времени - так точнее. Коллега сделал операцию, есть ему приходилось ну очень долго и с перерывами. Я не был знаком с ним до операции, он говорил, что сильно похудел. Однако на мой взгляд, он и после операции совсем не выглядил худеньким.

[bdene.livejournal.com]

Понятно, в России термин понимается узко, его нужно раскрывать. Спасибо.

[vasja-iz-aa.livejournal.com]

это в смысле как правильно читать научные новости в обычной прессе? а не надо их там читать, так правильнее всего

[shvarz.livejournal.com]

Ну не все могут себе позволить или иметь образование для того, чтобы читать Journal of Virology.

[vasja-iz-aa.livejournal.com]

ну так пусть Ваш жж читают

[sergey-sovkov.livejournal.com]

Ага.
И ещё: после прочтения новости "Употребление зюзюки с крылышками вчетверо увеличивает риск пипецомы" неплохо бы проверить, а какой риск этой пипецомы в чистом виде? А то если пипецома встречается в одном случае на сто тысяч доживших до восьмидесяти четырёх лет, то запрещение зюзюки с крылышками (мягко говоря) не очень оправдано.

[info2me.livejournal.com]

Прекрасно написано.
Прям хоть в аптеках вешай. )

[zlata-gl.livejournal.com]

А можно - еще один пример "научной новости" ?
Прошу оценить качество.

Медики США: семи минут ежедневной пробежки достаточно, чтобы сократить риск смерти на 30% (http://newsru.co.il/health/29jul2014/running_111.html)
Исследователи наблюдали за 55.137 участниками в возрасте от 18 до 100 лет на протяжении пятнадцати лет, в течение которых более 3.000 человек умерли. В общей сложности 1.217 смертельных случаев были связаны с заболеваниями сердечно-сосудистой системы, а также с патологиями сердца и периферических артерий.

В ходе исследования оказалось, что "бегуны", составлявшие чуть менее четверти выборки, жили в среднем на три года дольше, чем те, кто не занимался пробежками. Помимо этого, общий риск смерти бегунов был на 30% ниже, а риск смерти от сердечно-сосудистых заболеваний или инсульта - на 45%. Среди участников, регулярно выходивших на пробежку в течение шести лет, риск смерти от сердечного приступа был ниже в два раза.
Но ведь люди - не подопытные кролики.
Выбрали 55 тыс человек, четверть из которых - регулярно бегает.
Обнаружена корреляционная связь.

Но никак не очевидно, что эта "четверть" - имела в начале исследования то же самое (в среднем) состояние здоровья и наследственность, что и остальная часть. Возможно, что попутаны причина и следствие. Они "не бегали" потому что ИМЕЛИ проблемы с сердцем, легкими, весом. А не ПОЛУЧИЛИ эти проблемы, потому что не бегали.

А интересно, как засчитывали (за 15 лет) людей, которые бегали, потом перестали и наоборот ?
Отдельный вопрос - ПОЧЕМУ перестали бегать ?

И не понимаю, как можно вычислить, что "бегуны", жили в среднем на три года дольше, чем те, кто не занимался пробежками. , когда умерло 3 тыс из 55 за 15 лет.
То есть смертность = 3,6 чел/год на 1000, что совершенно не соответствует реальной демографии. Реальная смертность раза в 2 выше. Это означает, что старший возраст в выборке просто не представлен.

[shvarz.livejournal.com]

Мне кажется вы не понимаете смысла этого поста. Его цель не в том, чтобы научить профессионально разбираться в любом научном исследовании (это невозможно), а в том, чтобы суметь лучше понять в чем именно заключается новость и оценить качество подачи научного материала журналистом.

В данном случае, новость передана очень даже неплохо и описание вполне соответствует написанному в статье. Единственно, что я бы покритиковал это собственно заголовок, который преувеличивает выводы статьи, и отсутствие критического обсуждения результатов этой статьи в свете результатов схожих исследований в прошлом.

Вопросы, которые вы задаете, неплохие, но очень очевидные - я уверен, что люди профессионально занимающиеся подобными исследованиями о них думают постоянно и скорее всего учли их при дизайне эксперимента. Для того чтобы на них ответить, надо взять статью и внимательно разобраться со всем, что там было сделано. При этом не будучи экспертом в данной области, ни вы ни я скорее всего не сможете действительно критично оценить насколько хорошо была сделана работа и насколько хорошо выводы соответствуют результатам. Мы можем найти "слабые" моменты в статье, но тут надо быть очень осторожным и не переоценивать свои способности. Оптимально, с этими "слабыми" моментами надо придти к эксперту и попросить объяснить.

[boris ru (from livejournal.com)]

Пункт 8 не очень конкретный. Ведь любое наблюдаемое явление, если задавать достаточно долго вопрос "почему?" приводит к необъяснимому, еще не исследованному белому пятну науки. Просто в некоторых случаях не надо долго копать, чтобы обнаружить такую непонятку (как в случае с гомеопатией), а в других случаях придется многократно задавать "почему?", пока не уткнемся в вопросы типа "из чего состоят кварки?" "откуда взялся большой взрыв?" "куда уходит материя поглощаемая черной дырой?" и т.п. :-))) В принципе вся наука базаруется на догмах (аксиомах) - эдакая разновидность религии :-).

Пункт 9 полностью согласен. Если где-то в статье вижу "100%" - доверие сразу падает :-Ъ

Еще хочу добавить: что в научно-популярных статьях, часто вызывают сомнения не сами результаты исследования, а выводы, которые из него делаются. Порою все с ног на голову переворачивают.

[flocken.livejournal.com]

Рискну добавить еще один пункт и попрошу автора сделать QS :)

10. Метаисследование обычно дает более взвешенный и точный результат, чем отдельные исследования. Причина в том, что метаииследование - это изучение более широкого контекста по данному вопросу, в том числе и других исследований по нему. Это дает своего рода усреднение всех результатов, полученный в отдельных исследованиях, если их дизайны и результаты позволяют свести их к общим метрикам. Если в отдельном исследовании может быть неточность, плохой дизайн или неудачно выбранный метод, то в метаисследовании такие отклонения отчасти компенсируются, влияние на конечный вывод снижается, а достоверность выводов растет. Конечно, можно криво провести и метаисследование при желании или намерении, но в среднем они целостнее и точнее.