Опять об невоспроизводимость

[shvarz]

Слухи о том, что результаты био-медицинских исследований плохо воспроизводятся, докатились и до главы NIH Френсиса Коллинза. Вот тут он пишет о том, как они эту проблему будут решать.

Конкретных идей пока всего две:
1. Будем учить студентов и постдоков правильно ставить эксперименты и правильно их анализировать. Выложим обучающие материалы в интернет.
2. Сделаем список важных вещей, о которых должны будут помнить рецензенты грантов: контрольная группа, рандомизация, статистический анализ, и т.д.

И еще несколько не очень конкретных:
3. Создадим систему цитирования данных (как альтернативу цитирования статей).
4. Сделаем (уже сделали) форум для обсуждения уже опубликованных статей.
5. В CV будем просить не просто указывать опубликованные статьи, а писать пояснения о том, какой вклад сделал человек в каждую статью.
6. Попробуем сделать так, чтобы рецензенты не знали кто написал рецензируемый грант.
7. Попробуем сделать финансирование проектов более стабильным и долгосрочным.

Еще есть идеи о том, что другие должны делать для того, чтобы исправить ситуацию:
8. Журналы должны публиковать исследования с отрицательными результатами, не ограничивать размер секции с Материалами и Методами, опять же создать "список важных вещей", помогать авторам выкладывать сырые данные.
9. Университеты при решении о теньюр должны меньше внимания уделять импакт-фактору журналов, в которых были опубликованы статьи.

Хорошие новости тут в том, что в целом идеи неплохие и даже полезные. "Плохие" новости в том, что на невоспроизводимости результатов они скорее всего никак не скажутся. Кавычки я тут поставил потому, что не считаю невоспроизводимость такой уж серьезной проблемой, и поэтому не вижу ничего страшного в том, что эти меры не сработают. Мы уже много раз это обсуждали, так что повторюсь вкратце: На 25% эта проблема высосана из пальца и раздута. На 25% это неизбежный побочный эффект огромных размеров этой области исследований. И на 50% - это нормальная ситуация если люди действительно изучают что-то новое и неизвестное.

Comments

[grihanm.livejournal.com]

Поддерживаю по поводу "проблематичности" невоспроизводимости
http://grihanm.livejournal.com/385173.html

[shvarz.livejournal.com]

Мне кажется, что никто не говорит, что это все злой умысели и подтасовки. Коллинс в своей статье это подчеркивает. Речь о том, что publication bias, poor statistics, poor experimental design. Ну и мощные стимулы увидеть то, чего хочется.

[grihanm.livejournal.com]

У меня в коментах говорят :)

[fregimus.livejournal.com]

С отрицательными результатами и правда беда. У всех все всегда получается, все гипотезы подтверждаются на все сто, аж завидно.

Материалы и методы сейчас все равно все в онлайне, какой смысл их ограничивать.

И еще бы «сырые» данные были общедоступны, ко всему прочему. Понятно, что в иных случаях дать к ним доступ непросто, когда их много, но как-то надо к этому двигаться.

[shvarz.livejournal.com]

Главное правильно рассказать.

[tannenbaum.livejournal.com]

Главная беда с перекосом при метаанализе опубликованного, каковой метаанализ, на минуточку, считается самым надежным эвиденсом, на основании которого и надо принимать решения, то есть вполне конкретные решения в каждом точечном случае. Сырых данных действительно хочется.

[aosypov.livejournal.com]

Даешь генбанк в каждый дом!

[seadevil001.livejournal.com]

И рыбку съесть и на елку влезть. Или как поменять что-то, ничего не меняя.

[shvarz.livejournal.com]

В какой-то мере это даже хорошо. На NIH слишком много всего завязано, чтобы его резко дергать в новые стороны.

[seadevil001.livejournal.com]

Боюсь, дернут другие.

[misha-makferson.livejournal.com]

>7. Попробуем сделать финансирование проектов более стабильным и долгосрочным.
Хе, что-то мне это напоминает :-) Что, "короткие" гранты оказалось не так здорово как казалось?

[shvarz.livejournal.com]

Я уже забыл, а когда было движение в пользу коротких грантов?

[misha-makferson.livejournal.com]

Ну не движение конечно, а как бы это сказать мода наверное.

[vdinets.livejournal.com]

Не увидел в списке предложения прикрыть к чертовой матери Nature и Science. А жаль.

[shvarz.livejournal.com]

Это не так уж важно, не будет их - появятся новые high-impact журналы. В PLoS вон уже фиг пробьешься. Такими темпами они лет через 15-20 догонят и Nature и Science.

[vdinets.livejournal.com]

Он все-таки менее культовый: название неудачное и обложки нет :-)

[anatoly-v02.livejournal.com]

Читал книжку Bad science, автор подробно описывает проблему с опытными исследованиями в медицине.

Одна из причин, по его мнению, - изменение целей и задач исследования уже во время его проведения, или даже после. то есть хотели подтвердить одно, не вышло, но изменили само утверждение так, что оно подтвердилось.

Он предложил вести реестр всех опытов, куда цель будет вноситься в начале.

[shvarz.livejournal.com]

Это в смысле клинические испытания? Они сейчас всегда заранее указывают, что именно собираются измерять.

[anatoly-v02.livejournal.com]

О, круто.
Значит просто книжка устарела.

[shvarz.livejournal.com]

Вроде довольно новая, 2010 года. А подобные правила на клинические испытания уже давно, лет 20 минимум. Может там какой нюанс.

[anatoly-v02.livejournal.com]

Нюансов, к сожалению, не помню.
Он там в комплексе раскладывает - нераскрытие отрицательных результатов, и изменением задач во время опыта.
Не говоря про откровенные махинации типа заведомо неслучайного подбора испытуемых и контрольной группы.

[tannenbaum.livejournal.com]

Книга неплохая, стоит прочтения. Нюансов много, но коротко говоря - правила в целом хорошие, просто не исполняются.

[geterogen.livejournal.com]

Не уверен как в медицинк, но моей отрасли невоспроизводимость чаще всего связана с неучтёнными факторами, которые изменяются от эксперимента к эксперименту и от исследователя к исследователю.

[shvarz.livejournal.com]

Да, именно это я имею в виду под "нормальная ситуация если люди действительно изучают что-то новое и неизвестное."

[sliger.livejournal.com]

Не знаю как в других лабах, в том месте, где я поработал, проблема воспроизводимости возникает от того, что результаты весьма выборочно показываются начальнику. Отчет включает только то, что вписывается в его, начальника, картину мира, иначе аспирант или постдок рискует впасть в немилость, на него вешаются ярлыки -безрукость и бездарность и не важно, что ‘прилежный‘ китаец или итальянец сделает `как надо` и потом следующий ‘счастливчик‘ должен будет воспроизвести невоспроизводимое. Проблема не только в молодежи, но часто в начальстве мир которого должен быть чернобелый, иногда серый, а если радуга, то молодой ученый идиот. И таких лаб в европе, увы, не мало. И ради карьеры часто молодежь делает выбор не в пользу чистоты результатов поскольку дальнейшая карьера очень часто зависит от того какую рекомендацию выдаст босс.

[shvarz.livejournal.com]

Это верно. Но эта проблема была наверно всегда. Утверждается, что недавние изменения привели к тому, что подавляющее большинство исследований невоспроизводимо.

[sliger.livejournal.com]

Я бы сказал, что принцип - "публикуйся, а то протухнешь " послужил этим чудовищным катализатором и своего рода фактором положительного отбора иследовательских групп с заниженными критериями качества результатов. И да, опора на авторитет тоже весьма серьезный фактор для роста информационного. шума.

[fregimus.livejournal.com]

Кстати, да, важное замечание. Хиггс об этом говорил недавно: http://www.theguardian.com/science/2013/dec/06/peter-higgs-boson-academic-system . Оказывается, у него очень мало статей, таких сейчас уже не терпят.

[geterogen.livejournal.com]

Я бы добавил ещё один негативный момент, из этого следующий - крайне огромное количество публикаций, из которыз трудно вычленить какой-то интересный результат, а стоящие работы теряются в этом шуме.

[sliger.livejournal.com]

Ну, это просто очевидно. Я заметил, что времени на перелопачивание литературы в поисках стоящего стало уходить раза в 2 больше. Для компенсации все время подмывает взять ориентир на публикации только "проверенных" товарищей, что с моей точки зрения не объективно и предвзято, хотя фильтровать эти горы поднадоело.

[vasja-iz-aa.livejournal.com]

прилежный итальянец -- это очень хорошо. это пять

[hoegni.livejournal.com]

Попробуем сделать так, чтобы рецензенты не знали кто написал рецензируемый грант.
Занятная идея. Пока что в заявку (Ну, по крайней мере, в Германское Научное Общество, DFG) включается список опубликованных работ. И если честно, вероятность получения гранта процентов на 70 от него и зависит. То есть предлагается очень радикальное изменение системы оценки заявок.

Да вот только на деле это, по-моему, нереализуемо. Круг революционеров узок, и догадаться, кто мог написать данную заявку, обычно не представляет большого труда.

[shvarz.livejournal.com]

Да, особенно учитывая что часто грант подается на продолжение предыдущей работы. Это не решит проблему полностью, но в некоторых случаях наверно догадаться будет не так ж просто. Я не уверен, что это плюс. Авторитет и экспертиза исследователей очень важны в определении того, насколько вероятен успех работы. Часто бывает, что предлагаемый план кажется слишком амбициозным, но если знаешь, что люди в этой области эксперты и делают хорошие работы, то на это можно сделать поправку.

[hoegni.livejournal.com]

Во всяком случае, как это повлияет на воспроизводимость результатов, мне не ясно.

На самом деле, есть только два способа улучшить качество работ, о чем впрочем уже сказали: (1) смягчить ситуацию "Publish or perish" - хотя в виде побочного результата это приведет к тому, что некоторые профессоры, вроде нашего, вообще завяжут публиковать статьи из своей лаборатории и (2) публиковать отрицательные результаты. Но для последнего нужно отказаться от культа импакт-фактора, потому что сейчас публиковать такое неинтересно, ибо отрицательный результат цитироваться будет не так живо, ак положительный.

[sliger.livejournal.com]

В Швециях кроме официального списка публикаций еще и телефонное право работает. Недавно тут скандал разразился из-за того, что один професор уж очень открыто продвигал интересы друзей коллабораторов, за этого его лишили совсем жирного куска денег, но выгнать не смогли и все финансирование прикрыть тоже не удалось. Слухи ходят, что все коалиции профессоров просто стали аккуратнее в продавливании, но сам стиль раздачи грантов никуда не делся.

Интересно, а в Германии тоже существует план на количество публикаций в год в зависимости от занимаемой позиции (как это было и есть в России)?

[hoegni.livejournal.com]

Плана на число публикаций нет, но публикации для получения грантов желательны.

Лучше бы был. Когда у тебя шеф становится большим администратором и у него годами нет времени прочитывать рукописи своих сотрудников, а без этого публиковать он отказывается, то это достает.

[sliger.livejournal.com]

Сочувствую. Не думал, что такое еще возможно даже в Германии.

[affidavid.livejournal.com]

Слишком оптимистично написано. Проблема же не в том, что некоторые данные невоспроизводимы, а в том, что процент невоспроизводимых статей постоянно растет. Далеко не всегда это просто неряшливая работа, часто это просто сознательная туфта. И причины совершенно очевидные - избыточное давление и конкуренция в системе. Профессору нужны положительные результаты для получения тенюра и грантов, постдокам и студентам для получения позиции или хотя бы ее сохранения.

[shvarz.livejournal.com]

А он действительно постоянно растет? Я не видел этому серьезных подтверждений.

[affidavid.livejournal.com]

Никакой серьезной статитстики у меня нет, чистые анекдотические наблюдения. Никто ее и не ведет по понятным причинам - выявляется только малый процент туфтовых результатов. Но у меня опыт в основном в химии и биохимии, там гораздо труднее скрыть туфту. Если мне нужна какая-либо процедура я стараюсь брать из старых статей, а не из новых.

[shvarz.livejournal.com]

Мне кажется проблема раздута разного рода активистами, вроде Ионидиса, которые делают карьеру на подобных утверждениях.

[affidavid.livejournal.com]

Не думаю, поскольку достаточно часто встречаю в новых публикациях туфту. Этого нет в публицациях двадцатилетней давности. И проблема чрезвычайно острая, потому как пропадает доверие даже к совершенно нормальным статьям.

[vasja-iz-aa.livejournal.com]

я могу привести косвенное обоснование: в наше время надувается вроде бы никем не отрицаемый пузырь в высшем образовании, значит растет число странного качества университетов, в которых или уже работают сомнительной квалификации профессура или определенного склада характера молодежь на эти места стремится. какие публикациии обе категории производят думаю что вопросов не возникает. все больше и больше -- потому что пузырь

другое дело, являтся ли этот рост настоящей проблемой, и надо ли с ним бороться. на мой взгляд бороться не нужно: во-первых против рынка не попрешь, а во-вторых само лопнет

[vasja-iz-aa.livejournal.com]

a вообще то бороться с невоспроизводимыми, фальсифицироваными и прочими нехорошими публикациями не просто, а очень просто: надо публиковать результаты не в журналах, а на вебсайтах университетов. и ввести правило, запрещающее их убирать или редактировать способом иным, чем добавление. технически оно вполне исполнимо и легко поддерживаемо

научные люди, они талантливы и сообразительны и через какое то время найдут возможности и лазейки для обмана системы. но сперва полегчает. к тому же, у такого подхода есть масса других достоинств и преимуществ. мы уже обсуждали раньше

[lizasdad.livejournal.com]

Знаете ли вы, сколько биотех- и фарама- стартапов было открыто под невоспроизводимые результаты? Особенно лет 15 назад, когда этот пузырь надували изо всех сил...
Заявляю ответственно, больше чем под воспроизводимые результаты. Я уже 10 лет сижу во всяких советах по этому делу и знаю тему хорошо.
Есть невоспроизводимость разной природы, её причины хорошо описаны и тут и у Грихана.
Она глобально действительно не так уж страшна, поскольку время все ставит на свои места. В основном потому, что бюрократия не даст сделать фуфлыжное лекарство (Арбидол и Церебролизин не в счет, их продают за пределами цивилизованного пространства).
Но вот представьте, вы пришли работать из неплохой фирмы в старт-ап на охеренную должность, работаете с интересом и энтузиазмом год. И тут начинаете понимать, что основополагающие эксперименты, т.е. платформа на которой вся технология стоит - наебалово. Деньги в компании есть ещё на пару лет, но шансов никаких...
У меня такое было, и я многому тогда научился. С тех пор считаюсь ценным специалистом по "ловле блох" на due diligence.

[shvarz.livejournal.com]

Это несколько иной вопрос. Это чрезмерно-оптимистичный настрой относительно того, насколько хорошо мы можем транслировать фундаментальные открытия в клинику. Основная же посылка в статье Коллинза в том, что именно в последнее время с воспроизводимостью стало очень плохо и что это угрожает научному процессу. Интересно, что цитируют они при этом статью в Экономисте, а также статью в которой не было сделано сравнительного анализа современной ситуации и того, как было в прошлом. Прежде чем бить в набат и крутить руль, надо бы сначала получить хоть какие-то данные о том, что проблема действительно существует.

[lizasdad.livejournal.com]

Я оптимист только в том, что у плохого или опасного лекарства плохие шансы попасть в клинику.
Но с точки зрения шансов новаторской академической работы стать лекарством я очень даже пессимист.
Правда, фундаментальные исследования я вижу только уже в состоянии стартапа или преклиники, т.е. 95% проходит мимо меня.
Я не могу сказать, что фуфла сейчас гораздо больше чем раньше. Фирмы многому научились и базовые концептуальные эксперименты теперь проверяют всегда и своими руками. Может быть это одна из причин того, что академия так всполошилась ))).
Невоспроизводимость базовых экспериментов сейчас далеко не главная причина, по которой падают проекты.

Проблемы, о которых я пишу не совсем похожи на проблемы NIH. Там в основном не разработка лекарств, а биомедицинские исследования, причём не коммерческие, но иногда необычайно важные для здравоохранения.
И вот там-то помимо мягких мер с изменением критериев и обучением, надо ещё и зажать гайки и жестоко наказывать. Причём, по моему убеждению, не только за манипуляции, но и за глупость, невнимательность, и низкий профессионализм.
Не умеешь пользоваться статистикой - иди, работай в заводской лаборатории. Там в методике все формулы заранее написаны, только цифры подставляй...

[uborshizzza.livejournal.com]

"Арбидол и Церебролизин не в счет, их продают за пределами цивилизованного пространства"
А гомеопатию где продают? Только у нецивилизованных?

С арбидолом тоже все не так однозначно. С ним все было очень забавно - его неправильно позиционировали, как
а) Иммуностимулятор
б) Специфическое лекарственное средство при гриппе
Ну и резкую отрицательную реакцию вызывало то, что Голикова его жестко продавливала.
В результате на конференциях по инфекционных болезнях в секции по доказательной медицине при слове "арбидол" все начинали ржать, как кони, а за стенкой клиницисты спокойно докладывали на тему о том, какой именно эффект дает арбидол в клинике. А всякие там фармакологи вообще с самого начала не веселились, так как знали, что в пробирке эффект таки есть.

Арбидол - лекарство очень слабенькое, противовирусное (не только против вирусов гриппа), но зато безвредное.
Все лучше оциллококцинума.
Про церебролизин высказываться не буду - не моя тема