Об воспроизводимость

[shvarz]

В предыдущем посте (про грубого жулика, подделывавшего реагенты) вдруг опять всплыла тема невоспроизводимости результатов экспериментов в статьях. В связи с этим стоит отметить несколько довольно очевидных вещей, которые почему-то часто в этих дискуссиях теряются.

Во-первых, под невоспроизводимостью могут подразумеваться совершенно разные вещи, далеко не все из которых свидетельствуют о бесчестности или о халтурности или о непрофессионализме авторов статей.

Как правило, когда говорят о том, что результаты не воспроизводятся, в головах читающих возникает следующая картина: Одна научная группа делает эксперимент и получает результат А, а вторая научная группа в точности повторяет этот эксперимент и получает результат Z. Подобные ситуации конечно встречаются и объяснений им может быть несколько. Возможно первая группа накосячила, но также возможно, что накосячила вторая группа. В любом случае, это пожалуй единственный вариант, который говорит однозначно негативные вещи о какой-либо области. Но не стоит забывать и то, что повторить эксперимент "в точности" не так тривиально как кажется. Группы могут использовать разные реактивы, приборы, пробирки, и т.д. Даже монооксид дигидрогена в разных лабораториях может слегка отличаться, а уж разные биологические реагенты (вроде антител) часто имеют разные свойства. Группы могут также иметь разные методики для рутинных операций, которые обычно не оговариваются подробно в описании экспериментов, потому что считается, что очень маловероятно, что они будут иметь значение. Но иногда они имеют значение. Эффекты подобных отличий невозможно предугадать, на них можно только случайно наткнуться.

Однако в современной биологии "точное воспроизведение" встречается очень редко. Причиной тому - огромный ландшафт техник, реагентов и моделей, каждая из которых имеет свои преимущества и недостатки. Разные группы выбирают разные модели и техники для изучения. Кто-то предпочитает модели в которых больше возможностей для контроля экспериментальных условий, а кто-то предпочитает более естественные модели, а кто-то еще может работает на старой модели в которой он просто все очень хорошо знает и имеет все необходимые реагенты. Поэтому одна группа может, например, показать что белок А связывается с белком Z используя immunoprecipitation, а другая группа будет "проверять" этот результат используя yeast two hybrid. И вполне может получить иной результат.

Наконец, бывает что одна группа делает эксперименты A, B, C, D, E и на основании полученных результатов делает глобальный вывод Z. Другая группа может подойти к выводу Z с совершенно иного угла и не делать ничего даже отдаленно похожего на эксперименты A, B, C, D, E, а сделать эксперименты F, G, H, I, J и на их основании сделать вывод, что Z не верно. Это тоже "невоспроизводимость".

Между описанными выше тремя категориями невоспроизводимости нет четких границ, это плавный градиент.

Во-вторых, воспроизведение результата - это не обязательно "да или нет". Если речь идет о числовом выражении результата, то следует применять корректные статистические методы для того, чтобы уверенно сказать, что один результат значительно и достоверно отличается от другого результата. Некоторые результаты являются качественными и там тоже важно заранее оговаривать критерии по которым будет определяться (не)воспроиозведение. Иногда результатом является набор нескольких связанных между собой наблюдений и тогда надо оговаривать, как считать воспроизводимость, если некоторые из наблюдений воспроизводятся, а другие нет.

В-третьих, важны критерии выборки результатов, которые тестируются на воспроизводимость. Если для тестирования брались случайные статьи из журнала X, опубликованные в 2012 году, то выводы справедливы для случайных статей из журнала X, опубликованных в 2012 году, но не для журнала Y и, тем более, не для всех опубликованных статей.

Суммируя, к тестированию результатов на воспроизводимость следует подходить как к любому другому эксперименту: Формулирование гипотезы, экспериментальный дизайн, статистика, корректная интерпретация. Почему-то иногда получается так, что люди, обычно подходящие очень критически к любому знанию, вдруг теряют способность критически мыслить если речь заходит о воспроизводимости научных результатов, и довольствуются аналогом "одна бабка сказала" или "в интернете написано что" или "британские учоные доказали".

И напоследок. Воспроизводимость результатов - основополагающий принцип в науке, критически важный для ее прогресса. Однако невоспроизводимость - тоже важна, потому что она указывает на новые явления или на неполноту нашего понимания известных явлений. Азимову приписывают высказывание (хотя точной цитаты нет), что самой волнующей фразой в науке является не "Эврика!", а "Хм, это очень странно". Воспроизводимость и невоспроизводимось - это инь и ян научного процесса, обе важны. Если бы все эксперименты всегда в точности воспроизводились, то мы никогда не узнали бы ничего нового. Чем смелее, чем интереснее прыжок в новое и неизвестное, тем больше вероятность того, что какой-то момент оказался неучтенным или интерпретированным неправильно. Полностью и всегда воспроизводимые эксперименты говорят лишь о том, что все действительно так, как мы и подозревали. А разве это интересно?

Comments

[grihanm.livejournal.com]

Большое спасибо за этот пост. Дополню ссылкой свой старый http://grihanm.livejournal.com/385173.html

[seadevil001.livejournal.com]

Если эксперимент не воспроизводится, это значит:
1. Он не описан правильно.
2. Он не поставлен правильно.

Нового, из таких экспериментов, не узнать. Вот когда нечто необычное (очень странное) воспроизводится 8 раз из 10, а не 1 из 3, вот тогда узнается новое.

[glukanat.livejournal.com]

+

[overscience-mes.livejournal.com]

нет, по всем пунктам, да - для простых систем, но кому они нужны...

[seadevil001.livejournal.com]

А давайте предметно - какие методы трудновоспроизводимы, а какие - нет?

[true-stranger.livejournal.com]

В общем да. Я считаю, что в 99% современных молекулярно-биологических статей проблема именно с вашим пунктом 1. Часто есдинственный способ воспроизвести - послать человека поработать в лаборатории где сделана статья или наоборот пригласить автора поработать у себя и понять - в чем разница. На все случаи, конечно, денег не хватит, но если действительно надо, то мы именно так и делаем.

К сожалению несоблюдение пункта 1 не воспринимается как какой то криминал, и, часто даже стимулируется ограничениями журнала. Я вот только не понимаю, почему не согласиться на едином, по возможности жестком формате описания эксперимента и хранить это в общей базе данных типа NCBI-ных. При этом все равно остается некий зазор на "не понятое" то есть факторы, значение которых еще не понято и не зафиксировано в требованиях, именно это я и имел в виду, когда говорил о "сложности систем".

Если что, то по образованию я и генетик и мат-биолог и сечас моя основная работа это анализ данных. Эксперименты уже давно не делаю, но давно убедился, что пока не вытрясешь из экспериментатора все детали эксперимента (а сам он ни за что не признается), то качественный анализ данных не возможен. И да, модные нонче всякие там биоинформатические центры с централизованной обработкой данных как правило не эффективны, именно потому, что не понимают, что же было сделано на самом деле. Исключение либо кастом проэкты в некоторых центрах, когда плотно сотрудничают с экспериментаторами и, по сути, нарушают идею централизованной обработки данных, либо индустриальный проэкты, где гонять большое число образцов по одному жестко соблюдаемому протоколу. Второй случай к академии не относится.

Ваш пункт 2 тоже имеет место, но с моей точки зрения значительно реже, процентов так в 30 случаев, больше чем хотелось бы, но увы...

[seadevil001.livejournal.com]

Поработать/пригласить - это делается регулярно в индустрии, когда есть интересные результаты. Весьма часто, выходит ноль, что намекает что изначально что-то было не так. Проблема всегда была такая, в 90х была тема с бесклеточным синтезом белка - тогда из некоего института, возили не только спецов, но и воду дистиллированную, чтоб воспроизвести - но не вышло. Просто сейчас все дошло до полного апофигея.
Да, толковый репозиторий протоколов и экспериментов был бы в жилу. Есть отработанная система tech transfer вполне получается в ней все описать.

толковый репозиторий

[vasja-iz-aa.livejournal.com]

для большинства приложений нереально, технологиии развиваются быстрее, чем усилия по стандартатизации ихнего описания смогут начать приносить пользу

Re: толковый репозиторий

[seadevil001.livejournal.com]

Это кстати аргумент за - надо точно понимать как работали технологии прошлого. Есть тут те, кто использовал FPLC первый и System Gold бекмановский, HPLC имею в виду? Или спаси Г-дь, массспек на бомбардировке атомной?

Re: толковый репозиторий

[vasja-iz-aa.livejournal.com]

на мой взгляд случаи, когда действительно надо бывает копаться в первичных результатах старинных технологий крайне редки
ну, вот допустим я клетки сортировал на аналоговом ФАКСе и экспрессии генов смотрел на предметных стеклышках печатанных эрреях. ну и что мне с того? во-первых все те первичные данные окаменелое гавно, во-вторых я наверняка не помню многих тогда важных технических деталей

[aridmoors.livejournal.com]

/////я и генетик и мат-биолог и сечас моя основная работа это анализ данных

Тихо завидую.

[Илья Цыгвинцев (from livejournal.com)]

С пунктом 1 проблемы даже в экспериментальных физических статьях бывают, хотя, казалось бы... Недавно захотели смоделировать один эксперимент — пришлось автору на мыло писать. Чтобы он лично объяснил, что конкретно они понимают под диаметром пучка и средней плотностью мощности в лазерном импульсе. А уж разброс параметров от импульса к импульсу в половине статей не указывают...

Обратная сторона: писали статью в журнал с описанием методики и результатами моделирования — попросили описание постановки задачи сократить — кому надо по ссылке найдут.

[true-stranger.livejournal.com]

Не отредактировал вовремя, а теперь самому читать стыдно.
Прошу прощения за опечатки и, не знаю как правильно назвать, потерю согласования слов в результате редактирования. (Недоредактирование? Недоправки?)

[alll]

А с воспроизводимостью нет ли ещё проблемы, что мало кто эту самую воспроизводимость берётся проверять специально? Ну то-есть навряд ли можно сейчас опубликовать статью вида "мы попытались воспроизвести уже опубликованные результаты и таки да" и маловероятно, что такими статьями можно снискать известность/финансирование.

[shultz-flory.livejournal.com]

Если речь идет о чем-то действительно важном, вроде скорости света, то запросто. Но для большинства статей это не так.

[hoegni.livejournal.com]

Как правило, новое исследование отталкивается от чего-то уже известного. Например, вызывает ли агент A эффект B. Но для начала, вам нужно убедиться, что этот агент вообще работает в вашей экспериментальной системе. Тогда вы говорите: а вот дядя X уже показал, что этот агент вызывает эффект C. Используем его как положительный контроль, то есть воспроизведем этот результат, а потом, зная, что агент работает, уже займемся своим эффектом B.

А вот с этого места возможны варианты.

[yelya.livejournal.com]

+100

[vasja-iz-aa.livejournal.com]

с воспроизводимостью вообще никаких проблем нет, есть проблемы с ответственностью фальсификаторов

[ahmash.livejournal.com]

Поработав с антителами для вестерна или иммуно-покраски, пришел к однозначному выводу, что это очень часто либо шаманство, либо подтасовка либо артефакты. И не всегда ученые виноваты.
Например антитела против cGMP. Казалось бы, чего уж проще.
Хер там.
Abcam-овское не сработало вообще. Потратил кучу времени.
LSBio потребовало танцев с бубнами в виде фосфодиэстераз блокера. Тоже провозился )-:
Через год заказали ещё раз - заработало без проблем вообще. Другой лот.
Ну и какая там воспроизводимость?

[seadevil001.livejournal.com]

Это Вы еще Санта Круз не пробовали, те очень воспроизводимы - не работают всегда и все.

[ahmash.livejournal.com]

С SC работал редко.
Иногда они таки работают. У меня пару раз так было.
НО
На следующий день после окончания срока годности можно и не пытаться использовать (-:

[seadevil001.livejournal.com]

Первый случай, за всю практику, чтобы они работали, включая всех коллег. Уникально.

[ahmash.livejournal.com]

А может они в Израиль более качественные лоты шлют?

[aridmoors.livejournal.com]

Кстати вот я за всю свою жизнь видела тока одно рабочее СантаКруз-антитело - SOX10. Про него даже статья специяльно есть, что именно sox10, и именно сантакруз, и только сантакруз, и только sox10, работает. А все остальные сантакрузовские не работали. На моем опыте.
Вот как такие различия получаются - это я не знаю. (Другие sox10 от других кампаний цепляют сигналы sox9 или другие и им нельзя доверять, почему-то вот только этот вот так) Шаманство, натурально.

[seadevil001.livejournal.com]

Во как. Это надо запомнить. И записать.

[true-stranger.livejournal.com]

Вопрос с антителами защищен тем, что вы можете определить когда они работают, а когда нет. И если уверены, что работают, то можно вполне законно продвигаться дальше и должно быть воспроизведение того, что после IP. А воспроизведение самого IP, это да, известная головная боль.

[ahmash.livejournal.com]

Просто шаманство.
Без контроля.

[seadevil001.livejournal.com]

Я, в IP не верю вообще, как метод для ширнармасс.

[aridmoors.livejournal.com]

Да? Ну скажите мне, как определить, когда работают антитела Lgr5? Как определить, что вот у меня сигнал, и это не фигня, а реальный сигнал? Чувак, который плотно работал с Lgr5, лично сказал, что антителам доверять нельзя. А у меня, допустим, есть несколько клеточных линий, на которых в одних случаях сигнал есть, а в других нет. Как проверить?

[true-stranger.livejournal.com]

Я бы и рад помочь, но не думаю, что смогу сказать что-то вам не известное, тем более, что я сам уже забыл когда пипетку в руки брал.

В работах где я работал с данными, народ сперва мучался белок для контроля нарабатывал и чистил, потом перебирал киты и антитела разных компаний пока не выбрал сочетание с минимальным не-специфическим присоединением (хотя некоторый шум остался), потом еще дополнительные контроли изобретали уже специфичные для данного белка. Помню еще, что были проблемы с вариантами обработки самих бидс (кипятить оказалось плохо) и что то там с реактивами.

А вообще многое от биологии конкретного белка зависит, может быть, что на него хорошего антитела просто нет и всегда будет кроме сигнала еще черти чего налипать. А белок у вас "интересный", LRR домены ведь, насколько я помню, для взаимодействий и захвата-удержания других белков служат, а у него их аж до 17-ти, возможно он к чему-то хорошо прицеплен и вы осаждаете не только его, но и разнообразнейший набор прилипал обеспечивающих вам разннобразнейшие полосы на геле вместо одной желанной. Да и паралогов хватает. В общем простой жизни я бы не ждал, вот интересной - очень может быть. Удачи!

[vasja-iz-aa.livejournal.com]

есть еще одна ситуация, довольно распостраненная. пусть группа делает эксперименты A, B, C, D, E и на основании полученных результатов делает глобальный вывод Z. а другой группе Z не интересен, потому что они работают над темой У, их заинтересовали только некоторые побочные ребультаты эксперимента В, которые в У-теме очень важны. тогда они делают В,О,Р(в той форма, которая нужна им) и говорят что В из публикации не подтвердился. тут то и возникает нетривиальная проблема про считать ли Z неподтвердившимся тоже

[aridmoors.livejournal.com]

Спасибо за пост.

Биология - это шаманство.

Хотя PCR можно настроить так, чтобы всегда получалось. Хотя и есть люди, которые говорят что якобы PCR это шаманство.

Все дело в чистоте сэмпла! Что есть истина почти для всего - от биохимии до атомного микроскопа.