Научный подход: Данные и Методы

[shvarz]

Читаю сейчас один отчет, который заставил меня вспомнить о дискуссиях по поводу разразившегося несколько месяцев назад климат-гейта, и задуматься о том, как именно хранятся научные данные, насколько открыт к ним доступ для широкой публики, и насколько широко распространяются обязательства ученых по предоставлению информации, необходимой для воспроизведения их экспериментов. В теории, конечно, ответ довольно прост: при публикации ученый обязан подробно описать все методы, необходимые для воспроизведения его работы, а после публикации, обязан предоставить реактивы и-или необработанные данные всем желающим. На практике, на самом деле, все бывает намного сложнее и запутаннее.

Многие наборы данных невоспроизводимы. Эпидемия вируса, взрыв сверхновой, влияние появления интернета на потребление информации - исторические события могут быть описаны неким набором данных, который воспроизвести просто невозможно. Некоторые данные воспроизвести невозможно по этическим причинам: сравнение продолжительности жизни в группах ВИЧ-положительных людей принимающих и не принимающих антивирусные лекарства было возможно лишь в самых ранних испытаниях, когда эффективность лекарств была неизвестна; сейчас контрольная группа всегда получает стандартное лечение. Наконец, некоторые наборы данных воспроизводить просто нерационально: для того, чтобы воспроизвести эксперименты на Большом Хадронном Коллайдере, нужно построить еще один Коллайдер.

Необработанные данные часто не существуют или не могут быть распространены. Возьмем тот же Коллайдер: он за секунду получает петабайт (миллион гигабайт) данных. Хранить столько данных невозможно даже при самых современных технологиях хранения информации. Поэтому данные на лету анализируются "на интересность" компьютером, из них 99.99999% тут же выбрасывается, а сохраняются из них лишь порядка 100 мегабайт. Схожие проблемы существуют в самых разных областях науки, где "необработанные" данные существуют лишь временно или даже вообще не существуют. В биологии, когда клетки красятся разными маркерами одновременно, то инструмент настраивается в каждом эксперименте так, чтобы компенсировать утечку сигнала от одного маркера в другой. Компенсация производится прибором на лету, необработанные данные не сохраняются, и по окончательным данным невозможно воспроизвести ни природу ни количество такой компенсации. В медицине, необработанные данные содержат в себе личную информацию о пациенте (его возраст, даты прихода в клинику, болезни родственников) и хотя они и существуют, но их нельзя выкладывать в общественный домен.

Порой сбор информации занимает годы и усилия целой группы людей, но эта информация потом может анализироваться самыми разными способами и вести к ряду публикаций. Ученые, собравшие некий большой и трудоемкий набор данных, обычно получают некоторый срок на то, чтобы полностью его проанализировать. Поэтому бывает и так, что при публикации научной статьи данные, по которым эта статья была сделана, остаются закрытыми. Если я не ошибаюсь, то данные с того же Коллайдера держатся внутри тех коллабораций, которые их получили (френды поправят, если это не так).

Теперь пара замечаний о методах:

Некоторые методы анализа построены так, что они невоспроизводимы в точности. Например, при построении филогенетических деревьев используется bootstrapping - процесс, при котором из общего набора данных случайно выбирается поднабор, который можно реалистично проанализировать и на его основе строится дерево. Это проделывается очень много раз и в конце концов результатом является дерево, которое появлялось наиболее часто. Поскольку такой анализ основан на случайных выборках, его результаты не будут в точности воспроизводимы в повторных анализах тех же самых данных.

Некоторые экспериментальные методы и методы анализа настолько сложны, что их невозможно (или нерационально с практической точки зрения) полностью описать в журнале или даже в сопроводительных материалах к статье. Даже более-менее простые методики зачастую содержат в себе знания или навыки, которые возможно получить лишь после многолетнего обучения или практики. Должно ли в обязанности ученого входить обучения и тренировка всех, кто желает повторить или даже просто полностью понять его методы и-или знания в некоторой области? Мне кажется, что - нет.

И напоследок об образцах: Многие научные работы делаются на образцах, которые очень трудно получить или воспроизвести, и которые имеются в очень ограниченном количестве. Например - образцы грунта с Луны. Или вот менее экзотический пример: образцы крови из недавно проведенного испытания в ВИЧ-вакцины в Тайланде - их совсем немного и на то, чтобы их получить, были потрачены годы работы и больше 100 миллионов баксов. Такие образцы не могут быть предоставлены в общий доступ и для всеобщего анализа, потому что они слишком ценны и необходимы для проведения тех исследований, для которы они и были собраны. В процессе этих исследований эти образцы будут использованы полностью и воспроизвести эксперименты будет невозможно.

Ну и совсем уж напоследок: Стандарты хранения данных и переноса их с устаревающих или разрушающихся носителей на новые очень сильно варьируют от одной области науки к другой. В большинстве биологических лабораторий, лабораторные журналы и реагенты хранятся пять лет. Иногда больше, иногда меньше, в зависимости от стоимости хранения, наличия места и целесообразности этого хранения. Одним из наиболее организованно хранящихся типов данных является последовательность ДНК. Например, база данных в Лос Аламосе хранит практически все известные последовательности геномов ВИЧ, будь они полными или частичными. Но в этой базе данных хранятся не необработанные данные (гели или файлы с секвенаторов), а уже конечные последовательности, то есть невозможно проверить их аккуратность и достоверность.


Интересно, что когда я приводил эти примеры в дискуссиях о климат-гейте, чтобы проиллюстрировать то, что идеальная картина организации науки далеко не всегда соответствует практике, то меня сразу же зачисляли в ряды таких же "ученых" (sic, в кавычках!) или воспринимали их как подтверждение того, что наука сейчас вообще неизвестно куда катится и состоит лишь сплошь из прохиндеев и жуликов.

Comments

[ssteplana.livejournal.com]

У климатологов вроде бы большая часть данных (наблюдения с метеостанций) открыта. NASA, NOAA доступны. ~20% это данные, которые страны, где были сделаны наблюдения, не хотят открывать. Т.е. данные передаются климатологам для расчетов, но остаются "частными".

[kit58.livejournal.com]

Good point. Я думаю, что все эти страсти к науке имеют весьма посредственное отношение. Из серии "знал бы за что - убил бы". То есть те кому "не нравится" история с потеплением придираются потому что могут придираться, а те кому она "нравится" не придираются потому что могут не придираться.

[achernitsky.livejournal.com]

В морской биологии в 19 веке статьи содержали длиннейшие списки видов, обнаруженных на каждой станции. В 20 веке приводили лишь усредненные данные, приходилось верить авторам. А сейчас, смотрю отчеты, все станции снова описываются по видам.

[a7-reader.livejournal.com]

>при публикации ученый обязан подробно описать все методы, необходимые
>для воспроизведения его работы, а после публикации, обязан предоставить
>реактивы и-или необработанные данные всем желающим. На практике, на
>самом деле, все бывает намного сложнее и запутаннее.

не то чтоб я против науки. это скорее размышление, чем вывод. но если есть такие нерешаемые на корню проблемы с воспроизводимостью и дстоверностью (которые я так понимаю будут в связи с нарастающим объемом информации только прогрессировать)- может ест смысл пересмотреть в общественном сознании доверие к достоверности научной парадигмы. а то сейчас повсеместно - ученые доказали, ученые прогнозируют... а что они так могут доказывать и прогнозировать - частные частности на основании произвольно отобранных из из произвольной селекции данных. типа если результат достигнут то все правильно было. а как результат такой проверять? кто знает каким боком этот "результат" потом вылезет? как можна на таких малых временных промежутках обпробации и таких данных гарантировать хоть что-то насчет результата?

[duchifat.livejournal.com]

а после публикации, обязан предоставить реактивы и-или необработанные данные всем желающим.

Признаться, это очень странное требование. Никакого обязательства хранить свои данные / черновики / реактивы всю жизнь IMHO никто не несет.

на Большом Хардонном Коллайдере

[demographer.livejournal.com]

есть и неопытные науки, до которых пассаж не очень применим
типа икономикса или демографии :)

[plakhov.livejournal.com]

Общее замечание. Вы опираетесь на презумпцию честности исследователя. Чудесно, когда можно так поступать.

Пара частных замечаний.
Некоторые методы анализа построены так, что они невоспроизводимы в точности. <...> Это проделывается очень много раз и в конце концов результатом является дерево, которое появлялось наиболее часто. Поскольку такой анализ основан на случайных выборках, его результаты не будут в точности воспроизводимы в повторных анализах тех же самых данных.
Я не биолог, занимаюсь скорее чем-то близким к machine learning'у, но по-моему как. Если рандомизированный метод не дает вообще никаких статистических гарантий - это не метод, а профанация. В частности, результат может быть "не воспроизводим в точности", но утверждение "этот результат мог быть получен этим методом на этих данных" должно оставаться проверяемым.

Должно ли в обязанности ученого входить обучения и тренировка всех, кто желает повторить или даже просто полностью понять его методы и-или знания в некоторой области?
Мне кажется, что да. Кажется, что в этом и состоит отличие науки от R&D на производстве. Понятно, что речь не о каких-то крайностях - не нужно пытаться учить дураков или троллей, не нужно посвящать этому 24 часа в сутки в ущерб всему остальному, и тд и тп. Но "в принципе", при разумных ограничениях - да, должно.

невоспроизводимость и случайные числа

[misha-b.livejournal.com]

Насчет bootstrapping и других методов, основанных на случайных выборках Ваше утверждение не совсем верно. Как правило, для выборок используются генераторы (псевдо)случайных чисел и результат полностью воспроизводим, если известно начальное значение (seed) заданное генератору.

В некоторых статьях это значение указывается.

[riverock.livejournal.com]

//Возьмем тот же Коллайдер: он за секунду получает петабайт (миллион гигабайт) данных. //Хранить столько данных невозможно даже при самых современных технологиях хранения //информации.

Откуда эти цифры? на сайте самого керна говорится что у ниг грид 15петабайт
http://public.web.cern.ch/public/en/lhc/Computing-en.html

в других источниках указывыается что в одну сек генерится 150мб инфы.
http://www.google.com/search?num=30&hl=en&rlz=1B3GGGL_ruRU331RU331&q=petabyte+cern&btnG=Search&aq=f&aqi=&aql=&oq=&gs_rfai=


сути поста это конечно не меняет. просто поразила цифра в 1петабай/сек

[vasja-iz-aa.livejournal.com]

Вы забыли упомянуть, что в подавляющем большинстве случаев повторять чужую работу просто никто не будет. У тех кто может -- у них своя работа есть, гораздо более им важная и интересная. А у тех кто не может, у тех все равно не получится, сколько данных в открытый доступ не выкладывай.

Так что ни чему, кроме лишних бессмысленых расходов исполнение этого требования не приведет.

[gleb-kudr.livejournal.com]

> Например, база данных в Лос Аламосе хранит практически все известные последовательности геномов ВИЧ, будь они полными или частичными. Но в этой базе данных хранятся не необработанные данные (гели или файлы с секвенаторов), а уже конечные последовательности, то есть невозможно проверить их аккуратность и достоверность.

Это что, они не библиотеку хранят, а просто набор текстовых файлов? А если библиотеку, то какая проблема отсеквенировать еще раз?