Новый peer-review

[shvarz]

Я, похоже, ни разу в своем журнале не писал о вакцине, разработанной by Louis Picker из Орегона. Это я промахнулся, потому что вакцина очень интересная. Тестировали ее на макаках и получили очень странные результаты. Примерно в половине вакцинированных макак инфекция протекает совершенно неотличимо от контролей, а в другой половине иммунная система полностью подавляет вирус, а со временем и полностью избавляется от него. Удивительные совершенно результаты и иммунология там удивительная и как они ее сделали тоже очень интересная история. Обязательно про нее напишу в ближайшее время.

А сегодня у нас пост не про саму вакцину, а про связанную с ней историю. Луис впервые рассказал о своей вакцине примерно 5 лет назад, и с самого начала у многих людей его результаты вызвали скептицизм. Уж очень все необычно. И хотя последние пять лет он неоднократно подтверждал их и даже добился некоторого прогресса в понимании того, как эта вакцина работает, скептики все равно в коридорах перешептывались. А в январе этого года кто-то выложил на сайт PeerPub вот такую рецензию на одну из его статей. Рецензия на 2.5 тысячи слов, подробно разбирает его работу, задает ряд вопросов, и приходит к выводу (в общих чертах), что эти результаты можно объяснить артефактом постановки эксперимента и тестирования на инфекцию. Макаки которые якобы контролируют вирусную инфекцию, на самом деле не были инфицированы вообще. Ну и если сделать соответствующие поправки, то вся статистика летит к чертям и результаты получаются недостоверными.

Рецензия анонимная, но написана явно профессионалом. Часть их аргументов, на мой взгляд, не очень сходится с тем что показано в статье и что потом Луис показывал в других статьях и на конференциях, но часть вполне логичны и ставят под сомнения результаты. Рецензия эта довольно бурно обсуждалась в коридорах, дошла информация и до Луиса. Он сначала ее игнорировал, но разговоры не прекращались. В результате кончилось тем, что ему пришлось писать письмо одному из больших пупов в NIH, объясняя где рецензент не прав. Я это письмо прочитал (его раздавали всем кто пришел на одно из открытых для публики заседаний в NIH), и на мой взгляд он на все вопросы хорошо ответил и все сомнения снял. Дело закрыто.

Что вы (особенно научные френды) думаете по этому поводу?

Большая часть претензий рецензента (или -ов) могла бы быть снята парой вполне невинных вопросов Луису, заданных во время конференций или лично по емейлу. С другой стороны, мне кажется хорошо, что существует площадка для того, чтобы задавать потенциально неудобные вопросы. Конечно, есть потенциал использования подобной площадки для нехороших целей. Можно ли надеяться, что народ в целом разберется в том, когда рецензия задает хорошие вопросы, а когда это просто кидание грязью?

P.S: Отличная реклама для PeerPub, кстати. Я никогда об этом сайте не слышал, а сейчас вот вряд ли забуду.

Comments

[slavka.livejournal.com]

<< хорошо, что существует площадка для того, чтобы задавать потенциально неудобные вопросы >>

согласен, но мне лично не нравится желание авторов анонимки остаться неизвестными; я бы выставлял такие письма в отдельный раздел и игнорировал до теx пор, пока

1) кто-нибудь согласится с письмом настолько чтоб подписаться под ним (таковыx "подписантов" может быть много)

либо

2) кто-нибудь составит свой список претензий (под влиянием анонимки) и подпишется под своей версией

ПС. с 3-й стороны, учитывая "оxоту на ведьм" со стороны сторонников ГП, анонимка может быть единственным способом посягнуть на Истинно Верную Теорию.

[hoegni.livejournal.com]

Сложный вопрос. Проблема в том, что рецензирование в журналах тоже анонимное. Так что сегодня ты открыто напишешь, что работа некоего хорошо известного NN - фигня, а завтра он, в качестве анонимного рецензента в журнале - прикроет тебя. При чем у него, как у рецензента, позиция будет по определению более сильная.
Так что либо делать всю систему дисукссий открытой, либо мириться с тем, что она вся будет анонимной.
Кстати, а что такое ГП?

[slavka.livejournal.com]

завтра он, в качестве анонимного рецензента в журнале - прикроет тебя. При чем у него, как у рецензента, позиция будет по определению более сильная

тогда, разумеется, идея насчет анонимок снимается; может, так оно и лучше

Кстати, а что такое ГП
глобальное потепление

[hoegni.livejournal.com]

Можно ли надеяться, что народ в целом разберется в том, когда рецензия задает хорошие вопросы, а когда это просто кидание грязью?
Та часть народа, которая в теме - разберется. Но это будет очень небольшая часть народа. Проблема именно в этом. Во всех тонкостях, к примеру, моих работ в мире могут разобраться десятка три человек.

В принципе, инициатива интересная. Но, на мой взгляд, она может быть полезна, если удерживать дискуссии в рамках именно научного обсуждения, не переходя в доносительский или прокурорско-обвинительный модус.
Одно дело - сказать, что эффективность и специфичность примененных агентов вызывает сомнения, другое - заявить, что данные - фигня и, наверно, подделаны.

[shvarz.livejournal.com]

А как удерживать? Модераторов посадить? Это же куча работы, если сайтом действительно пользоваться начнут.

[hoegni.livejournal.com]

Проблему модерации, наверно, можно было бы решить, да вот только похоже, что создатели сайта как раз склонны поощрять разоблачительский подход.

[(Anonymous)]

про ВИЧ бы больше обсуждали, ведь всё-таки вирусолог ведёт ЖЖ ?

[shvarz.livejournal.com]

Если вас что-то конкретное интересует, спрашивайте в комментах к любой записи. Отвечу или комментом или отдельным постом. Можете также посмотреть старые записи по тэгу hiv

[(Anonymous)]

по тэгу hiv уже всё изучил, ваши записи не соизмеримо полезны для меня и читающих журнал, но всё же хотелось бы чаще видеть новенькое из первых рук по этой теме

[shvarz.livejournal.com]

ОК, постараюсь, но не так уж часто что-либо новенькое и интересное для широкой публики появляется.

[silphinae.livejournal.com]

Сайт очень интересный. Мне кажется, что тут бояться анонимок большого смысла нет - крайне маловероятно, что бы сначала на твою работу написали клеветническую и со стороны правдоподобную рецензию, а потом эта рецензия ещё и повлияла на кого-то, кто в твоей работе не разбирается, но судьбы решает.
Вообще, одна из проблем в науке не в том, что наши работы слишком сильно читают и обсуждают, а скорее в том, что их едва читают и не обсуждают вовсе. Мы всё пишем и пишем, десятки(а у кого и сотни) статей, а читаем - ну довольно узкий фронт. Свою тематику и на шаг-другой в сторону, и это ещё у кого пошире кругозор. Так что на мой взгляд этот сайт - отличная идея.
Хотя иногда попадаются такие рецензенты в журналах,что кажется, что лучше бы он вовсе не учился читать, и всем в мире было бы лучше.

[vasja-iz-aa.livejournal.com]

мне совсем не понятно, зачем бы это было нужно в большом числе случаев

[shvarz.livejournal.com]

Согласен, в подавляющем большинстве случаев совершенно незачем. Так что вряд ли это станет такой уж популярной площадкой.

[vasja-iz-aa.livejournal.com]

допустим, они стали популярны, неизвестным нам стечением обстоятелств. как они будут бороться с любителями повышать рейтинг статей хвалебными саморевью?

[shvarz.livejournal.com]

А на рейтинге это вообще не должно сказываться. Я так понимаю, что это попытка организовать удобный между-собойчик для обсуждения статей. Теоретически, авторы бы свой ответ не в виде письма в NIH оформили, а ответили бы прямо там же. Или кто другой бы высказался по каким-нибудь пунктам в критике.
Сомневаюсь что такое будет работать, хотя вот ResearchGate в принципе умудряется каким-то образом некоторые технические обсуждения поддерживать, хотя я тоже сомневался, что это возможно.

[vasja-iz-aa.livejournal.com]

для совсем междусобойчика достаточно емейла. открытый формат он ведь предполагает, что к обсуждению будут подключаться любопытствующие прохожие. а им нужна какая то помошь в навигации, что бы находить достойные статьи и интересные дискуссии по их содержанию. вот мы и подходим к рейтингу, неважно как вычисляемому

про ResearchGate я ничего не знаю. но мне кажется, что времена бесплатной интернетной техпомощи остались в прошлом веке

[affidavid.livejournal.com]

Анонимные ревью необходимы, потому как в современной науке колоссальный недостаток открытой критики.

[nmc22.livejournal.com]

Научный мир изобрел для себя Двач. С чем его и поздравим.

[mszappata.livejournal.com]

С днём рождения! Желаю большого человеческого счастья.

[bisey]

С днём рождения!

[yell-ka.livejournal.com]

А вот это не прокомментируете? http://medicalxpress.com/news/2015-10-hiv-scientists-two-headed-protein-deplete.html

[shvarz.livejournal.com]

Интересный подход. Пока только in vitro.