Забанили p value

[shvarz]

Не, я конечно и сам иногда ругаюсь на использование "significant", когда речь идет о p < 0.05, но вот полный запрет на использование null hypothesis significance testing мне кажется перебором.

Узнал об этом от SBM, там же более подробно разбор вопроса.

Comments

[nibope.livejournal.com]

Да, может быть, что чрезмерно, но вот что точно надо запретить, так это "столбики с усиками", уж точно надо показывать реальные данные (или прикладывать сырые данные в супплементах, в конце концов).

[gegmopo4.livejournal.com]

Эм-м-м, а что вместо него?

[shvarz.livejournal.com]

А тщательнее надо быть, вдумчивее.

[polenadisto.livejournal.com]

Что, собственно, еще тот же Фишер предлагал)

[misha-b.livejournal.com]

Интересный эксперимент. Может и неплохо для разнообразия.

[rechicer.livejournal.com]

Неслучайно, что это журнал именно по социальной психологии.

[polenadisto.livejournal.com]

Честно говоря, когда читал обоснование, волосы дыбом вставали: неужели исследователи, настолько непонимающие основы фишеровской статистики (со всеми ее врожденными пороками), настолько распространены, что это стало настолько существенной проблемой? Хотя и сам частенько ругаюсь на неосознание статистики биологами и медиками, но все же...

[shvarz.livejournal.com]

Сплошь и рядом, на самом деле. Я бы даже сказал большинство.

[vdinets.livejournal.com]

Практически все, особенно молодежь, которой культ числа 0,05 преподают как основной критерий научности и фундамент научной карьеры.
Я надеюсь, что последствием этого вброса станет некоторое ослабление религиозного фанатизма приверженцев альфа-культа. Хотя шансов мало - слишком все запущено.

[glukanat.livejournal.com]

Как я понимаю речь идет даже не о том, что 0.05 это недостаточно, а о том что NHTCP недостаточно хорош. Ну с моей точки зрения как математика это разумнее, поскольку выдумать неудачные примеры с 0.01 не сильно сложнее чем с 0.05. Другое дело, что мне не кажется сильно оптимистичным переход на байесовские методы (BASP). Начнем с того,что NHTCP это простейший вариант BASP, условно говоря вместо того чтобы понять какой уровень надежности брать в каждой задаче, NHTCP его заранее назначает, априори например 0.05 или 0.01. Байесовские методы позволяют делать точнее, они фактически предлагают выбрать стоимость ошибки как первого так и второго рода (есть схемы где эта стоимость зависит от чего угодно и как угодно, но пока это не столь важно), и уже по этим данным, тоже по большому счету взятым из головы, лоя данной модели считается тот самый нужный критический уровень. Только после этого берется выборка, считается significant, и сравнивается с этим критическим уровнем.

Таким образом, если кому-то захочется подогнать данные под байесовский метод, то, разобравись в методе, он вполне может сделать это с тем же успехом, что и с NHTCP. Более того, подогнать можно будет всегда подбирая правильные стоимости ошибки.

Единственное что радует, стоимости ошибок (если мы говорим про медицину) вообще говоря имеют отношение к реальности, а значит их нельзя будет исказить на пару порядков. Но вот к социлогии это боюсь уже не относится.

[kobak.livejournal.com]

А они (редакторы этого журнала) не предлагают переходить на байесовские методы. Они банят p-values вместе с confidence intervals и объявляют, что готовы публиковать статьи вообще без статистики.

[glukanat.livejournal.com]

Ну по сссылке этого вроде не скзано, да и на первой странице статьи - вроде тоже.
Вообще без статистики публиковать статьи психолошам конечно понравится, но вот что останется от науки - большой вопрос

[hoegni.livejournal.com]

Меня это на самом деле радует, именно (как тут уже заметили) потому, что может снизить религиозное отношение к p.
А то я как раз сейчас общаюсь с рецензентами одной статьи. Там у меня есть два набора данных, которые даже отдаленно не напоминают нормальное распределение, при этом очень непохожие друг на друга. Я решил, что лучше всего попросту привести "облака точек" с индивидуальными наблюдениями. Так вот, при том, что откровенно наборы данных ничего общего не имеют, я таки получил от одного рецензента брюзжание: "А чёй-то вы достоверность на рисунке не показываете?".

[zhuric.livejournal.com]

У меня тоже данные в одной области работы не соответствуют нормальному распределению. И по-моему ни одной конфы не проходит, чтобы не спросили, хде отрезки и рИсочки. Желаю сил и терпения :)

[komelsky.livejournal.com]

Есть хорошие тесты без предположения нормальности. В частности, если делать упор на том что распределения разные, можно Колмогорова-Смирнова посчитать.

На самом деле идея-то хорошая. Оптические иллюзии тоже никто не отменял. Человеческий глаз не так уж и силён сравнивать распределения; то есть натренироваться можно, но всё же хорошо бы проверить наличие эффекта больше чем одним способом.

[hoegni.livejournal.com]

Правильно, я Колмогорова-Смирнова и посчитал. И показал медианы и квартили.

Но in my view, если тебе нужна статистика, чтобы увидеть разницу, значит там нет существенной разницы. А если медианы 2.5 в одном случае и 35 в другом, то вот честно, настаивать на на оценке p уже как-то не совсем осмысленно, Вы не находите? :)

recent paper

[lana-sv.livejournal.com]

mapping and scores based on p still useful
http://www.nature.com/nature/journal/v518/n7539/full/nature14248.html

[overscience-mes.livejournal.com]

хм...

[vasja-iz-aa.livejournal.com]

я Вам скажу неполиткорректую вещь: на самом деле единственное важное -- это как научное сообщество относится к авторам опубликовавшим гавно. пи-валуе, ху-валуе -- это все глубоко технические малоинтересные детали. если я в данной области работаю, то я самм\ без всяких правил вижу -- это нормальная работа надежных исследователей или преподователи из университета имени своей футбольной команды наструячили отчет о целевом гранте. лично у меня нет никах проблем их различать пятисекундным взглядом по диагонали. так что если кто то там в редакциях старается, то только про себя

[misha-b.livejournal.com]

Т.е. вы предлагаете отрешиться от формальных методов проверки верности результатов и довериться пятисекундным экспертам?

[shvarz.livejournal.com]

В целом согласен, но... У вас, я так понимаю, область такая, что народ с большей чуткостью к статистике относится. У нас даже публикующие не-говно регулярно скатываются в ловушку p value.

[polryby4.livejournal.com]

Мдааа...
А сами авторы этого манифеста как данные анализируют, интересно? Они правда считают, что байесовскими методами труднее устроить подгонку под ответ? Совет делать выборку побольше тоже понравился (то, что объем выборки можно рассчитать - ни гу-гу).
Правда, о разведочном и доказательном подходе заговорили - и то хлеб.

[mfreidin.livejournal.com]

Ничего святого!!!

[(Anonymous)]

The Basic and Applied Social Psychology (BASP) 2014 Editorial.
А насколько вероятно что это затронет не только один журнал?

[shvarz.livejournal.com]

Вряд ли. На мой взгляд это вообще такой PR трюк для журнала с довольно низким индексом цитирования.