Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[gul-kiev.livejournal.com]

По-моему, всё очень просто. Попробую "на пальцах".
Давайте после пункта

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.

добавим пункт

1a. Если нулевая гипотеза неверна, то вероятность получить в эксперименте результат Х ещё меньше.

Пункт 1a никоим образом не противоречит пункту 1, но при его добавлении становится очевидно, что эксперимент с результатом X не может опровергнуть гипотезу - скорее, он её подтвердит. А при сформулированных в посте условиях мы не знаем, есть у нас пункт 1a или нет.

Иными словами, нужно сравнивать вероятности результата X при верности и при неверности гипотезы; одной из этих вероятностей недостаточно.

[shvarz.livejournal.com]

Да, это байсовский подход. На практике, однако, вероятности получения результатов при не-нулевой гипотезе никто не формулирует (кроме байесовцев), потому что в биологии это довольно глупое занятие, больше подходящее бросанию костей или другим "стерильным" ситуациям.

[plakhov.livejournal.com]

Нет, это не байесовский подход. Тут ничего не говорится ни об априорных вероятностях гипотез, ни об апостериорных. Необходимость того, чтобы полученный результат был более вероятным в рамках проверяемой гипотезы, чем в рамках нулевой, совершенно очевидна вне зависимости от подхода. Просто это условие настолько редко нарушается (я надеюсь), что вслух его даже не проговаривают.

[shvarz.livejournal.com]

Ну не полностью байесовский, но рассуждения о вероятностях результата при разных гипотезах - это из байеса.

[misha-b.livejournal.com]

Нет, вероятность результата при разных гипотезах -- это не Bayes.

Bayes -- это когда предполагается априорная вероятность самих гипотез.

[elensefar.livejournal.com]

Вообще я бы попытался объяснить так. p-value будет работать, если мы предполагаем, что среди "ненулевых гипотез" есть такие, которые дают большую вероятность результата X, даже если не задаем эту вероятность явно и вообще не особо думаем, какие они из себя. Если среди "ненулевых гипотез" не существует такая, для которой p-value X больше -p-value нулевой, то критерий становится неприменим.

Вероятно, в биологии сложно наткнуться на случай, когда бы это не подразумевалось, но с точки зрения классической статистики вероятность одной гипотезы смысла не имеет.

[elensefar.livejournal.com]

Не понимаю вашего неприятия байсианизма. Любой статистический вывод является частным случаем байесова.

Если нулевая гипотеза верна, то очень маловероятно, что на Землю через 5 минут упадет крупный катастрофиеский метеорит.
БУМС!!!
Фух, слава богу я был в крутой подземной лаборатории! Ой, а нулевая гипотеза неверна?

[shvarz.livejournal.com]

Мне не нравится байесанизм, потому что он пытается красоту сантиметром измерить. В простых случаях (золотое сечение там, соотношение сторон и т.д) это возможно, но к Джоконде это не применишь.
В результате получаем: http://shvarz.livejournal.com/299941.html