Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[(Anonymous)]

Честно говоря, буквально понять Вашу реплику я не могу никак - кажется, я заставил Вас говорить на крайне неудобном Вам языке. Предположу, что Вы имели в виду примерно следующее:
пункт 3 "следовательно, нулевая гипотеза скорее всего неверна" обычно ошибочно понимают как "P-value - это вероятность нулевой гипотезы". То есть, Вы считаете, что аналогия в точности следует этому ошибочному пониманию, приводит к абсурду и тем показывает ошибочность?

[shvarz.livejournal.com]

Ага.

[(Anonymous)]

Я всё же надеялся, что Вы скажете нет. Как мне кажется, Ваше понимание возможно только если считать, что нулевая гипотеза - это буквально "X - американец" (а не математическое выражение, неформально описываемое etc). Это настолько грубо неверно, что я даже не знаю, как это объяснить. И по-прежнему не очень верю, что правильно Вас понял, поэтому задам еще один вопрос. Могли бы Вы для этого "эксперимента про сенатора" описать правильное, по Вашему мнению, применение p-values?

[shvarz.livejournal.com]

3. Если этот человек американец, то случилось что-то очень маловероятное.

Собственно на этом размышления внутри логики эксперимента заканчиваются.

Дальше можно делать разные выводы и предполагать разные вещи, но при этом выходя за рамки этого отдельного эксперимента и размышляя о совокупности всех экспериментов или наблюдений в целом. Может быть мы не в Америке. Может быть мы выбрали не случайного человека. Может мы неправильно понимаем, что такое сенатор. И т.д.

[shvarz.livejournal.com]

В принципе, даже фраза "3. Следовательно, этот человек не американец" и то будет более корректна, потому что не будет ничего говорить о вероятности того, что человек является американцем (если обговорить отдельно, что в науке подобные заключения можно делать, но они имеют не то же значение, что и в быту).

[(Anonymous)]

Кажется, я нечто понял. Похоже, у "пользователей статистики" сложился свой особый язык, не совпадающий с тем, которым пользуются статистики. Вы приходите к тем же самым - правильным - выводам, по дороге сделав, с моей точки зрения, кучу ошибок; значит, это не ошибки, а неизвестный мне язык. Большое Вам спасибо, для меня эта дискуссия оказалась очень полезной.