Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[shvarz.livejournal.com]

Да, "гипотезой называется класс распределений вероятностей" - это для меня довольно сложная терминология и я, даже если и подумаю и пойму что вы имеете в виду, все равно не смогу такими терминами свободно оперировать.

В чем принципиальные отличия первого рассуждения от аналогии я так и не понял :(

[(Anonymous)]

Если я Вам еще не надоел окончательно со своими длинными комментами, то может быть, Вы скажете, какое из нижеследующих утверждений Вам кажется неясным или неверным? (Я полагаю, что все эти утверждения я высказывал в предыдущих комментах, но недостаточно отчетливо, по-видимому.)
1) При применении "первого рассуждения" вместо слов "нулевая гипотеза" в пунктах 1 и 3 нужно подставить некоторое математическое выражение (одно и то же). В первом приближении, это математическое выражение - вероятностное распределение на всевозможных исходах нашего эксперимента.
2) В реальной жизни вместо математического выражения (сложного и длинного) пишут неформальный текст на естественном языке. Предполагается, что каждый желающий по этому тексту сам может восстановить подразумеваемое математическое выражение.
3) В "аналогии" математическое выражение, восстанавливаемое из текста пункта 1, отличается о математического выражения, восстанавливаемого из текста пункта 3. Поэтому "аналогия" не следует "первому рассуждению".

[shvarz.livejournal.com]

№1 - мне кажется там "должно" стоять одно и то же выражение, но при неправильной интерпретации p туда подставляют разные выражения. В пункте 1 - вероятностное распределение всевозможных исходов эксперимента, а в пункте 3 - вероятностное распределение всевозможных распределений всевозможных исходов эксперимента.

[(Anonymous)]

Честно говоря, буквально понять Вашу реплику я не могу никак - кажется, я заставил Вас говорить на крайне неудобном Вам языке. Предположу, что Вы имели в виду примерно следующее:
пункт 3 "следовательно, нулевая гипотеза скорее всего неверна" обычно ошибочно понимают как "P-value - это вероятность нулевой гипотезы". То есть, Вы считаете, что аналогия в точности следует этому ошибочному пониманию, приводит к абсурду и тем показывает ошибочность?

[shvarz.livejournal.com]

Ага.

[(Anonymous)]

Я всё же надеялся, что Вы скажете нет. Как мне кажется, Ваше понимание возможно только если считать, что нулевая гипотеза - это буквально "X - американец" (а не математическое выражение, неформально описываемое etc). Это настолько грубо неверно, что я даже не знаю, как это объяснить. И по-прежнему не очень верю, что правильно Вас понял, поэтому задам еще один вопрос. Могли бы Вы для этого "эксперимента про сенатора" описать правильное, по Вашему мнению, применение p-values?

[shvarz.livejournal.com]

3. Если этот человек американец, то случилось что-то очень маловероятное.

Собственно на этом размышления внутри логики эксперимента заканчиваются.

Дальше можно делать разные выводы и предполагать разные вещи, но при этом выходя за рамки этого отдельного эксперимента и размышляя о совокупности всех экспериментов или наблюдений в целом. Может быть мы не в Америке. Может быть мы выбрали не случайного человека. Может мы неправильно понимаем, что такое сенатор. И т.д.

[shvarz.livejournal.com]

В принципе, даже фраза "3. Следовательно, этот человек не американец" и то будет более корректна, потому что не будет ничего говорить о вероятности того, что человек является американцем (если обговорить отдельно, что в науке подобные заключения можно делать, но они имеют не то же значение, что и в быту).

[(Anonymous)]

Кажется, я нечто понял. Похоже, у "пользователей статистики" сложился свой особый язык, не совпадающий с тем, которым пользуются статистики. Вы приходите к тем же самым - правильным - выводам, по дороге сделав, с моей точки зрения, кучу ошибок; значит, это не ошибки, а неизвестный мне язык. Большое Вам спасибо, для меня эта дискуссия оказалась очень полезной.