Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[misha-b.livejournal.com]

Условная вероятность вообще штука крайне неинтуитивная.

[rsokolov.livejournal.com]

Мне не очевидна абсурдность вывода. (И не очевидна тождественность аналогии исходной проблеме)

Если "сенатор", по определению, член сената США - и никакой другой страны, то да, вывод неверен т.к. противоречит условию. (В исходной проблеме это условие означало бы что результат может быть получен только при условии истинности нулевой гипотезы, а так, кажется, не бывает.)

Если же сенатор - член сената какой угодно страны, где есть сенат, то тогда да, произвольно взятый сенатор, скорее всего, не будет американцем.

[yurvor.livejournal.com]

Аналогия не верна совершенно. Нулевая гипотеза состоит в том, что результат будет 0. Конечно, мы получим результат не 0, а X, но чем дальше он от 0, тем менее вероятно его получить.

В твоей аналогии в чём состоит нулевая гипотеза? Что человек - американец? Тогда оно, конечно, очень маловероятно, что он сенатор, но даже сенатор будет американцем. Т.е. результат "быть сенатором" не исключает результата "быть американцем". А в статистическом эксперименте результат X с очевидностью исключает результат 0.

А статистики ругаются вот почему. p-value - это вероятность получить результат X, если нулевая гипотеза верна. Вероятность (получить в эксперименте результат X) _при_условии,_что_ (нулевая гипотеза верна).

А для того, чтобы принять или отвергнуть нулевую гипотезу, нужно оценить другую вероятность - вероятность того, что (нулевая гипотеза верна) _при_условии,_что_ (в эксперименте получился результат X). Легко видеть, что это совсем другая вероятность, в некотором смысле "наоборот" к первой. Эта другая называется Bayesian inference.

Кстати говоря, в Википедии (http://en.wikipedia.org/wiki/P-value) довольно понятно всё объяснено.

[rsokolov.livejournal.com]

Прошу прощения, но мне кажется, что второй вопрос - о том, насколько вероятна нулевая гипотеза - несколько бессмысленный. Гипотез может быть бесконечное множество, в одной из них - результат 0, в другой - 0.00001 и т.д. То есть, нулевая гипотеза почти гарантированно неверна.

[nighttime-notes.livejournal.com]

В примере разбиением вероятностного пространства является "американец" - "не американец", и вероятность быть сенатором при условии "не американец" равна нулю. Поэтому условная вероятность быть американцем при условии сенаторства равна 1.

[yurvor.livejournal.com]

Нулевая гипотеза состоит не в том, что результат будет 0, а в том, что матожидание результата будет 0 (я там раньше неточно выразился).

Почитайте про Байесов подход (http://en.wikipedia.org/wiki/Bayesian_inference).

[rsokolov.livejournal.com]

Не, если гипотез - ограниченное количество, и нам заранее известны распределения результатов, то всё в порядке.

[yurvor.livejournal.com]

Нет, гипотез неограниченное количество. Функциональное пространство, можно сказать :) Короче, почитайте матчасть - там нетривиально :)

[rsokolov.livejournal.com]

ок

Но если я чего-нибудь там не пойму, то вернусь.

[rsokolov.livejournal.com]

Я правильно понял, что

1. Доказать нулевую гипотезу нельзя.
2. Мы отвергаем нулевую гипотезу, если p - мало?

(В википедии написано именно это, но вдруг это неправда?)

[vdinets.livejournal.com]

Чтобы получился точный аналог, надо сенатора заменить, например, на удмурта.

[rsokolov.livejournal.com]

Так удмурт, скорее всего, - не американец. Где же тут абсурдность вывода?

[yurvor.livejournal.com]

1. Доказать нельзя, можно только проверить с той или иной вероятностью.
2. "мы" не отвергаем, это они отвергают :)

В посте как раз и обсуждаются резоны, по которым можно отвергнуть гипотезу. И суть в том, что p-value строго говоря тут ни при чём.

[rsokolov.livejournal.com]

1. Еще раз прошу прощения, но что такое "проверить с той или иной вероятностью" - совсем уж непонятно.

2. Проблема в том, что в статье, на которую вы дали ссылку, говорится, что гипотеза отвергается, если p мало. Значит, этой статье не стоит доверять?

ну я могу ещё проще

[freedom_of_sea.livejournal.com]

всякая селедка - рыба; но не всякая рыба - селедка

[rsokolov.livejournal.com]

Попробую пояснить суть своего недоумения.

Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.

[yurvor.livejournal.com]

1. Это вопрос вопросов, на самом деле. Классический подход не определяет это понятие, а Байесов считает, что вероятность - это мера нашей уверенности в том, что гипотеза правильная.

2. Вы про какую ссылку говорите? В статье про p-value прямо говорится, что "The p-value is not the probability that the null hypothesis is true." Поэтому что делать с гипотезой, тоже не ясно. А в статье про Bayesian inference нет такого слова "p-value".

[rsokolov.livejournal.com]

В статье про p-value:

However, had one more head been obtained, the resulting p-value (two-tailed) would have been 0.0414 (4.14%). This time the null hypothesis – that the observed result of 15 heads out of 20 flips can be ascribed to chance alone – is rejected when using a 5% cut-off.

попросту условие неправильно сформулировано

[freedom_of_sea.livejournal.com]

"Если человек американец, то очень маловероятно что он сенатор."

надо так: маловероятно, что наугад взятый человек -- сенатор

[yurvor.livejournal.com]

Да, я ещё раз прочёл и нашёл эти слова.

Дело вот в чём. Если p-value мало, то гипотеза обычно отвергается - это верно. Однако суть в том, что к тому нет логических причин, а только интуитивные.

[yurvor.livejournal.com]

Про дельта-функцию слышали? :)

[rsokolov.livejournal.com]

отож

[rsokolov.livejournal.com]

>>нет логических причин, а только интуитивные

И как теперь дальше жить?

Для веры в Бога тоже нет логических причин, а только интуитивные. А тут - наука всё-таки.

[galicarnax.livejournal.com]

но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно
What is a p-value anyway? 34 Stories to Help You Actually Understand Statistics
Именно на пальцах.

[yurvor.livejournal.com]

Ну, так и жить. Что, разве что-то тут мешает? :)