Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[yurvor.livejournal.com]

Аналогия не верна совершенно. Нулевая гипотеза состоит в том, что результат будет 0. Конечно, мы получим результат не 0, а X, но чем дальше он от 0, тем менее вероятно его получить.

В твоей аналогии в чём состоит нулевая гипотеза? Что человек - американец? Тогда оно, конечно, очень маловероятно, что он сенатор, но даже сенатор будет американцем. Т.е. результат "быть сенатором" не исключает результата "быть американцем". А в статистическом эксперименте результат X с очевидностью исключает результат 0.

А статистики ругаются вот почему. p-value - это вероятность получить результат X, если нулевая гипотеза верна. Вероятность (получить в эксперименте результат X) _при_условии,_что_ (нулевая гипотеза верна).

А для того, чтобы принять или отвергнуть нулевую гипотезу, нужно оценить другую вероятность - вероятность того, что (нулевая гипотеза верна) _при_условии,_что_ (в эксперименте получился результат X). Легко видеть, что это совсем другая вероятность, в некотором смысле "наоборот" к первой. Эта другая называется Bayesian inference.

Кстати говоря, в Википедии (http://en.wikipedia.org/wiki/P-value) довольно понятно всё объяснено.

[rsokolov.livejournal.com]

Прошу прощения, но мне кажется, что второй вопрос - о том, насколько вероятна нулевая гипотеза - несколько бессмысленный. Гипотез может быть бесконечное множество, в одной из них - результат 0, в другой - 0.00001 и т.д. То есть, нулевая гипотеза почти гарантированно неверна.

[yurvor.livejournal.com]

Нулевая гипотеза состоит не в том, что результат будет 0, а в том, что матожидание результата будет 0 (я там раньше неточно выразился).

Почитайте про Байесов подход (http://en.wikipedia.org/wiki/Bayesian_inference).

[rsokolov.livejournal.com]

Не, если гипотез - ограниченное количество, и нам заранее известны распределения результатов, то всё в порядке.

[yurvor.livejournal.com]

Нет, гипотез неограниченное количество. Функциональное пространство, можно сказать :) Короче, почитайте матчасть - там нетривиально :)

[rsokolov.livejournal.com]

ок

Но если я чего-нибудь там не пойму, то вернусь.

[rsokolov.livejournal.com]

Я правильно понял, что

1. Доказать нулевую гипотезу нельзя.
2. Мы отвергаем нулевую гипотезу, если p - мало?

(В википедии написано именно это, но вдруг это неправда?)

[yurvor.livejournal.com]

1. Доказать нельзя, можно только проверить с той или иной вероятностью.
2. "мы" не отвергаем, это они отвергают :)

В посте как раз и обсуждаются резоны, по которым можно отвергнуть гипотезу. И суть в том, что p-value строго говоря тут ни при чём.

[rsokolov.livejournal.com]

1. Еще раз прошу прощения, но что такое "проверить с той или иной вероятностью" - совсем уж непонятно.

2. Проблема в том, что в статье, на которую вы дали ссылку, говорится, что гипотеза отвергается, если p мало. Значит, этой статье не стоит доверять?

[yurvor.livejournal.com]

1. Это вопрос вопросов, на самом деле. Классический подход не определяет это понятие, а Байесов считает, что вероятность - это мера нашей уверенности в том, что гипотеза правильная.

2. Вы про какую ссылку говорите? В статье про p-value прямо говорится, что "The p-value is not the probability that the null hypothesis is true." Поэтому что делать с гипотезой, тоже не ясно. А в статье про Bayesian inference нет такого слова "p-value".

[rsokolov.livejournal.com]

В статье про p-value:

However, had one more head been obtained, the resulting p-value (two-tailed) would have been 0.0414 (4.14%). This time the null hypothesis – that the observed result of 15 heads out of 20 flips can be ascribed to chance alone – is rejected when using a 5% cut-off.

[rsokolov.livejournal.com]

Попробую пояснить суть своего недоумения.

Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.

[yurvor.livejournal.com]

Про дельта-функцию слышали? :)

[rsokolov.livejournal.com]

отож

[shvarz.livejournal.com]

Нормальная совершенно аналогия. Байес тут ни при чем, все сформулировано в фреквентистских терминах (вы видите где-нибудь в условии обсуждение вероятностей результатов при разных гипотезах?).

[yurvor.livejournal.com]

Честно говоря, не понял твоего возражения. Причём тут "обсуждение вероятностей результатов при разных гипотезах"?

Поясни, какова в твоей аналогии нулевая гипотеза и какой, собственно, эксперимент ставится.

[shvarz.livejournal.com]

Аналогия тем и аналогия, что в ней используются другие понятия. В аналогии нет нулевой гипотезы. Есть логическое построение, сходное с логикой в первом построении - начинаем с предположения, затем на основании маловероятности некоего события в рамках этого предположения судим о вероятности того, что наше предположение верно.

[yurvor.livejournal.com]

"В аналогии нет нулевой гипотезы."

Хм. Мне тогда кажется, что она совсем не аналогия :) Вернее сказать, я не понимаю, что тогда тут аналогичного - ведь важна внутренняя структура представления, в данном случае вероятностная связь между нулевой гипотезой и полученным результатом. А в аналогии такой связи нет.

[shvarz.livejournal.com]

Внутренняя стурктура (логические заключения на основании каких-то предпосылок и данных) в обоих случаях одинакова. Если очень хочется, то можно наверно сформулировать нулевую гипотезу как "рассматриваемое нами общество - американское".

[vasja-iz-aa.livejournal.com]

> маловероятности некоего события в рамках этого предположения

это, как бе, дважды неверно. мы оценивает вероятность не события а ошибки первого рода и совершить, а не наоборот. ну если, конечно, я правильно понимаю о чем Вы

[shvarz.livejournal.com]

Я о вероятности того, что случайно-взятый человек будет сенатором.

[vasja-iz-aa.livejournal.com]

а-а, Вы про Байеса...

[shvarz.livejournal.com]

Я уже и сам запутался о Байесе или нет. А казалось вначале, что такая красивая и понятная аналогия :)

[vasja-iz-aa.livejournal.com]

Как это Байес ни при чем? Эту ж аналогию наверняка какой-нибуть байесовский статистик придумал, для плюнуть в ненавистный частотный подход.

[shvarz.livejournal.com]

Вы не так уж далеки от истины :)