Интерпретация p value
Nov. 19th, 2011 09:13 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
shvarz1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.
Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.
А вы видите тут логическую неувязку?
Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:
1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.
Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.
Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.
А вы видите тут логическую неувязку?
Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:
1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.
Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2011-11-20 02:17 am (UTC)no subject
Date: 2011-11-20 03:23 am (UTC)Если "сенатор", по определению, член сената США - и никакой другой страны, то да, вывод неверен т.к. противоречит условию. (В исходной проблеме это условие означало бы что результат может быть получен только при условии истинности нулевой гипотезы, а так, кажется, не бывает.)
Если же сенатор - член сената какой угодно страны, где есть сенат, то тогда да, произвольно взятый сенатор, скорее всего, не будет американцем.
no subject
Date: 2011-11-20 03:25 am (UTC)В твоей аналогии в чём состоит нулевая гипотеза? Что человек - американец? Тогда оно, конечно, очень маловероятно, что он сенатор, но даже сенатор будет американцем. Т.е. результат "быть сенатором" не исключает результата "быть американцем". А в статистическом эксперименте результат X с очевидностью исключает результат 0.
А статистики ругаются вот почему. p-value - это вероятность получить результат X, если нулевая гипотеза верна. Вероятность (получить в эксперименте результат X) _при_условии,_что_ (нулевая гипотеза верна).
А для того, чтобы принять или отвергнуть нулевую гипотезу, нужно оценить другую вероятность - вероятность того, что (нулевая гипотеза верна) _при_условии,_что_ (в эксперименте получился результат X). Легко видеть, что это совсем другая вероятность, в некотором смысле "наоборот" к первой. Эта другая называется Bayesian inference.
Кстати говоря, в Википедии (http://en.wikipedia.org/wiki/P-value) довольно понятно всё объяснено.
no subject
Date: 2011-11-20 03:32 am (UTC)no subject
Date: 2011-11-20 03:34 am (UTC)no subject
Date: 2011-11-20 03:36 am (UTC)Почитайте про Байесов подход (http://en.wikipedia.org/wiki/Bayesian_inference).
no subject
Date: 2011-11-20 03:42 am (UTC)no subject
Date: 2011-11-20 03:45 am (UTC)no subject
Date: 2011-11-20 03:47 am (UTC)Но если я чего-нибудь там не пойму, то вернусь.
no subject
Date: 2011-11-20 04:18 am (UTC)1. Доказать нулевую гипотезу нельзя.
2. Мы отвергаем нулевую гипотезу, если p - мало?
(В википедии написано именно это, но вдруг это неправда?)
no subject
Date: 2011-11-20 04:36 am (UTC)no subject
Date: 2011-11-20 04:45 am (UTC)no subject
Date: 2011-11-20 04:46 am (UTC)2. "мы" не отвергаем, это они отвергают :)
В посте как раз и обсуждаются резоны, по которым можно отвергнуть гипотезу. И суть в том, что p-value строго говоря тут ни при чём.
no subject
Date: 2011-11-20 04:53 am (UTC)2. Проблема в том, что в статье, на которую вы дали ссылку, говорится, что гипотеза отвергается, если p мало. Значит, этой статье не стоит доверять?
ну я могу ещё проще
Date: 2011-11-20 05:01 am (UTC)no subject
Date: 2011-11-20 05:03 am (UTC)Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.
no subject
Date: 2011-11-20 05:03 am (UTC)2. Вы про какую ссылку говорите? В статье про p-value прямо говорится, что "The p-value is not the probability that the null hypothesis is true." Поэтому что делать с гипотезой, тоже не ясно. А в статье про Bayesian inference нет такого слова "p-value".
no subject
Date: 2011-11-20 05:05 am (UTC)However, had one more head been obtained, the resulting p-value (two-tailed) would have been 0.0414 (4.14%). This time the null hypothesis – that the observed result of 15 heads out of 20 flips can be ascribed to chance alone – is rejected when using a 5% cut-off.
попросту условие неправильно сформулировано
Date: 2011-11-20 05:06 am (UTC)надо так: маловероятно, что наугад взятый человек -- сенатор
no subject
Date: 2011-11-20 05:07 am (UTC)Дело вот в чём. Если p-value мало, то гипотеза обычно отвергается - это верно. Однако суть в том, что к тому нет логических причин, а только интуитивные.
no subject
Date: 2011-11-20 05:09 am (UTC)no subject
Date: 2011-11-20 05:13 am (UTC)no subject
Date: 2011-11-20 05:14 am (UTC)И как теперь дальше жить?
Для веры в Бога тоже нет логических причин, а только интуитивные. А тут - наука всё-таки.
no subject
Date: 2011-11-20 05:14 am (UTC)What is a p-value anyway? 34 Stories to Help You Actually Understand Statistics
Именно на пальцах.
no subject
Date: 2011-11-20 05:18 am (UTC)