Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[yurvor.livejournal.com]

1. Доказать нельзя, можно только проверить с той или иной вероятностью.
2. "мы" не отвергаем, это они отвергают :)

В посте как раз и обсуждаются резоны, по которым можно отвергнуть гипотезу. И суть в том, что p-value строго говоря тут ни при чём.

[rsokolov.livejournal.com]

1. Еще раз прошу прощения, но что такое "проверить с той или иной вероятностью" - совсем уж непонятно.

2. Проблема в том, что в статье, на которую вы дали ссылку, говорится, что гипотеза отвергается, если p мало. Значит, этой статье не стоит доверять?

[yurvor.livejournal.com]

1. Это вопрос вопросов, на самом деле. Классический подход не определяет это понятие, а Байесов считает, что вероятность - это мера нашей уверенности в том, что гипотеза правильная.

2. Вы про какую ссылку говорите? В статье про p-value прямо говорится, что "The p-value is not the probability that the null hypothesis is true." Поэтому что делать с гипотезой, тоже не ясно. А в статье про Bayesian inference нет такого слова "p-value".

[rsokolov.livejournal.com]

В статье про p-value:

However, had one more head been obtained, the resulting p-value (two-tailed) would have been 0.0414 (4.14%). This time the null hypothesis – that the observed result of 15 heads out of 20 flips can be ascribed to chance alone – is rejected when using a 5% cut-off.

[yurvor.livejournal.com]

Да, я ещё раз прочёл и нашёл эти слова.

Дело вот в чём. Если p-value мало, то гипотеза обычно отвергается - это верно. Однако суть в том, что к тому нет логических причин, а только интуитивные.

[rsokolov.livejournal.com]

>>нет логических причин, а только интуитивные

И как теперь дальше жить?

Для веры в Бога тоже нет логических причин, а только интуитивные. А тут - наука всё-таки.

[yurvor.livejournal.com]

Ну, так и жить. Что, разве что-то тут мешает? :)

[rsokolov.livejournal.com]

Я готов жить с утверждением "p мало, поэтому мы нулевую гипотезу отвергаем".

Жить с утверждением "p мало, поэтому мы нулевую гипотезу отвергаем, хотя у нас для этого нет никаких логических оснований" - гораздо сложнее.

[yurvor.livejournal.com]

Практика - критерий истины :)

[magner58.livejournal.com]

"нет логических причин, а только интуитивные"

Логической причиной является допустимая вероятность ошибиться.

"Для веры в Бога тоже нет логических причин, а только интуитивные"

Для любой веры нет ни логических ни интуитивных причин.

[galicarnax.livejournal.com]

суть в том, что к тому нет логических причин, а только интуитивные.
В таком случае, есть ли у самого понятия вероятности логическая причина? Даже в обчной частотной интерпретации, не говоря уже о байесовской.

[yurvor.livejournal.com]

Конечно, нет. У понятий вообще не бывает логических причин :)

Логические выводы можно отнести лишь к соотношениям между понятиями.

[shvarz.livejournal.com]

:)

Да, в статье, в которой я вычитал эту аналогию, как раз говорится, что в объяснениях статистики часто одновременно встречаются две этих интерпретации.

[rsokolov.livejournal.com]

Попробую пояснить суть своего недоумения.

Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.

[yurvor.livejournal.com]

Про дельта-функцию слышали? :)

[rsokolov.livejournal.com]

отож

[rsokolov.livejournal.com]

Просто распределение из дельта функций означает, что число гипотез на самом деле конечно. А для конечного набора гипотез, как я уже написал, проблемы не возникает.

[yurvor.livejournal.com]

Не совсем. Дельта-функция может сочетаться и с непрерывным распределением. Посмотрите вот этот пример (http://en.wikipedia.org/wiki/Jeffreys%E2%80%93Lindley_paradox).

[rsokolov.livejournal.com]

Ну, естественно. Я просто не стал оговариваться насчет экзотических случаев. В любом случае, можно разбить пространство гипотез на две (у каждой - конечная вероятность): на нулевую и все прочие, т.е. свести дело к дискретному случаю.

[rsokolov.livejournal.com]

Кстати, в этом примере распределение вероятностей для байесовского анализа взято из анекдота про блондинку. (Который уже, предсказуемым образом, упомянули в комментах). Практическая ценность такого подхода несколько сомнительна.

[yurvor.livejournal.com]

Вот Вы сами и попались. Каковы логические основания этой Вашей "практической ценности"?

[rsokolov.livejournal.com]

Так я и говорю, что нет оснований говорить о практической ценности.

Если распределение вероятности истинности гипотез брать с потолка, то какое распределение возьмете, такой ответ и получите.

Я с самого начала написал, что оценивать вероятность гипотез - несколько проблематично, если вообще не бессмысленно. Соответственно, этот подход мало помогает при решении вопроса об отвергании нулевой гипотезы.

[yurvor.livejournal.com]

Кстати говоря, теперь Вы понимаете, что блондиночье утверждение невозможно опровергнуть логически? :))

[rsokolov.livejournal.com]

Логически, конечно, вероятность встретить динозавра может быть равна 0.5, почему бы нет. Но может быть равна и 0.49999999. Так что верить блондинке оснований тоже нет.