shvarz | Интерпретация p value

Entry tags:

наука

Интерпретация p value

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Flat | Top-Level Comments Only

Прошу прощения, но мне кажется, что второй вопрос - о том, насколько вероятна нулевая гипотеза - несколько бессмысленный. Гипотез может быть бесконечное множество, в одной из них - результат 0, в другой - 0.00001 и т.д. То есть, нулевая гипотеза почти гарантированно неверна.

Нулевая гипотеза состоит не в том, что результат будет 0, а в том, что матожидание результата будет 0 (я там раньше неточно выразился).

Почитайте про Байесов подход (http://en.wikipedia.org/wiki/Bayesian_inference).

Edited 2011-11-20 03:37 (UTC)

Не, если гипотез - ограниченное количество, и нам заранее известны распределения результатов, то всё в порядке.

Нет, гипотез неограниченное количество. Функциональное пространство, можно сказать :) Короче, почитайте матчасть - там нетривиально :)

ок

Но если я чего-нибудь там не пойму, то вернусь.

Я правильно понял, что

1. Доказать нулевую гипотезу нельзя.
2. Мы отвергаем нулевую гипотезу, если p - мало?

(В википедии написано именно это, но вдруг это неправда?)

1. Доказать нельзя, можно только проверить с той или иной вероятностью.
2. "мы" не отвергаем, это они отвергают :)

В посте как раз и обсуждаются резоны, по которым можно отвергнуть гипотезу. И суть в том, что p-value строго говоря тут ни при чём.

1. Еще раз прошу прощения, но что такое "проверить с той или иной вероятностью" - совсем уж непонятно.

2. Проблема в том, что в статье, на которую вы дали ссылку, говорится, что гипотеза отвергается, если p мало. Значит, этой статье не стоит доверять?

1. Это вопрос вопросов, на самом деле. Классический подход не определяет это понятие, а Байесов считает, что вероятность - это мера нашей уверенности в том, что гипотеза правильная.

2. Вы про какую ссылку говорите? В статье про p-value прямо говорится, что "The p-value is not the probability that the null hypothesis is true." Поэтому что делать с гипотезой, тоже не ясно. А в статье про Bayesian inference нет такого слова "p-value".

В статье про p-value:

However, had one more head been obtained, the resulting p-value (two-tailed) would have been 0.0414 (4.14%). This time the null hypothesis – that the observed result of 15 heads out of 20 flips can be ascribed to chance alone – is rejected when using a 5% cut-off.

Да, я ещё раз прочёл и нашёл эти слова.

Дело вот в чём. Если p-value мало, то гипотеза обычно отвергается - это верно. Однако суть в том, что к тому нет логических причин, а только интуитивные.

>>нет логических причин, а только интуитивные

И как теперь дальше жить?

Для веры в Бога тоже нет логических причин, а только интуитивные. А тут - наука всё-таки.

Ну, так и жить. Что, разве что-то тут мешает? :)

(no subject)

rsokolov.livejournal.com - 2011-11-20 05:22 (UTC) - Expand

(no subject)

yurvor.livejournal.com - 2011-11-20 05:36 (UTC) - Expand

"нет логических причин, а только интуитивные"

Логической причиной является допустимая вероятность ошибиться.

"Для веры в Бога тоже нет логических причин, а только интуитивные"

Для любой веры нет ни логических ни интуитивных причин.

суть в том, что к тому нет логических причин, а только интуитивные.
В таком случае, есть ли у самого понятия вероятности логическая причина? Даже в обчной частотной интерпретации, не говоря уже о байесовской.

Конечно, нет. У понятий вообще не бывает логических причин :)

Логические выводы можно отнести лишь к соотношениям между понятиями.

:)

Да, в статье, в которой я вычитал эту аналогию, как раз говорится, что в объяснениях статистики часто одновременно встречаются две этих интерпретации.

Попробую пояснить суть своего недоумения.

Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.

Про дельта-функцию слышали? :)

отож

Просто распределение из дельта функций означает, что число гипотез на самом деле конечно. А для конечного набора гипотез, как я уже написал, проблемы не возникает.

Не совсем. Дельта-функция может сочетаться и с непрерывным распределением. Посмотрите вот этот пример (http://en.wikipedia.org/wiki/Jeffreys%E2%80%93Lindley_paradox).

Ну, естественно. Я просто не стал оговариваться насчет экзотических случаев. В любом случае, можно разбить пространство гипотез на две (у каждой - конечная вероятность): на нулевую и все прочие, т.е. свести дело к дискретному случаю.

Кстати, в этом примере распределение вероятностей для байесовского анализа взято из анекдота про блондинку. (Который уже, предсказуемым образом, упомянули в комментах). Практическая ценность такого подхода несколько сомнительна.

Вот Вы сами и попались. Каковы логические основания этой Вашей "практической ценности"?