shvarz: (Default)
shvarz ([personal profile] shvarz) wrote2011-11-19 09:13 pm
Entry tags:

Интерпретация p value

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

[identity profile] rsokolov.livejournal.com 2011-11-20 05:03 am (UTC)(link)
Попробую пояснить суть своего недоумения.

Вы говорите, что на бесконечномерном пространстве всевозможных гипотез для каждого значения Х задано распределение вероятности истинности гипотез. Но множество нулевых гипотез обладает нулевой мерой. Поэтому, строго говоря, вероятность того, что нулевая гипотеза верна, равна нулю.

[identity profile] yurvor.livejournal.com 2011-11-20 05:09 am (UTC)(link)
Про дельта-функцию слышали? :)

[identity profile] rsokolov.livejournal.com 2011-11-20 05:13 am (UTC)(link)
отож

[identity profile] rsokolov.livejournal.com 2011-11-20 05:24 am (UTC)(link)
Просто распределение из дельта функций означает, что число гипотез на самом деле конечно. А для конечного набора гипотез, как я уже написал, проблемы не возникает.

[identity profile] yurvor.livejournal.com 2011-11-20 05:35 am (UTC)(link)
Не совсем. Дельта-функция может сочетаться и с непрерывным распределением. Посмотрите вот этот пример (http://en.wikipedia.org/wiki/Jeffreys%E2%80%93Lindley_paradox).

[identity profile] rsokolov.livejournal.com 2011-11-20 05:43 am (UTC)(link)
Ну, естественно. Я просто не стал оговариваться насчет экзотических случаев. В любом случае, можно разбить пространство гипотез на две (у каждой - конечная вероятность): на нулевую и все прочие, т.е. свести дело к дискретному случаю.

[identity profile] rsokolov.livejournal.com 2011-11-20 05:51 am (UTC)(link)
Кстати, в этом примере распределение вероятностей для байесовского анализа взято из анекдота про блондинку. (Который уже, предсказуемым образом, упомянули в комментах). Практическая ценность такого подхода несколько сомнительна.

[identity profile] yurvor.livejournal.com 2011-11-20 05:57 am (UTC)(link)
Вот Вы сами и попались. Каковы логические основания этой Вашей "практической ценности"?

[identity profile] rsokolov.livejournal.com 2011-11-20 06:08 am (UTC)(link)
Так я и говорю, что нет оснований говорить о практической ценности.

Если распределение вероятности истинности гипотез брать с потолка, то какое распределение возьмете, такой ответ и получите.

Я с самого начала написал, что оценивать вероятность гипотез - несколько проблематично, если вообще не бессмысленно. Соответственно, этот подход мало помогает при решении вопроса об отвергании нулевой гипотезы.

[identity profile] yurvor.livejournal.com 2011-11-20 06:04 am (UTC)(link)
Кстати говоря, теперь Вы понимаете, что блондиночье утверждение невозможно опровергнуть логически? :))

[identity profile] rsokolov.livejournal.com 2011-11-20 06:11 am (UTC)(link)
Логически, конечно, вероятность встретить динозавра может быть равна 0.5, почему бы нет. Но может быть равна и 0.49999999. Так что верить блондинке оснований тоже нет.