Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[misha-b.livejournal.com]

Условная вероятность вообще штука крайне неинтуитивная.

[rsokolov.livejournal.com]

Мне не очевидна абсурдность вывода. (И не очевидна тождественность аналогии исходной проблеме)

Если "сенатор", по определению, член сената США - и никакой другой страны, то да, вывод неверен т.к. противоречит условию. (В исходной проблеме это условие означало бы что результат может быть получен только при условии истинности нулевой гипотезы, а так, кажется, не бывает.)

Если же сенатор - член сената какой угодно страны, где есть сенат, то тогда да, произвольно взятый сенатор, скорее всего, не будет американцем.

[shvarz.livejournal.com]

Да, имелся в виду член сената США.

[yurvor.livejournal.com]

Аналогия не верна совершенно. Нулевая гипотеза состоит в том, что результат будет 0. Конечно, мы получим результат не 0, а X, но чем дальше он от 0, тем менее вероятно его получить.

В твоей аналогии в чём состоит нулевая гипотеза? Что человек - американец? Тогда оно, конечно, очень маловероятно, что он сенатор, но даже сенатор будет американцем. Т.е. результат "быть сенатором" не исключает результата "быть американцем". А в статистическом эксперименте результат X с очевидностью исключает результат 0.

А статистики ругаются вот почему. p-value - это вероятность получить результат X, если нулевая гипотеза верна. Вероятность (получить в эксперименте результат X) _при_условии,_что_ (нулевая гипотеза верна).

А для того, чтобы принять или отвергнуть нулевую гипотезу, нужно оценить другую вероятность - вероятность того, что (нулевая гипотеза верна) _при_условии,_что_ (в эксперименте получился результат X). Легко видеть, что это совсем другая вероятность, в некотором смысле "наоборот" к первой. Эта другая называется Bayesian inference.

Кстати говоря, в Википедии (http://en.wikipedia.org/wiki/P-value) довольно понятно всё объяснено.

[rsokolov.livejournal.com]

Прошу прощения, но мне кажется, что второй вопрос - о том, насколько вероятна нулевая гипотеза - несколько бессмысленный. Гипотез может быть бесконечное множество, в одной из них - результат 0, в другой - 0.00001 и т.д. То есть, нулевая гипотеза почти гарантированно неверна.

[shvarz.livejournal.com]

Нормальная совершенно аналогия. Байес тут ни при чем, все сформулировано в фреквентистских терминах (вы видите где-нибудь в условии обсуждение вероятностей результатов при разных гипотезах?).

[nighttime-notes.livejournal.com]

В примере разбиением вероятностного пространства является "американец" - "не американец", и вероятность быть сенатором при условии "не американец" равна нулю. Поэтому условная вероятность быть американцем при условии сенаторства равна 1.

[vdinets.livejournal.com]

Чтобы получился точный аналог, надо сенатора заменить, например, на удмурта.

[rsokolov.livejournal.com]

Так удмурт, скорее всего, - не американец. Где же тут абсурдность вывода?

ну я могу ещё проще

[freedom_of_sea.livejournal.com]

всякая селедка - рыба; но не всякая рыба - селедка

попросту условие неправильно сформулировано

[freedom_of_sea.livejournal.com]

"Если человек американец, то очень маловероятно что он сенатор."

надо так: маловероятно, что наугад взятый человек -- сенатор

Re: попросту условие неправильно сформулировано

[shvarz.livejournal.com]

Это одно и то же.

[galicarnax.livejournal.com]

но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно
What is a p-value anyway? 34 Stories to Help You Actually Understand Statistics
Именно на пальцах.

[shvarz.livejournal.com]

Спасибо!

С точки зрения блондинки:

[velta-1.livejournal.com]

(К тому же не знающей теории вероятности, и с трудом определяющей в эксперименте p value с помощью продивнутых коллег).

В качестве вводной:
-Какова вероятность, что выйдя на улицу Вы встретите динозавра?
Блондинка: 50%
- Почему???
Блондинка: ну, либо встречу, либо не встречу...
===

К существу, на пальцах:

1. Если нулевая гипотеза заключается в том, что А=В, то расчеты показывают, что при этом условии вероятность того, что С=D очень мала (<<1%)
2. В эксперименте доказано, что С=D
3. Если C=D, то вероятность того, что А=В в общем случае не изменяется.

Re: С точки зрения блондинки:

[shvarz.livejournal.com]

При твердо-определенных связях все довольно просто, проблема возникает при использовании вероятностей.

По Байесу:

[zhengxi.livejournal.com]

P(A|S) = P(S|A) * P(A) / P(S),
где
P(A) - вероятность быть американцем
P(S) - вероятность быть сенатором
P(S|A) - вероятность того, что человек сенатор, если известно, что он американец (маловероятно по пункту 1)
P(A|S) - вероятность того, что видимый нами сенатор - американец (должно быть маловероятно?)

P(A|S) хоть и прямо пропорционально P(S|A), но вполне может быть большим при маленьком P(S|A), если сенаторов мало.


В исходных 1-3 чего-то не хватает, да - вероятности быть сенатором (т.е. вероятности получить результат X независимо от верности гипотезы).

Re: По Байесу:

[shvarz.livejournal.com]

Байеса пока не трогаем.

[misha-makferson.livejournal.com]

Как заметил один коллега "ну неверно, зато операционально", т. е. работать с этим можно. Например, у нас есть "черный ящик", на входе Х, на выходе Y. Мы для понимания процессов в "черном ящике" соорудили машинку у которой на входе X, на выходе что-то напоминающее Y. Можно ли утверждать, что в "черном ящике" находится что-то похожее на нашу машинку? Вообще говоря нет, с чего бы это. Но зато подход очень операциональный, он гораздо чаще даёт результат, чем приводит к неудаче.

[shvarz.livejournal.com]

Ага, на практике действительно такая интерпретация p value вполне себе даже работает. Статистики, особенно Байесовцы писают кипятком :)

[gul-kiev.livejournal.com]

По-моему, всё очень просто. Попробую "на пальцах".
Давайте после пункта

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.

добавим пункт

1a. Если нулевая гипотеза неверна, то вероятность получить в эксперименте результат Х ещё меньше.

Пункт 1a никоим образом не противоречит пункту 1, но при его добавлении становится очевидно, что эксперимент с результатом X не может опровергнуть гипотезу - скорее, он её подтвердит. А при сформулированных в посте условиях мы не знаем, есть у нас пункт 1a или нет.

Иными словами, нужно сравнивать вероятности результата X при верности и при неверности гипотезы; одной из этих вероятностей недостаточно.

[shvarz.livejournal.com]

Да, это байсовский подход. На практике, однако, вероятности получения результатов при не-нулевой гипотезе никто не формулирует (кроме байесовцев), потому что в биологии это довольно глупое занятие, больше подходящее бросанию костей или другим "стерильным" ситуациям.

[sanmai]

Несколько раз прочитал пока понял в чем, собственно, проблема.

[kobak.livejournal.com]

А вот, кстати: http://www.youtube.com/watch?v=ez4DgdurRPg, Dance of the p-values
Думаю, Вам понравится, если Вы еще не видели.

[shvarz.livejournal.com]

Нет, не видел. Отличное видео! Must see :)

[cmike.livejournal.com]

А если пункт 2 заменить на "взяли первого попавшегося человека, оказалось — сенатор"? ;)

[shvarz.livejournal.com]

Именно так он и должен звучать. Извиняюсь, что неясно было.

[hoegni.livejournal.com]

На самом деле альтернативная гипотеза практически всегда сформулирована так, что результат X при ее истинности более вероятен. Просто в биологии это делается неявно. И альтернативная гипотеза обычно достаточно резиновая.

[shvarz.livejournal.com]

Если уж на то пошло, то в биологии нужно постараться, чтобы найти такую нулевую гипотезу, которая была бы верна :)

[ir-rena.livejournal.com]

Вы сами совершенно замечательно продемонстрировали необходимость проверки, наряду с 1), ещё одного условия :

1б) Если гипотеза неверна, то результат Х более вероятен.

Если это условие непроверено то конечно же вывод 3) будет неверен.
Обосновывается всё это конечно же формулой Баеса.

О таких "наивный" выводах биологов и медиков, без проверки условия 1б), ещё в своё время академик Гнеденко очень любил рассказывать.

Поэтому, пусть вы Баеса и не любите, но без него никак. И он, Баес, не виноват что его некорректно используют :)

[vasja-iz-aa.livejournal.com]

Кто его некорректно использует?

[ale-on.livejournal.com]

Приветствую, Егор! Читаю статью о Меркури и ВИЧ: http://www.chaskor.ru/article/kak_ubili_freddi_merkyuri_19533
Интересно ваше мнение!

[shvarz.livejournal.com]

Обычный бред от отрицателей. Что-то конкретное интересует?

Популярная статистика или как правильно реагировать н

[livejournal.livejournal.com]

User ir_rena referenced to your post from Популярная статистика или как правильно реагировать на медицинские статьи. (http://ir-rena.livejournal.com/15400.html) saying: [...] ue, о котором шла речь у Егора Воронина  в  http://shvarz.livejournal.com/312813.html [...]