Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[plakhov.livejournal.com]

Нет, это не байесовский подход. Тут ничего не говорится ни об априорных вероятностях гипотез, ни об апостериорных. Необходимость того, чтобы полученный результат был более вероятным в рамках проверяемой гипотезы, чем в рамках нулевой, совершенно очевидна вне зависимости от подхода. Просто это условие настолько редко нарушается (я надеюсь), что вслух его даже не проговаривают.

[elensefar.livejournal.com]

Не понимаю вашего неприятия байсианизма. Любой статистический вывод является частным случаем байесова.

Если нулевая гипотеза верна, то очень маловероятно, что на Землю через 5 минут упадет крупный катастрофиеский метеорит.
БУМС!!!
Фух, слава богу я был в крутой подземной лаборатории! Ой, а нулевая гипотеза неверна?

[shvarz.livejournal.com]

Мы в обоих случаях начинаем с того, что некое предположение верно. В первом - что нулевая гипотеза верна, во втором - что человек американец. В рамках обоих предположений существует целый набор потенциальных исходов эксперимента. Затем, основываясь на маловероятности некоего события в рамках этого предположения, мы это предположение отвергаем.

"Член сената США - американец" не по определению, а один из возможных вариантов, как "плотник - американец" (если мы начинаем с того, что берем случайного американца).

[shvarz.livejournal.com]

Аналогия тем и аналогия, что в ней используются другие понятия. В аналогии нет нулевой гипотезы. Есть логическое построение, сходное с логикой в первом построении - начинаем с предположения, затем на основании маловероятности некоего события в рамках этого предположения судим о вероятности того, что наше предположение верно.

[shvarz.livejournal.com]

Вы не так уж далеки от истины :)

[shvarz.livejournal.com]

Можно, можно :)
Простое трехшаговое логическое построение, прибегать к приему Буратины ("чего ради я отдам ему яблоко?") вовсе не обязательно.

[yurvor.livejournal.com]

"В аналогии нет нулевой гипотезы."

Хм. Мне тогда кажется, что она совсем не аналогия :) Вернее сказать, я не понимаю, что тогда тут аналогичного - ведь важна внутренняя структура представления, в данном случае вероятностная связь между нулевой гипотезой и полученным результатом. А в аналогии такой связи нет.

[shvarz.livejournal.com]

Нет, о вероятности мы ничего не говорим. Для того, чтобы судить о вероятности того, что гипотеза верна нужен этот самый треклятый байесовский подход. А в фреквентистском подходе мы начинаем с предположения, что нулевая гипотеза верна (без всяких вероятностей о ее верности или ложности) и затем либо отвергаем ее, либо нет.

Не "не верь глазам своим", а помни, что статистический анализ - это лишь инструмент, а не арбитр истины. Человек может быть и американцем и нет, данный конкретный тест (так уж мы его устроили), говорит что нет (опять же - потому что мы так решили), но это не значит, что человек точно не американец.

[shvarz.livejournal.com]

Куда он исчезает?

1. Маловероятно, что наугад взятый американец - сенатор.
2. Сенатор.
3. Маловероятно, что он американец.

[shvarz.livejournal.com]

Ну не полностью байесовский, но рассуждения о вероятностях результата при разных гипотезах - это из байеса.

[shvarz.livejournal.com]

Мне не нравится байесанизм, потому что он пытается красоту сантиметром измерить. В простых случаях (золотое сечение там, соотношение сторон и т.д) это возможно, но к Джоконде это не применишь.
В результате получаем: http://shvarz.livejournal.com/299941.html

[vdinets.livejournal.com]

но тогда это уже другой метод

[(Anonymous)]

Ну напишите же отрицание более формально: маловероятно, что это _наугад взятый_ американец.

[rsokolov.livejournal.com]

Я не понимаю, какой смысл можно вложить в слово "отвергаем" помимо "считаем ложной/маловероятной". "Осуждаем"? "Проклинаем"? "Анафематствуем"?

[rsokolov.livejournal.com]

[info]rsokolov
2011-11-20 03:23 am UTC
Если "сенатор", по определению, член сената США- и никакой другой страны

[info]shvarz
2011-11-20 01:21 pm UTC
Да, имелся в виду член сената США.

[info]shvarz
2011-11-20 11:25 pm UTC
"Член сената США - американец" не по определению, а один из возможных вариантов,

И как это понимать?

[vasja-iz-aa.livejournal.com]

> маловероятности некоего события в рамках этого предположения

это, как бе, дважды неверно. мы оценивает вероятность не события а ошибки первого рода и совершить, а не наоборот. ну если, конечно, я правильно понимаю о чем Вы

[misha-b.livejournal.com]

Нет, вероятность результата при разных гипотезах -- это не Bayes.

Bayes -- это когда предполагается априорная вероятность самих гипотез.

[elensefar.livejournal.com]

Вообще я бы попытался объяснить так. p-value будет работать, если мы предполагаем, что среди "ненулевых гипотез" есть такие, которые дают большую вероятность результата X, даже если не задаем эту вероятность явно и вообще не особо думаем, какие они из себя. Если среди "ненулевых гипотез" не существует такая, для которой p-value X больше -p-value нулевой, то критерий становится неприменим.

Вероятно, в биологии сложно наткнуться на случай, когда бы это не подразумевалось, но с точки зрения классической статистики вероятность одной гипотезы смысла не имеет.

[cmike.livejournal.com]

А если пункт 2 заменить на "взяли первого попавшегося человека, оказалось — сенатор"? ;)

[hoegni.livejournal.com]

На самом деле альтернативная гипотеза практически всегда сформулирована так, что результат X при ее истинности более вероятен. Просто в биологии это делается неявно. И альтернативная гипотеза обычно достаточно резиновая.

[ir-rena.livejournal.com]

Вы сами совершенно замечательно продемонстрировали необходимость проверки, наряду с 1), ещё одного условия :

1б) Если гипотеза неверна, то результат Х более вероятен.

Если это условие непроверено то конечно же вывод 3) будет неверен.
Обосновывается всё это конечно же формулой Баеса.

О таких "наивный" выводах биологов и медиков, без проверки условия 1б), ещё в своё время академик Гнеденко очень любил рассказывать.

Поэтому, пусть вы Баеса и не любите, но без него никак. И он, Баес, не виноват что его некорректно используют :)

[vasja-iz-aa.livejournal.com]

Кто его некорректно использует?

[shvarz.livejournal.com]

Я имел в виду, что случайно-выбранный американец может быть как бухгалтером, так и сенатором.
Если очень хочется, то можно нулевую гипотезу сформулировать так: Исследуемая нами популяция людей является американцами. Поэтому выбранный нами случайный человек - "американец" в кавычках. Называем его так, потому что нулевую гипотезу пока не отвергли.

[rsokolov.livejournal.com]

Да понятно, что он может быть бухгалтером.

Вопрос в том, может ли "сенатор" не быть американцем? Если под словом "сенатор" имеется в виду член сената США - то нет, не может. Если же это просто сенатор, то он может быть и россиянином.

[shvarz.livejournal.com]

Я так понимаю, что это сенатор той страны, на которую мы смотрим - предположительно это Штаты (переформулировка выражения "если человек американец"), но мы точно не знаем.