Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[shvarz.livejournal.com]

Да, имелся в виду член сената США.

[rsokolov.livejournal.com]

Ну если так, то совершенно неважно, какая там вероятность того, что американец - член сената США. Член сената США - американец по определению.

[shvarz.livejournal.com]

А любой экспериментальный результат - по определению возможен даже при нулевой гипотезе.

[rsokolov.livejournal.com]

Нет, в рамках аналогии соответствующее утверждение не "результат всегда возможен при нулевой гипотезе", а "нулевая гипотеза всегда верна".

[shvarz.livejournal.com]

Мы в обоих случаях начинаем с того, что некое предположение верно. В первом - что нулевая гипотеза верна, во втором - что человек американец. В рамках обоих предположений существует целый набор потенциальных исходов эксперимента. Затем, основываясь на маловероятности некоего события в рамках этого предположения, мы это предположение отвергаем.

"Член сената США - американец" не по определению, а один из возможных вариантов, как "плотник - американец" (если мы начинаем с того, что берем случайного американца).

[rsokolov.livejournal.com]

[info]rsokolov
2011-11-20 03:23 am UTC
Если "сенатор", по определению, член сената США- и никакой другой страны

[info]shvarz
2011-11-20 01:21 pm UTC
Да, имелся в виду член сената США.

[info]shvarz
2011-11-20 11:25 pm UTC
"Член сената США - американец" не по определению, а один из возможных вариантов,

И как это понимать?

[shvarz.livejournal.com]

Я имел в виду, что случайно-выбранный американец может быть как бухгалтером, так и сенатором.
Если очень хочется, то можно нулевую гипотезу сформулировать так: Исследуемая нами популяция людей является американцами. Поэтому выбранный нами случайный человек - "американец" в кавычках. Называем его так, потому что нулевую гипотезу пока не отвергли.

[rsokolov.livejournal.com]

Да понятно, что он может быть бухгалтером.

Вопрос в том, может ли "сенатор" не быть американцем? Если под словом "сенатор" имеется в виду член сената США - то нет, не может. Если же это просто сенатор, то он может быть и россиянином.

[shvarz.livejournal.com]

Я так понимаю, что это сенатор той страны, на которую мы смотрим - предположительно это Штаты (переформулировка выражения "если человек американец"), но мы точно не знаем.

[rsokolov.livejournal.com]

То есть, вы поймали сенатора и показываете его нам. Сенатор, по вашему определению, - член сената США, т.е. гражданин США, т.е. американец.

Следовательно, этот человек будет американцем по определению, неважно даже какое там было распределение вероятностей.

Аналогично, если вы получаете результат X, и этот результат может быть получен только при нулевой гипотезе, то тем самым вы автоматически доказываете верность нулевой гипотезы. Но такого, чтобы результат мог быть получен только при нулевой гипотезе, в реальности не бывает.

[shvarz.livejournal.com]

Нет, я поймал человека и говорю - "если он американец, то он скорее всего не сенатор (своей страны), т.е. не сенатор США". Потому что я знаю, что в Штатах очень мало сенаторов на душу населения.
Аналогично, я получил результат и говорю - "если нулевая гипотеза верна, то такой результат очень маловероятен".

[rsokolov.livejournal.com]

Это вы могли говорить еще и до того, как его поймали. А теперь вы его поймали и говорите: "2. Вот перед нами сенатор.".

Ну да, маловероятно, что он оказался бы сенатором. Но раз уж оказался - то иначе чем американцем он и быть не может.

Маловероятно, что при нулевой гипотезе будет результат X. Но раз уж результат - X, то нулевая гипотеза верна, поскольку иначе и быть не может.

[shvarz.livejournal.com]

Что-то я совсем в ваших рассуждениях запутался. Почему если результат X, то нулевая гипотеза верна?

Давайте еще раз: Мы в какой-то неизвестной стране, нулевая гипотеза - что в Штатах. 1. Давайте спросим прохожего, кем он работает, мы знаем что в Штатах практически все ковбои и совсем немного сенаторов, значит случайный прохожий в Штатах должен оказаться ковбоем. 2. Останавливаем, спрашиваем - сенатор! 3. Значит, скорее всего мы не в Штатах.

Видите ошибку в логике?

[rsokolov.livejournal.com]

>>Почему если результат X, то нулевая гипотеза верна?

По аналогии. Если человек - сенатор, то он - американец.

>>Видите ошибку в логике?

Естественно, вижу. Я просто сомневаюсь в ценности этого примера. Только американец может быть сенатором. но результат X может быть получен не только при нулевой гипотезе.

[shvarz.livejournal.com]

Нет, не только американец может быть сенатором. Мы о его нацпринадлежности судить не можем, в этом собственно и заключается логическая ошибка в построении.

[rsokolov.livejournal.com]

Посмотрите еще раз первый мой комментарий в этой ветке. Там два варианта: либо слово "сенатор" по определению означает член сената США, либо оно может означать сенатора какой угодно страны. Из вашего первого ответа ("Да, имелся в виду член сената США") я подумал, что вы имеете в виду первый вариант. Теперь же вы пишете что не только американец может быть сенатором. (А членом сената США может быть только американец - этот факт, надеюсь, возражений не вызывает.) Следовательно, вы имеете в виду второй вариант. Но произвольно взятый сенатор скорее всего не будет американцем!

[shvarz.livejournal.com]

Да, я сначала запутался. Правильный ответ на ваш вопрос - сенатор той страны, где мы нашли нашего случайного человека (если нулевая гипотеза, что это америка - значит американского сената).
Хотя произвольно взятый сенатор скорее всего и не будет американцем (если мы считаем, что действие задачи происходит сегодня, а не двести лет назад), этот результат не является логически-обоснованным выводом из условий задачи.