Интерпретация p value

[shvarz]

1. Если нулевая гипотеза верна, то очень маловероятно получить в эксперименте результат Х.
2. Мы сделали эксперимент и получили результат Х.
3. Следовательно, нулевая гипотеза скорее всего неверна.

Эта интерпретация p value встречается в науке сплошь и рядом, и даже в некоторых учебниках по статистике приводится. Что статистиков чрезвычайно выводит из себя, но я не встречал еще статистика, который мог бы на пальцах объяснить, что почему это не верно.

А вы видите тут логическую неувязку?

Если нет, то следующая аналогия (вычитанная мною в одной статье) вам должна помочь:

1. Если человек американец, то очень маловероятно что он сенатор.
2. Вот перед нами сенатор.
3. Следовательно, он скорее всего не американец.

Впрочем, даже здесь, хотя абсурдность вывода и очевидна, откуда именно она берется - не совсем очевидно и приходится подумать.

Comments

[shvarz.livejournal.com]

Спасибо за такой подробный ответ. Если я вас правильно понял, то вы говорите, что implicitly мы все на самом деле байесовцы, т.е. даже если мы и пользуемся классическим подходом, то на самом деле мы всегда держим в голове множество гипотез, неким образом ранжируем их вероятности и неким образом просчитываем вероятности каждого результата при каждой гипотезе. Поэтому заключение о вероятности нулевой гипотезы на основании классического p value (в первом приближении, на практике) является корректным. Так?

Но при этом вы не оспариваете, что формально оно не корректно? Не знаю, для вас это может слишком очевидно, но для огромного количества людей (включая меня) вот эта формальная некорректность является соверешнно неочевидной, поэтому и пример этот полезен (хотя и менее полезен, чем мне показалось вначале).

[(Anonymous)]

Честно говоря, я очень озадачен Вашим первым абзацем. Мне казалось, ничего такого я не говорил. P-value ничего не говорит о "вероятности нулевой гипотезы". P-value сообщает нам, верна гипотеза или нет, никаких вероятностей, полная определенность.

Возможно, я сказал на этот раз слишком много слов. Повторю чуть короче самое главное. Сначала никаких гипотез нет вообще. Потом мы тяжким трудом придумываем одну гипотезу. Одну. Никаких других. Гипотеза - это то, что позволяет посчитать вероятности всех событий, всех мыслимых. Еще раз: гипотезой называется любой способ приписать каждому событию число - вероятность, причем так, что разным событиям вероятности приписаны согласованным образом (так, чтобы выполнялись законы теории вероятностей). Придумав гипотезу, мы ее проверяем: смотрим, какова вероятность действительно произошедшего события. Если она мала, мы гипотезу отвергаем. Не говорим, что эта гипотеза маловероятна - никаких вероятностей нет. Просто твердо говорим, что гипотеза неверна. Все оговорки, что маловероятные события иногда случаются, мы оставляем там же, где оговорки, что мы могли ошибиться при подсчете, забыть помыть пробирку, страдать галлюцинациями и так далее. Просто "гипотеза неверна", а то, что всё наше знание в принципе подвержено ошибкам, оставили философам. (Здесь я замел под ковер, что надо выбрать рассматриваемое событие и выбрать, что значит "вероятность события мала". Это отдельная тема, не надо ее пока примешивать.)

Пример - чистый софизм, в котором гипотезу по дороге поменяли. Полезен он ровно тем, что так случается и на практике, совершенно бессознательно.

[shvarz.livejournal.com]

Хм, это меня смутили ваши рассуждения о том, что все возможные ошибки и условия мы формально оговорить не можем (или не желаем).

Но я все-таки не понимаю. Сначала вы говорите: "Первый список из трех пунктов в посте правильно описывает, как надо применять p-values", а потом "Пример - чистый софизм, в котором гипотезу по дороге поменяли.", хотя в первом примере именно упор на неправильной интерпретации p value делается и подмена гипотез тоже происходит - от верности нулевой гипотезы к ее (не)вероятности.

[(Anonymous)]

Кажется, часть непонимания остается в том, что слово гипотеза я употребляю только в техническом смысле - как синоним распределения вероятностей.

Пример, на мой взгляд, устроен так: мы "посчитали p-value" одной гипотезы, после чего отвергли совершенно другую, просто с "похожим именем". Как если бы мы сказали, что от Москвы до Ялты ехать далеко, поэтому в пивную "Ялта" (которая за углом) мы не пойдем. То есть тут дело вообще не в интерпретации p-value. Не знаю, так стало понятно?

Про всевозможные условия, которые мы оговорить не можем, я вот к чему говорил. Гипотеза - это, по-хорошему, ровно одно распределение вероятностей. Но для нас некоторые распределения неразличимы (мы не можем либо не хотим их различать), и все эти распределения мы объединяем в одну гипотезу. Мы их не сравниваем между собой и не ранжируем их вероятности - мы их вообще не различаем. Я математик и мне естественно это выразить словами "гипотезой называется класс распределений вероятностей", а Вас, видимо, сбивает с толку.

[shvarz.livejournal.com]

Да, "гипотезой называется класс распределений вероятностей" - это для меня довольно сложная терминология и я, даже если и подумаю и пойму что вы имеете в виду, все равно не смогу такими терминами свободно оперировать.

В чем принципиальные отличия первого рассуждения от аналогии я так и не понял :(

[(Anonymous)]

Если я Вам еще не надоел окончательно со своими длинными комментами, то может быть, Вы скажете, какое из нижеследующих утверждений Вам кажется неясным или неверным? (Я полагаю, что все эти утверждения я высказывал в предыдущих комментах, но недостаточно отчетливо, по-видимому.)
1) При применении "первого рассуждения" вместо слов "нулевая гипотеза" в пунктах 1 и 3 нужно подставить некоторое математическое выражение (одно и то же). В первом приближении, это математическое выражение - вероятностное распределение на всевозможных исходах нашего эксперимента.
2) В реальной жизни вместо математического выражения (сложного и длинного) пишут неформальный текст на естественном языке. Предполагается, что каждый желающий по этому тексту сам может восстановить подразумеваемое математическое выражение.
3) В "аналогии" математическое выражение, восстанавливаемое из текста пункта 1, отличается о математического выражения, восстанавливаемого из текста пункта 3. Поэтому "аналогия" не следует "первому рассуждению".

[shvarz.livejournal.com]

№1 - мне кажется там "должно" стоять одно и то же выражение, но при неправильной интерпретации p туда подставляют разные выражения. В пункте 1 - вероятностное распределение всевозможных исходов эксперимента, а в пункте 3 - вероятностное распределение всевозможных распределений всевозможных исходов эксперимента.

[(Anonymous)]

Честно говоря, буквально понять Вашу реплику я не могу никак - кажется, я заставил Вас говорить на крайне неудобном Вам языке. Предположу, что Вы имели в виду примерно следующее:
пункт 3 "следовательно, нулевая гипотеза скорее всего неверна" обычно ошибочно понимают как "P-value - это вероятность нулевой гипотезы". То есть, Вы считаете, что аналогия в точности следует этому ошибочному пониманию, приводит к абсурду и тем показывает ошибочность?

[shvarz.livejournal.com]

Ага.

[(Anonymous)]

Я всё же надеялся, что Вы скажете нет. Как мне кажется, Ваше понимание возможно только если считать, что нулевая гипотеза - это буквально "X - американец" (а не математическое выражение, неформально описываемое etc). Это настолько грубо неверно, что я даже не знаю, как это объяснить. И по-прежнему не очень верю, что правильно Вас понял, поэтому задам еще один вопрос. Могли бы Вы для этого "эксперимента про сенатора" описать правильное, по Вашему мнению, применение p-values?

[shvarz.livejournal.com]

3. Если этот человек американец, то случилось что-то очень маловероятное.

Собственно на этом размышления внутри логики эксперимента заканчиваются.

Дальше можно делать разные выводы и предполагать разные вещи, но при этом выходя за рамки этого отдельного эксперимента и размышляя о совокупности всех экспериментов или наблюдений в целом. Может быть мы не в Америке. Может быть мы выбрали не случайного человека. Может мы неправильно понимаем, что такое сенатор. И т.д.

[shvarz.livejournal.com]

В принципе, даже фраза "3. Следовательно, этот человек не американец" и то будет более корректна, потому что не будет ничего говорить о вероятности того, что человек является американцем (если обговорить отдельно, что в науке подобные заключения можно делать, но они имеют не то же значение, что и в быту).

[(Anonymous)]

Кажется, я нечто понял. Похоже, у "пользователей статистики" сложился свой особый язык, не совпадающий с тем, которым пользуются статистики. Вы приходите к тем же самым - правильным - выводам, по дороге сделав, с моей точки зрения, кучу ошибок; значит, это не ошибки, а неизвестный мне язык. Большое Вам спасибо, для меня эта дискуссия оказалась очень полезной.

[yurvor.livejournal.com]

Вы так всё хорошо и понятно излагаете, просто отлично! А могли бы Вы представиться?

(это не обязательно, просто приятно узнать, как Вас зовут)

[(Anonymous)]

Спасибо за лестную оценку. К сожалению, практика ее не подтверждает.

А имя - что значит имя? Роза пахнет розой, хоть Розой назови ее, хоть Даздрапермой :)
Я понимаю, что и хозяин журнала, и Вы здесь под настоящими именами (Ваши комментарии, если я правильно помню, я видел в каких-то обсуждениях гибели Алехновича), но мне хотелось бы оставаться анонимным. Приношу свои извинения.

[shvarz.livejournal.com]

Вам не обязательно открывать свое настоящее имя. Можно просто завести аккаунт ради удобства комментирования и отслеживания дискуссий.