shvarz | Что бесит статистиков

Некоторое время назад мне попалось на глаза интервью с парой ученых, занимающихся статистической обработкой данных. Начиналось оно с вопроса: "Какое ошибочное представление о статистике больше всего вас раздражает или донимает?" На мое удивление, они ответили, что это интерпретация "p value" как вероятности того, что вакцина или лекарство эффективны. Например, в недавнем испытании вакцины в Тайланде при обработке данных получили p=0.04, что преподносилось журналистами так: "Вероятность того, что эта вакцина действительно работает равна 96%, а с вероятностью 4% она не эффективна и полученные результаты являются делом случая."

Я вообще устыдился и удивился, потому что я такую интерпретацию (как мне кажется) слышал от преподавателя статистики, регулярно слышу ее от ученых, да и сам регулярно использую. Поэтому все интервью я очень подробно и внимательно прочитал, но объяснения тому, почему так говорить неправильно, так и не нашел. Пришлось думать самому, что было непросто, потому что в статистике я не очень силен. И вот что я надумал:

Положим мы проводим некий эксперимент. Например, вытаскиваем N шариков из мешка с черными и белыми шарами. Допустим, мы более менее установили соотношение черных шариков к белым (пусть для простоты это будет 50%-50%), но в каждом конкретном эксперименте мы наблюдаем некое отклонение от этого идеального соотношения - иногда 51-49, иногда (реже) 60-40, иногда (совсем редко) - 100-0. Точные цифры считать не хочу, но если мы вытаскиваем 100 шариков, то вероятность того, что черных (или белых) из них будет меньше 20 - примерно 2.5% (а в сумме, соотвественно - 5%). Теперь положим, что мы произвели над мешком некую операцию, в результате которой соотношение черных и белых шаров должно было измениться. В какую сторону и насколько мы не знаем, но считаем, что измениться должно. В такой ситуации мы, как это и положено, тестируем нулевую гипотезу, которая утверждает, что соотношение не изменилось. Если эту гипотезу отвергнуть, то наша идея о том, что соотношение изменилось, будет верна. И вот, допустим, ставим мы эксперимент по вытаскиванию 100 шариков и обнаруживаем среди них 19 белых и 81 черный. Согласно статистике, этот результат имеет p value <0.05, то есть гипотеза о том, что соотношение шариков не изменилось считается опровергнутой, а эффективность нашей операции считается статистически достоверно доказанной.

Где здесь появляется вероятность? Вероятность тут относится к результатам, которые наблюдались до нашего вмешательства. То есть мы можем говорить о вероятности данного результата в рамках гипотезы о том, что операция никак не повлияла на соотношение шариков в мешке. Как насчет гипотезы о том, что повлияла? Мы ничего не можем сказать о вероятности данного результата в рамках этой гипотезы, потому что мы не знаем точно, повлияла ли операция и если да, то насколько. То есть мы не имеем никакой информации о сравнительной вероятности этих двух гипотез. Все, что мы можем сказать, это то, что в рамках гипотезы об отстутствии влияния, данный результат маловероятен. Я не уверен, что я до конца осознаю различие между этими двумя интерпретациями p value, но чувстую, что оно есть и оно важно. Оно важно, потому что в одном (правильном) случае мы говорим о нашей интерпретации результата, в то время как в случае с "вероятностю" она является сама по себе результатом и интерпретировать тут уже нечего. Если кто это может более внятно объяснить, добро пожаловать в комменты.