Ладно, короткими комментами у меня не получилось, придется длинно и занудно, в трех частях.
Первый список из трех пунктов в посте правильно описывает, как надо применять p-values (по модулю правильного понимания слов: "скорее всего" надо понимать не в теоретико-вероятностном смысле, а в бытовом или "юридическом", но тут у нас расхождений, кажется, нет).
Абсурдный вывод получается во вторых трех пунктах (в пародии) из-за неаккуратного обращения с "нулевой гипотезой": а именно, в первом пункте выдвигается одна статистическая гипотеза, но в третьем пункте отвергается совсем другая гипотеза; подмена маскируется тем, что обе гипотезы приблизительно одинаково звучат в неформальном изложении.
Чтобы объяснить суть подмены, нужно разобраться в том, что такое статистическая гипотеза (прилагательное "статистическая" я впредь буду опускать). "Выбранный человек является американцем" - не гипотеза, вообще говоря, но это можно интерпретировать как гипотезу, выраженную на некотором жаргоне.
Я начну несколько издалека. Теория вероятностей (я для простоты буду придерживаться классического подхода) предполагает, что есть некоторое вероятностное пространство (грубо говоря, набор элементарных исходов и распределение на нем), мы знаем какие-то из свойств этого пространства (иными словами, нам задан класс пространств, содержащий "настоящее" пространство), и мы хотим что-то вывести о свойствах некоторых интересующих нас событий (грубо говоря, события - это те группы исходов, которые мы можем наблюдать, то есть отличать друг от друга). Подход статистики в каком-то смысле противоположен. Никаких вероятностей изначально нет (опять-таки, я для простоты придерживаюсь классического частотного подхода; дальнейшее философски плохо совместимо или совсем не совместимо со многими другими подходами к основаниям, в частности, со многими байесовскими; однако это дальнейшее остается операционально верным во всех известных мне развитых системах). У нас есть какие-то наблюдения; мы хотели бы предположить, что существует вероятностное пространство, в котором мы можем подобрать события, соответствующие нашим наблюдениям; и мы хотим утверждать что-нибудь о свойствах этого пространства. То есть мы хотим по наблюдениям найти класс вероятностных пространств, совместимый с этими наблюдениями. Вот этот класс и называется "истинной" гипотезой. А просто гипотезой называется любой класс пространств. Проверка же на совместимость гипотезы и наблюдений может называться тестированием (в частотном подходе, где мы пытаемся просто сказать да или нет), либо Bayesian inference (где мы пытаемся ввести более тонкую структуру на гипотезах), либо калибровка, валидация и прочее (это в более экзотических подходах).
Практический вывод из всего этого математического абстракционизма такой: гипотеза - это какие-то предположения о вероятностях, с которыми мы видим то, что видим. Пусть мы увидели x. Тогда "x - американец" гипотезой не будет. "x взято из множества A, состоящего только из американцев" - уже лучше, но гипотезой тоже не является. А гипотезами будут, например "x выбрано из равномерного распределения на множестве A", "x выбрано из какого-то распределения на множестве A", "x выбрано из какого-то распределения на каком-то конечном подмножестве A множества всех американцев". Оговорюсь, что гипотезы такой общности в курсах статистики обычно не рассматривают. А рассматривают, скажем, параметрические семейства - заданные, грубо говоря, формулой с конечным числом вещественных параметров; либо непараметрические семейства - заданные бесконечным числом параметров или же, скажем, измеримым (в смысле теории меры) свойством функции распределения. Но общие гипотезы не рассматривают только потому, что там особо содержательной науки нет. Логически же основания у нас устроены именно так.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
no subject
Date: 2011-11-22 03:09 am (UTC)Первый список из трех пунктов в посте правильно описывает, как надо применять p-values (по модулю правильного понимания слов: "скорее всего" надо понимать не в теоретико-вероятностном смысле, а в бытовом или "юридическом", но тут у нас расхождений, кажется, нет).
Абсурдный вывод получается во вторых трех пунктах (в пародии) из-за неаккуратного обращения с "нулевой гипотезой": а именно, в первом пункте выдвигается одна статистическая гипотеза, но в третьем пункте отвергается совсем другая гипотеза; подмена маскируется тем, что обе гипотезы приблизительно одинаково звучат в неформальном изложении.
Чтобы объяснить суть подмены, нужно разобраться в том, что такое статистическая гипотеза (прилагательное "статистическая" я впредь буду опускать). "Выбранный человек является американцем" - не гипотеза, вообще говоря, но это можно интерпретировать как гипотезу, выраженную на некотором жаргоне.
Я начну несколько издалека. Теория вероятностей (я для простоты буду придерживаться классического подхода) предполагает, что есть некоторое вероятностное пространство (грубо говоря, набор элементарных исходов и распределение на нем), мы знаем какие-то из свойств этого пространства (иными словами, нам задан класс пространств, содержащий "настоящее" пространство), и мы хотим что-то вывести о свойствах некоторых интересующих нас событий (грубо говоря, события - это те группы исходов, которые мы можем наблюдать, то есть отличать друг от друга). Подход статистики в каком-то смысле противоположен. Никаких вероятностей изначально нет (опять-таки, я для простоты придерживаюсь классического частотного подхода; дальнейшее философски плохо совместимо или совсем не совместимо со многими другими подходами к основаниям, в частности, со многими байесовскими; однако это дальнейшее остается операционально верным во всех известных мне развитых системах). У нас есть какие-то наблюдения; мы хотели бы предположить, что существует вероятностное пространство, в котором мы можем подобрать события, соответствующие нашим наблюдениям; и мы хотим утверждать что-нибудь о свойствах этого пространства. То есть мы хотим по наблюдениям найти класс вероятностных пространств, совместимый с этими наблюдениями. Вот этот класс и называется "истинной" гипотезой. А просто гипотезой называется любой класс пространств. Проверка же на совместимость гипотезы и наблюдений может называться тестированием (в частотном подходе, где мы пытаемся просто сказать да или нет), либо Bayesian inference (где мы пытаемся ввести более тонкую структуру на гипотезах), либо калибровка, валидация и прочее (это в более экзотических подходах).
Практический вывод из всего этого математического абстракционизма такой: гипотеза - это какие-то предположения о вероятностях, с которыми мы видим то, что видим. Пусть мы увидели x. Тогда "x - американец" гипотезой не будет. "x взято из множества A, состоящего только из американцев" - уже лучше, но гипотезой тоже не является. А гипотезами будут, например "x выбрано из равномерного распределения на множестве A", "x выбрано из какого-то распределения на множестве A", "x выбрано из какого-то распределения на каком-то конечном подмножестве A множества всех американцев". Оговорюсь, что гипотезы такой общности в курсах статистики обычно не рассматривают. А рассматривают, скажем, параметрические семейства - заданные, грубо говоря, формулой с конечным числом вещественных параметров; либо непараметрические семейства - заданные бесконечным числом параметров или же, скажем, измеримым (в смысле теории меры) свойством функции распределения. Но общие гипотезы не рассматривают только потому, что там особо содержательной науки нет. Логически же основания у нас устроены именно так.
[Продолжение следует!]