Да, видел я эту статью и Ионидиса читал. На самом деле, вышеприведенный ролик как раз может являться ответом Ионидису, потому как иллюстрирует, что если при повторении эксперимента p value вышло недостоверным, то это не значит, что первоначальное наблюдение было ложным.
Ладно, сарказм не прошел, тогда скажу прямо. Как очевидно из ролика - из самой идеи этого численного эксперимента, человек, который 40 лет учил статистике, сам не понимает, что такое P-value. Однако он предлагает шире использовать доверительные интервалы, понимание которых требует гораздо более высокого уровня абстрактного мышления и практическая интерпретация которых существенно менее прозрачна по сравнению с P-value.
У нас тут недавно был замечательный пример - испытание вакцины в Таиланде выдало результат 31% плюс-минус 29% эффективности. Соответственно, p value выпало на самой границе значимости и если сделать анализ одним способом, то получалось > 0.05, а если другим - < 0.05.
Так вот споров насчет конкретных цифр и того, означают ли они что вакцина действительно работала или нет было выше крыши. И нижнюю границу доверительного интервала (2%) тоже приводили не раз.
В этом и других подобных случаях важно заметить, что наблюдаемый эффект это процент от процента, причем от очень малого. Т.е. в условных контроле 1% в экспреименте .8% , .2% разницы.
С этим как раз в нашей области проблем нет. Все активно отслеживают абсолютные вероятности, потому что они варьируют существенно от популяции к популяции и потому что сначала эксперименты на макаках делали с внутривенным введением большого количества вируса и ничего не работало. Потом кто-то догадался использовать более физиологические условия и много что заработало. Сейчас заражать процентов 10 с первой попытки - золотой стандарт.
Возможно, будет убедительнее, если вместо прямого ответа я предложу нижеследующее упражнение - для тех, кто знаком с понятием доверительного интервала (хотя для профессионального статистика, вероятно, упражнение окажется неинтересным).
Подумайте и четко сформулируйте для себя определение доверительного интервала ("доверительный интервал с уровнем доверия 95% для параметра a распределения P_a - это..."). После этого посмотрите определение в википедии, лучше в английской, но можно и в русской (в русской труднее понять из-за краткости); сравните со своим. После этого прочитайте вот этот пост, где автор делиться своим недоумением от определения в википедии: users.livejournal.com/_winnie/316159.html Наконец, прочитайте комментарий Саши Шеня к этому посту. (Он мне кажется абсолютно верным и очень ясным, но если вдруг понадобятся пояснения, я готов попробовать.)
Вопрос: проделав всё это, Вы по-прежнему считаете, что если в какой-то статье результат эксперимента будет выражен доверительным интервалом, у Вас не возникнет особых трудностей в интерпретации этого результата? Или по крайней мере, что интерпретация p-value была бы труднее?
Возможно, будет убедительнее, если вместо прямого ответа я отмечу, что ни в оригинальном недоумении _winnie, ни в комментарии к нему "Саши Шеня" речи об итерпретации результатов реального эксперимента из прочитаной научной статьи не идет.
![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif){kind=small}
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
no subject
Date: 2011-11-22 09:48 pm (UTC)no subject
Date: 2011-11-23 02:12 am (UTC)понимание которых требует гораздо более высокого
Date: 2011-11-23 05:13 pm (UTC)Re: понимание которых требует гораздо более высокого
Date: 2011-11-23 05:17 pm (UTC)Так вот споров насчет конкретных цифр и того, означают ли они что вакцина действительно работала или нет было выше крыши. И нижнюю границу доверительного интервала (2%) тоже приводили не раз.
Re: понимание которых требует гораздо более высокого
Date: 2011-11-23 05:53 pm (UTC)Re: понимание которых требует гораздо более высокого
Date: 2011-11-23 05:58 pm (UTC)no subject
Date: 2011-11-23 09:53 pm (UTC)Подумайте и четко сформулируйте для себя определение доверительного интервала ("доверительный интервал с уровнем доверия 95% для параметра a распределения P_a - это...").
После этого посмотрите определение в википедии, лучше в английской, но можно и в русской (в русской труднее понять из-за краткости); сравните со своим.
После этого прочитайте вот этот пост, где автор делиться своим недоумением от определения в википедии: users.livejournal.com/_winnie/316159.html
Наконец, прочитайте комментарий Саши Шеня к этому посту. (Он мне кажется абсолютно верным и очень ясным, но если вдруг понадобятся пояснения, я готов попробовать.)
Вопрос: проделав всё это, Вы по-прежнему считаете, что если в какой-то статье результат эксперимента будет выражен доверительным интервалом, у Вас не возникнет особых трудностей в интерпретации этого результата? Или по крайней мере, что интерпретация p-value была бы труднее?
если в какой-то статье результат эксперимента будет
Date: 2011-11-23 11:34 pm (UTC)