shvarz: (Default)
shvarz ([personal profile] shvarz) wrote2011-11-22 03:23 pm

Танец p values

В комментах к баейсосрачу в предыдущем посте [livejournal.com profile] kobak дал ссылку на прекрасное видео. Если вдруг кто пропустил:

(Anonymous) 2011-11-22 09:44 pm (UTC)(link)
С нетерпением ждем следующую серию, "Танец доверительных интервалов" ;-)
Если ученый действительно стремится к знанию, формальные методы бессильны: www.newyorker.com/reporting/2010/12/13/101213fa_fact_lehrer

[identity profile] yurvor.livejournal.com 2011-11-22 09:52 pm (UTC)(link)
Да, отличное видео!

[identity profile] kobak.livejournal.com 2011-11-22 11:32 pm (UTC)(link)
Честно говоря, когда я увидел этот ролик в первый раз, то сначала не поверил. Но проверил -- всё действительно именно так. Если взять параметры распределений и количество наблюдений, как в ролике, то в 50% экспериментов разница будет значимой (p<0.05), а в 50% -- нет. Результат почти не зависит от статистического теста: я попробовал ttest, ranksum and bootstrap.

Думаю, основной практический вывод такой: p<0.05 -- это смехотворно высокая граница (для одного-единственного набора данных). Чтобы доверять результату, нужно либо получить p типа 10^-10, либо провести несколько независимых экспериментов и т.п. Всё это, в общем, и так понятно, но после этого ролика становится совсем уж очевидно: если некий результат держится на одном сравнении c p около 0.05 (или пусть даже 0.001), то доверять ему нельзя.

[identity profile] signamax.livejournal.com 2011-11-23 02:05 am (UTC)(link)
он говорит - you can simply cannot trust p

в то время как на самом деле you can simply cannot trust the experiment

то есть reliability of p would be a measure of the quality of the experiment and the hypothesis

[identity profile] vasja-iz-aa.livejournal.com 2011-11-23 03:38 am (UTC)(link)
У меня тоже есть ссылка на замечательный логический парадокс. Если кто пропустил.

http://www.google.com/search?q=%D0%B3%D0%B4%D0%B5+%D1%80%D1%83%D0%B1%D0%BB%D1%8C

[identity profile] vasja-iz-aa.livejournal.com 2011-11-25 06:55 pm (UTC)(link)
вот эта презентация выглядит сильно интересней, для иучения проблем связаных с излишним доверием к p-value. я, правда, проглядел ее лишь мельком, надо бы потом почитать подробнее, а все ли там правильно нарисовано
www.vigg.ru/fileadmin/materials/bonferroni.ppt

payday loans 894 5197

(Anonymous) 2012-10-20 08:47 pm (UTC)(link)
[url=http://usapaydayloansonlinetoday.com/#3547]payday loans[/url] - payday loans (http://usapaydayloansonlinetoday.com/#20054) , http://usapaydayloansonlinetoday.com/#16521 payday loans

payday loans 473 20735

(Anonymous) 2012-10-22 02:28 pm (UTC)(link)
[url=http://paydayloansveryquickly.com/#7920]payday loans[/url] - payday loans (http://paydayloansveryquickly.com/#4787) , http://paydayloansveryquickly.com/#16480 payday loans

cialis online 506 4520

(Anonymous) 2012-10-22 03:44 pm (UTC)(link)
[url=http://buycialisonlinesafe.com/#2181]buy cialis[/url] - buy cialis (http://buycialisonlinesafe.com/#5023) , http://buycialisonlinesafe.com/#8767 buy generic cialis