shvarz

И хорошо, если не "work backward" для нужной конечной цифры, а действительно prior :)

From:

misha-b.livejournal.com

Ну, цифирьки подогнать -- это всегда дело нужное и полезное.

From:

pvalue не лучше. то, что в нем не используются априорная вероятность гипотезы лишь маскирует его проблемы.

Когда мы из головы выдумываем уровень значимости 1-0.0001 мы как раз пробегаем етот спектр 3-70% (грубо говоря)

From:

[1%, 0.0001%]

From:

Конечно проблемы есть, но к ним мы уже привыкли :)

From:

thevlad.myopenid.com (from livejournal.com)

при чем тут вообще уровень значимости? можно ведь и тупо на P(statistic > t) смотреть.

From:

а как вы эту вероятность интерпретируете? (если я верно вас понял).
Т.е. вы открываете статью с p-value = x. Какие значения вы считаете достаточными, чтобы поверить исследованию?

From:

thevlad.myopenid.com (from livejournal.com)

Если small sample, то > 0.05 вполне достаточно. ну и что значит "поверить", это ведь не бинарная функция, скорее лишь повод что нужно провести еще одно такое же исследование. То есть в случаи малой выборки эта проблема "доверия" она вообще не особо решается, что с байесом, что без. И тут уже влияют другие факторы, чем сложнее методика тем проще ее абьюзить и вообще "подгонять циферки".

Если данных много, и p-value <10^-9 нуль гипотеза отвергнута, и эффект скорее всего значительный. 10^-3 < p-value < 10^-6 нуль гипотеза отвергнута, но эффект возможно мало значительный. Если > 10^-2-10^-3, то это повод задуматься что авторы исследования страдают фигней.

From:

если pvalue маленькое и много данных - то как раз эффект может быть незначительный. иными словами, если нулевая гипотеза состоит в том, что монетка честная, а на самом деле P(решки) = 0.49999, то имея возможность генерировать много данных мы можем получить сколь угодно маленькое pvalue. При этом отличие вероятности в 5-м знаке после запятой вряд ли можно назвать значительным эффектом.

http://en.wikipedia.org/wiki/P-value#Misunderstandings пункт (7)

From:

thevlad.myopenid.com (from livejournal.com)

В теории да, на практике, чтобы иметь p-value < 10^-9 и малозначительный эффект, должно сильно не повезти. Лень считать, но чтобы при P(решки) = 0.49999 получить p-value 10^-9, выборка должна быть не реального размера. Сильно не повезти с малозначительным эффектом = скорее всего эффект значительный.

Оттуда же "The p-value does not indicate the size or importance of the observed effect. *The two do vary together*"

From:

я скорее про то, что 10^-9 и неоченьмного данных куда лучше чем 10^-9 и много данных.

From:

с точки зрения "силы эффекта"

From:

thevlad.myopenid.com (from livejournal.com)

Отчасти да, но это еще один шаг в сторону "бредятины", определять по p-value "силу эффекта", когда оно имеет "ортогональный" смысл - вероятность что нуль гипотеза была отвергнута чисто случайно.

Просто на практике, получить с мало значительным эффектом "зашкаливающее" значение p-value достаточно сложно/маловероятно и это по крайней мере ни так бредово как кажется. Ну и тут вопрос, конечно, что считать значительным, для генератора псевдо случайных чисел, P(0) = 0.49 это значительный эффект, для чего-то другого - нет.

From:

Ну, это от практики зависит. Достаточно обычным образом такая ситуация наблюдается если выборки гигантского размера, а это не такая уж редкость во многих практических областях. А если данные черпнуть из какой-нибуть общедоступной коллекции, то и в других областях науки можно повторить тот же трюк.

From:

Я считаю <0.05. Да, эта цифра взята с потолка и могло бы быть 0.1 или 0.01, но по крайней мере это не 0.2 и не 0.9.

From:

на p-value лучше не смотреть

From:

А на что же тогда смотреть?

From:

На величину эффекта.

Но в общем то, зависит от обстоятельств. Бывает, что лучше всего на губы смотреть.

From:

Величина эффекта без pvalue, это не лучше, чем pvalue без величины эффекта.

From:

Можно, в принципе, обсудить и этот глубокотеоретический вопрос.
Но практически гораздо чаще встречаются не полностью отстsвующие, а частичные указания. Как то вроде либо слабая положительная корреляция с p-value .01 или статистически достоверная корреляция .4 Второе много лучше.

From:

Я тут немного почитал на этот счет и да, можно сказать, меня переубедили.

From:

ну я, в общем то, сослался на этот старый разговор только для того, что бы подтвердить: в самом общем смысле автор ролика прав, есть действительно такая проблема, что ученые зря придают слишком большое значения абсолютной величине p-value. но вот стиль, способы и методы, которыми ролик сделан, они не столь однозначно хороши и верны

From:

кстати, они априорную вероятность 0.61 почти не с потолка взяли

From:

Именно что с потолка. Они там усреднили "предыдущие тестирования", то есть яблоки с апельсинами и с голландским сыром.

From:

alexey-rom.livejournal.com

Ну, не усреднили вроде. Просто "основана на", а как именно, не сказано. Может, в тексте статьи есть?

From:

Если вы начинаете с яблок, апельсинов и голландского сыра, то можете хоть усреднять, хоть делить, хоть компот делать - биологического смысла в комбинации этих цифр вы не найдете. Там два испытания вакцин, которые в принципе отличаются от этой, плюс "третье" испытание собранное из 5 разных исследований вакцин, которые более-менее похожи на эту. Гадание на кофейной гуще.

From:

Смысл есть даже для биологов. Если вы сто раз проведете испытание плацебо, то вероятность того, что в одном из них обработаные стандартным образом результаты дадут приличное p-value будет выше, чем в случае единичного испытания. Собственно, так вся японская наука и делается. Ну, Вы поняли -- не вся, конечно, но.

From:

А при чем тут это? Если вы проводите испытания одного и того же плацебо сто раз, то это одно дело, а если вы каждый раз тестируете что-то новое (как в этом случае), то предыдущие испытания тут ни при чем.

From:

Откуда плацебо знает, новое оно или старое? Пусть будет правильная монетка, если плацебо вносит лишние ассоциации. безразлично ведь, сто раз испытываем одну и туже монету, сто раз испытываем каждый раз новую или горсть из ста монет трясем и испытываем параллельно. Девять решек из десяти бросков монеты мы получим равновероятно.

From:

etoile_verte

Чёрт, неужели всем понятно, что означают столбцы в этой таблице? Со строками понятно даже мне :) 0.61 выбрана потому, что она вроде бы больше похожа на ожидаемую правду, да?

From: