В поисках Украины и статистической достоверности

[shvarz]

Американцы ищут Украину на карте мира:


Меня на самом деле в этой статье задела вовсе даже не географическая (без)грамотность, а статистическая основа для одного из основных выводов статьи: "Чем меньше человек знает о том, где находится Украина, тем больше он поддерживает военное вмешательство США". Авторы подчеркивают статистическую достоверность этого результата, но при этом не указывают насколько велика разница.

Я тут недавно был на одной крутой конференции и специально следил за использованием терминов statistically significant (статистически достоверно) и significant (важно, в смысле важности эффекта). Подавляющее большинство представляющих использовало эти термины взаимозаменяемо! Если уж жаловаться на печальное состояние современных биомедицинских исследований, так надо ссылаться на этот факт, а не на невоспроизводимость.

Comments

[noncivilian.livejournal.com]

А можно ссылку на статью?

[shvarz.livejournal.com]

Упс, забыл дать. Спасибо за напоминание, сделал картинку кликабельной.

[mayskaya-groza.livejournal.com]

Ну ладно Австралия.

А в США зачем ищут?

[shvarz.livejournal.com]

Если в США есть Грузия, то должна быть и Украина.

[igor734.livejournal.com]

Ну, в Чикаго, например, есть Ukrainian Village, могут её искать :))

[polenadisto.livejournal.com]

Так это почему-то проходит мимо многих хороших курсов статистики. Даже в тех, где обсуждается важность размера эффекта для его выявления.

У нас был случай, когда студентка не то на курсовой, не то на дипломе придумывала всякие неочевидные гипотеза для объяснения корреляции, которая у нее оказалась значимой. И только на защите ей сказали, что у нее корреляций равна 0,01 (или около того) - при ее выборке в несколько тысяч она оказалась значимой, но только в статистическом смысле.

[shvarz.livejournal.com]

Потому что, наверно, это не в компетенции статистиков - биологическую важность оценивать. Они про свое учат, про доверительные интервалы и про p values.

[oude-rus.livejournal.com]

//all of these effects are statistically significant at a 95 percent confidence level. //

наверное, я читаю какую-то другую статью.
(не упоминая о том, что Почта Вашингтона - это не совсем Натура)

[shvarz.livejournal.com]

А из этой цифры разве понятно, насколько велик эффект?

[kodak2004.livejournal.com]

Вы невольно стали наглядной иллюстрацией проблемы, описанной в посте.

[rezoner.livejournal.com]

Поэтому стараются употреблять другиe термины, обычно effect size. Из-за возможной путаницы.

[shvarz.livejournal.com]

Не знаю, опять же ссылаясь к последней конференции - никто там не старался употреблять effect size.

[mfreidin.livejournal.com]

Статистически достоверно - это неправильно. Надо говорить (и писАть) статистически значимо ))

[shvarz.livejournal.com]

ОК

[kappa3m.livejournal.com]

ну все таки все больше NNT считают, например
хотя конечно в фундаментальных исследованиях дело может быть хуже, чем в клинических

[shvarz.livejournal.com]

Это, наверно, когда уже близко к введению в практику. У нас полно клинических испытаний, но я NNT вообще ни разу не видел на наших конференциях, даже не сразу понял о чем речь.

[agasfer.livejournal.com]

Да что там Украина какая-то. Треть не смогла Тихий океан найти.

[mancunian.livejournal.com]

Не знают, сколько часов в сутках, например. Или с какими странами граничат Штаты. (Пуэрто-Рико называют, например.)

[kodak2004.livejournal.com]

>> Авторы подчеркивают статистическую достоверность этого результата, но при этом не указывают насколько велика разница.
Кстати, в нормальных учебниках по доказательной медицине этот вопрос всегда затрагивают. Другое дело, что практические врачи все равно в основном соблазняются на внушительно выглядящие p<0.05 или (о, боже!) <0.001

Спасибо за пост, очень хорошо подметили.

[ten-ra.livejournal.com]

Вот нашла эту статью ( о которой говорит автор) на русском языке.
http://inosmi.ru/world/20140408/219377234.html?utm_source=fb1

[hoegni.livejournal.com]

Честно сказать, меня вообще забавляет тот магический смысл, который сейчас придается символам "p<0.05". А ведь начиналось все с леди, пробующей чай, и рассуждения вида: "Ну-у... вот если получится набор данных, который при нулевой гипотезе... ээ... имеет вероятность не больше 5%, то я так и быть, поверю..."

[kodak2004.livejournal.com]

>> рассуждения вида: "Ну-у... вот если получится набор данных, который при нулевой гипотезе... ээ... имеет вероятность не больше 5%, то я так и быть, поверю..."
Это, конечно, весьма гипертрофированное утрирование.

[mikhail nikolaevich (from livejournal.com)]

тут две причины

1) Системные недостатки науки: необходимость публиковаться, количества публикаций как главное мерило, невозможность публиковать отрицательные результаты. Это мотивирует заниматься плохой наукой во всех проявлениях, будь то невоспроизводимые статьи, замалчивание неудобных данных или неправильное использование статистики.

2) Плохое образование. В большинстве вузов статистику учат как набор трюков (вроде p-value и доверительных интервалов). Байесовсвую статистику не учат, методы визуализации не учат. В каких условиях какие методы работают - загадка, зачем вообще статистика нужна в науке - тайна.

[shvarz.livejournal.com]

Очень пессимистичный взгляд на науку :) Не то чтобы я не совершенно согласен, просто не хватает "квалификаторов" вроде "обычно", "часто", "для многих" и тп

[mikhail nikolaevich (from livejournal.com)]

Кстати, на карте интересный артефакт в районе Енисея. Невооруженным глазом заметна четкая вертикальная граница, слева от которой точек намного больше чем справа. Наверное когда они опросы проводили, у них в этом месте была карта сложена =)

[hoegni.livejournal.com]

Думаю, что они знали, что Украина где-то на востоке Европы. Где этот восток им точно известно не было, вот они и поделили Евразию примерно пополам.

[stetson-cat.livejournal.com]

Выражение "статистическая достоверность" безграмотно. Да и перевод с английского неверен.

[ab-s.livejournal.com]

Я, наверное, туплю (извините): Вы имели в виду, что не всякий статистически достоверный результат важен, тогда как всякий важный результат статистически достоверен? Или то, что утверждение о том, что что-то "статистически достоверно" бессмысленно в отсутствие количественной характеристики? Или что-то еще? Буду благодарен за пояснения.

[shvarz.livejournal.com]

Статистическая значимость и важность - два совершенно разных понятия, соответственно и комбинаций может быть четыре. Если взять два любых схожих объекта и измерить их с очень высокой точностью, то разницу всегда можно найти, но далеко не всегда эта разница имеет какую-либо важность.