Статистика со здравым смыслом
Aug. 29th, 2011 02:41 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
shvarzЧто делать, если вам нужно сделать очень дорогой эксперимент, но вы не можете даже примерно предсказать размер ожидаемого эффекта? Например, впервые тестируете совершенно новый метод лечения в людях. Какого размера выборку следует делать? Часто исследователи идут по пути "возьмем статистическую модель, подставим в нее наши примерные оценки нужных параметров и посмотрим что выйдет". Не секрет, что иногда начинают и с обратного - берут уже имеющийся размер выборки (например, количество уже согласившихся волонтеров) и потом под нее подгоняют параметры. В обоих случаях, рецензенты этих грантов частенько исследователей гоняют на счет того, что предлагаемый ими размер выборки недостаточно велик.
Вот в этой интересной статье, авторы предлагают в случаях, когда небольшие изменения в параметрах сильно меняют размер выборки, просто не заморачиваться с этими оценками. А пользоваться практическими соображениями (ценой, количеством волонтеров, и т.п.) и честно об этом говорить. Потому что как правило, исследование с 15 пациентами не намного улучшит статистическую мощность против исследования с 10, а увеличения в цене, времени и необходимых ресурсах вырастут существенно.
Они предлагают пользоваться, как одним из таких практических соображений, минимизированием функции C/sqrt(N), где C - это стоимость эксперимента при выборке N.
Вот в этой интересной статье, авторы предлагают в случаях, когда небольшие изменения в параметрах сильно меняют размер выборки, просто не заморачиваться с этими оценками. А пользоваться практическими соображениями (ценой, количеством волонтеров, и т.п.) и честно об этом говорить. Потому что как правило, исследование с 15 пациентами не намного улучшит статистическую мощность против исследования с 10, а увеличения в цене, времени и необходимых ресурсах вырастут существенно.
Они предлагают пользоваться, как одним из таких практических соображений, минимизированием функции C/sqrt(N), где C - это стоимость эксперимента при выборке N.
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2011-08-29 08:03 pm (UTC)no subject
Date: 2011-08-29 08:13 pm (UTC)скорее всего, на таком маленьком количестве людей ничего нельзя будет сказать о корреляции параметров - есть ли она, нет ли её
no subject
Date: 2011-08-29 09:31 pm (UTC)no subject
Date: 2011-08-29 10:07 pm (UTC)кроме того, если в системе много параметров, то вероятность ошибки при уменьшении размера выборки возрастает и не получится утвердить гипотезу или отвергнуть
no subject
Date: 2011-08-29 10:10 pm (UTC)no subject
Date: 2011-08-29 10:20 pm (UTC)no subject
Date: 2011-08-29 10:47 pm (UTC)no subject
Date: 2011-08-30 12:02 am (UTC)no subject
Date: 2011-08-30 12:01 am (UTC)(удивленно)
Date: 2011-08-30 02:11 pm (UTC)Ну если вам очень хочется: 7 выжило, 7 умерло."
То есть вы намекаете на мааленький эксперимент, включающий полтора миллиона больных?
Re: (удивленно)
Date: 2011-08-30 02:33 pm (UTC)Ню при таком радостном раскладе
Date: 2011-08-30 02:53 pm (UTC)А вот показать, что лекарство спасает от смерти - миллион испытуемых надо.
Re: Ню при таком радостном раскладе
Date: 2011-08-30 02:59 pm (UTC)Ню при таком радостном раскладе,
Date: 2011-08-30 03:12 pm (UTC)А если вылечит только 4 - формально недостоверно.
Но в том-то и мой пойнт (и возможно авторов), что лучше сначала взять 6 и потом еще 6, чем сразу 12.
no subject
Date: 2011-08-30 07:00 pm (UTC)Это правильно только относительно сферических выборок в вакууме. А на практике чем больше выборка -- тем выше вероятность получить в результатах систематическую ошибку связаную с неслучайностью ее формирования.
no subject
Date: 2011-08-29 09:30 pm (UTC)no subject
Date: 2011-08-30 03:11 am (UTC)no subject
Date: 2011-08-30 02:48 pm (UTC)no subject
Date: 2011-08-30 05:51 am (UTC)no subject
Date: 2011-08-30 02:50 pm (UTC)no subject
Date: 2011-08-30 06:57 pm (UTC)Вывод один - думать надо.
Date: 2011-08-30 02:08 pm (UTC)С другой стороны (статья не открывается, поэтому буду бурчать, опираясь на ваш пост)
оптимизировать надо не "статистическую мощность" относительно затрат, а такой неформальный параметр, как "чувство глубокого удовлетворения", относительно затрат. Практически это выражается в том, что лучше сначала запланировать небольшое исследование, а потом развивать (и модифицировать!) его, исходя из полученных результатов.
К сожалению, это подход плохо совместим с грантосистемой.
Безумно хихикаю от "таких практических соображений, как минимизирование функции C/sqrt(N), где C - это стоимость эксперимента при выборке N."
В таком совсем не редком случае, когда стоимость эксперимента в существенной части определяется стоимостью реактивов, она нарастает приблизительно пропорционально N.
Так что лучше всего будет при N = 1.
Впрочем, авторы-то это осознают
new ideas often must start small (sometimes even with an n of 1)
и, надеюсь, необходимость думать не отрицают.
Re: Вывод один - думать надо.
Date: 2011-08-30 04:01 pm (UTC)Да, примерно об этом они и пишут.
В таком совсем не редком случае, когда стоимость эксперимента в существенной части определяется стоимостью реактивов, она нарастает приблизительно пропорционально N.
Это зависит от реагентов. Иногда приготовить что-либо в маленьком количестве human-grade практически невозможно, поэтому есть начальная инвестиция в создание реагента с избытком. Плюс, например, организация и поддержание рекрутмента волонтеров. Но вообще да, они говорят, что в некоторых случаях оптимальное N=1 (как в случае с берлинским пациентом). Статистику делать на N=1 бесполезно, но само исследование может быть очень полезным.
впервые тестируете совершенно новый метод лечения в л
Date: 2011-08-30 08:59 pm (UTC)Re: впервые тестируете совершенно новый метод лечения в
Date: 2011-08-31 01:45 pm (UTC)no subject
Date: 2011-08-31 10:52 am (UTC)Если С пропорциональна N, то функция возрастает. Поэтому лучше не делать эксперимент вообще ;)
no subject
Date: 2011-08-31 01:48 pm (UTC)no subject
Date: 2011-09-03 08:46 pm (UTC)