Оценка результатов — суммарная оценка

3 7 4 Глава 10. Квазиэкспериментальные планы и прикладные исследования 
Несмотря на эти политические трудности, суммарная оценка является ядром 
процесса оценки и важнейшей особенностью всех программ, имеющих федераль­
ное финансирование. Любая организация, собирающаяся потратить средства, по­
лученные от сбора налогов, на разработку программы, обязана показать, что день­
ги будут потрачены с пользой. 
В действительности суммарная оценка подразумевает применение методов, с 
которыми вы уже успели познакомиться, а в особенности подходов, связанных с 
квазиэкспериментальными планами. Но иногда можно провести более точный эк­
сперимент с использованием случайного распределения, особенно при оценке про­
граммы, на которую рассчитывают больше людей, чем существует возможностей. 
В таком случае случайное распределение, проводящееся в форме лотереи (случай­
ные победители становятся участниками программы, а остальные записываются в 
лист ожидания), — это не просто методологический идеал, а единственная справед­
ливая процедура. 
Исследователи, проводящие оценку программы, иногда сталкиваются с вопро­
сом о том, как объяснить то, что между экспериментальной и контрольной группа­
ми не обнаружено значимых различий. На языке статистики это означает «не­
возможность исключить Н
0
». Такой результат может оказаться весьма трудным 
для интерпретации. Вероятно, различий просто не существует, но всегда есть воз­
можность совершения ошибки 2-го рода (см. главу 4), особенно если измеритель­
ные инструменты не слишком точны или надежны. Программа может иметь не­
большой, но важный эффект, но в ходе анализа обнаружить его не удастся. 
Хотя невозможность обнаружить различия может вызвать проблемы, большин­
ство исследователей считают, что такой результат (особенно если его удалось вос­
произвести) дает важную информацию, необходимую для принятия решения, осо­
бенно в случае прикладных исследований. Например, человек, выступающий за 
продолжение проведения новой программы, обязан показать, чем эта программа 
лучше других, уже существующих. Если не будут показаны различия между новой 
программой и уже существующей, то новую программу стоит прекратить, особен­
но если она требует большего финансирования. Как указали Итон и Сикрест 
(Yeaton & Sechrest, 1986), это может стать вопросом жизни и смерти. Они приве­
ли в пример исследование, сравнивающее виды лечения рака груди, различающи­
еся степенью хирургического вмешательства. Процент выживших женщин, пере­
несших минимальные операции, значимо не отличался от процента выживших из 
числа подвергшихся полной мастэктомии. Такой результат является примером 
«невозможности исключить
Η ».
Стоит ли проигнорировать его патом основании, 
что не было обнаружено значимых различий? Конечно, нет. Если нужный резуль­
тат достигается при менее травмирующей процедуре лечения, зачем делать более 
радикальные шаги? Конечно, уверенность в правильности решения, принятого на 
основании отсутствия различий, непосредственно зависит от регулярности воз­
можного воспроизведения данного открытия. Рекомендации об использовании 
минимального хирургического вмешательства могут быть сделаны только после 
многократного подтверждения отсутствия различий между умеренными и ради­
кальными процедурами. 

Оценка программ 375 
«Невозможность исключить Н
0
» может помочь правильно оценить утверждения 
защитников новой программы. Человек, утверждающий, что обязательное тюрем­
ное заключение после третьего уголовного преступления заметно снизит число 
серьезных преступлений, обязан продемонстрировать наличие подобного эффек­
та. Результаты рассмотренного ранее исследования этого вопроса, проведенного по 
плану с прерванной временной последовательностью (Stolzenberg & D'Alessio, 
1997), в ходе которого не было обнаружено никакого влияния программы «трех 
ударов» на уровень преступности, важны, несмотря на то что «различия не были 
обнаружены». Воспроизведение этих результатов привело бы к серьезным вопро­
сам о значении закона об обязательном тюремном заключении. 
Пример «невозможности исключить Н
0
» говорит о том, что отсутствие разли­
чий очень важно, когда при принятии решения учитываются возможные затраты 
на проведение программы. Таким образом, мы подошли к последнему виду оцен­
ки программ. 

жүктеу/скачать 6,25 Mb.

Достарыңызбен бөлісу: