Исследование в психологии методы и планирование 3-е издание Москва · Санкт-Петербург · Нижний Новгород · Воронеж


Оценка результатов — суммарная оценка



Pdf көрінісі
бет297/444
Дата09.10.2022
өлшемі6,25 Mb.
#152350
түріИсследование
1   ...   293   294   295   296   297   298   299   300   ...   444
Байланысты:
доп материал gudvin

Оценка результатов — суммарная оценка 
С политической точки зрения предварительная оценка менее опасна, чем
 сум­
марная оценка,
представляющая собой общую оценку эффективности програм­
мы. Предварительная оценка направлена на усовершенствование программы и 
вряд ли поставит под вопрос само ее существование. Суммарная оценка вполне 
может это сделать. Если программа неэффективна, то зачем продолжать ее реа­
лизацию и платить ее руководителю и персоналу (понимаете, что я имел в виду, 
называя такую оценку «опасной»)? По мнению Сикреста и Фигередо (Sechrest 
& Figueredo, 1993): 
Суммарная оценка и даже причина ее проведения ставят под сомнение само суще­
ствование организаций. Предварительная оценка, наоборот, просто отвечает на во­
прос «Как можно сделать лучше?», практически не касаясь вопроса «Приносим ли 
мы вообще какую-нибудь пользу?» (р. 661). 


3 7 4 Глава 10. Квазиэкспериментальные планы и прикладные исследования 
Несмотря на эти политические трудности, суммарная оценка является ядром 
процесса оценки и важнейшей особенностью всех программ, имеющих федераль­
ное финансирование. Любая организация, собирающаяся потратить средства, по­
лученные от сбора налогов, на разработку программы, обязана показать, что день­
ги будут потрачены с пользой. 
В действительности суммарная оценка подразумевает применение методов, с 
которыми вы уже успели познакомиться, а в особенности подходов, связанных с 
квазиэкспериментальными планами. Но иногда можно провести более точный эк­
сперимент с использованием случайного распределения, особенно при оценке про­
граммы, на которую рассчитывают больше людей, чем существует возможностей. 
В таком случае случайное распределение, проводящееся в форме лотереи (случай­
ные победители становятся участниками программы, а остальные записываются в 
лист ожидания), — это не просто методологический идеал, а единственная справед­
ливая процедура. 
Исследователи, проводящие оценку программы, иногда сталкиваются с вопро­
сом о том, как объяснить то, что между экспериментальной и контрольной группа­
ми не обнаружено значимых различий. На языке статистики это означает «не­
возможность исключить Н
0
». Такой результат может оказаться весьма трудным 
для интерпретации. Вероятно, различий просто не существует, но всегда есть воз­
можность совершения ошибки 2-го рода (см. главу 4), особенно если измеритель­
ные инструменты не слишком точны или надежны. Программа может иметь не­
большой, но важный эффект, но в ходе анализа обнаружить его не удастся. 
Хотя невозможность обнаружить различия может вызвать проблемы, большин­
ство исследователей считают, что такой результат (особенно если его удалось вос­
произвести) дает важную информацию, необходимую для принятия решения, осо­
бенно в случае прикладных исследований. Например, человек, выступающий за 
продолжение проведения новой программы, обязан показать, чем эта программа 
лучше других, уже существующих. Если не будут показаны различия между новой 
программой и уже существующей, то новую программу стоит прекратить, особен­
но если она требует большего финансирования. Как указали Итон и Сикрест 
(Yeaton & Sechrest, 1986), это может стать вопросом жизни и смерти. Они приве­
ли в пример исследование, сравнивающее виды лечения рака груди, различающи­
еся степенью хирургического вмешательства. Процент выживших женщин, пере­
несших минимальные операции, значимо не отличался от процента выживших из 
числа подвергшихся полной мастэктомии. Такой результат является примером 
«невозможности исключить
Η ».
Стоит ли проигнорировать его патом основании, 
что не было обнаружено значимых различий? Конечно, нет. Если нужный резуль­
тат достигается при менее травмирующей процедуре лечения, зачем делать более 
радикальные шаги? Конечно, уверенность в правильности решения, принятого на 
основании отсутствия различий, непосредственно зависит от регулярности воз­
можного воспроизведения данного открытия. Рекомендации об использовании 
минимального хирургического вмешательства могут быть сделаны только после 
многократного подтверждения отсутствия различий между умеренными и ради­
кальными процедурами. 


Оценка программ 375 
«Невозможность исключить Н
0
» может помочь правильно оценить утверждения 
защитников новой программы. Человек, утверждающий, что обязательное тюрем­
ное заключение после третьего уголовного преступления заметно снизит число 
серьезных преступлений, обязан продемонстрировать наличие подобного эффек­
та. Результаты рассмотренного ранее исследования этого вопроса, проведенного по 
плану с прерванной временной последовательностью (Stolzenberg & D'Alessio, 
1997), в ходе которого не было обнаружено никакого влияния программы «трех 
ударов» на уровень преступности, важны, несмотря на то что «различия не были 
обнаружены». Воспроизведение этих результатов привело бы к серьезным вопро­
сам о значении закона об обязательном тюремном заключении. 
Пример «невозможности исключить Н
0
» говорит о том, что отсутствие разли­
чий очень важно, когда при принятии решения учитываются возможные затраты 
на проведение программы. Таким образом, мы подошли к последнему виду оцен­
ки программ. 


Достарыңызбен бөлісу:
1   ...   293   294   295   296   297   298   299   300   ...   444




©engime.org 2024
әкімшілігінің қараңыз

    Басты бет