Презентация и обсуждение первых результатов международной программы pisa-2009 Оценка читательской грамотности

Для того чтобы проследить тенденции в развитии читательской грамотности,

• 
  тесте PISA из года в год поддерживается общая пропорция открытых и закрытых вопросов в тесте. Открытые вопросы предполагают более или менее развернутые свободные ответы, требующие экспертной оценки. Ответы учащихся на закрытые вопросы не требуют экспертной оценки, они могут быть оценены в автоматизированном режиме. Наиболее классические закрытые вопросы предполагают выбор одного верного ответа из четырех-пяти вариантов, заданных в готовом виде. Более сложные типы закрытых вопросов предполагают, например, расположить события повествования во временной последовательности (поставить нужные цифры в заданном списке событий). В эту же категорию вопросов, не требующих экспертной оценки, попадают и такие, где читателю приходится самому написать одно-два слова, например, выписать слово из текста (при этом в тексте есть только одно слово, правильно отвечающее на вопрос). В таблице 8 представлено отношение между разными формами вопросов, использованных в PISA-2009. Следует подчеркнуть, что для осмысления и оценки сообщения текста открытая форма вопроса является основной, так как здесь необходимо оценить, прежде всего, качество рассуждения читателя, а не «правильность» его оценок.
  

Оценка каждого ответа каждого учащегося делается в строгом соответствии с правилами, подробно описанными в Руководстве по оценке ответов к вопросам теста PISA, которое разработано и согласовано группой международных экспертов. Использование этого руководства предполагает специальную тренировку специалистов по оценке.

льшая часть вопросов теста PISA оцениваются дихотомически: либо одним баллом (верно), либо нулем (неверно). Однако часть вопросов имеют более дробную

– политомическую кодировку. Известно, что иногда ответ на свободный вопрос может быть неполным, но чрезвычайно осмысленным. Рассматривать такой ответ как неправильный (нулевой) несправедливо. Поэтому для оценки самых сложных вопросов теста применяется модель частичного оценивания (partial-credit model), которая позволяет дифференцировать полные и неполные правильные ответы. Полный правильный ответ получает оценку два балла, неполный – один балл. Психометрическая модель для политомических вопросов хорошо разработана и в некотором смысле предпочтительна: она более полно учитывает информацию, содержащуюся в ответе.

• 
  PISA 2000, 2003 и 2006 годов указывалось, что точность определения уровня читательской грамотности заметно снижается для наиболее и наименее успешных учащихся. Это происходило потому, что тест содержал слишком незначительное число очень трудных и очень легких вопросов.
  

Составляя вопросы для PISA-2009, создатели теста пытались преодолеть это ограничение. Благодаря этому повышается надежность измерения. Кроме того, для многих учащихся, особенно для тех, кто плохо справляется с тестом, сам опыт тестирования станет более приятным.

Манипулирование следующими переменными позволило создать вопросы наименьшего уровня трудности:

Материал для PISA-2009 был подготовлен усилиями нескольких международных исследовательских центров, изучающих проблемы образования, под руководством группы экспертов из стран, участвующих в международной исследовательской программе PISA. Эти специалисты в области чтения в течение трех лет разрабатывали и испытывали тестовые материалы, которые исходно были предложены странами – участницами. Отобранные тексты и вопросы к ним

Более 130 вопросов по чтению было использовано в PISA-2009, однако тестовая тетрадь, которую получал каждый учащийся, содержала лишь несколько текстов и вопросов к ним. Кроме заданий по чтению тетради содержали задания по математике и естествознанию. Варианты тестовых тетрадей были составлены таким образом, чтобы текст и вопросы к нему оказывались и в начале, и в середине, и в конце тетради.

Такой дизайн тестовых тетрадей позволяет создать единую шкалу читательской компетентности, на которой располагаются и все тестовые вопросы – в соответствии с уровнем их трудности, и все учащиеся – в соответствии с уровнем успешности, математически предсказанным при допущении, что этот учащийся отвечал на все вопросы теста²⁰. Такая шкала позволяет, с одной стороны, определить, какие читательские умения требуются для ответа на каждый вопрос теста, а с другой стороны, указать уровень читательской умелости ученика: выявить тип заданий, с которыми данный читатель справится успешно.

Так же как ограниченная, но репрезентативная выборка 15-летних учащихся каждой страны, отвечавших на вопросы теста, позволяет судить о возможностях всех 15-летних учащихся этой страны, так и ограниченный, но сконструированный по строгим правилам набор вопросов теста дает представление о читательской грамотности во всей полноте ее определения²¹. Аппроксимированный показатель индивидуальной успешности указывает на ту группу заданий, с которыми этот учащийся успешно справится с высокой вероятностью (хотя в реальности это происходит не всегда). Одновременно показатель индивидуальной успешности указывает и на ту группу заданий, с которыми этот учащийся с большой вероятностью не справится (хотя в реальности это тоже происходит не всегда). Рисунок 5 показывает, как работает такая шкала оценки трудности заданий и вероятностной успешности учеников. Зона ближайшего развития читательской компетентности ученика расположена несколько выше точки его или ее актуальных достижений. Чем выше по шкале, тем с меньшей вероятностью ученик ответит на вопрос теста самостоятельно, без дополнительной помощи.