Естественнонаучная грамотность. Минск: рикз, 2020. 168 с

152 
contribute to sustaining and improving the environment.
82. Further detail of these constructs can be found in the Questionnaire Framework. 

153 
ASSESSMENT OF THE DOMAIN 
Cognitive Demand 
83. A key new feature of the 2015 PISA framework is the definition of levels of cognitive demand 
within the assessment of scientific literacy and across all three competences of the framework. In 
assessment frameworks, item difficulty, which is empirically derived, is often confused with 
cognitive demand. Empirical item difficulty is estimated from the proportion of the test taker 
population that is successful in solving the item correctly and thus assesses the amount of 
knowledge held by the test taker population, whereas cognitive demand refers to the type of 
mental processing required (Davis & Buckendahl, 2011). Care needs to be taken to ensure that the 
depth of knowledge required, i.e., the cognitive demand test items set to students, is understood 
explicitly by the item developers and users of the PISA framework. For instance, an item can have 
high difficulty because the knowledge it is testing is not well known but the cognitive demand is 
simply recall. Conversely, an item can be cognitively demanding because it requires the individual 
to relate and evaluate many items of knowledge 
– each of which are easily recalled. Thus, not only 
should the PISA test instrument discriminate in terms of performance between easier and harder 
test items, the test also needs to provide information on how students across the ability range can 
deal with problems at different levels of cognitive demand (Brookhart & Nitko, 2011).
84, The competencies are articulated using a range of terms defining cognitive demand through 
the use of verbs such as 
‘recognise’, ‘interpret’, ‘analyse’ and ‘evaluate’. However, in themselves 
these verbs do not necessarily indicate a hierarchical order of difficulty which is dependent on the 
level of knowledge required to answer any item. Various classifications of cognitive demand 
schemes have been developed and evaluated since Bloom's Taxonomy was first published 
(Bloom, 1956). These have been largely based on categorisations of knowledge types and 
associated cognitive processes that are used to describe educational objectives or assessment 
tasks.
85. Bloom’s revised Taxonomy (Anderson & Krathwohl, 2001) identifies four categories of 
knowledge 
– factual, conceptual, procedural and meta-cognitive. This categorisation considers 
these forms of knowledge to be hierarchical and distinct from the six categories of performance 
used in Bloom’s first taxonomy – remembering, understanding, applying, analysing, evaluating and 
creating. In Anderson and Krathwohl’s framework, these two dimensions are now seen to be 
independent of each other allowing for lower levels of knowledge to be crossed with higher order 
skills and vice versa.
86. A similar framework is offered by Marzano and Kendall's Taxonomy (2007) which also provides 
a two dimensional framework based on the relationship between how mental processes are 
ordered and the type of knowledge required. The use of mental processes is seen as a 
consequence of a need to engage with a task with meta-cognitive strategies which define potential 
approaches to solving problems. The cognitive system then uses either retrieval, comprehension, 
analysis or knowledge utilisation. Marzano and Kendall divide the knowledge domain into three 
types of knowledge, information, mental procedures and psychomotor, compared to the four 
categories in Bloom's revised Taxonomy. Marzano and Kendall argue that their taxonomy is an 
improvement upon Bloom’s Taxonomy because it offers a model of how humans actually think 
rather than simply an organising framework. 
87. A different approach is offered by Ford and Wargo, (2012) who offer a framework for 
scaffolding dialogue as a way of considering cognitive demand. Their framework utilises four levels 
that build on each other: recall, explain, juxtapose and evaluate. Although this framework has not 
been specifically designed for assessment purposes it has many similarities to the PISA 2015 

154 
definition of scientific literacy and the need to make more explicit references to such demands in 
the knowledge and competencies.
88. Another schema can be found in the framework 
based on “Depth of Knowledge” developed by 
Webb (1997) specifically to address the disparity between assessments and the expectations of 
student learning. For Webb, levels of depth can be determined by taking into account the 
complexity of both the content and the task required. His schema consists of four major categories: 
level 1 (recall), level 2 (using skills and/or conceptual knowledge), level 3 (strategic thinking), and 
level 4 (extended thinking). Each category is populated with a large number of verbs that can be 
used to describe cognitive processes. Some of these appear at more than one level. This 
framework offers a more holistic view of learning and assessment tasks and requires an analysis of 
both the content and cognitive process demanded by an
y task. Webb’s depth of knowledge (DOK) 
approach is a simpler but more operational version of the SOLO Taxonomy (Biggs & Collis, 1982) 
which describes a continuum of student understanding through five distinct stages of pre-structural, 
unistructural, multistructural, relational and extended abstract understanding.
89. All the frameworks described briefly above have served to develop the knowledge and 
competencies in the 2015 PISA Framework. In drawing up such a framework it is recognised that 
there are challenges in developing test items based on a cognitive hierarchy. The three main 
challenges are that:
a) Too much effort is made to fit test items into particular cognitive frameworks which can 
lead to poorly developed items;
b) Misclassification between intended and actual demand with frameworks defining 
rigorous, cognitively demanding goals, and items which may operationalise the standard in 
a much less cognitively demanding way;
c) Without a well-defined and understood cognitive framework, item writing and 
development often focuses on item difficulty and uses a limited range of cognitive 
processes and knowledge types, which are then only described and interpreted post hoc, 
rather than building from a theory of increasing competency.
90. The approach ta
ken for the 2015 Framework is to use an adapted version of Webb’s Depth of 
Knowledge grid (Webb, 1997) alongside the desired knowledge and competencies. As the 
competencies are the central feature of the framework, the cognitive framework needs to assess 
a
nd report on them across the student ability range. Webb’s Depth of Knowledge Levels offer a 
taxonomy for cognitive demand that requires items to identify both the cognitive demand from the 
verbal cues that are used, 
e.g.
, analyse, arrange, compare, and the expectations of the depth of 
knowledge required. 

жүктеу/скачать 4,47 Mb.

Достарыңызбен бөлісу: