Validity in Measuring Intercultural Competence at the Written Exam in English

Abstract

English: In this thesis I have explored the validity in measuring pupils’ intercultural competence at the vg1 English written exam. To do this I analysed important steering documents and exam documents in Norwegian education. The steering documents that I have considered are the ENG1-03 and ENG01-04 subject curricula and the 2017 Core Curriculum. The exam documents are the spring 2019 exam questions and preparation booklet, and the examination guide for 2019. I have also conducted semi-structured interviews with three vg1 English teachers to inquire into teachers’ understanding of intercultural competence, and their beliefs on its role in Norwegian education, classroom implementation and assessment. The document analysis shows that intercultural competence is only mentioned once in all of the steering documents. There also seems to be a lack of coherence between the advocacy of intercultural competence in the steering documents and the examination guide. However, the prominence of perspectives of intercultural competence in the 2017 Core Curriculum and the ENG01-04 suggest that there is a heightened focus on intercultural competence in the new curricula. This can potentially affect the assessment validity of intercultural competence as teachers will have access to documents were the concept is more coherently emphasized. The interviews with teachers indicate that it is difficult to ensure validity in measuring pupils’ intercultural competence at the exam because there is a lack of explicit focus in the steering documents and exam documents. They also state that the exam has multiple purposes, and that measuring pupils’ intercultural competence is not necessarily the priority. I discuss the difficulty for teachers in ensuring validity in measuring pupils’ intercultural competence, and the lack of coherence in how intercultural competence is advocated, emphasized and expressed in the various steering documents and exam documents. I have included the 2017 Core Curriculum and the ENG01-04 subject curriculum to have a forward-looking perspective in my thesis. The thesis is a contribution to the on-going pedagogic discussion regarding the implementation of the new curricula.

Norsk: I denne masteroppgaven har jeg utforsket validiteten i å måle elevers interkulturelle kompetanse på vg1 skriftlig eksamen i engelsk. For å gjennomføre dette så analyserte jeg viktige styringsdokumenter og eksamensdokumenter i norsk utdanning. Styringsdokumentene som jeg har vurdert er læreplanene ENG1-03 og ENG01-04 og den nye Overordnet Del. Eksamensdokumentene er eksamensspørsmålene og forberedelsedelen for vår 2019, og eksamensveiledningen for 2019. Jeg har også gjennomført semistrukturerte intervjuer med tre engelsklærere på vg1 for å utforske læreres forståelse av interkulturell kompetanse og deres meninger om dens rolle i norsk utdanning, klasseromsaktiviteter og vurdering. Dokumentanalysen viser at interkulturell kompetanse er bare nevnt én gang i samtlige styringsdokumentene. Det ser også ut til å være mangel på sammenheng i hvordan interkulturell kompetanse er promotert i styringsdokumentene og eksamensveiledningen. Fremtredelsen av perspektiver av interkulturell kompetanse i den nye Overordnet Del og læreplanen ENG01-04 antyder derimot til at det er et økt fokus på interkulturell kompetanse i de nye læreplanene. Dette kan potensielt påvirke validitet i vurdering av interkulturell kompetanse fordi lærere vil ha tilgang til dokumenter hvor konseptet er mer tydelig fremtredende. Intervjuene med lærere tyder på at det er vanskelig å sikre validitet i måle elevers interkulturelle kompetanse på eksamen fordi det er mangel på eksplisitt fokus i styringsdokumentene og eksamensdokumentene. De mener også at eksamen har flere hensikter og at målingen av elevers interkulturelle kompetanse ikke nødvendigvis er første prioritet. Jeg diskuterer utfordringene for lærere i å sikre validitet i vurderingen av elevers interkulturelle kompetanse, og mangelen på sammenheng i hvordan interkulturell kompetanse blir promotert, understreket og fremmet i de forskjellige styringsdokumentene og eksamensdokumentene. Jeg har inkludert Overordnet Del og den nye ENG01-04 læreplanen i engelsk for å ha et fremtidsrettet perspektiv i min masteroppgave. Masteroppgaven er et bidrag til den pågående pedagogiske diskusjonen angående implementeringen av de nye læreplanene.