Evaluation of Learning Processes in general and Computer Supported Learning Processes in particular

Abstract

Denne artikkelen fokuserer på evaluering av læringsprosesser med vekt på utfordringer knyttet til IKT støttet læring. Utviklere på dette fagområdet er opptatt av forbedring av læringsprosesser, men tilnærmingene lider ofte av upresise definisjoner av kvalitetsbegrepet. En mer presis definisjon av hva som menes med høy og lav kvalitet på læringsprosesser er nødvendig. Diskusjonene i denne artikkelen er basert på eksperimenteringer utført i PedTek (Pedagogikk og Teknologi) prosjektet som har involvert utvikling av IKT støttet læringsløsninger for fjernstudenter i løpet av de siste seks årene. Tilnærminger og metoder for suksessfull evaluering av læringsprosesser i PedTek er presentert i denne artikkelen. For evaluering av IKT støttede læringsprosesser er det foreslått at de fire faktorene; Læringsutbytte, Fleksibilitet, Ressursbruk og Student tilfredshet benyttes som suksess kriteria. Erfaringer fra eksperimenteringen indikerer at evaluering av læringsprosesser både må anvende positivistisk inspirerte metoder og intuisjon for å bestemme kvaliteten på læringsprosesser. Variabler og fenomen må identifiseres og operasjonaliseres, men evaluering må også ta sjansen på å være uvitenskaplige ved å overskride etablerte metoder. Motstand mot ny tilnærming til evaluering av læringsprosesser kan forklares med mange forskeres bekymring for å enten bli karakterisert som uvitenskaplige eller som positivister ved å anvende naturvitenskaplige metoder på samfunnsvitenskaplige områder.

English: The present paper is focusing on evaluation of learning processes with emphasis on challenges with computer supported learning. Developers in the field are concerned improving learning processes, but the approaches suffer from precise definitions of the term quality. A more conscious approach to the definition of what constitutes high and low quality of learning processes is required. The discussions in this paper are based on experimentation in the PedTek (Pedagogy and Technology) project involving experimental development of computer supported learning systems for off-campus college students during the past six years. Approaches and methodology applied for successful evaluation of the learning processes in PedTek is presented in this paper. For evaluation of computer supported learning processes for off-campus students it is suggested that the four phenomena; Learning outcome, Flexibility, Resource requirements and Learners satisfaction are used as success criteria. Experience from the experimentation indicates that evaluators of learning processes must apply both positivistic inspired methodology and use intuition for determining the quality of learning processes. Variables and phenomena must be identified and operationalized. But the evaluators must also take the risk of being less unscientific by going beyond established methodology. Reluctance against approaching evaluation of learning process in new ways is explained by the researcher’s fear of either be characterized as unscientific or as positivists by adapting methodology from the natural sciences in the domains of social sciences.