SAMSTÄMMIGHET MELLAN MÅL OCH PROV. En studie av det svenska förarutbildningssystemet

Transkript

1 SAMSTÄMMIGHET MELLAN MÅL OCH PROV En studie av det svenska förarutbildningssystemet Tova Stenlund Widar Henriksson Anna Sundström BVM nr 30, 2007 ISSN

2 Abstract In 2006 a new curriculum for driver education and a new theory test were introduced in Sweden. As the driver education system is a criterion-referenced system, it is important that there is a correspondence between the curriculum, education and the test. The main purpose of the present study was to examine the alignment between the old curriculum for driver education in Sweden and the old theory test, as well as the alignment between new curriculum and the new theory test using Bloom s revised taxonomy. In addition, the purpose was to examine the interrater reliability when categorizing theory test items into Bloom s taxonomy. The interrater reliability of judges categorizing the items into Bloom s taxonomy was moderate to good for the old and new theory test, but somewhat better for the new test. The examination of alignment used four different indicators: content, cognitive complexity, balance and range. Results demonstrated better alignment between the old curriculum and the old test than between the new curriculum and the new test. The conclusion was that the curriculum has changed but that the new theory test still resembles the old test to a great extent. To improve alignment, the new theory test has to be revised in accordance with the curriculum.

3 Innehållsförteckning INLEDNING... 2 SAMSTÄMMIGHET...2 Indikatorer på samstämmighet...3 Samstämmighet inom förarutbildningen...5 Instrument för att undersöka samstämmighet...5 SYFTE...7 METOD... 8 PROCEDUR...8 Interbedömarreliabilitet och konsensusdiskussion...8 Samstämmighet...9 INSTRUMENT...9 MATERIAL...11 ANALYS...14 Indikatorer på mätsäkerhet (Reliabilitetsmått)...14 Indikatorer på samstämmighet...15 RESULTAT MODELLPRÖVNING...16 SAMSTÄMMIGHET MELLAN MÅL OCH PROV...19 DISKUSSION ETT TILLFÖRLITLIGT INSTRUMENT...24 SAMSTÄMMIGHET I GAMLA OCH NYA SYSTEMET...25 SAMSTÄMMIGHET OCH VALIDITET...27 NÅGRA REFLEKTIONER...28 REFERENSER

4 INLEDNING En ny kursplan (VVFS 2006:21) för den svenska förarutbildningen, behörighet B, infördes i mars 2006 och i september 2006 infördes även ett nytt kunskapsprov. Det huvudsakliga syftet med studien är att undersöka samstämmigheten mellan de teoretiska målen i den gamla kursplanen (VVFS 1996:168) och det gamla kunskapsprovet samt de teoretiska målen i den nya kursplanen och det nya kunskapsprovet. En förutsättning för att detta ska kunna genomföras på ett bra sätt är tillgång till ett tillförlitligt och relevant instrument för bedömning av samstämmigheten mellan mål och prov. Blooms reviderade taxonomi (Anderson et al., 2001), är ett instrument som i tidigare studier, teoretiska och empiriska, har funnits tillförlitligt och relevant att användas för att beskriva och jämföra de gamla och nya målen i förarutbildningens kursplan (Stenlund, 2006a, 2006b; Stenlund, Henriksson, & Sundström, 2006). Taxonomin har även reviderats för att passa förarutbildningen och det reviderade instrumentet används i denna studie för att undersöka samstämmigheten mellan mål och prov i den svenska förarutbildningen för behörighet B. Samstämmighet Förarutbildningen i Sverige kan beskrivas som ett målrelaterat utbildningssystem. Det betyder att kursplanen styr utbildning och förarprov och att målen i kursplanen representerar kriterierna för den kunskap som krävs för att en person ska vara lämplig som förare. I ett kriterierelaterat system antas att den kunskap och de färdigheter som prövas i proven motsvarar den kunskap och de färdigheter som uttrycks i kursplanen (Koretz, 2006). På senare tid har utbildningsansvariga inom främst skolväsendet mer och mer inriktat sig på behovet av att det råder samstämmighet (alignment i engelskspråkiga sammanhang) mellan kriterier eller mål som illustrerar förväntade kunskaper hos eleven och de prov eller examinationer som ligger till grund för en bedömning av dessa kunskaper (Ananda, 2003). Samstämmighet eller alignment definieras som till vilken grad utbildningsmålen, proven/examinationen och andra viktiga delar av ett undervisningssystem samverkar för att effektivt nå den inlärningsnivå hos en elev som förväntas (Ananda, 2003) eller som Webb (2002) uttrycker det; 2

5 the degree to which expectations and assessment are in agreement and serve in conjunction with one another to guide the system toward students learning what they are expected to know and do. (s.1) Relationen mellan mål och prov inom utbildningsområdet har traditionellt betecknats innehållsvaliditet. Det vill säga, i vilken utsträckning mäter provet målen i kursplanen (Anderson, 2002). Överensstämmelsen mellan provet och målen i kursplanen påverkar ett provs testvaliditet i olika sammanhang. Det finns dock en viss skillnad mellan begreppet samstämmighet och validitet. Validitet handlar om vilka slutsatser man kan dra av resultatet av ett prov eller informationen man får av ett visst prov, medan samstämmighet (alignment) handlar om hur väl alla delar i ett utbildningssystem fungerar tillsammans för att främja elevers inlärning (Webb, 1997a). Samstämmigheten mellan mål och prov i ett utbildningssystem är viktig ur flera avseenden. Om målen inom ett utbildningssystem inte överensstämmer med undervisning eller examination blir systemet fragmenterat, förlorar effekt och sänder motsägelsefulla budskap (Webb, 1997b). Vid avsaknad av samstämmighet mellan mål och prov, kan exempelvis utbildningen ignorera förväntningarna som ställs i målen och istället bara rikta undervisningen mot det som testas i proven. Det betyder att det finns en hög risk att eleven lär sig precis det som provet mäter istället för det som är målet med utbildningen (Webb, Herman, & Webb, 2007). En annan konsekvens om proven inte överensstämmer med målen är att resultatet på proven inte ger en korrekt bild av huruvida målen är uppfyllda varken till eleven eller till de delar av samhället, t.ex. Vägverket och Skolverket, vars intresse ligger i att målen uppfylls. Indikatorer på samstämmighet Vid samstämmighetsstudier är det vanligtvis fyra indikatorer på samstämmighet som brukar användas: innehåll, kognitiv komplexitet, balans och variationsvidd/spridning (Buckendahl, Plake, Impara, & Irwin, 2000; Flowers, Browder, & Ahlgrim-Delzell, 2006; Herman, Webb, & Zuniga, 2005; Porter, 2002; Rothman, Slattery, Vranek, & Resnick, 2002; Webb, 1997a). Den första aspekten, innehåll, handlar om hur väl innehållet i proven eller examinationen matchar innehållet i målen. För att mål och prov ska vara samstämmiga krävs att samma kategori av kunskap 3

6 efterfrågas i både mål och prov, däremot kan detaljeringsnivån naturligtvis variera. Aspekten kognitiv komplexitet beskriver hur väl typen av utförande som efterfrågas i proven (dvs. vilket kognitivt krav som ställs) överensstämmer med den kognitiva nivån i målen. Det betyder att mål och prov är samstämmiga om båda är kognitivt komplexa eller båda är kognitivt enkla. Den tredje aspekten, balans, uppskattas genom att undersöka hur stor vikt som läggs på vissa färdigheter och kunskaper i proven jämfört med målen. Om vissa områden i målen tillskrivs mer betydelse eller tyngd än i proven blir samstämmigheten svag. För att indikatorn balans ska visa på samstämmighet krävs att den betydelse som tillskrivs olika kunskapsområden i målen också visar sig i proven. Den sista aspekten, spridning eller variationsvidd, beskriver hur uppgifterna i proven är fördelade inom olika områden jämfört med målen. För att total samstämmighet skall finnas måste provsystemet vara uppbyggt så att det mäter alla mål inom alla områden. Enligt Bhola, Impara och Buckendahl (2003) mäts samstämmighet mellan måldokument och prov med olika metoder beroende på hur nyanserad bild man vill ha av överensstämmelsen. De delar upp metoder för mätningen av överensstämmelse i tre grupper av modeller med låg, moderat och hög grad av komplexitet. I enkla modeller, med låg komplexitet, definieras överensstämmelse som i vilken grad frågorna i ett test matchar relevant innehåll i standards/kriterier för att godkännas i en speciell kurs/specificerade mål. Innehållsexperter undersöker varje fråga och indikerar, vanligtvis på en Likertskala, i vilken grad den överensstämmer med någon del av målet. Den här enkla modellen ligger till grund för två grupper av mer komplicerade modeller. I den moderata modellen lägger man till en matchning av kognitiv komplexitet, alltså experter undersöker både innehåll och kognitiv komplexitet i uppgifterna och i målen. Modeller med hög komplexitet lägger till ytterligare dimensioner, exempelvis djup, inriktning/betoning (vikten i det som testas i provet matchas med vikten som ämnet i fråga har fått i målen), utförande och tillgänglighet. Dessa matchas sedan tillsammans med innehåll för att kunna bestämma hur väl målen/standards mäts av proven/testen. 4

7 Samstämmighetsstudier kan användas i ett befintligt utbildningssystem, dels för att begränsa förändringar i ett system som visar sig ha en bra samstämmighet och dels för att bevis på dålig samstämmighet kan användas som argument för en omfattande reform eller möjligen utveckling av ett helt nytt utbildningssystem (Ananda, 2003). Samstämmighetsproblematiken blir en mycket viktig fråga när reformer inom ett utbildningsområde genomförs. Undersökning och uppskattning av samstämmigheten kan vara till stor hjälp vid utvärderingen av en utbildning som genomgått en förändring. Genom samstämmighetsstudier kan dels sårbara områden identifieras inom ett utbildningssystem, till exempel om det finns mål som inte mäts i proven eller examinationen och dels kan eventuella innehållsliga brister upptäckas (Ananda, 2003). Samstämmighet inom förarutbildningen Förarutbildningen i Sverige har nyligen genomgått en större förändring när en ny kursplan för förarutbildningen infördes första mars 2006 och ett nytt kunskapsprov infördes den 5 september Exempelvis innehöll den gamla kursplanen två delar, en teoretisk och en praktisk och målen i dessa två delar var många och väldigt specificerade (VVFS1996:168). Den nya kursplanen är integrerad, det vill säga det finns inte längre någon uppdelning av praktiska och teoretiska mål, och målen är betydligt färre och mycket generella. Den nya kursplanen bygger på GDE-modellen, Goals for Driver Education (Hatakka, Keskinen, Gregersen, Glad, & Hernetkoski, 2002) vilket betyder att den även innehåller nya områden som exempelvis självvärdering (Stenlund et al., 2006). Eftersom den svenska förarutbildningen är ett målstyrt system är syftet med förarprövningen att försäkra sig om att den som prövas har de kunskaper som formulerats i kursplanen (Henriksson, Sundström, & Wiberg, 2004). På grund av att den svenska förarutbildningen inte kräver någon obligatorisk utbildning, förutom en obligatorisk riskutbildning, är förarprovet det enda sättet för Vägverket att undersöka måluppfyllelse. Därför är det viktigt att förarprovet verkligen mäter de stipulerade målen i kursplanen. Instrument för att undersöka samstämmighet För att undersöka graden av samstämmighet mellan förarutbildningens mål och prov på ett bra sätt behövs en modell eller instrument. I processen att 5

8 erhålla ett tillförlitligt och relevant instrument för att beskriva innehållet i förarutbildningens kursplan och kunskapsprov har flera steg genomförts. Det första steget var en litteraturstudie (Stenlund, 2006a) där syftet var att finna ett lämpligt instrument för att beskriva förarutbildningens kursplan (figur 1). Studien visade att Blooms reviderade taxonomi verkade vara ett bra instrument för att beskriva den svenska förarutbildningens teoretiska mål och prov. En integrerad taxonomi bestående av Simpsons psykomotoriska taxonomi (1966) och kunskapsdimensionen från Blooms reviderade taxonomi, visade sig också vara lämplig till de praktiska målen och provet. Inom utbildningsområdet används ofta en taxonomi (ett hierarkiskt klassificeringssystem) som modell när man vill titta på relationer mellan begrepp. Blooms reviderade taxonomi (Anderson et al., 2001) är en taxonomi som dels används för att klassificera mål och provuppgifter och dels för att undersöka samstämmigheten mellan dessa, det vill säga i vilken utsträckning provet mäter målen i kursplanen. Den här modellen används även för att utveckla och analysera utbildningsmål och uppgifter i prov (Anderson, 1999, 2005; Anderson et al., 2001; Krathwohl, 2002). 1. Teoretisk granskning 2. Empirisk prövning (mål) 3. Jämförelse av kursplaner 4. Empirisk prövning (uppgifter) 5. Samstämmighetsstudie Instruktioner Oberoende klassificering Konsensus Revidering av modell Bra modell Instruktioner Oberoende klassificering Konsensus Exemplifierande uppg. Bra modell Figur 1. Beskrivning av stegen i processen att kontrollera att modellen som används är relevant och användbar som instrument för att beskriva förarutbildningens kursplan och prov samt samstämmigheten mellan dessa. De rutor som är streckade är beskrivning av de steg som presenteras i den här studien 6

9 Med utgångspunkt att modellen fungerade bra som instrument för att beskriva kursplanen för den svenska förarutbildningen gjordes en studie (Stenlund et al., 2006) där innehållet i den gamla kursplanen jämfördes med innehållet i den nya kursplanen (steg 3 i figur 1). För att pröva om den modifierade versionen av Blooms reviderade taxonomi även är relevant och tillförlitlig som instrument för att beskriva innehållet i förarutbildningens kunskapsprov utfördes i den här studien en ny modellprövning (steg 4 i figur 1). Den utfördes på samma sätt som den tidigare och resulterade i en ytterligare mer finslipad modell med bra reliabilitet som visade sig vara användbar för att beskriva förarutbildningens kunskapsprov. Nästa steg var att undersöka samstämmigheten mellan förarutbildningens teoretiska mål och kunskapsprov med hjälp av det modifierade instrumentet. Blooms reviderade taxonomi kan ge en bra bild av de fyra indikatorerna på samstämmighet: innehåll, kognitiv komplexitet, variationsvidd och balans och därmed nås också den kategori av mätmodeller som Buchendahl och medarbetare kallar för modeller med hög komplexitet. Syfte Det huvudsakliga syftet med den här studien var att undersöka samstämmigheten, dels mellan den teoretiska delen av den gamla kursplanen för förarutbildningen och det gamla kunskapsprovet, dels mellan förarutbildningens nya kursplan och det nya kunskapsprovet. Syftet var också att undersöka om det har inträffat några förändringar i grad av samstämmighet när den nya kursplanen och det nya kunskapsprovet har införts. Ytterligare ett syfte med den här studien var att pröva Blooms reviderade taxonomi empiriskt för att undersöka dess tillförlitlighet och relevans som instrument vid klassificering av uppgifterna i den svenska förarutbildningens gamla och nya kunskapsprov. 7

10 METOD I den här delen beskrivs först proceduren för de två studier som har utförts: reliabilitetsstudien, med efterföljande konsensusdiskussion, och samstämmighetsstudien. I beskrivningen för proceduren ingår även en presentation av de bedömare som deltagit. Därefter beskrivs instrumentet, Blooms reviderade taxonomi, och det material, förarutbildningens kursplaner och kunskapsprov, som använts i studierna. Till sist presenteras den statistiska analysen för de två studierna. Procedur Interbedömarreliabilitet och konsensusdiskussion Den här delen av studien utfördes i två steg. Det första steget var en oberoende klassificering av uppgifterna i proven, en studie av så kallad interbedömarreliabililtet och det andra steget var en konsensusdiskussion där bedömarna diskuterade resultatet av reliabilitetsstudien och sedan kom överens om var uppgifterna ska placeras. Konsensusdiskussionen genomfördes således av samma bedömare som utförde reliabilitetsstudien. Tre bedömare deltog i studien. Samtliga arbetar på Institutionen för beteendevetenskapliga mätningar, Umeå Universitet. Bedömarna har tidigare arbetat med Blooms reviderade taxonomi så till vida att de har klassificerat förarutbildningens kursplanemål i den (Stenlund, 2006b). Innan klassificeringen av målen genomfördes en kortare utbildning om taxonomin. Detta gjordes för att minska varians i klassificeringen orsakad av skillnader mellan bedömarnas kunskap om modellen. För att få ett mått på om modellen är relevant för att användas som modell för att beskriva uppgifter i ett prov lika väl som mål i en kursplan klassificerade de tre bedömarna först uppgifterna i det gamla och det nya kunskapsprovet oberoende av varandra. På grund av att bedömarna tidigare har klassificerat målen i kursplanerna för förarutbildningen (Stenlund, 2006b) och genomgått en utbildningsdag vid det tillfället gjordes bedömningen att någon ytterligare utbildningsdag inte var nödvändig. För att ändå undvika orsaker till varians mellan bedömarnas klassificering gick bedömarna tillsammans igenom hur klassificeringen av uppgifterna skulle utföras och hur uppgifterna skulle kodas. Bedömarna fick även en del material att använda som stöd vid klassificeringen. I det materialet ingick en instruktion för hur klassificeringen ska utföras och förutom den ursprung- 8

11 liga litteraturen om taxonomin (Anderson et al., 2001) en svensk sammanfattning av dimensionernas nivåer i taxonomin. Sammanfattningen av taxonomins nivåer var modifierad utifrån den konsensusdiskussion som genomfördes vid klassificeringen av målen (Stenlund, 2006b). Klassificeringarna jämfördes sedan med varandra och överensstämmelsen mellan bedömarna undersöktes med olika reliabilitetsmått. Efter den oberoende klassificeringen genomfördes en konsensusdiskussion för att få en total överensstämmelse i klassificeringen av uppgifterna. Konsensusdiskussionen bidrog även till att modellen, Blooms reviderade taxonomi, erhöll bättre förklaringar i de olika dimensionerna och dess nivåer. Inledningsvis diskuterade bedömarna resultatet av den oberoende klassificeringen. Under diskussionen undersöktes även klassificeringen av alla uppgifter. De uppgifter som bedömarna inte var överens om i den oberoende klassificeringen placerades efter samråd in i en kategori som alla bedömare tyckte var lämplig. Här kontrollerades också att det fanns en följdriktighet i klassificeringen av uppgifterna i de olika kategorierna. Samstämmighet För att undersöka graden av samstämmighet mellan mål och prov inom den svenska förarutbildningen jämfördes klassificeringen av målen i den gamla kursplanen med klassificeringen av uppgifterna i det gamla kunskapsprovet. På samma sätt jämfördes också klassificeringen av målen i den nya kursplanen och uppgifterna i det nya kunskapsprovet. Jämförelsen utgick från de fyra olika aspekterna på samstämmighet: innehåll, kognitiv komplexitet, balans och variationsvidd eller spridning. Graden av samstämmighet mellan den gamla kursplanen och kunskapsprovet jämfördes också med graden av samstämmighet mellan den nya kursplanen och det nya kunskapsprovet för att undersöka om några förändringar har inträffat. Denna jämförelse utgick också från de fyra aspekterna på samstämmighet. Instrument Blooms reviderade taxonomi är en reviderad version av Blooms taxonomi som publicerades 1956 (Bloom, Engelhart, Furst, Hill, & Krathwohl). Blooms reviderade taxonomi innehåller två dimensioner. Den ena dimensionen utgörs av kognitiva processer medan den andra dimensionen utgörs av olika typer av kunskap. För att erhålla säkrare klassificeringar har taxonomins verbala definitioner av nivåerna i båda dimensionerna 9

12 förtydligats och delvis anpassats till förarutbildningen, detta beskrivs mer utförligt i Stenlund (2006b) och Stenlund, Henriksson och Sundström (2006). I Stenlund (2006b) återfinns även instruktioner till taxonomin översatta och modifierade som bilaga. Den kortare beskrivningen av modellen som följer är således den modifierade och anpassade modell som använts för att klassificera förarutbildningens mål och prov. Den kognitiva dimensionen beskriver fem olika kognitiva processer (figur 2). Den första är Minnas som går ut på att relevant information tas fram ur minnet. Den andra processen är Förstå som innebär att koppla samman ny kunskap med tidigare tillägnad kunskap, det vill säga att skapa meningsfullhet ur information. Tillämpa är den tredje processen och på den nivån genomför eller används en procedur i en given situation. Den fjärde processen är Analysera med betydelsen att dela upp material i dess beståndsdelar för att förstå dess relationer till varandra och den övergripande strukturen. Värdera, som är den femte processen, innebär att göra bedömningar baserade på kriterier och normer. Alla nivåer har undergrupper vilka preciserar innehållet i dem (Stenlund, 2006b). Kunskapsdimensionen innehåller fyra olika typer av kunskap; Faktakunskap, kunskap om termer och specifika detaljer och delar. Begreppskunskap, kunskap om samband mellan de grundläggande delarna i en större struktur som möjliggör att de fungerar tillsammans. Procedurkunskap, kunskap om hur man gör något, undersökningsmetoder och kriterier för att använda tekniker och metoder. Metakognitiv kunskap, kunskap om generell uppfattningsförmåga här ingår även den egna uppfattningsförmågan. Alla kategorier har undergrupper som förtydligar vad som ingår i dem (Stenlund, 2006b). 10

13 Komplexitet Kunskaps dimension Kognitiv dimension 1. Minnas 2. Förstå 3. Tillämpa 4. Analysera 5. Värdera Konkret A. Faktakunskap B. Begreppskunskap C. Procedurkunskap Abstrakt D. Metakognitiv kunskap Figur 2. Blooms reviderade taxonomi. Den horisontella pilen visar att komplexiteten stiger med kognitiv nivå och den vertikala pilen visar att nivåerna i kunskapsdimensionen går från konkret till abstrakt. Material I den här studien används den gamla och den nya kursplanen och det gamla och det nya kunskapsprovet som material. I det här avsnittet beskrivs först den gamla kursplanen och det gamla kunskapsprovet och sedan den nya kursplanen och det nya kunskapsprovet. På grund av att närmare beskrivningar och jämförelser av den gamla och nya kursplanen finns i tidigare studier (Stenlund, 2006b; Stenlund et al., 2006) är beskrivningen av kursplanerna mer översiktlig. Målen i kursplanerna delades upp inför klassificeringen och i tabell 1 och 2 redovisas antalet mål innan delning och efter delningen. En delning av mål gjordes i de fall när mål innefattade flera nivåer. Den gamla kursplanen innehöll en teoretisk och en praktisk del. Målen i kursplanen var många och mycket specifika (tabell 1). Den teoretiska delen, vilken är den som behandlas i denna studie, innehöll fem områden; Fordonskännedom, Trafikregler, Trafikens förrädiska situationer, Människans begränsade förmåga och Komplettering och tillämpning av vissa bestämmelser. Det gamla kunskapsprovet innehöll 65 uppgifter och fem 11

14 utprövningsuppgifter. Uppgifterna i provet var uppdelade i fem områden och dessa var relaterade till kursplanens fem teoretiska områden med samma beteckningar (tabell 1). Tabell 1. Fördelningen av målen i de fem momenten för teori i den gamla kursplanen och fördelningen av kunskapsprovets uppgifter. Inom parantes står antalet mål innan delning. Teori Antal mål Antal uppgifter Fordonskännedom Trafikregler Trafikens förrädiska situationer Människans begränsade förmåga Komplettering och tillämpning av vissa bestämmelser 47 (43) 96 (84) 12 (8) 47 (41) 76 (71) (247) 65 Den nya kursplanen är integrerad vilket betyder att det inte längre finns någon uppdelning i teori och praktik. Målen är betydligt färre och mer generella. Målen i kursplanen fördelar sig i två dimensioner, förarkompetens och kunskapsområden (tabell 2). I dimensionen för förarkompetens finns fyra nivåer, Manövrering, fordon och miljö, Körning i olika trafikmiljöer, Resande med bil i speciella sammanhang och Personliga förutsättningar och mål. Dimensionen för kunskapsområden innehåller två områden, Teori och färdighet och Självvärdering. Uppgifterna i det nya kunskapsprovet är uppdelade i fem områden; Fordonskännedom/Manövrering, Miljö, Trafiksäkerhet, Trafikregler och Personliga förutsättningar (tabell 3). Dessa områden är anpassade till den nya kursplanen men har dock inte samma beteckningar som momenten i kursplanen. Eftersom den här studien undersöker samstämmigheten mellan de teoretiska målen och kunskapsprovet är de nio mål (tre mål i momentet Manövrering, fordon och miljö och kunskapsområdet Teori och färdighet och sex mål i momentet Körning i olika trafikmiljöer och kunskapsområdet Teori och färdighet) i den nya kursplanen, vilka betraktades som praktiska (Stenlund, 2006b) inte med i den här studien och redovisas därmed inte i tabell 2. 12

15 Tabell 2. Fördelning av målen i den nya kursplanen uppdelat på dimensionerna förarkompetens och kunskapsområden. Inom parantes anges antalet mål innan delning. Förarkompetens Kunskapsområden (Moment) Teori och färdighet Självvärdering Manövrering, fordon och miljö Körning i olika trafikmiljöer Resande med bil i speciella sammanhang 16 (15) 6 (6) 4 (4) 3 5 (4) 1 Personliga förutsättningar och mål 8 (6) 34 (31) 11 (10) 2 Tabell 3. Fördelningen av det nya kunskapsprovets uppgifter för kunskapsprovets innehållsområden. Innehållsområden 1. Fordonskännedom/Manövrering 2. Miljö 3. Trafiksäkerhet 4. Trafikregler 5. Personliga förutsättningar Antal uppgifter Den provversion av det gamla kunskapsprovet som användes i den här studien valdes slumpmässigt från perioden januari-februari Urvalskriterium för kunskapsproven som användes i studien var, förutom perioden för när provet var i bruk, att provversionen hade ett stort antal provtagare. Den provversion av det nya kunskapsprovet som användes i studien var slumpmässigt vald från perioden januari februari Urvalskriteriet var detsamma som vid det gamla provet. 13

16 Analys Det här avsnittet består av två delar. I den första delen beskrivs de indikatorer på mätsäkerhet som använts i studien, det vill säga olika mått vilka användes för att undersöka interbedömarreliabiliteten i instrumentet. I den andra delen beskrivs de indikatorer som användes för att avgöra samstämmigheten mellan mål och prov inom förarutbildningen. Indikatorer på mätsäkerhet (Reliabilitetsmått) Reliabilitet definieras som graden av tillförlitlighet hos de data som erhålls från ett mätinstrument och detta begrepp har använts sedan början på 1900-talet inom testteorin (Reynolds, 1994). Reliabilitet handlar om hur stabila de mätvärden som erhålls är och i vilken grad dessa värden är fria från mätfel (Sireci, Wainer, & Braun, 1998). För vissa typer av instrument används bara en uppsättning uppgifter men flera bedömare samlar in observationer. Graden av överensstämmelse mellan två eller flera bedömare kallas då interbedömarreliabilitet (Crocker & Algina, 1986). Att beräkna procenten av de tillfällen som bedömare är överens om en klassificering är det enklaste sättet att mäta överensstämmelse men den metoden kan vara mindre lämplig eftersom mätningen inte korrigerar för en hög slumpmässig överensstämmelse när en eller två kategorier dominerar (Howell, 1997). Kappa, som introducerades av Cohen (1960), mäter överensstämmelsen mellan olika bedömare genom att räkna ut den observerade överensstämmelsen korrigerad för slumpmässig överensstämmelse mellan två bedömare. För att beräkna Kappa mellan flera bedömare kan en beräkning ske av varje par av bedömare och sedan beräknas medelvärdet av dessa och på det sättet utvinns den genomsnittliga överensstämmelsen (Conger, 1980). Ett annat sätt att beräkna kappa för fler än två bedömare är att använda Fliess kappa (1971). Fliess har utvecklat Cohens Kappa så att det är användbart när det är fler bedömare än två inblandade. De mått som användes i den här studien för att mäta överensstämmelsen är procent av överensstämmelse, genomsnittlig parvis överensstämmelse (κ m ) och det av Fliess modifierade Kappa (κ f ). Kappa-måttet kan variera från -1 till 1, där mindre än.40 representerar låg överensstämmelse,.40 till.75 representerar moderat eller bra överensstämmelse och över.75 representerar hög överensstämmelse. 14

17 Indikatorer på samstämmighet De fyra indikatorerna eller aspekterna av samstämmighet, vilka presenterades i inledningen, kommer att analyseras med hjälp av Blooms reviderade taxonomi. Indikatorer är innehåll, kognitiv komplexitet, balans och variationsvidd/spridning. Dessa kan uppskattas på följande sätt: Innehåll representeras av kunskapsdimensionen i Blooms reviderade taxonomi. Vid den här aspekten studeras hur väl innehållet i uppgiften överensstämmer med innehållet i målet. Kognitiv komplexitet representeras av den kognitiva dimensionen i taxonomin. Aspekten hanterar hur väl typen av utförande som efterfrågas i uppgiften, kognitivt krav, överensstämmer med den kognitiva nivån i målet. Graden av samstämmighet i de två indikatorerna innehåll och kognitiv komplexitet kan uppskattas genom att undersöka hur många kunskapskategorier eller kognitiva nivåer i modellen som innehåller mål och jämföra det med antalet kunskapskategorier eller kognitiva nivåer som innehåller uppgifter. Resultatet kommer att beskrivas med hjälp av procent och frekvens av mål och uppgifter i de två dimensionerna i taxonomin. Graden av balans kan uppskattas genom att studera hur många uppgifter varje cell i taxonomin har jämfört med mål. Ett lämpligt sätt är att beräkna proportionerna i matrisen för målen i kursplanen och sedan matcha dessa med proportionerna i matrisen för uppgifterna i kunskapsprovet. En test av proportionerna (Anderson, Sweeney, & Williams, 1999) har gjorts för att undersöka om skillnaderna i proportioner mellan mål och uppgifter är signifikanta eller slumpmässiga. I studien används också Porters (2002) formel för att med hjälp av proportionerna beräkna och få ett index för samstämmighet och indikatorn balans. I formeln representerar X antalet mål i varje cell och Y antalet uppgifter i varje cell. X Y Porters alignment index = 1-2 Indexmåttet eller värdena kan variera från 0 till 1.0, där 1.0 indikerar perfekt samstämmighet. Det finns enligt Porter (2002) inget enkelt sätt att säga vilket värde som representerar ett bra eller moderat värde, däremot kan en jämförelse mellan två eller flera undersökningar säga om graden av samstämmighet är bättre eller sämre. 15

18 Variationsvidden kan uppskattas eller mätas genom att undersöka hur uppgifterna i provet är fördelade i de olika cellerna/kategorierna i taxonomin jämfört med hur målen i kursplanen är fördelade. Hur många celler har mål jämfört med hur många celler som har uppgifter? RESULTAT Resultatredovisningen är uppdelad i två delar där den första delen visar resultaten från interbedömarstudien och konsensusdiskussionen. I den andra delen redovisas resultatet av studien om samstämmigheten mellan mål och prov. Modellprövning Interbedömareliabilitetsstudie För att undersöka interbedömarreliabiliteten för modellen, Blooms reviderade taxonomi, jämfördes de tre bedömarnas klassificeringar av uppgifterna. Resultatet av studien visade att den högsta överensstämmelsen fanns i klassificeringen av uppgifterna i det nya kunskapsprovet. Uppgifterna klassificerades i Blooms reviderade taxonomi och den totala överensstämmelsen (det vill säga där alla tre har klassificerat lika) var 35.4 procent (tabell 4). Uppgifterna i det gamla kunskapsprovet klassificerades i Blooms reviderade taxonomi och överensstämmelsen är lite svagare, jämfört med det nya provet (tabell 4). Resultaten av klassificeringarna ligger mellan.40 till.75, vilket representerar bra eller moderat överensstämmelse. Tabell 4. Överensstämmelsen mellan bedömarna beskriven i procent (%), det genomsnittliga kappa (κ m ) och Fliess kappa (κ f ) för uppgifterna i kunskapsproven. Kunskapsprov % (minst 2 av 3) % (3 av 3) κ m κ f Gamla kunskapsprovet Nya kunskapsprovet Resultatet av interbedömarstudien visade att överensstämmelsen inte varierar speciellt mycket mellan det gamla och nya kunskapsprovet. Resultatet visade också att överensstämmelsen där minst två av de tre be- 16

19 dömarna är överens är hög, 83.1 procent för det gamla provet och 89.2 procent för det nya provet. Resultatet av en parvis jämförelse mellan de tre bedömarna visade att överensstämmelsen (κ ) är högst mellan bedömare 2 och 3 i båda proven. Alla resultat representerar bra eller moderat överensstämmelse (tabell 5). Tabell 5. Den parvisa överensstämmelsen (κ ) mellan de tre bedömarna för den gamla och den nya kunskapsprovet. Bedömare: Bedömare 1 och 2 Bedömare 2 och 3 Bedömare 3 och 1 κ ( gamla kunskapsprovet) κ ( nya kunskapsprovet) Konsensusdiskussion Resultatet av konsensusdiskussionen visade att alla uppgifter kunde klassificeras i modellen och att dessa är utspridda över en stor del av kategorierna. Under diskussionen undersöktes klassificeringarna noggrant, även de uppgifter som bedömarna var överens om i den oberoende klassificeringen. De klassificeringar som inte ansågs vara konsekventa eller rimliga ändrades. Den kognitiva dimensionen I nivån minnas klassificerades uppgifter som inte hade någon illustration och där det var tydligt att det bara krävdes minneskunskaper. I den andra nivån, förstå, klassificerades uppgifter där det krävdes mer sunt förnuft, det vill säga att dra en slutsats utifrån sina kunskaper. Exempelvis klassificerades uppgifter som frågade efter det bästa du kan göra i en speciell situation i den här nivån. I tillämpa, som är den tredje nivån, placerades uppgifter där man med hjälp av en bild ska visa eller avgöra, hur något ska tillämpas. Det vill säga tillämpa kunskaper i en situation via en bild. I den fjärde nivån, analysera, klassificerades uppgifter som frågade efter bedömningar och avgöranden utifrån olika förutsättningar eller från olika aspekter. I den sista nivån, värdera, placerades inga uppgifter. 17

20 Kunskapsdimensionen I nivån för faktakunskap placerades uppgifter som frågar efter specifika delar på exempelvis bilen eller specifika aspekter av exempelvis en trafikregel. I nivån begreppskunskap klassificerades uppgifter där det handlade om hela regler eller bestämmelser. I nivån procedurkunskap placerades uppgifter där kunskapen om hur man gör något efterfrågades mer konkret, exempelvis hur ska du uppträda i en viss situation? I kunskapsnivån metakognitiv kunskap placerades inga uppgifter. Utfallet Resultatet av den gemensamma klassificeringen av det gamla kunskapsprovet visade att uppgifterna fördelades i nio av de tjugo kategorierna i taxonomin (Tabell 6). Kunskapsnivån Metakognitiv kunskap hade som tidigare nämnts inga uppgifter och inte heller nivån Värdera bland de kognitiva processerna. Tabell 6. Fördelningen av uppgifterna i det gamla kunskapsprovet i den modifierade versionen av Blooms reviderade taxonomi. Fördelningen beskrivs i procent och frekvens inom parantes. Kognitiv dimension Kunskaps dimension Faktakunskap Begreppskunskap Procedurkunskap Metakognitiv kunskap Summa % och frekvens Minnas Förstå Tillämpa Analysera Värdera Summa % och frekvens 30.8 (20) 3.1 (2) 6.1 (4) 40.0 (26) 20.0 (13) 12.3 (8) 15.4 (10) 1,5 (1) 49.2 (32) 4.6 (3) 6.1 (4) 10.8 (7) 55.4 (36) 12.3 (10) 27.7 (18) 1.5 (1) 100 (65) 18

21 Uppgifterna i det nya kunskapsprovet fördelades också i nio av de tjugo kategorierna (Tabell 7). Fördelningen av uppgifter var i stort sett densamma som i det gamla provet och det betyder att i kunskapskategorin Metakognitiv kunskap och den kognitiva nivån Värdera placerades inga uppgifter. Tabell 7. Fördelningen av uppgifterna i det nya kunskapsprovet i den modifierade versionen av Blooms reviderade taxonomi. Fördelningen beskrivs i procent och frekvens inom parantes. Kognitiv dimension Kunskaps dimension Faktakunskap Begreppskunskap Procedurkunskap Metakognitiv kunskap Summa % och frekvens Minnas Förstå Tillämpa Analysera Värdera Summa % och frekvens 27.7 (18) 3.1 (2) 6.1 (4) 36.9 (24) 23.1 (15) 10.8 (7) 16.9 (11) 1.5 (1) 52.3 (34) 4.6 (3) 6.1 (4) 10.8 (7) 55.4 (36) 13.9 (9) 29.1 (19) 1.5 (1) 100 (65) Resultatet av klassificeringen av det gamla och det nya kunskapsprovet visade inga större skillnader. Uppgifterna klassificerades i samma kategorier där enbart antalet uppgifter varierade inom några kategorier. Den variationen var dock väldigt liten, den högsta differensen var två uppgifter. Samstämmighet mellan mål och prov Här redovisas resultatet av studien om graden av samstämmighet mellan mål och prov i den svenska förarutbildningen. Redovisningen utgår från de fyra indikatorerna på samstämmighet; innehåll, kognitiv komplexitet, balans och spridning/variationsbredd. Till att börja med presenteras resultatet för graden av samstämmighet mellan de teoretiska målen i den gamla kursplanen och det gamla kunskapsprovet och därpå presenteras resultatet för graden av samstämmighet mellan de teoretiska målen i den nya kursplanen och det nya kunskapsprovet. Slutligen presenteras också en jämförelse där graden av samstämmighet mellan den gamla kursplanens teoretiska mål och det gamla kunskapsprovet jämförs med graden av 19

22 samstämmighet mellan den nya kursplanens teoretiska mål och det nya kunskapsprovet. De gamla målen och det gamla provet För att undersöka graden av samstämmighet mellan de teoretiska målen i den gamla kursplanen och uppgifterna i det gamla kunskapsprovet har de klassificerats med hjälp av de två dimensionerna i Blooms reviderade taxonomi. I tabell 8 presenteras resultatet av studien om graden av samstämmighet mellan mål och prov. Tabell 8. Beskrivning av hur målen i den gamla kursplanens teoretiska del och uppgifterna i det gamla kunskapsprovet fördelar sig över nivåerna i den kognitiva dimensionen och kategorierna i kunskapsdimensionen. Kognitiv dimension Minnas Förstå Tillämpa Analysera Värdera Summa % och frekvens Kunskaps dimension Mål Uppg Mål Uppg. Mål Uppg. Mål Uppg. Mål Uppg. Mål Uppg. Faktakunskap 43.9 (122) 30.8 (20) 4.0 (11) 3.1 (2) 1.4 (4) 6.1* (4) 0.7 (2) 0.7 (2) 50.7 (141) 40.0 (26) Begreppskunskap 20.1 (56) 20.0 (13) 6.5 (18) 12.3* (8) 0.4 (1) 15.4* (10) 2.2 (6) 1.5 (1) 1.4 (4) 30.6 (85) 49.2* (32) Procedurkunskap 12.6 (35) 4.6* (3) 1.1 (3) 3.2 (9) 6.1 (4) 0.4 (1) 17.3 (48) 10.8 (7) Metakognitiv kunskap Summa % och frekvens 0.7 (2) * (215) (36) * p< (2) 12.3 (34) 12.3 (10) 5.0 (14) 27.7* (18) 3.3 (9) 1.5 (1) 2.1 (6) 1.4 (4) 100 (278) 100 (65) Den första indikatorn, innehåll, representeras av kunskapsdimensionen i taxonomin och den andra indikatorn, kognitiv komplexitet, representeras av den kognitiva dimensionen i taxonomin. Resultatet för indikatorerna innehåll och kognitiv komplexitet visade att målen är representerade i alla nivåer i den kognitiva dimensionen och i alla kategorier i kunskapsdimensionen. Emellertid saknades uppgifter i den högsta nivån, Värdera, i den kognitiva dimensionen och i kategorin Metakognitiv kunskap i kunskapsdimensionen. Det betyder att samstämmigheten vad det gäller in- 20

23 nehåll och kognitiv komplexitet inte var total. Den tredje indikatorn, balans, undersöktes genom att testa proportionen mål respektive uppgifter i varje cell i taxonomin. Signifikanta skillnader i proportionerna för mål och uppgifter fanns i de kognitiva nivåerna, Minnas och Tillämpa, samt i kunskapskategorin Begreppskunskap. Analysen visade att målens tyngdpunkt ligger i den lägsta kognitiva nivån, Minnas (77.3 %), liksom uppgifterna (55.4 %). En stor del av uppgifterna finns också i den kognitiva nivån Tillämpa (27.7 %). I kunskapsdimensionen har målen störst andel i kategorin, Faktakunskap (50.7 %) även om en stor betydelse också har lagts vid Begreppskunskap (30.6 %). Uppgifterna har emellertid den största andel eller tyngd i kategorin Begreppskunskap (49.2 %). Resultatet av Porters alignment index visade en samstämmighet på Testet av proportioner i de olika cellerna visade att det fanns en signifikant skillnad mellan proportionerna av mål och uppgifter i cellerna för, Minnas Procedurkunskap, Förstå - Begreppskunskap, Tillämpa - Faktakunskap och Tillämpa - Begreppskunskap. Den sista indikatorn på samstämmighet, spridningen av målen och uppgifterna i cellerna, visade att målen är spridda över 16 av matrisens totalt tjugo celler och att uppgifterna är spridda över nio celler (tabell 9). I de celler som har uppgifter finns det även mål men däremot finns det ett antal celler som har mål men det saknas uppgifter. Exempelvis saknar cellerna Värdera Begreppskunskap och Förstå Metakognitiv kunskap uppgifter. 21

24 De nya målen och det nya provet För att undersöka graden av samstämmighet mellan de teoretiska målen i den nya kursplanen och uppgifterna i det nya kunskapsprovet har de klassificerats med hjälp av de två dimensionerna i den modifierade Blooms reviderade taxonomi. I tabell 9 presenteras resultatet av studien om graden av samstämmighet mellan den nya kursplanen och det nya kunskapsprovet. Tabell 9. Beskrivning av hur de teoretiska målen i den nya kursplanen och uppgifterna i det nya kunskapsprovet fördelar sig över nivåerna i den kognitiva dimensionen och kategorierna i kunskapsdimensionen. Kognitiv dimension Minnas Förstå Tillämpa Analysera Värdera Summa % och frekvens Kunskaps dimension Mål Uppg Mål Uppg. Mål Uppg. Mål Uppg. Mål Uppg. Mål Uppg. Faktakunskap 19.6 (9) 27.7 (18) 3.1 (2) 6.1 (4) 19.6 (9) 36.9* (24) Begreppskunskap 32.6 (15) 23.1 (15) 8.7 (4) 10.8 (7) 16.9* (11) 2.2 (1) 1.5 (1) 4.3 (2) 47.8 (22) 52.3 (34) Procedurkunskap 4.3 (2) 4.6 (3) 4.3 (2) 6.1 (4) 8.7 (4) 10.8 (7) Metakognitiv kunskap Summa % och frekvens * p< (26) 55.4 (36) 13.0 (6) 13.9 (9) 2.2 (1) 2.2 (1) 29.1* (19) 2.2 (1) 1.5 (1) 21.7* (10) 26.1* (12) 23.9* (11) 100 (46) 100 (65) Resultatet för indikatorerna innehåll och kognitiv komplexitet visade att målen är representerade i alla nivåer i den kognitiva dimensionen och i alla kategorier i kunskapsdimensionen. Däremot saknas uppgifter i den högsta nivån, Värdera, i den kognitiva dimensionen och i kategorin Metakognitiv kunskap i kunskapsdimensionen. Det betyder att samstämmigheten vad det gäller innehåll och kognitiv komplexitet inte är fullständig. Den tredje indikatorn, balans, visade även att proportionen mål och uppgifter skilde sig signifikant i den kognitiva dimensionens nivåer Till- 22

25 lämpa och Värdera, liksom i kategorierna Faktakunskap och Metakognitiv kunskap i kunskapsdimensionen. Målens tyngdpunkt ligger i den lägsta kognitiva nivån, Minnas (56.5 %), och den högsta kognitiva nivån, Värdera (26.1 %), medan uppgifternas tyngdpunkt ligger i den kognitiva nivån Minnas (55.4 %) men förekommer också i hög grad i nivån Tillämpa (29.1 %). I kunskapsdimensionen ligger målens tyngdpunkt i kategorierna Begreppskunskap (47.8 %) och Metakognitiv kunskap (23.9 %) medan uppgifterna har den största delen i kategorierna Begreppskunskap (52.3 %) och Faktakunskap (36.9 %). Resultatet av Porters alignment index visade en samstämmighet på Testet av proportioner i de olika cellerna visade att det fanns en signifikant skillnad mellan proportionerna av mål och uppgifter i cellen för Tillämpa-Begreppskunskap och cellen för Värdera-Metakognitiv kunskap. Den sista indikatorn på samstämmighet, spridningen av målen och uppgifterna i cellerna, visade att både målen och uppgifterna är spridda över nio av matrisens totalt tjugo celler. Noteras bör att dessa celler inte är desamma (tabell 9). Sex av dessa nio celler har både mål och uppgifter, medan de övriga tre är olika för mål och uppgifter. Exempelvis har cellen för Tillämpa Begreppskunskap bara uppgifter medan cellen för Värdera Metakognitiv kunskap bara har mål. Resultatet visar att flera indikatorer pekar på att det fanns en högre grad av samstämmighet mellan den gamla kursplanen och det gamla kunskapsprovet än mellan den nya kursplanen och det nya provet. Detta stöds också av Porters alignment index som visade 0.72 för samstämmigheten mellan de gamla målen och uppgifterna jämfört med de nya målen och uppgifterna, där indexet visade Graden av samstämmighet när det gäller indikatorerna innehåll och kognitiv komplexitet verkar dock vara ganska lika. Både det gamla och det nya kunskapsprovet saknar uppgifter i den högsta kognitiva nivån, Värdera, och kunskapskategorin, Metakognitiv kunskap, medan både den gamla och nya kursplanen har mål inom dessa områden. Däremot finns bara signifikanta skillnader mellan de nya målen och de nya uppgifterna i de två områdena. Troligtvis beror detta på att andelen mål i den gamla kursplanen i dessa områden är så liten. 23

26 DISKUSSION Den här studiens huvudsakliga syfte var att undersöka samstämmigheten mellan mål och prov i den svenska förarprövningen för behörighet B före och efter införandet av en ny kursplan. För att analysen av samstämmigheten ska vara exakt och relevant är det viktigt att det instrument som används vid analysen är tillförlitligt. I den här studien användes Blooms reviderade taxonomi, något modifierad för att passa förarutbildningen, för att belysa samstämmighet. En viktig förutsättning för den genomförda analysen är dock att detta instrument har hög tillförlitlighet, relevans och är användbart. Ett tillförlitligt instrument Den tidigare reliabilitetsstudien visade att detta instrument, Blooms reviderade taxonomi, var reliabelt och användbart för att beskriva innehållet i den svenska förarutbildningens kursplan B (Stenlund, 2006b). Den fråga som aktualiserades i denna studie var om instrumentet dessutom var användbart för att klassificera uppgifter. Studien inleddes därför med en ny prövning av instrumentet (den modifierade taxonomin). Tanken med denna nya prövning var att få indikationer på om instrumentet var pålitligt för att beskriva uppgifterna i det gamla och nya kunskapsprovet Resultaten av den första delen visade på en moderat/god interbedömarreliabilitet vid den oberoende klassificeringen av uppgifterna i det gamla och det nya kunskapsprovet. Noterbart är dock att nivån var något lägre nu jämfört med nivån vid klassificeringen av utbildningsmålen (κ m =.56 för den teoretiska delen av den gamla kursplanen ochκ m =.46 för det gamla provet respektive κ m =.69 för den nya kursplanen ochκ m =.50 för det nya provet). Denna skillnad i nivå kan förmodligen förklaras av att det är mer problematiskt att klassificera uppgifter än mål. Samma tendens har också iakttagits i tidigare studier som inriktats på Blooms ursprungliga taxonomi (Michael, 1957; Poole, 1971, 1972; Stoker & Kropp, 1964). Det är framförallt den kognitiva aspekten som anses vara problematisk, det vill säga att försöka avgöra vilken kognitiv nivå som används för att klara olika uppgifter. Vad gäller prövningens andra del, dvs. genomförandet av konsensusdiskussionen, indikerade resultatet att de tre bedömarna kunde nå konsensus, dvs. att de kunde enas i de fall där den oberoende granskningen visat olikheter mellan bedömarna. 24

27 Den sammanfattade slutsatsen är således att det instrument som användes för att undersöka samstämmigheten hade god tillförlitlighet, relevans och användbarhet for studiens syfte, dvs. för att studera samstämmighet mellan mål och prov inom förarutbildningen. Samstämmighet i gamla och nya systemet Samstämmigheten mellan den gamla kursplanen och det gamla provet respektive den nya kursplanen och det nya provet beskrevs med utgångspunkt i fyra aspekter: innehåll, kognitiv komplexitet, balans och spridning. Resultatet av aspekten innehåll visade på en liknande samstämmighet i både det gamla och nya systemet. I båda systemen fanns både mål och uppgifter i tre av fyra kunskapskategorier, vilket bör ses som en relativt bra samstämmighet. I den mest abstrakta kunskapskategorin, Metakognitiv kunskap, fanns det inga uppgifter men däremot några mål. Den andra aspekten, kognitiv komplexitet, visade också en hög samstämmighet för både det gamla och nya systemet genom att det fanns både mål och uppgifter i fyra av fem nivåer i den kognitiva dimensionen. I den högsta kognitiva nivån, Värdera, fanns enbart mål medan uppgifter saknades. Problemet med att det inte fanns uppgifter i de högsta nivåerna i de två dimensionerna beror troligtvis på ovana vid att utforma uppgifter som mäter kunskap på dessa nivåer. Låg samstämmighet inom vissa områden kan ha olika orsaker. En orsak kan vara att det finns svagheter i proven och en annan orsak kan vara målen i målbeskrivningen. Vid utvecklingen av provuppgifter kan ett problem vara att vissa mål inte är tillräckligt konkreta och därför blir det också svårt att göra uppgifter som mäter målet ifråga. Det kan också vara så att en del mål helt enkelt inte kan mätas i det format som provet har (Ananda, 2003). Den tredje aspekten av samstämmighet, balans, undersöktes genom att testa proportionen mål respektive uppgifter i varje cell i taxonomin. I jämförelsen mellan den gamla kursplanen och provet fanns signifikanta skillnader i proportionerna för mål och uppgifter i de kognitiva nivåerna, Minnas och Tillämpa, samt i kunskapskategorin Begreppskunskap. Den nya kursplanen och nya provet visade signifikanta skillnader i proportionen mål och uppgifter inom de kognitiva nivåerna Tillämpa och Värdera samt i kunskapskategorierna Faktakunskap och Metakognitiv kunskap. Den sista aspekten av samstämmighet, spridningen av målen och uppgifterna i cellerna, visade att målen i den gamla kursplanen var spridda över 25

28 16 av matrisens totalt tjugo celler och att uppgifterna i det gamla provet var spridda över nio celler. I de celler som hade uppgifter fanns det även mål men däremot fanns det ett antal celler som hade mål men saknade uppgifter. I det nya systemet var målen och uppgifterna spridda över nio av matrisens totalt tjugo celler. Sex av dessa nio celler hade både mål och uppgifter, medan de övriga tre cellerna var olika för mål och uppgifter. När alla fyra aspekter av samstämmighet beaktas visar resultatet att samstämmigheten mellan den nya kursplanen och det nya kunskapsprovet var lite sämre än samstämmigheten mellan den gamla kursplanen och det gamla kunskapsprovet. Vid en jämförelse av uppgifterna i det nya och gamla kunskapsprovet (tabell 6 och 7) och hur de fördelar sig i olika områdena, syns en förklaring till detta. Uppgifterna i det nya och gamla provet är väldigt lika varandra med avseende på att de fördelar sig inom samma områden i taxonomin. Detta betyder att kursplanen har förändrats medan det nya kunskapsprovet i stort sett är detsamma som det gamla kunskapsprovet. Den gamla kursplanen lade stor vikt vid innehållsområden som Fakta- och Begreppskunskap och de lägre kognitiva nivåerna, Minnas och Förståelse. Det gamla kunskapsprovet hade en liknade fördelning av sina uppgifter men med störst vikt vid Begreppskunskap och de lägre kognitiva nivåerna. Den nya kursplanen lägger stor vikt vid innehållsområden som Begreppskunskap och Metakognitiv kunskap och den lägsta, Minnas, och den högsta, Värdera, av de kognitiva nivåerna. Det nya kunskapsprovet däremot lägger tyngden vid samma områden som det gamla kunskapsprovet, det vill säga vid Begreppskunskap och Faktakunskap och de lägre kognitiva nivåerna. Porters index utnyttjades för att ge ett sammanfattat mått på samstämmigheten mellan kursplan och prov. För den gamla kursplanen och det gamla kunskapsprovet var detta index = 0.72 vilket indikerar en relativt god överensstämmelse. För den nya kursplanen och det nya kunskapsprovet, var Porters index = 0.57, vilket innebär att överensstämmelsen var sämre för det nya systemet jämfört med det gamla systemet. En förklaring till den lägre samstämmigheten mellan den nya kursplanen och kunskapsprovet är att målen inte längre är specifika utan istället övergripande, medan provet inte har ändrat utformning. Ett problem att studera samstämmighet inträffar när ett utbildningssystem har mål eller prov som är holistiskt utformade, det vill säga övergripande, istället för specifika och detaljerade (Bhola et al., 2003). Det är enklare att studera samstämmighet om uppgifterna och målen har samma eller liknande grad av specificering. 26