UTVÄRDERING AV INSTRUMENT FÖR UPPLEVD TEORETISK OCH PRAKTISK KOMPETENS. Ett försök med en ny förarprovsmodell

Transkript

1 UTVÄRDERING AV INSTRUMENT FÖR UPPLEVD TEORETISK OCH PRAKTISK KOMPETENS Ett försök med en ny förarprovsmodell Anna Sundström BVM nr 26, 2007 ISSN

2 INLEDNING... 1 SJÄLVVÄRDERING I UTBILDNINGSSAMMANHANG... 1 FÖRMÅGAN TILL SJÄLVVÄRDERING... 2 MODELL FÖR UTVECKLAT FÖRARPROV... 3 INSTRUMENT FÖR UPPLEVD FÖRARKOMPETENS... 4 Utveckling av instrument för upplevd förarkompetens... 4 SYFTE... 6 METOD... 6 INSTRUMENT... 6 PROCEDUR... 7 Intervall för självvärdering och provresultat... 9 DELTAGARE ANALYSER RESULTAT DISPOSITION FÖRSTA VERSIONEN AV INSTRUMENTET Självvärdering av teoretiska kunskaper Självvärdering av praktiska färdigheter Revidering av instrumentet REVIDERAD VERSION AV INSTRUMENTET Självvärdering av teoretiska kunskaper Självvärdering av praktiska färdigheter JÄMFÖRELSE AV FÖRSTA OCH REVIDERADE VERSIONEN AV INSTRUMENTET Självvärdering av teoretiska kunskaper Självvärdering av praktiska färdigheter SAMBAND MELLAN SJÄLVVÄRDERING OCH PROVRESULTAT Upplevda och faktiska teoretiska kunskaper Upplevda och faktiska praktiska färdigheter GRUPPSKILLNADER SJÄLVVÄRDERING OCH PROVRESULTAT Teoretiska kunskaper Praktiska färdigheter DISKUSSION FÖRSTA VERSIONEN AV INSTRUMENTET REVIDERAD VERSION AV INSTRUMENTET FORTSATTA STUDIER... 47

3 Evaluation of an instrument for perceived theoretical and practical competence An experiment with a new model for the Swedish driving license test Anna Sundström Self-assessment of driver competence is a new part of the curriculum for driver education in Sweden. In order to assess the goals about self-assessment, an instrument for perceived driver competence was developed. Together with a new driving license test, this instrument was used in a project conducted by the Swedish Road Administration. The purpose of this study was threefold. First, the purpose was to analyze the psychometric properties of the instrument for perceived driver competence. Second, the purpose was to examine the relationship between test-takers self-assessment and their performance on the theory and practical driving license test. Third, the purpose was to examine if there were any differences in self-assessment between different groups of test-takers. There were 2254 test-takers at three driving test centers in Sweden that completed the self-assessment. The results indicated that the instrument had good psychometric properties. However, the labels on the scale were revised in order to provide a scale that harmonizes better with scales used in other studies. The results from the revised scale indicated that the psychometric properties remained good. Moreover, the results indicated that there was a weak relationship between test-takers selfassessment and their performance on the theory and practical test. Furthermore, the results indicated that a larger proportion of driving school students had a realistic self-assessment compared to privately trained students and that a larger proportion of those who passed the test had a realistic self-assessment, compared to those who failed. The weak relationship between self-assessment and test performance was remarkable, as a strong relationship were found in the pilot study. Interviews with four test-takers that participated in the project indicated that the purpose and the use of the self-assessment were ambiguous for the test-takers and that this might have affected their ratings. Thus, the results indicated that the instructions about the instrument required improvement and that more detailed instructions might result in a better agreement between selfassessment and test performance.

4 Inledning Självvärdering i utbildningssammanhang Självvärdering av kompetens har på senare tid kommit att betonas mer och mer i olika utbildningssammanhang, eftersom en korrekt självvärdering har positiva effekter på lärandet. Självvärdering finns exempelvis som inslag i grundskolan i Sverige (SKOLFS1994:1, ; SKOLFS1994:2) och från och med införandet av den nya kursplan B 2006, även i den svenska förarutbildningen (VVFS2004:110). Denna studie handlar om utvecklingen och utvärderingen av ett instrument för att mäta självvärdering av förarkompetens inom ramen för det svenska förarprovssystemet. Studier har visat att en medvetenhet om sina styrkor och svagheter i relation till tänkande och inlärning hjälper eleven att anpassa sitt beteende i olika inlärningssituationer och därmed blir lärandet mer effektivt (Anderson et al., 2001). Studier har dessutom visat att de elever som använder självvärdering i samband med sina studier presterar bättre än de som inte värderar sin kompetens under inlärningsfasen (Dochy, Segers, & Sluijsmans, 1999). Förmågan att värdera sin egen kompetens är något som betonas mer och mer i förarutbildningssammanhang. Självvärdering är ett inslag i kursplanerna för förarutbildning i Finland, Norge och Sverige (AKE, 2002; Statensvegvesen, 2002; VVFS2004:110). Den norska och den svenska kursplanen bygger på den s.k. GDE-modellen (Goals for driver education). GDE-modellen består av två dimensioner där den ena dimensionen är en hierarkisk dimension av förarkompetens (Siegrist, 1999). I denna dimension betraktas Manövrering och körning i olika trafikmiljöer som grunden för bilkörning och utgör de två lägsta nivåerna i modellen. Dessa kompetenser påverkas av de två högre nivåerna i hierarkin som innefattar förarens mål och motiv för körningen och förarens mer generella mål och motiv i livet. Den andra dimensionen i GDE-modellen är en kunskapsdimension med tre kunskapsområden: kunskaper och färdigheter, riskökande faktorer samt självvärdering. Självvärdering är ett viktigt inslag i förarutbildningen eftersom det är av stor betydelse för trafiksäkerheten att förarna är medvetna om sina begränsningar och att de kan använda denna självkännedom till att anpassa sitt eget beteende i trafiken (Hatakka, Keskinen, Gregersen, & Glad, 1999). 1

5 Förmågan till självvärdering Studier har visat att det finns en relativt god överensstämmelse mellan självvärdering och externa mått på kompetens (Mabe & West, 1982; Shrauger & Osberg, 1981) vilket indikerar att elever är kapabla att värdera sin kompetens på ett realistiskt sätt. Ett problem är dock att självvärdering sällan har använts i s.k. high-stakes situationer, dvs. situationer där resultatet från självvärderingen räknas, och därför är det oklart om självvärderingen överensstämmer lika bra med faktisk kompetens om självvärderingen görs i ett high-stakes sammanhang (Shrauger & Osberg, 1981). Enligt Mabe och West (1982) påverkas individer av två olika motiv när de värderar sin kompetens: motivet att framställa sig själv på ett korrekt sätt och motivet att framställa sig på ett fördelaktigt sätt. När självvärdering används i high-stakes sammanhang är det viktigt att ta hänsyn till personernas motivation att vara uppriktiga i sin självvärdering. Om personens motivation att framställa sig på ett önskvärt sätt är större än motivationen att ge en korrekt värdering av sin kompetens, blir självvärderingen inte tillförlitlig. Studier tyder dock på att en instruktion om att självvärderingen ska jämföras med faktisk kompetens ger mer valida självvärderingar, eftersom motivet att göra en korrekt självvärdering blir starkare än motivet att presentera sig fördelaktigt (Fahr & Dobbins, 1989; Fahr & Werbel, 1986; Mabe & West, 1982; Mihal & Graumenz, 1984). Även om studier indikerar att det finns en relativt god överensstämmelse mellan självvärdering och faktisk kompetens, är det ganska vanligt förekommande att vissa personer antingen överskattar eller underskattar sin kompetens (Sundström, 2005). Studier har dock visat att elever kan träna upp sin förmåga att värdera sin kompetens på ett realistiskt sätt. Förmågan att göra en realistisk självvärdering utvecklas med feedback och över tid (Dochy et al., 1999). I detta perspektiv är det viktigt att lärarna hjälper eleverna att göra en korrekt självvärdering (Anderson et al., 2001). För att självvärderingen ska bli tillförlitlig är det också viktigt att eleverna får möjlighet att lära sig värdera sin kompetens och att denna värdering sker kontinuerligt över tid (Falchikov & Boud, 1989). Självvärderingen kan också förbättras med olika insatser. Flera studier har visat att högpresterande elever ofta har en mer realistisk självvärdering jämfört med lågpresterande elever (Boud & Falchikov, 1989; Hartman, 2001; Kruger & Dunning, 1999). De lågpresterandes självvärdering har förbättrats och därmed blivit mer realistisk när dessa elever fått utbildning i ämnet de ska värdera sig själva i, dvs. de har höjt sin kompetens. 2

6 Modell för utvecklat förarprov I mars 2006 infördes en ny kursplan B för förarutbildning i Sverige (VVFS2004:110). Som tidigare nämndes, baseras den nya kursplanen på GDE-modellen (Hatakka, Keskinen, Gregersen, Glad, & Hernetkoski, 2002). I likhet med GDE-modellen består kursplanen av fyra olika moment: Manövrering, fordon och miljö, Körning i olika trafikmiljöer, Resande med bil i speciella sammanhang och Personliga förutsättningar och mål. I kursplanen delas dessa fyra moment upp på två kunskapsområden: Teori och färdighet samt Självvärdering. Självvärdering är ett nytt inslag som inte funnits med tidigare i kursplanen. Dessutom har fler hierarkiska nivåer av förarkompetens har lagts till i kursplanen. Förarutbildningssystemet är ett målstyrt system, vilket innebär att det ska finnas en överensstämmelse mellan kursplan, utbildning och prov (Henriksson, Sundström, & Wiberg, 2004). För att mäta målen i den nya kursplan B utvecklade man i projektet Kursplan B (Vägverket, 2004) ett förslag till en ny provmodell. Den nya provmodellen innebär tre olika förändringar i betingelserna för provet och en organisatorisk förändring. Den första förändringen är att förarprovet ses som ett prov som består av två delar: ett kunskapsprov och ett körprov. Kunskapsprovet och körprovet bokas samtidigt och ett godkänt resultat är giltigt i två månader. Under den tiden måste provtagaren erhålla godkänt resultat på ett underkänt prov, annars får denne göra om båda proven igen (oavsett om provtagaren tidigare har blivit godkänd på ett av proven). Den andra förändringen är att teori och praktik integreras i större utsträckning jämfört med den gamla provmodellen, genom att situationsanpassade frågor används under körprovet. Den tredje förändringen är att provtagaren, innan kunskapsprovet genomförs, får besvara en självvärdering där han eller hon värderar sin förarkompetens inom de områden som mäts i förarprovet. Efter körprovet görs en återkoppling till provtagaren genom att utfallet från självvärderingen jämförs med resultaten på proven. Självvärderingsinstrumentet är fokus i denna rapport och kommer således att beskrivas mer utförligt nedan. Den fjärde förändringen innebär att provtagaren kan genomföra ett körprov utan ett godkänt på kunskapsprovet, till skillnad från den gamla provmodellen där ett godkänt resultat på kunskapsprovet var ett krav för att få genomföra körprovet. För att undersöka hur den nya provmodellen fungerar har Vägverket bedrivit en försöksverksamhet inom ramen för projektet Utvecklat förarprov (Vägverket, 2006a). Försöksverksamheten startade den 1 maj

7 och pågick till den 31 oktober Under denna försöksverksamhet testades både ett självvärderingsinstrument och ett nytt förarprov. I den föreliggande studien analyserades och utvärderades självvärderingsinstrumentet som användes under projektet Utvecklat förarprov. För utvärdering av den nya provmodellen se Wiberg (2007) och för en utvärdering av projektet Släcka tvåan 1, som också ingår i projektet Utvecklat förarprov, se Stenlund, Henriksson, Wahl, & Holmberg (2007). Instrument för upplevd förarkompetens För att mäta målen om självvärdering i kursplanen utformades ett självvärderingsinstrument. Syftet med självvärderingsinstrumentet var att mäta provtagarnas upplevda förarkompetens inom de olika kompetensområdena i kursplanen. Tanken var att detta instrument skulle användas i samband med förarprovet och att alla blivande förare på så sätt får värdera sin förarkompetens. Vidare var tanken också att instrumentet skulle användas som ett verktyg för att undersöka om provtagarna har en realistisk syn på sina kunskaper och färdigheter som förare. Genom att jämföra självvärderingen med resultatet på förarprovet kan man få information om förarna har gjort en realistisk självvärdering eller om de överskattar eller underskattar sin kompetens. Tanken var dock inte att självvärderingsinstrumentet skulle påverka utfallet på förarprovet, utan att instrumentet skulle fungera som ett pedagogiskt hjälpmedel där förhoppningen var att starta en reflektionsprocess om den egna förarkompetensen. Utveckling av instrument för upplevd förarkompetens Självvärderingsinstrumentet som användes i projektet Utvecklat förarprov baseras både på teoretiska och empiriska utgångspunkter. Det första steget i utvecklingen av instrumentet var att genomföra en litteraturstudie där olika begrepp som mäter upplevd kompetens undersöktes (Sundström, 2006a). Begreppen beskrevs och jämfördes och för att undersöka vilka begrepp som var lämpliga att använda för att mäta upplevd förarkompetens i det svenska förarutbildningssystemet relaterades de olika begreppen till målen om självvärdering i kursplan B. Slutsatsen från litteraturstudien var att två begrepp: Expectancy beliefs (Wigfield & Eccles, 2002) och Self-efficacy (Bandura, 1997), var lämpliga att använda 1 En tvåa definieras som en isolerad brist i en för övrigt stabil körning, där bristen kan åtgärdas med en riktad begränsad utbildningsinsats (Vägverket, 2006b). Provtagare som har en tvåa ges möjligheten att kontrollera om denna brist har åtgärdats på en trafikskola eller på Vägverket. 4

8 som utgångspunkt i konstruktionen av ett instrument för upplevd förarkompetens. Begreppet Expectancy beliefs kan översättas till Förväntad prestation. Den svenska termen är ingen direktöversättning utan baseras på definitionen av begreppet som innefattar individers föreställningar om hur bra de kommer att prestera på kommande uppgifter (Eccles et al., 1983; Eccles & Wigfield, 2002; Wigfield, 1994; Wigfield & Eccles, 2000). Det andra begreppet, Self-efficacy, kan översättas till Specifik upplevd kompetens eftersom det definieras som individers bedömning av sin förmåga att utföra specifika uppgifter (Bandura, 1997). Tillsammans med fem aspekter av förarkompetens som finns representerade i den nya kursplanen, utgjorde begreppen Förväntad prestation och Specifik upplevd kompetens grunden för konstruktionen av två instrument om upplevd förarkompetens. Dessa två instrument syftade till att mäta förväntad prestation på förarprovet respektive specifik upplevd förarkompetens (Sundström, 2006b). Frågorna i dessa instrument syftade till att mäta provtagarnas upplevda förarkompetens inom de fem kompetensområden som finns representerade i den nya kursplanen: Fordonskännedom/manövrering, Miljö, Trafikregler, Trafiksäkerhet och Personliga förutsättningar. Dessa fem områden ligger också till grund för innehållet i det nya kunskapsprovet och körprovet. Eftersom självvärderingen skulle jämföras med resultatet på kunskapsprovet och körprovet var det av stor vikt att samma kompetensområden innefattades i självvärderingsinstrumentet. För att undersöka tillförlitligheten och mätsäkerheten i dessa två instrument genomfördes en förstudie där de två instrumenten prövades ut under fem veckor på förarprovskontoret i Umeå (Sundström, 2006b). En jämförelse av de två instrumenten visade att båda versionerna fungerade bra, sett ur ett mätperspektiv. Dock hade instrumentet för Specifik upplevd kompetens något lägre medelvärde och större spridning än instrumentet för Förväntad prestation, vilket indikerar att provtagarna utnyttjar en större del av skalan i instrumentet. Dessutom visade resultaten också att delskalorna i instrumentet för Specifik upplevd kompetens hade högre intern konsistens jämfört med delskalorna i instrumentet för Förväntad prestation. Detta innebär att instrumentet för Specifik upplevd kompetens var att betrakta som mer tillförlitligt. En analys av sambanden mellan provtagarnas självvärdering och andel korrekt besvarade uppgifter på kunskapsprovet visade ett avsevärt starkare samband för instrumentet för Specifik upplevd kompetens jämfört med instrumentet för Förväntad prestation, vilket indikerar att Specifik upplevd kompetens är en bättre prediktor av provprestation, vilket också styrks av tidigare studier (Bong & Ska- 5

9 alvik, 2003; Valentine, DuBois, & Cooper, 2004). Sammantaget indikerade resultaten att instrumentet för Specifik upplevd kompetens fungerade bäst och slutsatsen var därmed att detta instrumentet bör användas i försöksverksamheten för projektet Utvecklat förarprov. Syfte Det övergripande syftet med denna studie var att studera de psykometriska egenskaperna i instrumentet om upplevd förarkompetens, för att undersöka om instrumentet fungerar tillfredställande eller om det behöver revideras. Vidare syftade studien till att undersöka hur instrumentet fungerar i det nya förarprovssystemet som testas under försöksverksamheten för projektet Utvecklat förarprov. Förutsatt att instrumentet fungerar bra, var syftet dessutom att undersöka relationen mellan upplevd och faktisk kompetens samt att undersöka skillnader i upplevd kompetens och provprestation mellan olika grupper av provtagare. Instrument Metod Instrumentet för specifik upplevd förarkompetens, som fortsättningsvis benämns självvärderingsinstrumentet, användes i försöksverksamheten för projektet Utvecklat förarprov för att mäta provtagarnas upplevda förarkompetens. Inledningsvis användes två versioner av instrumentet (A1, B1) i försöksverksamheten. Efter en analys av dessa versioner, reviderades skalan något och versionerna i detta reviderade instrument benämndes A2 och B2. Versionerna av instrumentet var parallella innehållsmässigt och innehöll 17 ankarfrågor, dvs. frågor som var gemensamma för versionerna. Anledningen till att instrumentet innehöll ankarfrågor var att det skulle vara möjligt att undersöka om provtagargrupperna som besvarat de olika versionerna var jämförbara. I varje version fanns, förutom de 17 ankarfrågorna, också 11 frågor som var unika för varje version. Totalt innehöll alltså versionerna 28 frågor vardera (se tabell 1). Av de 28 frågorna handlade 18 frågor om upplevda teoretiska kunskaper och 10 frågor handlade om upplevda praktiska färdigheter. Frågorna om upplevda teoretiska kunskaper och praktiska färdigheter var fördelade på fem olika delskalor. Dessa delskalor motsvarade de fem olika innehållsområdena som mäts i kunskapsprovet och körprovet (se tabell 1). 6

10 Tabell 1. Antal självvärderingsfrågor om teori och praktik i version A1/A2 och B1/B2 av instrumentet samt antal ankarfrågor inom respektive innehållsområde. Praktik Version A1, A2 Version B1, B2 Ankarfrågor Antal uppgifter Fordonskännedom/manövrering 4 4 Miljö 1 1 Trafikregler 1 1 Trafiksäkerhet Teori Fordonskännedom/manövrering Miljö 3 3 Trafikregler 3 3 Trafiksäkerhet Personliga förutsättningar Totalt Frågorna i instrumentet handlade om hur säkra provtagarna var på att de skulle bli godkända på olika moment i kunskapsprovet och körprovet. Frågorna i instrumentet var formulerade enligt följande: Hur säker är du på att du kan utföra följande moment så att du blir godkänd på kunskapsprovet/körprovet? Ett exempel på ett sådant moment är redogöra för bilens konstruktion och funktioner. Provtagarna besvarade frågorna genom att markera en siffra från 1 till 10. I version A1 och B1 utgjordes skalans ändpunkter av Mycket osäker och Mycket säker. I det reviderade instrumentet (version A2, B2) utgjordes skalans ändpunkter av Inte alls säker och Helt säker. En tiogradig skala användes eftersom tidigare studier har indikerat att en tiogradig skala är mer fördelaktig att använda i jämförelse med skalor med färre svarsalternativ, eftersom dessa har sämre diskriminationsförmåga och lägre reliabilitet (Bandura, 1997). Empiriska studier har också visat att 10-gradiga self-efficacy skalor förutsäger prestation i högre grad än traditionella Likert-skalor (Pajares, Hartley, & Valiante, 2001). Procedur Självvärderingsinstrumentet administrerades under försöksverksamheten för projekt Utvecklat förarprov. Försöksverksamheten pågick från 1 maj till 31 oktober 2006 på tre provorter i landet: Luleå, Växjö samt Borås med sina mottagningsorter Alingsås, Kinna och Ulricehamn. Proceduren för administrationen och användningen av självvärderingsinstrumentet beskrivs i figur 1. 7

11 (1) Självvärderingsinstrumentet besvaras. (2) Uträkning av genomsnittlig självvärdering för innehållsområden. (3) Kunskapsprovet genomförs. (4) Körprovet genomförs. (5) Bedömning av prestation inom innehållsområdena i körprovet. (6) Jämförelse självvärdering och körprov. Återkoppling Figur 1. Beskrivning av procedur för självvärdering i försöksverksamheten för projektet Utvecklat förarprov. (1) Provtagarna ombads att besvara självvärderingen på Vägverkets förarprovskontor, innan de gjorde sitt kunskapsprov för första gången. När provtagarna hade besvarat självvärderingen lämnade de den till en assistent på förarprovskontoret. (2) Därefter beräknade assistenterna den genomsnittliga självvärderingen för de fyra olika delskalorna för självvärderingen om praktiska färdigheter 2. Detta gjordes för att få en indikator på provtagarnas upplevda kompetens inom de olika kompetensområdena i körprovet. För att det skulle vara möjligt att på ett så enkelt sätt jämföra självvärderingen med resultatet på körprovet, jämfördes provtagarens genomsnittliga självvärdering inom varje delskala med ett intervall. I 2 Tanken i projekt Utvecklat förarprov var inledningsvis att provtagarnas upplevda teoretiska förarkompetens skulle jämföras med deras resultat på kunskapsprovet. På grund av tidsbrist i körprovet kunde dock inte denna jämförelse genomföras utan provtagarna fick endast återkoppling om överensstämmelsen mellan sin upplevda praktiska kompetens och prestation på körprovet. 8

12 detta intervall motsvarade skattningar mellan 1 och 3 en låg självvärdering, 4-7 en medel självvärdering och 8-10 en hög självvärdering. (3) När provtagarna besvarat självvärderingen och assistenterna hade räknat ut provtagarnas genomsnittliga självvärdering inom de olika delskalorna, genomförde provtagarna kunskapsprovet. Efter att provtagarna genomfört sitt kunskapsprov fick de tillbaka sin självvärdering tillsammans med resultatbeskedet från kunskapsprovet. Provtagarna blev ombedda att ta med sig självvärderingen och resultatbeskedet till körprovet. (4) Efter att körprovet hade genomförts meddelade inspektören resultatet (godkänd/icke godkänd) till provtagaren. (5) För att få en nyanserad jämförelse mellan självvärdering och provresultat redogjorde inspektören också för sin bedömning av provtagarens prestation inom de fyra kompetensområdena som testas i körprovet: Fordonskännedom/manövrering, Miljö, Trafikregler och Trafiksäkerhet. Inspektörens bedömning av provtagarens prestation inom dessa områden gjordes på en skala från 1 till 10 (se bilaga 1). (6) Inspektörens bedömning jämfördes sedan med provtagarens självvärdering inom de fyra olika innehållsområdena. Om provtagaren värderade sig högt inom något av innehållsområdena men gjorde en dålig prestation inom detta område i provet, hade provtagaren överskattat sin kompetens inom det området. Om provtagaren värderade sig lågt inom något av innehållsområdena och hade en bra prestation inom det området i provet, hade provtagaren underskattat sin kompetens inom det området. Om självvärderingen och provprestationen inom innehållsområdet överensstämde med varandra hade provtagaren gjort en realistisk skattning av sin kompetens. Utifrån denna jämförelse fick provtagaren en återkoppling på överensstämmelsen mellan sin självvärdering och sitt provresultat. Intervall för självvärdering och provresultat Under försöksverksamheten användes två olika intervall för att bedöma om självvärderingen var låg, medel eller hög. Intervallet som användes i början av försöksverksamheten var baserat på en empirisk utgångspunkt, dvs. fördelningen av provtagarnas svar på självvärderingsenkäten. Detta innebar att intervall för de olika delskalorna formades med utgångspunkt från medelvärdet av provtagarnas självvärdering. Med detta intervall betraktades skattningar som låg kring medelvärdet som en medel självvärdering och skattningar lägre respektive högre än medelvärdet betraktades som låg respektive hög självvärdering. Detta intervall kom att ändras under försöksverksamhetens gång eftersom provtagarna i 9

13 genomsnitt skattade sig högt. De höga genomsnittliga skattningarna innebar att de flesta provtagarnas självvärderingar betraktades som medel, även fast skattningarna var höga i relation till skalan. För att åstadkomma ett intervall som var mer informativt för provtagarna och inspektörerna och för att få en bättre jämförelse med provresultatet, ändrades intervallet till ett teoretiskt intervall (se bilaga 3). Detta innebar att den tiogradiga skalan delades upp i tre intervall, där skattningarna bedömdes som låga, medel eller höga i relation till skalan och inte i relation till vad provtagargruppen i genomsnitt hade svarat. Med detta intervall motsvarade skattningar mellan 1 och 3 en låg självvärdering, 4-7 en medel självvärdering och 8-10 en hög självvärdering. På liknande sätt bildades också intervall för provtagarnas prestation på körprovet (se bilaga 1) och andelen korrekta svar inom de olika innehållsområdena i kunskapsprovet (se bilaga 2). Deltagare Stickprovet innefattade 2254 provtagare som besvarade självvärderingsinstrumentet och genomförde hela det nya förarprovet från första maj 2006 tom den 31 oktober Datamaterialet innefattar provtagarnas svar på självvärderingsinstrumentet, resultat på kunskapsprovet och körprovet (utifrån både det nya och det gamla protokollet). Provtagare som det saknades information om i något av dessa områden har uteslutits. Enbart det första kunskapsprovet och körprovet finns med i materialet, dvs. om en provtagare misslyckades och upprepade något eller båda proven så förekommer enbart det första resultatet i detta material. Vidare uteslöts åtta personer som gjort delar av provet på annan ort och som det därmed inte fanns fullständig information om. I stickprovet var 1313 (58%) män och 941 (42%) kvinnor. Provtagarnas ålder varierade mellan 18 och 69 år. Medelåldern var 21.5 år och medianåldern var 18 år (s=7.1 år). Av provtagarna var 84.8 procent mellan år. Efter att självvärderingsinstrumentet hade administrerats under en månad samlades det in och analyserades. Resultaten indikerade att skalan i instrumentet behövde förändras och därför reviderades instrumentet. Således finns två versioner av instrumentet och dessa kommer att analyseras separat i denna rapport. Det var 695 provtagare som besvarade den första versionen (version A1 och B1) av instrumentet (se tabell 2). I version A1 var andelen män 63 procent och i version B1 var andelen män 61 procent. I version A1 varierade åldern på provtagarna mellan 18 och 10

14 63 år, medelåldern 21 år och medianåldern var 18 år (s=7.32). I version B1 varierade åldern på provtagarna mellan 18 och 62 år, medelåldern var 22 år, median 19 år (s=7.83). Tabell 2. Antal och andel provtagare som besvarat den första versionen av självvärderingsinstrumentet (version A1 respektive B1) vid de tre olika försöksorterna. Version A1 Version B1 Totalt f % f % f % Luleå Växjö Borås Totalt Totalt var det 1559 provtagare som besvarade det förändrade självvärderingsinstrumentet (version A2 och B2). I version A2 var andelen män 56 procent och i version B1 var andelen män 57 procent. I version A2 varierade åldern på provtagarna mellan 18 och 69 år, medelåldern 22 år och medianåldern var 19 år (s=7.23). I version B2 varierade åldern på provtagarna mellan 18 och 61 år, medelåldern var 21 år, median 18 år (s=6.51). I tabell 3 visas antal och andel provtagare som besvarat version A2 och B2 fördelat på de tre olika försöksorterna. Tabell 3. Antal och andel provtagare som besvarat den förändrade versionen av självvärderingsinstrumentet (A2 respektive B2) vid de tre olika försöksorterna. Version A2 Version B2 Totalt f % f % f % Luleå Växjö Borås Totalt Analyser För att undersöka instrumentens psykometriska egenskaper, analyserades provtagarnas svar på självvärderingsinstrumentet med avseende på fördelning, medelvärde, median och min-max. Eftersom data låg på ordinalskalenivå presenteras såväl medelvärde som median. Om medelvärdet och medianen ligger nära varandra, indikerar detta att fördelningen är symmetrisk, vilket innebär att man kan använda sig av statistiska verktyg som förutsätter intervallskala utan att göra några större avvikelser från de antaganden som dessa metoder bygger på. Skillnaden i medelvärde mel- 11

15 lan ankarfrågorna i de olika versionerna undersöktes med t-test och skillnaden mellan kontoren med avseende på medelvärde för de olika delskalorna undersöktes med envägs variansanalys (Howell, 1997). För att ta hänsyn till att data låg på ordinalskalenivå användes både Pearsons produktmomentkorrelationskoefficient (r) och Spearmans rangkorrelationskoefficient (r s ) som sambandsmått (Crocker & Algina, 1986). När dessa sambandsmått gav ett liknande resultat, redovisades endast Spearmans rangkorrelationskoefficient. För att undersöka instrumentets reliabilitet användes Cronbachs alpha (α), vilket är ett mått på den interna konsistensen. Vidare undersöktes den latenta strukturen i de olika versionerna av självvärderingsinstrumentet genom en faktoranalys (principal axis factoring). Faktorerna roterades med direkt Oblimin rotation för att beakta möjligheten att faktorerna kan vara korrelerade (Nunnaly & Bernstein, 1994). För att undersöka överensstämmelsen mellan självvärdering och resultat på kunskapsprovet användes två olika statistiska mått (Fitzgerald, White, & Gruppen, 2003). Det första måttet var ett Avvikelseindex 3 som motsvarar den genomsnittliga absoluta avvikelsen mellan självvärderingen ( x ) och provresultatet ( x ) över n observationer: s p A I = x s x n p Avvikelseindexet sammanfattar den absoluta avvikelsen mellan en provtagares självskattning och provprestationen. Det andra måttet var sambandet mellan provtagarnas självvärdering och provresultat som beräknades med dels Pearsons produktmomentkorrelations koefficient och dels Spearmans rangkorrelationskoefficient. För att undersöka om andelen provtagare som gjorde en realistisk skattning samt under- och överskattade sig skilde sig åt mellan olika provtagargrupper användes χ 2. 3 Svensk översättning av den engelska termen Deviation index. 12

16 Resultat Disposition Resultatredovisningen är uppdelad i fem övergripande delar. Varje övergripande del är uppdelad i självvärdering av teoretiska kunskaper och självvärdering av praktiska färdigheter. I den första delen presenteras analyserna av den första versionen av självvärderingsinstrumentet, dvs. den version som användes under maj och juni I den andra delen presenteras analysen av den reviderade versionen av instrumentet. Det reviderade instrumentet användes från början av juli till den sista oktober I den tredje delen av resultatredovisningen jämförs den första och den reviderade versionen av instrumentet för att undersöka om den förändrade skalan gav någon effekt. I den fjärde delen av resultatredovisningen beskrivs sambandet mellan självvärdering och resultat på kunskapsprovet och körprovet. I den femte och sista delen av resultatet jämförs olika grupper av provtagare med avseende på självvärdering och provresultat. Första versionen av instrumentet Den första versionen av självvärderingsinstrumentet var, som tidigare nämndes, uppdelad i två parallella versioner: A1 och B1. Dessa versioner analyserades för att undersöka instrumentets psykometriska egenskaper. Först presenteras analysen av de 18 frågor som handlar om självvärdering av teoretiska kunskaper och därefter presenteras analyserna av de 10 frågor som handlar om självvärdering av praktiska färdigheter. För att undersöka om provtagargrupperna som besvarat version A1 och B1 var jämförbara, jämfördes medelvärdena för ankarfrågorna i version A1 och B1. Analysen visade att det inte fanns några signifikanta skillnader mellan medelvärdet för version A1 och B1. Därmed kan provtagargrupperna som besvarat de olika versionerna av instrumentet betraktas som jämförbara. 13

17 Självvärdering av teoretiska kunskaper De fem delskalorna om upplevda teoretiska kunskaper består av ett antal frågor (se tabell 1). Dessa fem delskalor undersöktes med avseende på medelvärde, median, standardavvikelse och min-max (se tabell 4). Det fanns inga signifikanta skillnader mellan kontoren med avseende på delskalornas medelvärde. Tabell 4 visar att medelvärdet och medianen för de olika delskalorna är relativt lika, vilket indikerar att fördelningarna för delskalorna är symmetriska. Tabellen visar också att medelvärdena för de fem olika delskalorna är relativt höga eftersom de flesta ligger mellan 8 och 9 på den tiogradiga skalan. Tabellen visar dessutom att den lägre delen av skalan utnyttjas begränsat. För de flesta delskalor finns ingen provtagare som skattat sig under 3. Tabell 4. Medelvärde (M), Median (Mdn), Standardavvikelse (s) och Min max för delskalorna för upplevda teoretiska kunskaper uppdelat på version A1 och version B1. Delskalor för upplevda teoretiska kunskaper Fordonskännedom Version A1 Version B1 M Mdn s Minmamax M Mdn s Min /manövrering Miljö Trafikregler Trafiksäkerhet Personliga förutsättningar Totalt Därefter undersöktes sambandet mellan de fem olika delskalorna i instrumentet. Tabell 5 visar att sambanden mellan delskalorna var positiva och starka, vilket indikerar att de olika delskalorna är homogena och mäter samma aspekt. De starka sambanden mellan delskalorna indikerar också att om en provtagare skattar sig högt inom en delskala skattar han/hon sig högt även inom de andra delskalorna och tvärtom. 14

18 Tabell 5. Interkorrelationsmatris för delskalorna Fordonskännedom/manövrering (FM), Miljö (M), Trafikregler (TR), Trafiksäkerhet (TS) och Personliga förutsättningar (PF). M TR TS PF Version A1 B1 A1 B1 A1 B1 A1 B1 FM.69**.70**.65**.62**.65**.68**.58**.63** M.71**.65**.75**.74**.69**.67** TR.72**.74**.66**.72** TS.78**.82** **p<.01 För att få en indikator på instrumentets reliabilitet undersöktes den interna konsistensen för de fem delskalorna. Tabell 6 visar att Cronbachs alpha (α) för de fem delskalorna för upplevda teoretiska kunskaper var högt, vilket indikerar att frågorna inom respektive delskala och inom instrumentet som helhet är homogena, dvs. att de mäter samma aspekt. Tabell 6. Intern konsistens (α) för delskalorna för upplevda teoretiska kunskaper samt antal frågor inom respektive delskala (n). Version A1 Version B1 n α n α Fordonskännedom/manövrering Miljö Trafikregler Trafiksäkerhet Personliga förutsättningar Totalt Frågornas diskriminationsförmåga undersöktes för att få en indikation på hur effektivt de enskilda frågorna diskriminerade mellan provtagare som hade hög respektive låg självvärdering. Resultatet visade att det fanns relativt starka samband mellan samtliga enskilda frågor och totalpoängen, dvs. summan av poäng (1-10) för samtliga frågor om upplevda teoretiska kunskaper. För version A1 varierade korrelationerna mellan r s = , och för version B1 mellan r s = Detta indikerar att en hög skattning på en enskild fråga är relaterat till höga skattningar på de övriga frågorna och tvärtom. Resultatet visar också att samtliga frågor är viktiga i den bemärkelsen att de bidrar till totalpoängen i instrumentet. I figur 2 nedan visas andelen provtagare som valde svarsalternativ 1 till 10 på frågorna om upplevda teoretiska kunskaper i version A1 respektive B1. Figuren visar att provtagarna skattade sig själv relativt högt. Knappt en tiondel av provtagarna valde svarsalternativ 1 till 5 ( Inte alls säker 15

19 till Ganska säker ) och ungefär hälften av provtagarna valde alternativ 8 eller 9. I genomsnitt var det omkring 65 procent av provtagarna som valde svarsalternativ 8 till Procent 15 A1 B Svarsalternativ Figur 2. Andelen provtagare i version A1 och B1 som valde svarsalternativ 1 till 10, på de 18 frågorna om teoretiska kunskaper. Självvärdering av praktiska färdigheter De fyra delskalorna för frågorna om upplevda praktiska färdigheter undersöktes med avseende på medelvärde, median, standardavvikelse och min-max (se tabell 7). En jämförelse av medelvärdena för de fyra olika delskalorna visade att det inte finns några signifikanta skillnader i medelvärde mellan de tre olika kontoren för varken version A1 eller B1. I Tabell 7 ser man att medelvärdet och medianen för de olika delskalorna är relativt lika, vilket indikerar att fördelningarna för delskalorna är symmetriska. Tabellen visar också att medelvärdena för de fem olika delskalorna är relativt höga eftersom de ligger mellan 8 och 9 på den tiogradiga skalan. Tabellen visar dessutom att den lägre delen av skalan utnyttjas begränsat. För de flesta delskalor finns ingen provtagare som skattat sig under 3. 16

20 Tabell 7. Medelvärde (M), Median (Mdn) och Standardavvikelse (s) och Minmax, för delskalorna om upplevda praktiska färdigheter, uppdelat på version A1 och B1. Version A1 Version B1 M Mdn s Minmamax M Mdn s Min Delskalor för upplevda praktiska färdigheter Fordonskännedom/manövrering Miljö Trafikregler Trafiksäkerhet Totalt Sambandet mellan de fyra olika delskalorna för upplevda praktiska färdigheter undersöktes. Tabell 8 visar att det fanns starka positiva samband mellan samtliga delskalor. De starka positiva sambanden indikerar att de olika delskalorna är homogena och mäter samma aspekt. De starka sambanden mellan delskalorna indikerar också att om en provtagare skattar sig högt inom en delskala skattar han/hon sig högt även inom de andra delskalorna och tvärtom. Tabell 8. Interkorrelationsmatris för delskalorna Fordonskännedom/manövrering, Miljö/Sparsam körning, Trafikregler, och Trafiksäkerhet för frågorna om upplevda praktiska färdigheter. Miljö Trafikregler Trafiksäkerhet A1 B1 A1 B1 A1 B1 Fordonskännedom/manövrering.64**.59**.70**.68**.80**.74** Miljö.62**.61**.63**.62** Trafikregler.73**.76** **p<.01 För att få en indikator på reliabiliteten för frågorna om upplevda praktiska färdigheter undersöktes den interna konsistensen för de fyra delskalorna. Tabell 9 visar att Cronbachs alpha (α) för de fyra delskalorna är högt, vilket indikerar att frågorna inom respektive delskala och inom instrumentet som helhet är homogena, dvs. att de mäter samma aspekt. 17

21 Tabell 9. Intern konsistens (α) för delskalorna för upplevda praktiska färdigheter samt antalet frågor inom respektive delskala (n). Version A1 Version B1 n α n α Fordonskännedom/manövrering Miljö Trafikregler Trafiksäkerhet Totalt Endast en fråga ställdes inom detta område och därför kan inte den interna konsistensen beräknas. För att få en indikation på hur effektivt de enskilda frågorna diskriminerade mellan provtagare som hade hög respektive låg självvärdering undersöktes diskriminationsförmågan. Resultatet visade att det fanns relativt starka samband mellan samtliga enskilda frågor och totalpoängen. För version A1 varierade korrelationerna mellan, r s = och för version B1 mellan r s = Detta indikerar att en hög skattning på en enskild fråga är relaterat till höga skattningar på de övriga frågorna. Resultatet visar också att samtliga frågor är viktiga i den bemärkelsen att de bidrar till totalpoängen i instrumentet. I figur 3 nedan visas andelen provtagare som valde svarsalternativ 1 till 10 på frågorna om upplevda praktiska färdigheter i version A1 respektive B1. Figuren visar att provtagarna skattade sig själv relativt högt. Knappt en tiondel av provtagarna valde svarsalternativ 1 till 5. Figuren visar också att drygt hälften av provtagarna valde alternativ 8 eller 9. I genomsnitt var det omkring 75 procent av provtagarna som valde svarsalternativ 8 till

22 Procent A1 B Svarsalternativ Figur 3. Andelen provtagare i version A1 och B1 som valde svarsalternativ 1 till 10, för de 10 frågorna om praktiska färdigheter. De 28 frågorna i version A1 och B1 av instrumentet analyserades med faktoranalys för att undersöka hur många latenta faktorer som instrumentet bestod av. Resultatet visade att frågorna i version A1 och B1 hade höga faktorladdningar på en faktor. I version A1 förklarade faktorn 56 procent av variationen och i version B1 förklarade faktorn 54 procent av variationen i frågorna. Därmed var båda versionerna av instrumentet att betrakta som endimensionella. Revidering av instrumentet Sammanfattningsvis indikerar resultatet från den första versionen av självvärderingsinstrumentet att dess psykometriska egenskaper är mycket goda och att instrumentet därmed fungerar bra i ett mätperspektiv. För att undersöka om instrumentet kunde fungera ännu bättre gjordes ett försök att förändra skalans språkliga dimension från en tvådimensionell osäker-säker skala till en endimensionell säker-skala. Detta innebar att skalan förändrades från att ha sträckt sig från Mycket osäker till Mycket säker, till en skala med ändpunkterna Inte alls säker och Helt säker. Liknande benämningar på ändpunkterna i skalan har använts i andra studier för att mäta specifik upplevd kompetens (Pajares & Graham, 1999). För att göra skalstegen tydligare för provtagarna infördes också en benämning på mitten av skalan. Mellan skalsteg 5 och 6 sattes 19

23 termen Ganska säker in. Dessa typer av skalor har också använts i tidigare studier (Bong & Hocevar, 2002). I samband med att skalan reviderades, förändrades också intervallet för självvärderingen som användes för att jämföra självvärdering och provresultat. Före skalan reviderades användes ett empiriskt intervall, där provtagarnas självvärdering klassificerades som låg, medel, hög utifrån provtagargruppens genomsnittliga självvärdering, dvs. beroende på hur de andra provtagarna hade skattat sig. Detta intervall ersattes med ett teoretiskt intervall där självvärderingen klassificerades som låg, medel eller hög i relation till den tiogradiga skalan. Reviderad version av instrumentet Det reviderade självvärderingsinstrumentet var uppdelat i två parallella versioner: A2 och B2. Dessa versioner analyserades för att undersöka det förändrade instrumentets psykometriska egenskaper. Först presenteras analysen av de 18 frågor som handlar om upplevda teoretiska kunskaper och därefter presenteras analyserna av de 10 frågor som handlar om upplevda praktiska färdigheter. För att undersöka om grupperna som besvarat version A2 och B2 var jämförbara, jämfördes medelvärdena för ankarfrågorna i version A2 och B2. Analysen visade att det fanns signifikanta skillnader mellan versionerna med avseende på medelvärdena för 15 av de 17 ankarfrågorna. Dessa skillnader var dock inte särskilt stora. Den största skillnaden i frågornas medelvärde mellan versionerna var Eftersom stickprovet som användes i denna studie var stort innebär det att även små medelvärdesskillnader blir statistiskt signifikanta, även om dessa skillnader kan betraktas ha liten praktisk signifikans. Detta innebär att provtagargrupperna som besvarade version A2 och B2 kan betraktas som jämförbara. Självvärdering av teoretiska kunskaper De fem delskalorna för frågorna om upplevda teoretiska kunskaper undersöktes med avseende på medelvärde, median, standardavvikelse och min-max (se tabell 10). Det fanns inga signifikanta skillnader mellan kontoren med avseende på delskalornas medelvärde. Tabell 10 visar att medelvärdet och medianen för de olika delskalorna är relativt lika, vilket indikerar att fördelningarna för delskalorna är symmetriska. Tabellen 20

24 visar också att provtagarna skattar sig relativt högt i genomsnitt. För de flesta delskalorna ligger medelvärdet runt 8 på den tiogradiga skalan. Tabell 10. Medelvärde (M), Median (Mdn), Standardavvikelse (s) och Min max för delskalorna för upplevda teoretiska kunskaper uppdelat på version A2 och version B2. Delskalor för upplevda teoretiska kunskaper Fordonskännedom Version A 2 Version B2 M Mdn s Minmamax M Mdn s Min /manövrering Miljö Trafikregler Trafiksäkerhet Personliga förutsättningar Totalt Sambanden mellan de fem olika delskalorna i instrumentet undersöktes. Tabell 11 visar att sambanden mellan delskalorna var positiva och relativt starka. Detta indikerar att de olika delskalorna är homogena och mäter samma aspekt. De starka sambanden mellan delskalorna indikerar också att om en provtagare skattar sig högt inom en delskala skattar han/hon sig högt även inom de andra delskalorna och tvärtom. Tabell 11. Interkorrelationsmatris för delskalorna Fordonskännedom/manövrering (FM), Miljö (M), Trafikregler (TR), Trafiksäkerhet (TS) och Personliga förutsättningar (PF). M TR TS PF Version A2 B2 A2 B2 A2 B2 A2 B2 FM.68**.63**.63**.62**.67**.63**.56**.56** M.68**.63**.75**.73**.66**.67** TR.75**.76**.67**.64** TS.79**.81** PF För att undersöka det förändrade instrumentets reliabilitet beräknades Cronbachs alpha (α) för de fem delskalorna för frågorna om upplevda teoretiska kunskaper (se tabell 12). Samtliga delskalor hade hög intern konsistens, vilket indikerar att frågorna inom respektive delskala är homogena, dvs. att de mäter samma aspekt. 21

25 Tabell 12. Intern konsistens (α) för delskalorna för upplevda teoretiska kunskaper samt antal frågor inom respektive delskala (n). Version A2 Version B2 n α n α Fordonskännedom/manövrering Miljö Trafikregler Trafiksäkerhet Personliga förutsättningar Totalt Frågornas diskriminationsförmåga undersöktes för att få en indikation på hur effektivt de enskilda frågorna diskriminerade mellan provtagare som hade hög respektive låg självvärdering. Resultatet visade att det fanns relativt starka samband mellan samtliga enskilda frågor och totalpoängen. För version A2 varierade korrelationerna mellan r s = , och för version B2 mellan r s = Detta indikerar att en hög skattning på en enskild fråga relateras till höga skattningar på de övriga frågorna. Resultatet visar också att samtliga frågor är viktiga i den bemärkelsen att de bidrar till totalpoängen i instrumentet. I figur 4 nedan visas andelen provtagare som valt svarsalternativ 1 till 10 i version A2 respektive B2. Figuren visar att provtagarna skattade sig själv relativt högt. Mellan 7 och 9 procent av provtagarna i version A2 och B2 valde svarsalternativ 1 till 5 ( Inte alls säker till Ganska säker ). Figuren visar också att knappt hälften av provtagarna valde alternativ 8 eller 9. I genomsnitt var det mellan 65 och 70 procent av provtagarna som valde svarsalternativ 8 till

26 Procent A2 B Svarsalternativ Figur 4. Andelen provtagare i version A2 och B2 som valde svarsalternativ 1 till 10, för de 18 frågorna om upplevda teoretiska kunskaper. Självvärdering av praktiska färdigheter De fyra delskalorna för frågorna om upplevda praktiska färdigheter undersöktes med avseende på medelvärde, median, standardavvikelse och min-max (se tabell 13). En jämförelse av medelvärdena för de fyra olika delskalorna visade att det inte fanns några signifikanta skillnader mellan de tre olika kontoren varken för version A2 eller B2. Tabell 13 visar att medelvärdet och medianen för de olika delskalorna är relativt lika, vilket indikerar att fördelningarna för delskalorna är symmetriska. Provtagarna skattar sig relativt högt i genomsnitt, medelvärdet för de fyra delskalorna ligger runt 8. 23

27 Tabell 13. Medelvärde (M), Median (Mdn) och Standardavvikelse (s) och Minmax, för delskalorna om upplevda praktiska färdigheter, uppdelat på version A2 och B2. Version A2 Version B2 M Mdn s Minmax M Md s Min- n max Delskalor för upplevda praktiska färdigheter Fordonskännedom/manövrering Miljö Trafikregler Trafiksäkerhet Totalt Sambandet mellan de fyra olika delskalorna för upplevda praktiska färdigheter undersöktes. Tabell 14 visar att det fanns starka positiva samband mellan samtliga delskalor. De starka positiva sambanden indikerar att de olika delskalorna är homogena och mäter samma aspekt. De starka sambanden mellan delskalorna indikerar också att om en provtagare skattar sig högt inom en delskala skattar han/hon sig högt även inom de andra delskalorna och tvärtom. Tabell 14. Interkorrelationsmatris för de fyra delskalorna för frågorna om upplevda praktiska färdigheter. Miljö Trafikregler Trafiksäkerhet A2 B2 A2 B2 A2 B2 Fordonskännedom/manövrering.63**.62**.67**.69**.80**.73** Miljö.60**.62**.68**.65** Trafikregler.75**.77** För att få en indikator på reliabiliteten för frågorna om upplevda praktiska färdigheter undersöktes den interna konsistensen för de fyra delskalorna. Tabell 15 visar att Cronbachs alpha (α) för de fyra delskalorna var högt, vilket indikerar att frågorna inom respektive delskala och samtliga frågor om upplevda praktiska färdigheter är homogena, dvs. att de mäter samma aspekt. 24