Urval till högre utbildning Utveckling och erfarenheter av högskoleprovet Per-Erik Lyrén Institutionen för tillämpad utbildningsvetenskap Umeå universitet Testdagen 2014
HP genom åren 1977: Högskoleprovet introduceras i urvalet till högre utbildning 1991: Provet blir tillgängligt för alla sökande 1992: Delprovet STUF tas bort och ELF införs 1996: Utprövning i samband med reguljärprovet införs; AO-provet tas bort 2011: Det nya högskoleprovet lanseras Testdagen 2014 Högskoleprovet 2
Kritik av gamla HP Den prediktiva validiteten kunde vara bättre Mer riktad mot olika utbildningar (t.ex. ingenjörsprogram/naturvetenskap) Inte tillräckligt effektiv för få uppgifter per tidsenhet Dålig balans i provet 40 av 122 uppgifter på 15 minuter (ORD-provet) Testdagen 2014 Högskoleprovet 3
Svar på kritiken Bättre prediktiv validitet Flexibel användning av två separata provdelar (verbal och kvantitativ) fler kvantitativa uppgifter Bättre effektivitet +31 procent uppgifter och +10 procent provtid (påverkar tre av de gamla delproven) En bättre balanserad verbal provdel ORD-provet halveras, MEK införs Testdagen 2014 Högskoleprovet 4
Nya HP ORD* (20 uppg.) LÄS* (20 uppg.) XYZ (24 uppg.) KVA (20 uppg.) MEK (20 uppg.) ELF (20 uppg.) NOG* (12 uppg.) DTK* (24 uppg.) Verbal poäng (0.0-2.0) Kvant. poäng (0.0-2.0) Inte ännu för urval Totalpoäng (0.00-2.00) Används för urval Testdagen 2014 Högskoleprovet 5
Utvärderingen Införandet av det nya provet har varit en försöksverksamhet under 2+ år Hösten 2012 beslutade dåvarande Högskoleverket om uppföljning av det nya provet Förutom vanliga HP-data så har vi även haft tillgång till vissa registerdata från SCB ursprung (utländsk/svensk), föräldrars utbildning, gymnasiebetyg (prov/kurs), m.m. Testdagen 2014 Högskoleprovet 6
Utvärdering och validitet Ramverk för utvärderingen: Standards (AERA, APA, NCME) modell för validering Fem källor till validitetsbevis: bevis baserade på innehåll, bevis baserade på svarsprocesser, bevis baserade på intern struktur, bevis baserade på samband med andra variabler, och bevis baserade på konsekvenser av testningen. Testdagen 2014 Högskoleprovet 7
Utvärdering och validitet Ramverk för utvärderingen: Standards (AERA, APA, NCME) modell för validering Fem källor till validitetsbevis: bevis baserade på innehåll, bevis baserade på svarsprocesser, bevis baserade på intern struktur, bevis baserade på samband med andra variabler, och bevis baserade på konsekvenser av testningen. Testdagen 2014 Högskoleprovet 8
Utvärdering och validitet Ramverk för utvärderingen: Standards (AERA, APA, NCME) modell för validering Fem källor till validitetsbevis: bevis baserade på innehåll, bevis baserade på svarsprocesser, bevis baserade på intern struktur, bevis baserade på samband med andra variabler, och bevis baserade på konsekvenser av testningen. Testdagen 2014 Högskoleprovet 9
Intern struktur Reliabilitet Dimensionalitet Mervärdet i delprovspoäng Testdagen 2014 Högskoleprovet 10
Externa variabler Samband mellan provresultat och betyg/provresultat i gymnasiet Gruppskillnader i provresultat Testdagen 2014 Högskoleprovet 11
Svarsprocesser [eventuellt] Icke-svar (ej besvarade frågor) Positionseffekter Testdagen 2014 Högskoleprovet 12
Intern struktur: Reliabilitet Prov Total Verbal Kvantitativ α PP* α S-B α S-B Medelvärde 08:A-11:A.93.89.91 -.85 - Medelvärde 11:B-13:A.93.89.91.90.89.89 Testdagen 2014 Högskoleprovet 13
Intern struktur: Reliabilitet Slutsats: Tillräckligt hög reliabilitet på provdelarna och totalt Testdagen 2014 Högskoleprovet 14
Intern struktur: Dimensionalitet Hur ser sambanden ut mellan provets olika delar? Ser det ut som förväntat? Stämmer den teoretiska modellen överens med faktiska provdata? Testdagen 2014 Högskoleprovet 15
Intern struktur: Dimensionalitet SRMR =,05 Testdagen 2014 Högskoleprovet 16
Intern struktur: Dimensionalitet Slutsats: Acceptabel anpassning av den teoretiska modellen till provdata, dvs. provets teori och empiri stämmer överens Testdagen 2014 Högskoleprovet 17
Intern struktur: Mervärdet i DPP Finns det något mervärde i provdelspoängen V/K utöver totalpoängen T? Ger t.ex. K information som skiljer sig från den information T ger? Finns det något mervärde i delprovspoängen utöver provdelspoängen? Ger exempelvis XYZ-poängen information som skiljer sig från den information K ger, eller motsvarande för LÄS-poängen jämfört med V? Testdagen 2014 Högskoleprovet 18
Intern struktur: Värdet i DPP Haberman s metod XYZ KVA NOG DTK ORD LÄS MEK ELF K V + + + - + + - - - + - + - - - + + Testdagen 2014 Högskoleprovet 19
Intern struktur: Värdet i DPP Slutsats: Det finns ett värde i provdelspoängen (V/K) utöver totalpoängen, men inte i delprovspoängen utöver provdelspoängen Testdagen 2014 Högskoleprovet 20
Samband mellan prov och betyg Syfte: samtida kriterievalidering Testdagen 2014 Högskoleprovet 21
Samband mellan prov och betyg Testdagen 2014 Högskoleprovet 22
Samband mellan prov och betyg Korrelationen HP Betygsgenomsnitt (GPA) är ungefär som för gamla HP Korrelationen Kursbetyg Provdelspoäng (V/K) är lika höga eller högre än tidigare Män har högre HP-poäng, speciellt på Kvant-delen (relativt kvinnor) Kvinnor har högre betygsgenomsnitt men lägre kursbetyg (relativt män) Testdagen 2014 Högskoleprovet 23
Samband mellan prov och betyg Män rankas högre av HP än av GPA Män presterar bättre inte bara på HP, utan även på nationella prov En indikation på att en del av könsskillnaden på HP kan förklaras av skillnader i förkunskaper Testdagen 2014 Högskoleprovet 24
Gruppskillnader Kön Verbal Kvantitativ 11:B 12:A 11:B 12:A Grupp m s m s m s m s Kvinnor 40.5 (13.5) 38.5 (12.3) 34.4 (12.1) 33.7 (10.8) Män 42.8 (13.5) 41.0 (12.6) 41.5 (13.8) 40.4 (12.4) d 0.17 0.20 0.53 0.55 Verbal (ORD+LÄS+ELF) Kvantitativ (NOG+DTK) 10:B 11:A 10:B 11:A Grupp m s m s m s m s Kvinnor 42.6 (13.5) 41.8 (13.4) 20.1 (7.1) 18.7 (6.6) Män 45.0 (13.5) 44.1 (13.2) 24.0 (7.7) 22.4 (7.1) d 0.18 0.17 0.51 0.52 Testdagen 2014 Högskoleprovet 25
Gruppskillnader Ålder Verbal Kvantitativ 11:B 12:A 11:B 12:A Grupp m s m s m s m s 20 39.2 (12.4) 37.7 (11.5) 39.7 (13.5) 38.3 (12.3) 21 24 42.4 (13.2) 39.7 (12.2) 35.9 (12.8) 35.5 (11.5) 25 29 46.5 (14.3) 44.1 (13.2) 34.3 (12.4) 34.9 (11.5) 30 39 50.9 (15.3) 48.3 (14.2) 34.8 (13.8) 35.1 (12.3) 40 55.2 (13.8) 52.0 (13.7) 36.1 (15.0) 35.9 (13.4) Total 41.6 (13.5) 39.7 (12.5) 37.9 (13.4) 37.0 (12.1) d = 1.2 d = 1.1 d = 0.4 d = 0.3 Testdagen 2014 Högskoleprovet 26
Gruppskillnader Föräldrars utbild. Verbal Kvantitativ 11:B 12:A 11:B 12:A Grupp m s m s m s m s Gy 2 år 38.1 (13.2) 36.8 (12.3) 32.3 (11.8) 32.4 (10.6) Gy 3 år 39.1 (12.9) 37.4 (12.0) 35.5 (12.5) 34.7 (11.4) HU -2 år 41.3 (13.0) 39.4 (12.0) 37.7 (12.9) 36.8 (11.6) HU 3-4 år 43.9 (13.3) 41.9 (12.3) 41.0 (13.4) 39.9 (12.2) HU 5- år 48.6 (13.1) 45.8 (12.0) 45.7 (13.3) 43.8 (12.2) Total 41.7 (13.5) 39.8 (12.5) 37.9 (13.4) 37.0 (12.1) d = 0.8 d = 0.7 d = 1.0 d = 0.9 Testdagen 2014 Högskoleprovet 27
Gruppskillnader Ursprung Verbal Kvantitativ 11:B 12:A 11:B 12:A Grupp m s m s m s m s 1 (U-UU) 33.5 (13.3) 32.1 (12.0) 33.2 (12.7) 32.3 (11.5) 2 (S-UU) 34.8 (12.4) 33.5 (11.3) 35.1 (12.8) 33.6 (11.3) 3 (U-S?) 42.0 (12.9) 40.9 (12.1) 40.0 (13.3) 39.8 (12.8) 4 (S-SU) 42.5 (13.4) 40.7 (12.3) 37.5 (13.2) 36.9 (12.0) 5 (S-SS) 43.0 (13.2) 41.1 (12.2) 38.7 (13.5) 37.9 (12.1) Total 41.7 (13.5) 39.8 (12.5) 37.9 (13.4) 37.0 (12.1) d = 0.5-0.7 d = 0.6-0.7 d = 0.5 d = 0.6 Testdagen 2014 Högskoleprovet 28
Sammanfattning och slutsatser Tillräckligt hög reliabilitet totalt och på provdelspoängen Bra anpassning mellan den teoretiska modellen och data Testdagen 2014 Högskoleprovet 29
Sammanfattning och slutsatser Gruppskillnader som förväntat Könsskillnader något högre än på gamla HP Åldersskillnader som på gamla HP (men yngre rankas relativt högre genom ökat inslag av kvantitativa uppgifter) Socialgruppsskillnader som på gamla HP Invandrare rankas relativt högre på det nya provet, ffa. i och med införandet av kvantitativa uppgifter som kräver mindre läsning Testdagen 2014 Högskoleprovet 30
Sammanfattning och slutsatser Samband HP GPA ungefär som för gamla provet Bland provtagarna så presterar män bättre än kvinnor på både HP och NP (En del av) skillnaden mellan män och kvinnor beror på skillnader i förkunskaper Testdagen 2014 Högskoleprovet 31
Tack till Christina Wikström Magnus Wikström Gunilla Ögren Jenny Lindberg Testdagen 2014 Högskoleprovet 32
Frågor?/! per-erik.lyren@umu.se
Bonusbilder Testdagen 2014 Högskoleprovet 34
Gamla HP ORD (40 uppg.) NOG (22 uppg.) LÄS (20 uppg.) DTK (20 uppg.) ELF (20 uppg.) Utpröv. (20-60 uppg.) Totalpoäng (0.0-2.0) Används för urval Testdagen 2014 Högskoleprovet 35
Svarsprocesser: Icke-svar Överlag: låga nivåer icke-svar (ca 0,5-1%) Mycket lågt/inget samband med prestation Dvs., förmågan att arbeta snabbt har ingenting med (ffa) förmågan att hantera kvantitativa problem Testdagen 2014 Högskoleprovet 36
Svarsprocesser: Positionseffekter Hypotes: Det har betydelse vilken position uppgifterna i slutet av K-häftena har (dvs., DTK-provet). Testdagen 2014 Högskoleprovet 37
Svarsprocesser: Positionseffekter Uppg. Placering p-värde K-diff. Tabell A 29 38 -.09 (-.12) -.04 B 30 39 -.08 (-.11) -.03 C 31 40 -.04 (-.07).00 Karta D 32 35 -.06 (-.09) -.05 E 33 36 -.05 (-.08) -.03 F 34 37 -.03 (-.06).00 Cirkel G 35 32.00 (-.03) -.01 H 36 33 -.02 (-.05).00 I 37 34 +.02 (-.01).00 Stapel J 38 29 +.14 (+.11) +.10 K 39 30 +.10 (+.07) +.03 L 40 31 +.15 (+.12) +.05 Testdagen 2014 Högskoleprovet 38
Svarsprocesser: Positionseffekter Slutsats: Det har betydelse vilken position uppgifterna i slutet av häftet har (för Kvant./DTK-provet). Testdagen 2014 Högskoleprovet 39
Sammanfattning och slutsatser Inga anmärkningsvärda nivåer av ickesvar Positionseffekter (på DTK) Testdagen 2014 Högskoleprovet 40