Prestationsskillnader mellan flickor och pojkar i NO

Transkript

1 Prestationsskillnader mellan flickor och pojkar i NO En studie av uppgiftsformatets betydelse i TIMSS 2003 Niklas Eriksson BVM nr 15, 2005 ISSN

2

3 Sammanfattning Resultaten från Trends in International Mathematics and Science Study (TIMSS) 2003 visar på en markant nedgång i resultaten från 1995 för svenska elever i årskurs 8 i både matematik och naturorienterade ämnen (NO). Inom NO har pojkar bättre resultat än flickor medan det i matematik inte finns någon könsskillnad i resultaten. Utifrån detta undersöktes i denna studie uppgiftsformatets och ämnesinnehållets betydelse för prestationsskillnader mellan flickor och pojkar inom NO, i Sverige, och i jämförelse med andra länders resultat. Lösningsproportioner och en IRT-baserad DIF-metod användes för att studera detta. Resultaten är entydiga, flickor presterar relativt sett bättre på uppgifter där de ska skriva ner ett svar och pojkar presterar bättre på uppgifter där det finns färdiga svarsalternativ. Sverige är tillsammans med Moldavien och Bahrain de länder där uppgiftsformatet har störst betydelse för prestationsskillnader mellan flickor och pojkar. I biologi, som setts som ett ämne till flickornas fördel, är prestationsskillnaden mellan uppgiftsformaten så stor att pojkar presterar lika bra som flickor om endast flervalsuppgifter beaktas. I fysik, som setts som ett ämne till pojkars fördel, presterar flickor lika bra om endast uppgifter där de ska skriva ner ett svar tas hänsyn till.

4 Innehåll Inledning...5 Bakgrund...5 Skillnader i storskaliga undersökningar...6 Syfte...8 Metod...9 Urval och genomförande...9 DIF...10 Lösningsproportioner...12 Resultat...13 Lösningsproportioner...13 Internationella resultat...13 Svenska resultat...15 DIF med IRT...16 Internationella resultat...16 Svenska resultat...17 Uppgifter med stor DIF...17 Illustrativt exempel...19 Diskussion...21 Referenser...23

5 Inledning Under 2003 deltog ca 4300 svenska elever från årskurs 8 i Trends in International Mathematics and Science Study (TIMSS) Studien visar på en markant nedgång i resultaten, både i matematik och naturorienterade ämnen (NO), jämfört med resultaten i den tidigare liknande studien Third International Mathematics and Science Study (TIMSS)1995 (Martin, Mullis, Gonzales, & Chrostowski, 2004). Med utgångspunkt i dessa resultat finns det ett intresse att gå vidare med fördjupande studier. Denna studie fokuserar på prestationsskillnader mellan flickor och pojkar vid användandet av olika typer av uppgiftsformat och uppgiftsinnehåll. Studien har finansierats av Skolverket. Bakgrund Skillnader i prestation mellan flickor och pojkar i NO har konstaterats i många storskaliga undersökningar (O'Sullivan, Lauko, Grigg, Qian, & Zhang, 2003; Beller & Gafni, 1996). Utifrån skillnader i resultat har vidare studier med olika utgångspunkter genomförts, till exempel Wester och Henriksson (1997) samt Zenisky, Hambleton och Robin (2003) som studerade uppgiftsformatets betydelse för könsskillnader i resultaten. Vidare har ämnesinnehållets betydelse bl.a. studerats av Hamilton och Snow (1998), Ramstedt (1999a) och Ramstedt (1999b). När förklaringar ska ges till könsskillnader i resultaten finns det många aspekter som måste beaktas vilket gör det hela till ett komplext problem. En aspekt som är gemensam för alla internationella studier inom NO är problemet med samstämmigheten mellan länder, vad NO är, och vilka ämnen som ingår. Ofta används då en stipulativ definition av NO och vilka ämnen som ska ingå. Detta medför att ämnesinnehållet noggrant bör beaktas vid jämförelser mellan olika undersökningar. I TIMSS 2003 har till exempel riktlinjerna för NO tagits fram genom utgångspunkt i de deltagande ländernas läroplaner. Fysik, biologi, kemi, miljökunskap och geovetenskap var de ämnesområden som användes (Mullis, m.fl., 2001). I TIMSS är det sedan mot bakgrund av samstämmigheten mellan de nationella läroplanerna och de internationellt överenskomna riktlinjerna som resultaten ska tolkas (Skolverket, 2004a). Resultaten från TIMSS 1995 och 2003 (Beaton, m.fl., 1996; Martin, m.fl., 2004) visade att pojkar i många länder, däribland Sverige, hade ett signifikant bättre resultat än flickor i NO. Däremot fanns ingen könsskillnad för svenska elever i the Programme for International Student Assessment (PISA) 2000 eller 2003 (Skolverket, 2001; Skolverket, 2004c). I den nationella utvärderingen av grundskolan 2003 i NO var också könsskillnaderna små (Skolverket, 2004b). 5

6 Resultatmönstret från TIMSS 2003 inom ämnesområden var detsamma i de flesta länder som deltog. Biologi var det ämne där flickor hade signifikant bättre resultat än pojkar. Pojkar hade högre resultat i fysik, geovetenskap och miljökunskap. I kemi fanns ingen signifikant skillnad mellan könen. Sveriges resultat liknade de internationella resultaten (Martin, Mullis, Gonzales, m.fl., 2004). Andra storskaliga studier som the 1991 International assessment of educational progress in mathematics and Science (IAEP) uppvisade ett liknande resultatmönster (Beller & Gafni, 1996). För att studera könsskillnader har många studier inriktat sig på att karaktärisera uppgifter som uppvisar könsskillnader i matematikresultat. Till exempel har Harris och Carlton (1993) samt Bridgeman och Lewis (1996) studerat matematikuppgifter i Scholastic Aptitude Test (SAT). Wester och Jonsson (1999) har studerat könsskillnader i matematik från TIMSS Inom NO har färre studier genomförts. Ramstedt (1999a) och Ramstedt (1999b) studerade specialistgruppen i TIMSS 1995 i fysik. Hamilton och Snow (1998) och Hamilton (1999) är två studier som undersökt uppgifter som uppvisar könsskillnader inom NO på National Education Longituinal Study 1988 (NELS: 88). Slutsatsen av undersökningarna visar att pojkar gynnas av uppgifter som involverar spatialt resonerande och visuellt innehåll. Även uppgifter som kräver kunskaper och erfarenheter utanför skolan var pojkar relativt sett bättre på. Wester och Henriksson (1997) studerade ett mindre antal NO-uppgifter som fanns med i TIMSS 1995, både som flervalsfråga och som uppgift där ett eget svar skulle konstrueras. Resultatet av studien visade att det inte förekom någon könsskillnad i resultat mellan uppgiftsformaten. Ramstedt (1996) undersökte skillnader i resultat mellan flickor och pojkar på centrala prov i fysik. Resultaten visade att flickor presterade bättre på uppgifter i elektricitet och pojkar bättre på uppgifter i mekanik. Pojkar presterade också bättre på flervalsuppgifter. Skillnader i storskaliga undersökningar Historiskt sett har de flesta storskaliga undersökningar endast innehållit flervalsuppgifter. Undersökningar under senare tid innehåller i allt högre grad uppgifter där den som svarar ska konstruera ett eget svar. Resultaten från ett flertal test, studerat av the Advanced Placement (AP) testing program visar att könsskillnaden i resultat till pojkars fördel inte gäller för uppgifter med egenkonstruerade svar (DeMars, 1998). Liknande resultatmönster inom NO har Zenisky mfl. (2003) kommit fram till. Ur rapporten från studien om könsskillnader från TIMSS 1995 (Mullis, Martin, Fierros, Goldberg, & Stemler, 2000) kan också samma resultatmönster skönjas även om detta inte direkt diskuteras i rapporten. 6

7 Vidare har Hastedt och Sibberns (2005) studerat uppgiftsformatet betydelse i TIMSS Resultaten visar att Sverige var ett av de länder där könsskillnaden inom NO är som störst med avseende på uppgiftsformatet, pojkar presterar bättre på flervalsuppgifter och flickor bättre på uppgifter med egenkonstruerade svar. Som mått på gruppskillnader på uppgiftsnivå har begreppet item bias tidigare använts. Eftersom begreppet idag uppfattas värderande har den i modern amerikansk litteratur ersatts med begreppet Differential Item Functioning (DIF). En viss storlek på värdet av DIF är en indikation på att en statistiskt definierad skillnad finns mellan de undersökta grupperna på uppgiftsnivå (Ramstedt, 1996). Då målsättningen med TIMSS är att beskriva och jämföra elevprestationer nationellt och internationellt, beskriva trender nationellt och internationellt samt försöka förklara och förstå trender (Skolverket, 2004a) har designen av studien inte anpassats för undersökningar av gruppskillnader på enskilda uppgifter. Eftersom målet med denna undersökning, i likhet med Zenisky m.fl. (2003), är att hitta övergripande resultatmönster av uppgifter som uppvisar DIF och inte fokusera på enskilda uppgifter, uppstår inte problemet med trubbigheten i resultat på enskilda uppgifter. Nandakumar (1993) använder begreppet Differential Test Functioning (DTF) istället för test bias vid statistisk skillnad mellan grupper av uppgifter. Även om detta begrepp passar bra in för denna undersökning kommer det mer vedertagna begreppet DIF att användas. När det gäller stora globala undersökningar som TIMSS kan det antas finnas flera faktorer/dimensioner som ger en skillnad i resultat mellan pojkar och flickor. En dimension som kan studeras är ämnesinnehållet. I denna studie avser det fördelningen av uppgifter mellan fysik, biologi, kemi, miljökunskap och geovetenskap. En annan dimension som kan undersökas är den kognitiva, dvs. uppgifternas klassificering utifrån faktakunskap, begreppsförståelse samt resonemang och analys. En tredje dimension kan handla om hur datamaterialet görs tillgängligt för vidare studier. När det t.ex. gäller standardiserade poäng så har det visats sig att de kan dölja gruppskillnader vid användning av olika uppgiftsformat (Kupermintz, Ennis, Hamilton, Talbert, & Snow, 1995). Eftersom TIMSS redovisas med standardiserade poäng i form av plausible values, som ska användas vid beräkningar (Martin, Mullis, & Chrostowski, 2004), finns det alltså ett intresse att studera om dessa döljer gruppskillnader i resultaten mellan uppgiftsformaten. I grunden kan detta då ses som en validitetsfråga. Mäter uppgiftsformaten förmågan inom ett ämnesområde eller mäter flervalsuppgifter något annat än uppgifter där ett egenkonstruerat svar krävs? Gierl, Bisanz, Bisanz, Bougto och Khaliq (2001) använder termen auxiliary om dimensionen avses mätas och nuisance om dimensionen är oavsiktlig. 7

8 Syfte Utifrån tidigare studier (Hastedt & Sibberns, 2005; Hamilton & Snow, 1998; Zenisky m.fl., 2003) som visar att uppgiftsformat och ämnesinnehåll är två dimensioner som visat sig innehålla könsskillnader i resultaten har dessa valts att fokusera på. Ämnesinnehållet är en underliggande dimension i denna studie och kommer att användas för att studera uppgiftsformatets betydelse inom de olika ämnesområdena. Klassificeringen av uppgifter grundar sig på TIMSS ramverk (Mullis m.fl., 2001). Syftet med studien var sedan att utifrån dessa två dimensioner: Undersöka sambandet mellan uppgiftsformat och könsskillnader i de svenska resultaten från TIMSS 2003 samt jämföra resultatmönstret med övriga deltagande länder. Undersöka förekomsten av uppgifter i TIMSS-materialet som uppvisar DIF inom NO-ämnen. 8

9 Metod Eftersom syftet med studien är att hitta resultatmönster i datamaterialet och det har visat sig att datamaterialet inte är anpassat för studier på enskilda uppgifter, redovisas mätfelet inte i form av standardavvikelse. Däremot används signifikansprövningar som metod att få fram ett lämpligt antal uppgifter vid presentation av data. Urval och genomförande Data till denna studie är hämtade från TIMSS I den del av studien som riktade sig mot grundskolans senare del deltog huvudsakligen elever från årskurs 8 från 51 länder eller regioner. Från varje land valdes ett stickprov av elever ut på ett sådant sätt att de representerar hela populationen av årskursen. De svenska eleverna valdes ut med ett stratifierat klusterurval (Törnkvist, 1998). För en vidare beskrivning av studien finns nationella (Skolverket, 2004a) och internationella publikationer (Martin, Mullis, & Chrostowski, 2004; Martin, Mullis, Gonzales, m.fl., 2004). Elever som deltog fick ett av tolv möjliga prov innehållande både matematikoch NO-uppgifter. Varje prov var uppdelat i två delprov innehållande vardera tre block av uppgifter. Eftersom många elever inte hann göra sista blocket i varje delprov har dessa svar kategoriserats för sig. Mot denna bakgrund valdes endast data från de två första blocken i varje delprov ut i den här studien. Detta förfarande är i likhet med hur data på uppgiftsnivå är behandlade i den internationella rapporten (Martin, Mullis, Gonzales, m.fl., 2004). Överhoppade uppgiften kategoriserades som felsvar. Eftersom det inte finns vedertagna termer och förkortningar för flervalsuppgifter och uppgifter med egenkonstruerade svar används de engelska förkortningarna Multiple Choice (MC) respektive Constructed Response (CR) i denna studie. I analysen ingick 194 NO-uppgifter. Av dessa var 109 flervalsuppgifter (MC) och 85 uppgifter med egenkonstruerade svar (CR), som antingen kunde ge ett eller två poäng. För att kunna dra slutsatser om hela populationen av elever i årskurs 8 har elever viktats enligt en speciell procedur, så att stickprovet motsvarar hela populationen. För en mer utförlig beskrivning av den procedur som använts vid urval och viktning rekommenderas den tekniska rapporten för TIMSS 2003 (Martin, Mullis, & Chrostowski, 2004). 9

10 Totala antalet elever i världen som genomförde TIMSS var ca Antalet deltagare i de olika länderna varierade mellan 2188 och För att få en hanterbar mängd data för den aktuella internationella DIF-studien har 25 % av totala antalet deltagare slumpmässigt valts ut. Urvalet av elever som besvarat respektive uppgift översteg 1200 individer. I Sverige var totala antalet deltagare 4255, 2143 flickor och 2112 pojkar. Antalet elever som besvarat de olika NOuppgifterna varierade mellan 324 och För att jämföra två grupper används begreppen referensgrupp och fokalgrupp. I denna undersökning tillhör pojkar referensgruppen och flickor fokalgruppen, dvs. det är flickornas resultat som jämförs med pojkarnas resultat. Vidare så kommer termen gynnar att användas, vilket i detta fall handlar om en relativ jämförelse med den andra gruppen. När det står att uppgiften gynnar flickor så betyder det att flickor uppnått ett bättre resultat på en uppgift eller ett specifikt uppgiftsformat, även om totalresultaten är lika för pojkar och flickor. I tidigare undersökningar har ett flertal olika metoder använts för att studera DIF. Flera av dessa metoder bygger på klassisk testteori, t.ex. Delta-plot metoden, variansanalys och olika regressionstekniker. De metoder som baseras på CHI-2 analyser och som använts är bl.a. Mantel-Haenszel metoden (Ramstedt, 1996). En tredje metod grundar sig på IRT (Item Reponse Theory). Den metoden har bl.a. använts av Hambleton, Swaminathan, och Rogers (1991). Eftersom varje testdeltagare inte gjort alla uppgifter i TIMSS, går det inte att använda metoder som grundar sig på CHI-2 analyser, som t.ex. Mantel- Haenszel metoden (Ramstedt, 1996), för att studera DIF. Istället används en IRT-metod i den här studien, som klarar av att varje testdeltagare inte gör alla uppgifter. DIF IRT baseras på två postulat (se nedan, I-II) som beskrivs i Hambleton, Swaminathan och Rogers (1991). I. Prestationen för testdeltagare på en uppgift kan estimeras utifrån deras latenta förmåga. II. Relationen mellan testdeltagares prestationer på en uppgift och deras förmåga kan beskrivas med en monotont ökande funktion som kallas item characteristic function eller item characteristic curve (ICC). 10

11 Funktionen är antagen och visar på att när förmågan ökar är sannolikheten större att erhålla ett korrekt svar på uppgiften. Vid DIF-studier kan två metoder användas. Antingen jämförs parametern som anger svårigheten på uppgiften mellan de två undersökta grupperna eller så beräknas arean mellan graferna till funktionerna för de båda grupperna (Hambleton m.fl., 1991). I denna studie används metoden som jämför svårighetsparametern mellan grupperna. Den modell som används i studien bygger på en treparametrisk logistisk modell. Modellen är en partial credit model med en logistic respons function (Du Toit, 2003). De tre parametrarna kan beskrivas enligt följande. Diskrimineringsparametern visar på känsligheten i uppgiften att skilja på individer med hög respektive låg latent förmåga. Grafiskt kan parametern ses som funktionskurvans lutning. Svårighetsparametern anger vilken förmåga som krävs för att sannolikheten ska vara 50 procent att få ett korrekt svar på uppgiften. Den tredje parametern är en gissningsparameter, vilken anger sannolikheten att gissa rätt på en flervalsuppgift utan att kunna svaret. Eftersom intresset i denna studie koncentrerats till att undersöka om vissa typer av uppgifter gynnar endera könen har endast parametern som styr svårighetsgraden tillåtits variera mellan grupperna. Diskrimineringsparametern och gissningsparametern har alltså konstanthållits mellan grupperna, däremot varierar de mellan uppgifter, detta för att förenkla tolkningen av resultat. Programvaran som använts för beräkningar är Parscale 4.1 (Du Toit, 2003). Motivet bakom valet av den avancerade metoden grundar sig på att metoden passar designen på TIMSS. Studiens resultat presenteras med DIF-värden, vilket motsvarar skillnaden i svårighetsparametern mellan fokalgruppen (flickor) och referensgruppen (pojkar). En normerad skala med ett medelvärde på 0 och en standardavvikelse på 1 har använts. Alla elevers resultat används för beräkningar vilken medför att hela skalan av förmågor används vid jämförelser. Ett antagande som måste göras vid DIF-studier är att hela provet är lika svårt för de flickor (G) och pojkar (B) som valts ut vid beräkningarna. Detta kan skrivas som j j= 1 d Gj = d j j= 1 Bj där d är svårigheten på en viss uppgift för varje individ j bland flickor (G) och pojkar (B) (Du Toit, 2003). Eftersom detta inte till fullo uppfylldes gjordes ett urval av elever som hade samma totalresultat i form av plausible values, för att se om det påverkade DIF-studien. Det visade sig att på enskilda uppgifter kan det påverka marginellt. Då målet med studien är att hitta mönster av uppgifter har denna marginella skillnad ingen betydelse för resultatet. Detta gör att alla elevers resultat har använts, där den totala förmågan är högre för pojkar än flickor. 11

12 Lösningsproportioner Skillnader i lösningsproportion kan användas som mått på prestationsskillnader. Även om användningen av lösningsproportioner vid studier av gruppskillnader fått kritik för att de i vissa situationer inte kan upptäcka skillnader som existerar i ett datamaterial kan de på ett enkelt och lättförståeligt sätt visa på de skillnader som är intressanta. Lösningsproportioner kan också användas för jämförelse och validering av andra metoder, t.ex. den mer sofistikerade IRT-metoden. Vid beräkning av lösningsproportioner divideras en elevs poäng på en uppgift med uppgiftens maximala poäng. Dessa värden summeras för alla elever och divideras med totala antalet elever, dvs. medelvärdet bestäms För att få lösningsproportionen i procent (0-100) multiplicerades värdet med 100. Allmänt kan lösningsproportionen p i för en uppgift i med maximal poäng M j skrivas som n j sij j= 1 pi = *100 n j M i där n j är totala antalet elever som gjort uppgiften och S ij är antal poäng på en uppgift i för en person j. Detta värde multiplicerades sedan med 100. För att beräkna lösningsproportionen av en grupp uppgifter (p G ) summeras lösningsproportioner p Gi för alla utvalda uppgifter, som därefter divideras med det totala antalet utvalda uppgifter (N G ). p N G p Gi i= G = 1 NG 12

13 Resultat Resultatsammanställningen är uppdelad i fyra delar. Först presenteras medelvärdet av internationella lösningsproportioner uppdelat på uppgiftsformat och könsskillnader. Därefter presenteras svenska resultat uppdelat på NO-ämnen, följt av resultaten på uppgiftsnivå både internationellt och nationellt. Sammanställningen avslutas med ett exempel som illustrerar könsskillnader i resultaten mellan uppgiftsformaten. Lösningsproportioner För att kunna beskriva skillnader i prestation utifrån uppgiftsformat och könstillhörighet har ett differensindex (D I ) bildats. D i visar på differensen i medelvärdet av lösningsproportionerna mellan flickor och pojkar. D I = MC G B CR G B D I är differensen mellan flickor (G) och pojkar (B) på medelvärdet av flervalsuppgifter (MC) minus differensen mellan flickor (G) och pojkar (B) på medelvärdet av uppgifter med egenkonstruerade svar (CR). I ett prov med uppgifter där uppgiftsformatet inte medför olika resultaten mellan flickor och pojkar gäller att MCG B = CRG B, dvs. D I = 0. Utifrån tidigare studier (Zenisky m.fl., 2003; DeMars, 1998), som visar att pojkar relativt sett gynnas av flervalsuppgifter (MC) och flickor relativt sett gynnas av uppgifter med egenkonstruerade svar (CR) kan man anta att följande relation gäller: MCG B < CRG B, dvs. D I < 0. Internationella resultat De internationella lösningsproportionerna redovisas i tabell 1. Tabellen är sorterad i storleksordning utifrån D I -värdet (minst-störst). Ett negativt värde betyder att pojkar gynnas av flervalsuppgifter. 13

14 Tabell 1. Lösningsproportioner för de deltagande länderna, differensen mellan flickor och pojkar uppdelat på uppgiftsformat samt förändringsindexet D I 14

15 Resultaten visar att pojkar totalt sett har högre resultat än flickor (INT medel, P G-B, tot = -1,6), vilket stämmer överens med resultaten i den internationella rapporten (Martin, Mullis, Gonzales, m.fl., 2004b). Även uppdelat på uppgiftsformat har pojkar högre resultat. Skillnaden är betydligt mindre på CRuppgifter (-0,7) än på MC-uppgifter (-2,1) vilket resulterar i ett negativt D I -värde (-1,4). Sverige (D I = -4,2) tillsammans med Bahrain (D I = -4,2) och Moldavien (D I = -4,5) är de länder som har mest negativt D I -värde. Resultaten visar att uppgiftsformatet har större påverkan på könsskillnader i dessa länder än övriga deltagande länder. Det finns även ett fåtal länder som uppvisar ett positivt D I -värde, t.ex. Marocko (D I = 1,6). Svenska resultat När endast de svenska resultaten beaktas, så har pojkar genomgående bättre resultat än flickor i NO (-1,3) (se tabell 2). På flervalsuppgifter (MC) ses en klar skillnad till pojkars fördel (-3,1). Däremot är flickor bättre om endast CRuppgifter beaktas (1,1), vilket främst härrör från flickors resultat på CRuppgifter i biologi. Utifrån de båda uppgiftsformaten är biologi det enda ämne där flickor presterar bättre (P G-B, tot = 2,3). Det är också där som skillnaden är som störst mellan uppgiftsformaten (D I = -6,5). Skillnaden är så stor att om endast resultaten från flervalsuppgifter tas hänsyn till har pojkar ett något bättre resultat än flickor i biologi (-0,9). När det gäller fysik som historiskt sett varit ett ämne till pojkars fördel så är pojkar bättre än flickor totalt sett (-3,3). Om däremot endast CR-uppgifter beaktas finns det nästan ingen skillnad i resultat mellan könen (-0,6). Samma förhållande finns i geovetenskap och kemi. I miljökunskap finns däremot skillnaden kvar när resultaten från CR-uppgifter analyseras. Tabell 2 Antalet uppgifter inom ämnesområden i NO och deras lösningsproportion, differensen mellan flickor och pojkar uppdelat på uppgiftsformat samt förändringsindexet D I 15

16 DIF med IRT Resultaten grundar sig på skillnaden i svårighetsparametern mellan flickor och pojkar på enskilda uppgifter och presenteras som DIF. För att få en uppfattning om antalet uppgifter som gynnar flickor respektive pojkar presenteras detta uppdelat på de olika ämnesområdena samt NO totalt sett. Eftersom intresset ligger i att få fram resultatmönster har signifikansnivån anpassats efter osäkerheten i mätningen så att en hanterbar mängd uppgifter framkommer. Internationella resultat Eftersom mängden data internationellt sett är stor blir det många uppgifter som blir signifikanta, därför har en signifikansnivå på 0,01 valts. Antalet uppgifter som gynnar flickor respektive pojkar internationellt sett, uppdelat på ämnesområde och uppgiftsformat, presenteras i tabell 3. Tabell 3. Totala antalet uppgifter samt antalet uppgifter som uppvisar DIF för flickor respektive pojkar uppdelat på ämnesområde och uppgiftsformat Totalt sett är det 42 uppgifter som gynnar flickor och 41 som gynnar pojkar. Att antalet uppgifter mellan könen är nästan lika många beror på det antagande som görs i modellen. Det intressanta blir att se relationen mellan ämnesområden och mellan uppgiftsformaten. I biologi finns det till exempel fler uppgifter som gynnar flickor och i fysik fler uppgifter som gynnar pojkar. Uppdelat på uppgiftsformaten så är det fler CR-uppgifter som gynnar flickor (27) än pojkar (13). På MC-uppgifter råder omvänt förhållande, 28 uppgifter gynnar pojkar medan 15 gynnar flickor. Även inom ämnesområdena ses samma resultatmönster. Det är t.ex. 12 CR-uppgifter som gynnar flickor i biologi och ingen som gynnar pojkar. 16

17 Svenska resultat Eftersom det finns en större osäkerhet i mätningen för enbart svenska data, på grund av färre testdeltagare, har en högre signifikansnivå (0.15) använts för att få fram ett lämpligt antal uppgifter som uppvisar DIF. Resultatet redovisas i tabell 4. Tabell 4. Totala antalet uppgifter som finns samt antalet uppgifter som uppvisar DIF för flickor respektive pojkar uppdelat på ämnesområde och uppgiftsformat De svenska resultaten uppvisar ett liknande resultatmönster som de internationella, flickor gynnas av CR-uppgifter och pojkar av MC-uppgifter. I Biologi finns det flest uppgifter som gynnar flickor och i fysik finns det flest uppgifter som gynnar pojkar. Totalt sett är det 23 uppgifter som gynnar flickor och 19 som gynnar pojkar. För flervalsuppgifter är det endast 5 stycken som gynnar flickor medan det är 13 som gynnar pojkar. Omvänt förhållande finns för CRuppgifter, 18 gynnar flickor medan 6 gynnar pojkar. Uppgifter med stor DIF För att få en uppfattning om vilken typ av uppgifter som gynnar flickor respektive pojkar presenteras en lista på de 15 uppgifter som uppvisar störst DIF i de svenska resultaten till pojkars respektive flickors fördel i tabell 5. Ett negativt DIF-värde betyder att uppgiften gynnar pojkar. Lösningsproportioner och differensen mellan lösningsproportioner för flickor och pojkar presenteras också. 17

18 Tabell 5. Lista på de 15 uppgifter som uppvisar störst DIF till pojkars respektive flickors fördel samt lösningsproportion p och differensen p G-B mellan flickor och pojkar Bland de 15 uppgifter som gynnar pojkar mest finns det endast 2 uppgifter med egenkonstruerade svar, resterande är flervalsuppgifter. När det gäller uppgifter som gynnar flickor är det 11 CR-uppgifter och 4 MC-uppgifter. De ämnen som berörs är framförallt fysik och biologi. Differensen i lösningsproportionen mellan flickor och pojkar varierar mellan 4 och 23 procentenheter. Det finns ingen skillnad i svårighet mellan uppgifter som gynnar flickor och pojkar (p = 54,2 för pojkar respektive p = 54,3 för flickor). 18

19 Illustrativt exempel Även om syftet är att hitta mönster för DIF-uppgifter visas ett exempel med två fysikuppgifter som liknar varandra mycket och som illustrerar hur skillnaden i uppgiftsformatet påverkar resultatbilden olika för pojkar och flickor i Sverige. I tabell 6 presenteras DIF-värdet, lösningsproportionen (p) och skillnaden i lösningsproportion mellan flickor och pojkar (p G-B ) för Sverige samt ett internationellt medelvärde. Tabell 6. Skillnaden i svårighetsparametern (DIF), lösningsproportionen p och differensen i lösningsproportionen mellan flickor och pojkar (p G-B ) för svenska och internationella data på två uppgifter Fysikuppgiften med flervalssvar gynnar pojkar mycket i Sverige (DIF = -0,76) och även i viss mån internationellt sett (DIF = -0,23). När det gäller uppgiften 19

20 där eleven själv ska konstruera sitt svar gynnas flickor av den i Sverige (DIF = 0,46), internationellt sett finns ingen skillnad (DIF = -0,04). Lösningsproportioner ger samma resultatbild. Uppdelat på länder är Sveriges skillnad (24 procentenheter) i lösningsproportion mellan uppgifterna med avseende på kön den största av alla deltagande länder. För att studera reliabiliteten i resultaten beräknades korrelationskoefficienten mellan differensen i lösningsproportioner (p G-B )och differensen i svårighetsparametern (DIF) för flickor och pojkar i den IRT-baserade metoden. Resultatet visade att överensstämmelsen och reliabiliteten mellan de båda mätmetoderna var god (R 2 = 0,88). 20

21 Diskussion Utifrån de två undersökta dimensionerna framkom entydiga resultat med de två analysmetoder som användes. Metoden med lösningsproportioner och den IRT-baserade metoden visade att flickor presterar relativt sett bättre på uppgifter där de ska skriva ner ett svar (CR). Pojkar presterar däremot bättre på uppgifter där det finns färdiga svarsalternativ (MC). Dessa resultat överensstämmer med tidigare undersökningar (Hastedt & Sibberns, 2005; Kupermintz, m.fl.1995; DeMars, 1998; Zenisky m.fl., 2003). Resultaten av undersökningen kan ses som en fortsättning på Hastedt och Sibberns (2005) studie från TIMSS 1995 och visar att Sverige fortfarande är ett land där könsskillnader i resultat är fortsatt stora med avseende på uppgiftsformatet. Intressant är att vissa länder, däribland Sverige utmärker sig genom att uppvisa en särskilt stor könsskillnad mellan uppgiftsformaten. Övriga länder som uppvisar ett liknande resultatmönster är lågpresterande (Moldavien och Bahrain). Intressant är också att vissa ämnesområden i NO visar större skillnad än andra. I kemi och miljökunskap verkar uppgiftsformatet ha marginell betydelse. Däremot i fysik, geovetenskap och främst biologi verkar det som om uppgiftsformatet har betydligt större betydelse för resultatet. Det är anmärkningsvärt att ämnen som kategoriserats till flickors fördel (biologi) respektive till pojkars fördel (fysik) får helt andra resultat i TIMSS om resultaten beräknas utifrån ett visst uppgiftsformat. Flickor klarar sig lika bra som pojkar i fysik om endast CR-uppgifter beaktas och pojkar uppnår samma resultat som flickor i biologi på MC-uppgifter. Vad som specifikt utmärker uppgifter i biologi och vad som gör att skillnaden är som störst i detta ämne är frågeställningar som kan vara något för fortsatta studier. En reflektion som skulle tyda på att uppgiftsformatet faktiskt är en dimension som påverkar resultat är att pojkar och flickor eventuellt använder sig av olika lösningsstrategier vid lösandet av uppgifter med olika uppgiftsformat. Exemplet med de två fysikuppgifterna är ett exempel som stödjer den hypotesen, eftersom många andra faktorer som ämnesinnehåll, textmängd osv. är likvärdiga mellan uppgifterna. Den enda faktor som skiljer sig mellan de två uppgifterna, förutom uppgiftsformatet, är att CR-uppgiften kräver att en figur ska ritas istället för nedtecknandet av ett skriftligt svar. Om denna faktor påverkar resultatet är det intressant att gå vidare med problematiken och studera andra uppgifter där figurer ska ritas. För att få svar på om det verkligen är uppgiftsformatet i sig som medför skillnader eller om det är innehållet i uppgifterna som i något annat avseende skiljer sig åt kan vidare studier klargöra detta. Ett exempel på en sådan studie kan vara att studera resultaten utgående från en vidare uppdelning av CR-uppgifter där uppgifter med korta svar särskiljs från uppgifter där ett längre svar krävs. Efter- 21

22 som flickor i många undersökningar (Lie, Linnakylä, & Roe, 2003) visar sig vara bättre på läsning är det även intressant att undersöka textmängdens och/eller textsvårighetens betydelse för DIF. Vidare skulle det vara intressant att klassificera uppgifter utifrån referensmaterial som tabeller och figurer. DeMars (1998) undersökning visade att skillnaden mellan pojkar och flickor är större mellan MC-uppgifter och CR-uppgifter för högpresterande elever jämfört med lågpresterande elever. Utifrån dessa resultat kan det vara intressant att studera det internationella datamaterialet från TIMSS. Att endast studera svenska TIMSS-data med IRT är tyvärr omöjligt eftersom antalet individer per uppgift är alldeles för få. För en större datamängd är det däremot mycket möjligt att genomföra en sådan studie. Eftersom den aktuella studien inte är inriktad på en specifik prestationsnivå eller specifika uppgifter utan istället försöker se mönster för uppgiftsformat och ämnesområden har osäkerheten i mätningen på det svenska datamaterialet på enskilda uppgifter liten betydelse. Överensstämmelsen mellan resultaten från skillnader i p-värden mellan flickor och IRT-metoden är god, vilket förstärker intrycket av att IRT-metoden fungerar bra på det svenska datamaterialet. En slutsats av denna studie är att plausible values som används i TIMSS döljer könsskillnader mellan uppgiftsformaten. Detta problem är inte unikt för TIMSS utan kan tänkas finnas i andra stora internationella undersökningar som t.ex. PISA. Utifrån resultaten som framkommit tycks det finnas underlag för att diskutera hur statistik vid studier som TIMSS ska redovisas. Även om inte avsikten är att mäta uppgiftsformatets betydelse i sådana här studier finns det anledning att i någon form redovisa resultaten uppdelat på uppgiftsformat, då kulturella skillnader mellan länderna verkar finnas. Eftersom slutsatser från storskaliga globala undersökningar kan påverka politiska beslut rörande skolans utveckling, är det av yttersta vikt att framställa en så nyanserad bild som möjligt av resultaten. 22

23 Referenser Beaton, A., Martin, M.O., Mullis I.V.S., Gonzales, E.J., Smith, T.A., & Kelly, D.A. (1996). Science achievement in the Middle School Years. IEA's Third International Mathematics and Science Study (TIMSS). Chestnut Hill, MA: Boston College. Beller, M., & Gafni, N. (1996). The 1991 International Assessment of Educational Progress in Mathematics and Science: The gender differences perspective. Journal of Educational Psychology, 88, Bridgeman, B., & Lewis, C. (1996). Gender differences in college mathematics and SAT-M scores: A reanalysis of Wainer & Steinberg. Journal of Educational Measurement, 33, DeMars, C.E. (1998). Gender Differences in Mathematics and Science on a High School Proficiency Exam: The Role of Response Format. Applied Measurement in Education, 11(3), Du Toit, M. (2003). IRT from SSI: Bilog-MG, Multilog, Parscale, Testfact. Lincolnwood, IL: Scientific Software International, Inc. Kupermintz, H., Ennis, M. M., Hamilton, L. S., Talbert, J. E., & Snow, R. E. (1995). Enhancing the validity and usefulness of large-scale educational assessments: I. NELS:88 mathematics achievement. American Educational Research Journal, 32(3), Gierl, M. J., Bisanz, J., Bisanz, G. L., Boughton, K. A., & Khaliq, S. N. (2001). Illustrating the utility of differential bundle functioning analyses to identify and interpret group differences on achievement tests. Educational Measurement: Issues and Practice, 20, Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, California: Sage Publications, Inc. Hamilton, L. S. (1999). Detecting gender-based differential item functioning on a constructed-response science test. Applied Measurement in Education, 12, Hamilton, L. S., & Snow, R. E. (1998). Exploring differential item functioning on science achievement tests (CSE Tech. Rep. No. 483). Los Angeles: University of California, National Center for Research on Evaluation, Standards, and Student Testing. 23

24 Harris, A., & Carlton, S. (1993). Patterns of gender differences on mathematics items on the Scholastic Aptitude Test. Applied Measurement in Education, 6, Hastedt, D., & Sibberns, H. (2005). Differences between multiple choice items and constructed response items in the IEA TIMSS surveys, Studies in Educational Evaluation, 31, Lie, S., Linnakylä, P., & Roe, A. (Eds.) (2003). Northern lights on PISA: Unity and diversity in the Nordic countries in PISA 2000: Department of Teacher Education and School Development,University of Oslo, Norway. Martin, M. O., Mullis, I. V. S., & Chrostowski, S. J. (2004a). TIMSS 2003 Technical Report. Chestnut Hill, MA: Boston College. Martin, M. O., Mullis, I. V. S., Gonzales, E. J., & Chrostowski, S. J. (2004b). TIMSS 2003 International Science Report: Findings from IEA`s Trends in International Mathematics and Science Study at Fourth and Eighth Grades. Chestnut Hill, MA: Boston College. Mullis, I.V.S., Martin, M.O., Fierros, E.G., Goldberg, A.L., & Stemler, S.E. (2000). Gender Differences in Achievement: IEA s Third International Mathematics and Science Study. Chestnut Hill, MA: Boston College. Mullis, I.V.S., Martin, M.O., Smith, T. A., Garden, R, A., Gregory, K., Gonzalez, E., mfl. (2001). TIMSS assessment frameworks and specifications Chestnut Hill, MA: Boston College. Nandakumar, R. (1993). Simultaneous DIF amplification and cancellation: Shealy-Stout's test for DIF. Journal of Educational Measurement, 30, O'Sullivan, C.Y., Lauko, M.A., Grigg, W.S., Qian, J., & Zhang, J., (2003). The Nation's Report Card: Science Institute of Education Sciences. National Center for Education Statistics. Washington, DC. Ramstedt, K (1996). Elektriska flickor och mekaniska pojkar. Om gruppskillnader på prov - en metodutveckling och studie av skillnader mellan flickor och pojkar på centrala prov i fysik. Umeå universitet. pedagogiska inst. Ramstedt, K. (1999a) Flickor, pojkar och fysik. En undersökning av den svenska specialistgruppen i TIMSS population 3. Pm Nr 149. Enheten för pedagogiska mätningar, Umeå Universitet. 24

25 Ramstedt, K. (1999b) Flickor, pojkar och fysik i ett internationellt perspektiv. En undersökning av specialistgruppen i TIMSS population 3. Pm Nr 155. Enheten för pedagogiska mätningar, Umeå Universitet. Skolverket (2001). PISA Svenska femtonåringars läsförmåga och kunnande i matematik och naturvetenskap i ett internationellt perspektiv. (Rapport nr. 209). Stockholm: Skolverket. Skolverket (2004a). TIMSS Svenska elevers kunskaper i matematik och naturvetenskap i skolår 8 i ett nationellt och internationellt perspektiv (Rapport nr. 255). Stockholm: Skolverket. Skolverket (2004b). Nationella utvärderingen av grundskolan Huvudrapport- naturorienterande ämnen, samhällsorienterande ämnen och problemlösning i årskurs 9. (Rapport nr. 252). Stockholm: Skolverket. Skolverket (2004c). PISA Svenska femtonåringars kunskaper och attityder i ett internationellt perspektiv. (Rapport nr. 254). Stockholm: Skolverket. Törnkvist, B. (1998). TIMSS. Teknisk rapport. Pm Nr 132. Enheten för pedagogiska mätningar, Umeå Universitet. Zenisky, A. L., Hambleton, R. K., & Robin, F. (2003). DIF Detection and Interpretation in Large-Scale Science Assessments: Informing Item Writing Practices. Educational Assessment, 9(1&2), 61-78). Wester, A., & Henriksson, W. (1997) Item Format and gender differences in mathematics and science Em No 22. Department of Educational Measurement, Umea University. Wester, A., & Jonsson, C. (1999) Flickor, pojkar och matematik. En DIFstudie av TIMSS-resultaten bland svenska 13-åringar. Pm Nr 152. Enheten för pedagogiska mätningar, Umeå Universitet. 25

26 RAPPORTER FRÅN INSTITUTIONEN FÖR BETEENDEVETENSKAPLIGA MÄT- NINGAR Utgivna rapporter i föregående serie: BVM nr 1. BVM nr 2. BVM nr 3. BVM nr 4. BVM nr 5. BVM nr 6. BVM nr 7. BVM nr BVM nr 9. BVM nr 10. BVM nr 11. BVM nr 12. LÄRARENKÄT OM DE NATIONELLA PROVEN I MATEMATIK. Kurs B, C och D hösten Maria Ericsson, Björn Sigurdsson ORDFÖRSTÅELSE. En litteraturstudie med anknytning till högskoleprovets ORD-prov. Sandra Scott SJÄLVVÄRDERING SOM METOD FÖR ATT MÄTA MÅLUPPFYL- LELSE VIA PROV. Anna Sundström ATT MÄTA SKRIVFÖRMÅGA. En forskningspresentation om provformat, reliabilitet, validitet samt sociala aspekter. Marit Sigurdson KLASSISK OCH MODERN TESTTEORI. Analys av det teoretiska och det praktiska körkortsprovet. Marie Wiberg UTBYTESKOMPLETTERINGAR BLAND DEM SOM AVSLUTADE GYMNASIET Differenser mellan avgångsbetyg från gymnasiet och betyg som har kompletterats efter den ordinarie gymnasieskolan. Kent Löfgren HÖGSKOLEPROVET VÅREN OCH HÖSTEN Provdeltagargruppens sammansättning och resultat. Christina Stage, Gunilla Ögren HÖGSKOLEPROVET OCH DE MÅLRELATERADE BETYGEN. En studie av de första eleverna med de nya gymnasiebetygen. Anders Lexelius LÄRARES SKATTNINGAR AV SINA ELEVERS PROVRESULTAT. Gunilla Näsström LÄRARENKÄT OM DE NATIONELLA PROVEN I MATEMATIK. Kurs B, C och D våren Maria Ericsson, Björn Sigurdsson SOCIALGRUPPSSKILLNADER I RESULTAT PÅ HÖGSKOLE- PROVET. Christina Stage ÄR DET SVÅRARE ATT DELA MED FYRA ÄN MED TVÅ NÄR MAN LÄSER MATTE C? En jämförelse av svårighetsgrad mellan olika versioner av matematikuppgifter i Nationella kursprov. Ewa Bergqvist, Anna Lind

27 BVM nr 13. BVM nr 14. DEN SVENSKA FÖRARPRÖVNINGENS RESULTAT. Sambandet mellan kunskapsprovet och körprovet för underkända och godkända provtagare. Anna Sundström, Marie Wiberg DATORBASERADE PROV EGENSKAPER, MÖJLIGHETER OCH BEGRÄNSNINGAR. Christina Wikström