NATIONALEKONOMISKA INST. Uppsala universitet Förf.: Christian Naccache PM för Examensarbete C Handl.: Torsten Santavirta Termin och år: VT19 Betyg som kunskapsmått Jämförelse av resultat på diagnostiska prov och betyg i matematik för att utröna diskriminering i betygssättning.
Sammanfattning I undersökningen används betygen i matematik från gymnasiet, det nationella provet i matematik i årskurs 9, samt det diagnostiska provet som genomförs av samtliga nya civilingenjörsstudenter vid Linköpings Tekniska Högskola för att bedöma huruvida diskriminering finns inom betygsättningen på grundskole- och gymnasienivå. För civilingenjörslinjerna (och två högskoleingenjörslinjer) mellan 2001 och 2018 kontrolleras hur stor del av varje linje (respektive år) som består av kvinnor respektive studenter med utländsk bakgrund. Med en linjär regression förklaras sedan utfallet i det diagnostiska provet med betygen i matematik från gymnasiet, det nationella provet matematik i årskurs nio, andelen kvinnor, andelen studenter med utländsk bakgrund, och andelen av studenterna vars föräldrar har utländsk bakgrund. Det visar sig att effekten från ökad andel kvinnor på linjen är negativ, och effekten från ökad andel studenter med utländsk bakgrund är positiv. Båda sambanden är statistiskt säkerställda på 99% respektive 95% signifikansnivå. 1
1 Introduktion Syftet med uppsatsen är att undersöka huruvida betyg i matematik på gymnasienivå och de nationella proven korrekt mäter kunskapsnivån på individen som blir betygssatt. Detta kontrolleras genom om det för en årskull av civilingenjörsstudenter föreligger ett samband mellan andelen studenter som har utländsk härkomst eller är av kvinnligt kön, och prestationen av samma årskull. Bedöming av prestation görs genom årskullens genomsnittliga betyg i det diagnostiska matematikprov som genomförs vid påbörjan av civilingenjörsstudier. Det diagnostiska provet består av 26 stycken grundläggande matematiska frågor som rättas till Rätt eller Fel. För uppsatsen används data från Linköpings Tekniska Högskola (LiTH) mellan åren 2001 och 2018. För varje linje och år finns data på hur linjen i snitt presterat på det diagnostiska provet, snittbetyg i matematik från gymnasiet, snittresultat på det nationella provet i matematik på gymnasienivå, hur stor andel av linjen som har minst en föräldrer med akademisk bakgrund, samt hur stor andel av linjen som har utländsk härkomst eller är av kvinnligt kön. Akademisk bakgrund avser minst erhållen kandidatexamen (tre års studier) och utländsk bakgrund avser utlandsfödda eller svenskfödda med utlandsfödda föräldrar. Huvudtesen är att det ej bör finnas något samband mellan andelen studenter på en linje som är kvinnor eller har utländsk bakgrund och hur väl samma linje presterar i det diagnostiska provet. Sambandet mäts samtidigt som betyg i matematikämnet, betyg i det nationella provet i matematik i årskurs nio, samt andelen av linjen vars föräldrar har akademisk bakgrund hålls konstant. Skulle det finns en effekt kopplad till andelen kvinnor eller studenter med utländsk bakgrund så är detta i bästa fall ett tecken på att betyg inte mäter kunskap, och i värsta fall ett tecken på att det finns diskriminering i betygssättningen i matematikämnet. Uppsatsen gör inga anspråk på att försöka förklara betygssättningen i matematikämnet för samtliga studenter på gymnasiet, utan endast den gruppen av gymnasiestudenter som senare kan tänka sig att studera civil- eller högskoleingenjör. Detta gör att vi inte på något sätt kontrollerar för ett tvärsnitt av gymnasiestudenter, utan endast en mindre del. Efter genomförd regressionsanalys finns det ett tydligt samband mellan hur väl en linje presterar i det diagnostiska provet och hur stor del av linjens studenter som är kvinnor eller har utländsk bakgrund. Sambandet finns kvar även efter att man kontrollerat för matematikbetyg, prestation i det nationella provet, och hur stor andel av linjen som har utländsk bakgrund. Storleken på effekten är stark både för andelen kvinnor och andelen studenter med utländsk bakgrund. För andelen kvinnor i en linje är effekten -0.3 poäng på snittresultatet i det diagnostiska provet för varje 10 procentenheters ökning av andelen kvinnor, effekten 2
är alltså negativ. För studenter med utländsk bakgrund är effekten positiv och cirka 0.5 poäng på snittresultatet i det diagnostiska provet för varje 10 procentenheters ökning. Konsekvenserna av en sådan effekt är flera. Dels innebär detta en orättvisa mot studenterna från de grupper som helt uppenbart inte får sin kunskap korrekt uppmätt. Denna orättvisa skulle på sikt kunna innebära en lägre tilltro till betyg som mätsätt och en ovilja bland arbetsgivare att använda betyg för värdering av potentiella anställda. Den stora skadan hamnar dock på tilltron till samhället och dess förmåga att på ett rättvist sätt skola, bemöta, och betygssätta studenter. Uppsatsen inleds med en litteraturöversikt för att sätta in läsaren i det nuvarande forskningsläget. Därefter förklaras datamängden och dess struktur, läsaren blir också införstådd i datamängdens styrkor och begräsningar. Test -delen är en kombination av teori och metod då teorin i detta fall är själva metoden. En teoretisk genomgång presenterar regressionsekvationen och förklarar hur den är uppbyggd, hur den är tänkt att användas, och försvarar också ansatsen om att ekvationen kan visa på eventuell diskriminering. Slutligen genomförs regressionsanalysen och tabeller presenteras med resultatet. Läsaren får i anslutning till tabellerna dem tolkade och förklarade, författaren visar också hur han anser att resultaten är mycket negativa och vilka implikationer de har inom skolväsendet. 2 Litteraturöversikt Betyg är enligt skolverket till för att användas till tre saker: för att göra ett urval, för att förmedla information, och för att motivera eleverna att prestera. Informationen som ska förmedlas är elevens kunskap och färdighet i ämnet som denne fått betyg i. Skolverket medger dock själva i en rapport att betygen inte uteslutande mäter dessa saker. Lärarens uppfattning om en elevs flitighet eller ambition kan av naturliga skäl omedvetet också vägas in vid betygsättning. 1 En studie har visat att vissa grupper i grundskolan förfördelas i termer av betygsättning kontra deras genomsnittsprestation. En studie tog ett stort urval av nationella prov skrivna i ämnet svenska och lät dessa rättas av en panel av lärare som rekryterats bara för studien. Betygen som gavs av denna panel jämfördes sedan med de betyg som elevernas respektive lärare bestämt. I studien visades att elever med utländsk bakgrund har mindre fördel än svenskar av att läraren har en personlig kännedom om vem man är. I snitt fick svenska elever 15.9% högre betyg när läraren kände eleven, för elever med utländsk bakgrund var det istället 3.9% 2. 1 Klapp 2017. 2 Hinnerich, Höglin och Johannesson 2014. 3
En annan studie har visat att pojkar generellt sett får lägre betyg än flickor i samma årskull trots att de presterar bättre eller lika i flera andra prov, bland annat TIMSS (Trends in International Mathematics and Science Study), PISA (Programme for International Student Assessment), och diagnostiska prov vid påbörjan av gymnasiestudier. Detta tyder på ett systematiskt bias mot pojkar i grundskolans betygsättning. 3 Liknande har också visats mellan män och kvinnor som skriver högskoleprovet. Där kvinnor generellt sett har bättre betyg än män, så har män generellt sett bättre resultat på högskoleprovet. Studien visar att detta till viss del förklaras av systematiskt fel i urval, d.v.s. att det är olika delar av gruppen män respektive kvinnor, som skriver provet. Enligt författarna så ligger resten av förklaringen i att högskoleprovet och betygen på gymnasienivå mäter olika saker. Kvinnor lägger mer tid på sina studier, bland annat på hemläxor. Det är dock själva faktumet att de mäter olika saker som är det intressanta, då en tolkning är att betyg inte nödvändigtvis enkom är ett mått på kunskap och förmåga. 4 Andra studier visar också att kvinnliga eleverna lägger mer tid på sina studier än vad deras manliga diton gör. En studie gick igenom nästan 100 000 studenters resultat på de nationella proven 1987, samtidigt som det kontrollerades för elevernas karaktäristika. Bland annat kollade författarna på elevernas kön, familjeförhållanden, och studiemotivation (till exempel i form av nedlagd tid på hemläxor). Bland annat visas att kvinnorna är mer motiverade i skolan, lägger ner mer tid på sina studier, och är mer intresserade av en framgångsrik skolgång. 5 Det har också visats att det generellt råder en betygsinflation i svenska skolor. En av de studier som visar att svenska elevers prestationer i bland annat PISA dalat mellan år 2000 och 2012, trots att det genomsnittliga avgångsbetyget för alla niondeklassare haft en strikt växande kurva under samma tidsperiod. 6 En sista studie visar hur lärare medvetet väljer att vara mer generösa med poängutdelningen i de nationella proven i 9:an för de elever som legat i gränslandet mellan IG och G. Om gränsen för att få G på ett givet prov är 20 poäng, så är fördelningsmässigt orimligt många som får precis 20 poäng. Förklaringen ligger då i att lärarna hellre ser att man blir godkänd än att man blir underkänd. 7 Detta styrker antagandet att lärare inte betygsätter elever och studenter helt objektivt utan att lärarens åsikt om eleven kan färga betyget. Det finns givetvis andra saker som påverkar vilket betyg en elev kommer få i grundskolan eller i gymnasiet, utöver egenskaper som rör diskriminering. Däribland förmåga (ability), en övergripande term som ska fånga in en persons generella duglighet eller talang för 3 Tyrefors, Palmgren och Berg 2019. 4 Graetz och Karimi 2019. 5 Lekholm och Cliffordson 2009. 6 Henrekson och Jävervall 2016. 7 Diamond och Persson 2017. 4
studier. Flera studier visar att kopplingen mellan huruvida en elev har föräldrar med akademisk bakgrund eller inte och samma elevs framgångar i skolan är mycket starka. Dels på deras samlade betygspoäng i slutet av nionde klass, 8, och dels på deras generella framgångar i skolmiljö. 9 Man skulle kunna tänka sig att det är själva andelen av pojkar eller flickor som påverkar betygsutfallet. Till exempel att flickor skulle prestera bättre med större andel flickor i sin klass, eller att pojkar skulle prestera bättre om klassen bestod av fler pojkar. En norsk studie undersökte just detta för tredjeklassare i staden Bergen. Studien lät ca 900 elever genomföra ett prov i matematik och kom fram till att pojkar generellt sätt presterade bättre än flickorna. Men författarna hittade också att det inte fanns något samband mellan en enskild elevs prestation och fördelningen av pojkar och flickor i samma elevs klass. 10 3 Data Linköpings Tekniska Högskola (LiTH) har idag ett tiotal civil- och högskoleingenjörsprogram. Samtliga nya studenter vid dessa program skriver ett diagnostiskt prov i matematik i början av sina studier. Syftet med provet är att för skolan underlätta resurshantering, till exempel om det skulle finnas ett behov för vissa program och klasser att få extrainsatta timmar med matematikundervisning. Proven är identiska från år till år med undantag för siffervärden i respektive uppgift. Till exempel skulle Beräkna sin( π ) tänkas ha ändrats till Beräkna sin(π) året efter. 2 Provet består alltid av 26 frågor som endast rättas till Rätt eller Fel. Rättaren tar ingen hänsyn till studentens lösningsansatser i rättningen. Dessa prov återspeglar alltså de nya studenternas matematiska förmåga på ett objektivt sätt och kan användas för jämförelse mot andra mätsätt, bland annat gymnasiebetyg. Den data som är insamlad för resultaten i de diagnostiska proven sträcker sig över totalt 18 år (2001-2018). Provet och resultaten förvaltas, hanteras, och sammanställs av LiTH:s matematiska fakultet. Det är också den matematiska fakulteten som delat med sig av provdata till författaren av uppsatsen. Det skall noteras att detta är första gången följande data använts i en studie. Antalet program per år varierar mellan åtta och tolv stycken (då vissa program inte har funnits under hela tidsperioden). I figur 1 visas hur variationen av andelen kvinnor 8 Skolverket 2017. 9 Rimfeld m. fl. 2018. 10 Manger och Gjestad 1997. 5
30 100 Frekvens 20 10 80 60 40 20 0 0 0.2 0.4 0.6 0.8 Andel kvinnor 0 0 0.2 0.4 0.6 0.8 Andel utländsk bakgrund Figur 1: Den ackumulerade fördelningen av kvinnliga studenter respektive studenter med utländsk härkomst i samtliga civilingenjörsprogram vid LiTH mellan 2001 och 2018. och studenter med utländsk bakgrund sett ut under tidsperioden. Variationen av andelen kvinnor i programmen är mycket stor och ger goda möjligheter att hitta samband. Detsamma kan inte sägas för variationen i andelen studenter med utländsk bakgrund, som istället sträcker sig mellan 0 och 40% (där 95% av variationen finns mellan 0-20% studenter med utländsk bakgrund). 26 Snittres. diag. 13 0 0 0.2 0.4 0.6 0.8 1 Andel av linje som har utländskt bakgrund 0 0.2 0.4 0.6 0.8 1 Andel av linje som är kvinnor Figur 2: Förhållandet mellan hur stor del av programmen som utgörs av studenter med utländsk bakgrund (vänster) respektive kvinnor (höger) och prestation. Röd linje är linjär regression, t-värden är 3.102 för kvinnor resp 1.131 för utländsk bakgrund. I figur 2 visas till vänster det direkta sambandet mellan andelen studenter med utländsk härkomst i ett program och utfallet på det diagnostiska provet. Till höger visas sambandet för andelen av studenterna som är kvinnor. Sambandet är för kvinnor starkt och något positivt, för studenter med utländsk härkomst är sambandet mycket svagt, och svagt negativt. Dessa två initiala samband ger sken av att åtminstone en högre andel kvinnor på linjerna skulle ge ett bättre utfall på de diagnostiska proven. Tabell 1 visar deskriptiv statistik för den samlade datamängden. Inialt bör två saker noteras: Dels saknas en del data för linjesnitt på det nationella provet i matematik på 6
Tabell 1: Deskriptiv statistik för insamlad data Statistic N Mean St. Dev. Min Max Resultat Diagnostiskt Prov 155 12.958 2.473 7.030 19.380 Linjestorlek 155 78.735 49.773 13 245 Andel Utländsk Bakgrund 155 0.116 0.060 0.000 0.412 Andel Kvinnor 155 0.273 0.191 0.000 0.696 Andel Högutb. Foraldrar 155 0.529 0.111 0.255 0.756 Mattepoäng för gymnasiebetyg 155 16.781 4.180 7.346 24.710 Mattepoäng Nationella prov 9:an 155 3.557 0.575 1.842 4.779 Mattepoäng Nationella prov Gy. 94 6.649 1.495 3.259 9.800 Deskriptiv statistik för den insamlade datamängden. Notera att tidsspann för existerande data skiljer sig mellan den data som finns för det diagnostiska provet och den data som finns över linjernas utformning. gymnasienivå, dels skiljer sig tidsspannen för datamängden som finns tillgänglig för de diagnostiska proven kontra all annan data. Utländsk bakgrund utgår ifrån Statistiska Centralbyråns definition där man har utländsk bakgrund om man är född utomlands, eller om båda ens föräldrar är det. 11 Även definitionen av högutbildad kommer från Statistiska Centralbyrån och avser att en person har avlagt minst en kandidatexamen (3 års studier). Mattepoängen är ett sätt att kvantifiera värdet på en enskild students prestationer i matematikämnet. En student på ett civil- eller högskoleingenjörsprogram har på gymnasiet läst minst Matematik 3c (eller Matematik C) och kan dessutom ha läst Matematik 4 och Matematik 5 (motsvarande D- resp E-kursen). Betygen sträcker sig mellan E-A (lägsta till högsta) eller G-MVG (lägsta till högsta), beroende på när i tiden betygen satts. För att kunna ta fram ett numeriskt snitt som ska motsvara en elevs matematikkunskaper i termer av kurser och betyg så beräknas enligt värdena i tabell 2. Tabell 2: Beräkningsvärden för en del av variablerna i tabell 3. Kurs Värde Betyg Värde MaC/Ma3 1 E/G 1 MaD/Ma4 2 D 2 MaE/Ma5 3 C/VG 3 Nat.prov 9:an 1 B 4 - - A/MVG 5 M p,t beräknas för varje individ genom att ta respektive matematikkurs i gymnasiet och multiplicera med sitt respektive betyg enligt tabell 2. Därefter summeras produkterna. Avsaknad av betyg i en kurs innebär att betygsvärdet blir 0. 11 SCB n.d. 7
Som exempel kan man tänka sig en elev som får B i MaC, D i MaD, och inte läst MaE. För eleven kommer matematikpoängen då att bli 3 4 + 4 2 + 5 0 = 20. Snittet tas sen för alla studenter på samma program och samma år. En student på ett civilingenjörsprogram har också skrivit nationella prov i matematik, dels i nionde klass, dels på gymnasiet i Matematik 3c/C samt Matematik 4/D. Betygssättningen av dessa prov är inte centraliserad, men rättningen sker utefter en mall och bör därför mildra tendenser av diskriminering i betygsättning. I slutändan är det ändå läraren som betygssätter så det kan inte förväntas en totalt objektiv rättning. Poängen beräknas enligt tabell 2 och som exempel kan man tänka sig en elev som fått B i det nationella provet i nionde klass, C i nationella provet i Matematik 3c, och inte läst matematik 4. Eleven skulle då få 4 poäng på nationella proven i nionde klass och 4*1 + 0*2 = 4 poäng för de nationella proven i Matematik 3 och Matematik 4. En snittlinje över tidsperioden 2001-2018 visas i figur 3 och där syns hur andelarna av varje studenttyp (kvinnor och utländsk bakgrund) varierat mellan ca. 16-32% för kvinnor och 8-16% för studenter med utländsk bakgrund. För båda studenttyperna är den allmänna trenden sen 2006 positiv, även om det för kvinnor sett hittills bara har inneburit en återgång till nivåerna av kvinnor som fanns 2001. Även om andelerna skiftar något över tid så är skiftena långsamma och stadiga, ett tecken på att det inte finns några enorma trendbrott som kan innebära att årskullar ej är jämförbara med varandra. Andel av linje 0.6 0.4 0.2 Andel Kvinnor Andel utländsk bakgrund 0 2002 2004 2006 2008 2010 2012 2014 2016 2018 År Figur 3: Genomsnittlig andel kvinnor och studenter med utländsk bakgrund för alla linjer. Vidare kan i figur 4 ses hur olika linjetypers fördelningar av studenttyper ser ut. Bortsett från Teknisk Fysik (och Teknisk Fysik Internationell) så har samtliga linjer en likartad fördelning av linjeandel av studenter med utländsk bakgrund. När det istället handlar om andelar av studenterna som är kvinnor verkar linjetyperna gruppera sig mellan olika intervall. Datarelaterade linjer hamnar i ett spann av 0-20% kvinnor, medan Teknisk Biologi har ett spann på 40-70% kvinnor. Detta gör att vi inte 8
Andel kvinnor på linje. 0.7 0.6 0.5 0.4 0.3 0.2 0.1 Y Yi D DK DPU EMM I Ii IT M MED MK TB U 0 0 5 10 2 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5 Andel med utländsk bakgrund på linje för åren 2001-2018 Figur 4: Fördelning av andel kvinnor resp. studenter med utländsk bakgrund per linjetyp. Vissa linjer finns representerade varje år 2001-2018, medan andra linjer ej funnits under hela tidsspannet och därför inte har samma antal markeringar. kan anylsera datamängden på linjenivå då det sannolikt finns kraftig selektionbias i vilka som söker till linjetyperna. Vid kontroll av vilken påverkan andelen kvinnor eller studenter med utländsk bakgrund har på det genomsnittliga resultatet på det diagnostiska provet (som i figur 2) kan det då finnas selektionsbias. Om de linjer som har större andel kvinnor generellt presterar sämre än de med mindre andel kvinnor så kommer också en regression innehålla ett visst bias. Figur 5 och 6 visar resultatet på det diagnostiska provet uppdelat på varje linje. För varje linje visas datapunkter för dels andelen rätt på det diagnostiska provet, dels andelen kvinnor respektive studenter med utländsk bakgrund på linjen. Varje datapunkt motsvarar ett år på en specifik linje, de streckade linjerna följer snittet för respektive linje och år. Slutligen är linjerna ordnade efter andel kvinnor respektive andel studenter med utländsk bakgrund. Syftet med figurerna är att kontrollera om det finns något uppenbart linjebias kopplat till studentandelerna på respektive linje. Man kan till exempel tänka sig att de studenter som söker sig till Teknisk Fysik ska ha bättre förståelse för matematik än de studenter som söker sig till andra linjer. Samtidigt som Teknisk Fysik har en förhållandevis liten del kvinnliga studenter. I figur 5 verkar det åtminstone inte finnas något uppenbart samband mellan andelen 9
1.00 0.75 0.50 Teckenförklaring Andel rätt diag.prov. Andel kvinnor 0.25 0.00 DK D U MK Y IT M I Yi Ii EMMDPU TBMED Linje (ordnade efter andel kvinnor) Figur 5: Linjerna på LiTH uppdelade efter andel kvinnor på linjen. Varje punkt representerar en årsandel på respektive linje, där årsandel visas för andelen kvinnor på linjen samt linjens snittresultat på det diagnostiska provet. Streckad linje följer genom snittet i respektive andel för samtliga år. kvinnor på respektive linje och hur väl det går på det diagnostiska provet. Det verkar dock som om variansen i prestation på det diagnostiska provet är större mellan de linjer som har liten andel kvinnor, än de som har många. Notera att detta ej är ett urval för samtliga gymnasiestudenter och att de slutsatser som eventuellt dras efter en analys inte nödvändigtvis är representativa för alla studenter på gymnasienivå. De studenter som väljer att studera till civil- eller högskoleingenjör utgör en förhållandevis liten del av alla de som studerar på gymnasienivå. Å andra sidan är det inte nödvändigtvis ett problem då uppsatsen har till syfte att undersöka huruvida det förekommer diskriminering vid betygssättning i matematikämnet. Även om det vore så att det endast kan visas att diskriminering förekommer mot en del av gymnasiestudenterna så är det ändå ett resultat som visar på ett oacceptabel förhållande i svenska skolor. Det optimala i dataväg vore givetvis att ha tillgång till respektive students kunskapsnivå i matematik uppmätt i betyg, samt deras prestation på det diagnostiska provet. Genom detta skulle det inte finnas några problem med urvalsfel eller osäkerheter som uppstår vid aggregerad data. Av flera skäl är det omöjligt att få fram data på individnivå, men huvudsakligen för att den datamängden ej finns för det diagnostiska provet. 10
1.00 0.75 0.50 Teckenförklaring Andel rätt diag. prov. Andel utländsk bakgrund 0.25 0.00 EMMDPU IT I Y M D MK U TB Ii MEDDK Yi Linje (ordnade efter andel utländsk bakgrund) Figur 6: Linjerna på LiTH uppdelade efter andel studenter med utländsk bakgrund på linjen. Varje punkt representerar en årsandel på respektive linje, där årsandel visas för andelen studenter med utländsk bakgrund på linjen samt linjens snittresultat på det diagnostiska provet. Streckad linje följer genom snittet i respektive andel för samtliga år. 4 Test av teori på data Hur väl en student presterar på ett prov förklaras av studentens kunskapsnivå och dennes generella förmåga. Under antagandet att betyg i matematik från grundskolan och gymnasiet korrekt representerar en elevs kunskapsnivå så ska sambandet mellan betygen och elevens resultat på ett diagnostiskt prov helt förklara varandra. Om antagandet skalas upp så innebär det i sin tur att två linjer med samma snittbetyg också i snitt ska prestera likadant då studenterna skriver identiska diagnostiska prov. I kontexten av LiTH och deras diagnostiska prov innebär det att det initialt går att göra ett grovt antagande om hur utfallet på det diagnostiska provet kommer att vara. Givet att betyg sätts korrekt så bör två olika civilingenjörsprogram med olika programstrukturer (andelar kvinnor och män samt andelar svenskar och studenter med utländsk bakgrund) ha samma snittresultat på det diagnostiska provet, givet att deras snittbetyg från gymnasiet är detsamma. Sambandet mellan snittresultatet på det diagnostiska provet, Y, och snittbetyg i matematik, M, skulle då beskrivas av β enligt ekvation 1. Y p,t = α + βm p,t + ɛ p,t (1) Förmåga är en abstrakt variabel och därför svår att fånga, men det finns mycket starka 11
samband mellan prestation i skola eller högre utbildning och huruvida en elev eller students föräldrar har akademisk bakgrund. Genom att föra in andelen av ett program där studenterna har minst en förälder med akademisk bakgrund går det att åtmistone delvis förklara förmåga. 1213 Y p,t = α + β 1 M p,t + β 2 ρ fp,t + ɛ p,t (2) Vid användning av ekvation 1 istället för ekvation 2 skulle ett systematiskt fel uppstå vid estimering av β 1. Felet beskrivs då av ekvation 3, där det avgörande är tecknet på felet. ˆβ 1 = β 1 + β 2 γ, där γ = cov(ρ f p,t, M p,t ) var(ρ fp,t ) (3) Förhållandet mellan resultat på det diagnostiska provet och huruvida en students föräldrar har akademisk bakgrund eller inte antas vara positivt. Likaså antas förhållandet mellan mattebetyg i gymnasiet och huruvida en students föräldrar har akademisk bakgrund eller inte att också vara positivt. Det totala systematiska felet vid utelämnande av variabeln ρ fp,t bör därför resultera i en för hög skattning av β 1. Om det istället antas att betyg inte helt korrekt återspeglar en elevs kunskapsnivå så kan inte längre ekvation 2 förklara utfallet på det diagnostiska provet. Betyget får då hanteras som data med mätfel och/eller systematiska fel. Dessa kan bland annat förklaras som betygsinflation, men kan också handla om diskriminering av elever på gymnasienivå. Om diskriminering finns på gruppnivå så ska den också gå att återfinna när man jämför civilingenjörsprograms resultat på det diagnostiska provet. Givet att det till exempel skulle föreligga diskriminering mot pojkar i betygsättning på gymnasiet så bör två program med samma snittbetyg - men olika uppsättning av pojkar och flickor - prestera olika. I ekvation 2 utökas ekvation 1 med andelen i program p som är kvinnor, och andelen som har utländsk bakgrund. Under det första antagandet, att betygsättning på gymnasiet sker korrekt och därför återspeglar programmets kunskapsnivå, så ska β 3 = β 4 = 0 i ekvation 4. Programmets sammansättning ska inte förklara utfallet på det diagnostiska provet. Y p,t = α + β 1 M p,t + β 2 ρ fp,t + β 3 ρ kp,t + β 4 ρ ubp,t + ɛ p,t (4) Skulle det vara så att β 3 0 och β 4 0 så ska det ses som ett tecken på att betygsättningen i matematikämnena ej motsvarar elevens kunskaper och att det dessutom finns ett 12 Skolverket 2017. 13 Rimfeld m. fl. 2018. 12
bias beroende på vad eleven har för kön eller bakgrund. Detta behöver inte nödvändigtvis vara kopplat till diskriminering i betygssättningen i grundskolan eller på gymnasienivå, men det är en tänkbar förklaring. I ekvation 5 är två variabler, µ NGp,t och µ N9p,t, tillagda. Dessa motsvarar programsnittet för poängen i de nationella proven för samtliga elever på programmet. En sammanfattning av samtliga variabler och deras respektive betydelse visas i tabell 3. Y p,t = α + β 1 M p,t + β 2 ρ fp,t + β 3 ρ kp,t + β 4 ρ ubp,t + β 5 µ N9p,t + β 6 µ NGp,t + ɛ i,t (5) Ekvation 5 är alltså själva verktyget för att bedöma huruvida det förekommer diskriminering på i betygsättningen på gymnasienivå och i grundskolan. Tabell 3: Beskrivningar för variablerna i ekvation 5. Variabel Beskrivning Y p,t Snittresultatet i det diagnostiska provet skrivet vid LiTH av program p år t. ρ ubp,t ρ kp,t ρ fp,t Andel av program p år t som har utländsk bakgrund. Andel av program p år t som är var kvinnor. Andel av studenterna på program p år t med minst en högutbildad förälder.* µ NGp,t Snittresultat i nationella proven i MaC/Ma3 och MaD/Ma4 för program p år t. µ N9p,t Snittresultat i nationella proven i matematik i årskurs 9 för program p år t. M p,t Genomsnittlig matematikpoäng för program p år t. * Med högutbildad avses minst erhållen kandidatexamen (3 år). 5 Regressionsanalys Initialt kontrolleras att de grundläggande antagandena håller: Att mattepoäng och prestation på de nationella proven är positivt korrelerade med utfallet på det diagnostiska provet, likväl som att andelen av studenterna som har föräldrar med akademisk bakgrund är det. Resultatet visas i tabell 4 där det tydligt i kolumn (1), (2), och (3) syns att samtliga variabler är starkt positivt korrelerade med utfallet på det diagnostiska provet. Under antagandet att kolumn (3) bäst förklarar förhållandet mellan de olika variablerna och utfallet på det diagnostiska provet går det att dra ett antal slutsatser. 13
Tabell 4: Regression av snittresultat på diagnostiskt prov mot mattepoäng, resultat på det nationella provet, och andelen studenter vars föräldrar har akademisk bakgrund. Beroende variabel: Snittresultat Diagnostiskt prov (1) (2) (3) Intercept 5.256 7.077 5.533 (0.522) (1.969) (1.963) Mattepoäng för gymnasiebetyg 0.459 0.285 0.276 (0.030) (0.038) (0.037) Mattepoäng Nationella prov 9:an 0.891 0.685 (0.138) (0.148) Andel Högutb. Foraldrar 4.024 (1.211) Observationer 155 155 155 R 2 0.602 0.687 0.709 Adjusted R 2 0.599 0.683 0.703 Observera:,, och, motsvarar konfidensintervall om 90%, 95%, och 99% Ökar en student sitt mattepoängsvärde med två poäng (motsvarande att gå från betyg C till betyg A i matematik 4) så ökar utfallet i det diagnostiska provet med en poäng. Motsvarande höjning av resultatet i det diagnostiska provet på linjenivå kräver en ökning på 2.5 procentenheter av andelen studenter vars föräldrar har akademisk bakgrund. Den väntade minskningen på skattningen av β 1 :s storlek går också att se mellan kolumn (2) och (3), detta stämmer överrens med teorin enligt ekvation 3. Sambandet mellan utfallet i det diagnostiska provet och mattepoäng, resultat i de nationella proven, samt hur stor andel av studenterna som har föräldrar med akademisk bakgrund är positivt. Detta stämmer överrens med teorin och därför genomförs den slutliga regressionen för att avgöra huruvida andelen studenter som är antingen kvinnor eller har utländsk bakgrund har någon påverkan på utfallet i det diagnostiska provet. Regressionen genomförs först för andelen av studenterna som är kvinnor och resultatet visas i tabell 5. Det första att lägga märke till är hur effekten på det diagnostiska provet helt byter tecken när man kontrollerar för någonting överhuvudtaget. Regression mellan endast andelen kvinnor och resultatet i det diagnostiska provet (kolumn (1)) ger en positiv 14
effekt från en ökad andel kvinnor. Effekten är statistiskt säkerställt och är måttlig, en ökning på 25 procentenheter av andelen kvinnor på en linje höjer snittresultatet med strax över en poäng (av 26 möjliga på provet). När man kontrollerar för antingen mattepoäng, resultat i det nationella provet i årskurs nio, eller hur stor andel av föräldrarna som har akademisk bakgrund, så är effekten istället negativ. I kolumn (4) har vi bäst styrka på samtliga skattningar, framförallt så är skattningen av effekten från andelen kvinnor säkerställd inom ett 99%-igt intervall. Denna skattning betyder alltså att en ökning av andelen kvinnor på en civil- eller högskoleingenjörslinje har en negativ inverkan på utfallet i det diagnostiska provet. Storleken innebär att om en linje går från ca. 10% kvinnor till 40% kvinnor (det vill säga från en andel där det ej anses vara en jämställd fördelning, till en andel där det anses vara jämställt) så går snittresultatet ned med en poäng. Motsvarande analys görs för andelen av linjen som har utländsk bakgrund och resultatet presenteras i tabell 6. I jämförelse med regressionen i tabell 5 så är utfallet omvänt. Från att en ökad andel studenter med utländsk bakgrund skulle ha en negativ inverkan på utfallet i det diagnostiska provet verkar det istället, när man kontrollerar för betyg etc, som att en ökad andel har en positiv effekt. Både tabell 5 och 6 indikerar att det finns någonting fel med matematikbetygen, som mått sedda. Initial kunde ses att det fanns en positiv effekt på utfallet i det diagnostiska provet vid en ökad andel kvinnor eller minskad andel studenter med utländsk bakgrund. Detta är förhållandevis okontroversiellt och förklaras av att kvinnor som grupp har högre betyg än män som grupp, samt att svenskar som grupp generellt har högre betyg än gruppen av studenter med utländsk bakgrund. Teorin antar att effekten av andelen kvinnor respektive studenter med utländsk bakgrund ska vara noll, när hänsyn tas till betyg i matematik, prestation på de nationella proven i matematik, samt huruvida studenterna har högutbildade föräldrar eller inte. Resultaten i tabellerna visar tydligt att detta inte är fallet, tvärt om. Idag har en snittklass ca 16% studenter med utländsk härkomst, medan Sveriges befolkning utgörs av ca. 25% medborgare med utländsk härkomst. 14 Skulle andelen av en snittklass istället motsvara andelen av befolkningen så skulle, enligt skattningen, snittresultatet gå upp med knappt en halv poäng. En snittklass utgörs också av cirka 30% kvinnor, skulle det istället motsvara resten av befolkningen (cirka 50%) så hade poängen istället gått ner med strax över en halv poäng. Då det diagnostiska provet är anonymt, endast testar matematisk kunskap, och genomförs direkt när man påbörjar sina studier, så finns det inte mycket som talar för att effekten 14 SCB n.d. 15
Tabell 5: Snittresultat på diagnostiskt prov mot andel studenter av kvinnligt kön. Beroende variabel: Snittresultat Diagnostiskt prov (1) (2) (3) (4) Intercept 12.320 5.288 7.804 5.974 (0.343) (0.522) (1.961) (1.843) Mattepoäng 0.470 0.294 0.290 (0.032) (0.038) (0.035) Mattepoäng nat. prov 9:an 0.948 0.665 (0.138) (0.138) Andel högutbildade föräldrar 6.619 (1.265) Andel kvinnor 2.334 0.770 1.491 2.948 (1.030) (0.693) (0.616) (0.633) Observationer 155 155 155 155 R 2 0.032 0.605 0.699 0.745 Adjusted R 2 0.026 0.600 0.693 0.739 Observera:,, och, motsvarar konfidensintervall om 90%, 95%, och 99% Not: Regression av snittresultatet för linje och år på det diagnostiska provet mot andelen studenter som är av kvinnligt kön. Mattepoäng, resultat i nationella provet i matematik i årskurs nio, och andelen som har föräldrar med akademisk bakgrund används som förklarande variabler. Sambandet ter sig negativt vid kontroll för betyg och ak. bakgrund. har sin grund i annat än någon form av betygsdiskriminering. Man kan tänka sig ett scenario där pojkar generellt tillgodogör sig mer matematikkunskaper på egen hand under perioden mellan att betygsättningen i gymnasiet sker och att samma person sen påbörjar sina högskolestudier. Detsamma skulle i såna fall behöva gälla i förhållandet mellan svenskar och studenter med utländsk bakgrund. Att detta skulle vara något som gällt i en period om nästan 20 år, på linjer som varierar kraftigt i andelen kvinnor och studenter med utländsk bakgrund, ter sig osannolikt. Oavsett grund till den negativa respektive positiva effekten som ses i tabell 5 och 6 16
Tabell 6: Regression on loggdp with malaria included. Beroende variabel: Snittresultat Diagnostiskt prov (1) (2) (3) (4) Intercept 13.176 4.557 8.339 6.768 (0.438) (0.621) (1.976) (1.996) Mattepoäng 0.471 0.293 0.285 (0.030) (0.037) (0.037) Mattepoäng nat. prov 9:an 0.921 0.731 (0.136) (0.146) Andel högutbildade föräldrar 3.606 (1.204) Andel utländsk bakgrund 1.874 4.332 5.306 4.518 (3.349) (2.132) (1.878) (1.849) Observationer 155 155 155 155 R 2 0.002 0.612 0.703 0.720 Adjusted R 2 0.004 0.607 0.697 0.712 Observera:,, och, motsvarar konfidensintervall om 90%, 95%, och 99% Not: Regression av snittresultatet för linje och år på det diagnostiska provet mot andelen studenter som har utländsk bakgrund. Mattepoäng, resultat i nationella provet i matematik i årskurs nio, och andelen som har föräldrar med akademisk bakgrund används som förklarande variabler. Sambandet ter sig positivt vid kontroll för betyg och ak. bakgrund. så är effekten i sig självt ett dåligt betyg för den svenska betygsättningen. Även om diskriminering inte skulle vara förklaringen till effekten så är den i sig själv ändå ett tecken på att betyg i dagsläget är missvisande. Två studenter, trots samma betyg, kommer alltså i snitt att prestera olika på grund av deras kön eller huruvida de har utländsk bakgrund eller inte. 17
6 Slutsats Genom att kontrollera hur väl prestationen i ett diagnostiskt prov för civil- och högskoleingenjörsstudenter vid LiTH förklaras av variablerna matematikbetyg (gymnasiekurser och nationella provet i nian) samt andelarna av en linje som består av kvinnor eller män, svenskar eller studenter med utländsk bakgrund, och andelen som har föräldrar med akademisk bakgrund. Genom detta görs ett försök att utröna huruvida diskriminering förekommer vid betygsättningen i matematikämnet i nionde klass och på gymnasiet. Huvudantagandet är att om man för en given linjen kontrollerar för betyg i matematikämnet, betyg i de nationella proven från nionde klass, och hur stor del av studenterna som har föräldrar med akademisk bakgrund, så borde inte andelen av linjen som är kvinnor eller har utländsk bakgrund ha någon effekt. Det finns ett positivt samband för ökad andel studenter med utländsk härkomst, samt ett negativt samband för ökad andel kvinnliga studenter. Detta tolkas som att kvinnor underpresterar på det diagnostiska provet i förhållande till sina betyg (från gymnasium och nationella prov), och att studenter med utländsk härkomst överpresterar i förhållande till sina. Man kan tänka sig att detta kan förklaras av att pojkar och svenskar exempelvis skulle tillgodogöra sig matematisk undervisning på eget bevåg utanför skolväsendet i en sådan stor utsträckning att den tillskansade kunskapen rubbar betygens innebörd. Att pojkar eller svenskar i så stor utsträckning skulle tillgodogöra sig matematisk kunskap på sin fritid finner inget stöd i varken allmänt vetande eller forskningen. Förklaringen som ligger närmare till hands är att pojkar och bedöms hårdare i skolan. Detta skulle överrensstämma med dels studien som visar att lärare generellt sett är snällare mot sina egna svenska elever än sina egna elever med utländsk bakgrund 15, dels med studien som visar att pojkar generellt sett presterar bättre än flickor i förhållande till sina betyg på ett matteprov. 16 En svaghet i uppsatsen är att antalet observationer är förhållandevis låg (155 stycken). Detta grundar sig i huvudsakligen två saker, dels att SCB ej kunde hittade fullständig data för de nationella proven i matematik på gymnasienivå, dels att data från SCB endast kunde fås ut på aggregerad nivå när förfrågaren avser utföra arbete på kandidatnivå. Den data som finns från LiTH gällande resultaten på de diagnostiska proven är på klassnivå, inte linjenivå. Om man begärde ut klassdata på individnivå och så hade man i efterhand kunna koppla varje namn till respektive klass, linje, och år. En sådan förändring skulle öka antalet observationer från 155 till närmare 500 stycken. 15 Hinnerich, Höglin och Johannesson 2014. 16 Tyrefors, Palmgren och Berg 2019. 18
Framförallt skulle andelen studenter med utländsk bakgrund existera på ett större intervall, istället för att samtliga mätningar över 22% skulle vara outliers. Skattningarna är förhållandevis kontroversiella och skulle behöva studeras närmare. Analysen av datamängden pekar tydligt på att det finns en kraftig diskrepans mellan vilka betyg man har och hur man presterar, kopplat till personens kön eller bakgrund i termer av svensk eller utländsk. Det i sig självt är skäl nog att försöka göra samma studie igen fast med högre upplösning på datamängden. 19
Referenser Diamond, Rebecca och Petra Persson (2017). The Long-term Consequences of Teacher Discretion in Grading of High-stakes Tests. I: Draft. Graetz, Georg och Arizo Karimi (2019). Explaining Gender Gap Variation across Assessment Forms. I: Working Paper. Henrekson, Magnus och Sebastian Jävervall (2016). Svenska skolresultat rasar vad vet vi? I: Kungl. Ingenjörsvetenskapsakademien. Hinnerich, Bjorn Tyrefors, Erik Höglin och Magnus Johannesson (2014). Discrimination against students with foreign backgrounds. I: Education Economics. Klapp, Alli (2017). Betyg deras funktioner och vad de mäter. I: Skolverket. Lekholm, Alli Klapp och Christina Cliffordson (2009). Effects of student characteristics on grades in compulsory school. I: Educational Research and Evaluation. Manger, Terje och Rolf Gjestad (1997). Gender differences in matchematical achievement related to the ratio of girls to boys in school classes. I: International Review of Education. Rimfeld, Kaili m. fl. (2018). The stability of educational achievement across school years is largely explained by genetic factors. I: njp Science of Learning. SCB (n.d.). Var fjärde svensk har utländsk bakgrund. url: https://www.scb.se/hittastatistik/statistik-efter-amne/befolkning/befolkningens-sammansattning/ befolkningsstatistik/pong/statistiknyhet/folkmangd-och-befolkningsforandringar- 20182/. Skolverket (2017). Slutbetyg i grundskolan, våren 2017. I: Skolverket. Tyrefors, Björn, Ola Palmgren och Petter Berg (2019). Gender Grading Bias in Junior High School Mathematics. I: Working paper. 20