Statistik storskaliga undersökningar

Transkript

1 Statistik storskaliga undersökningar Alli Klapp Vad är statistik? I den politiska debatten används ofta statistik för att utvärdera resultat i skolan. Skolverket tillhandahåller till exempel en databas, SALSA, fylld med information om skolornas olika resultat. Det handlar om siffror, tabeller och procent vilket kan vara tydligt och enkelt att ta till sig och gör det lättare att få en överblick jämfört med långa beskrivningar, analyser och reflektioner i skriven form. Att använda siffror och statistik ger en viss typ av information. Ett exempel på hur statistik kan användas är valet av årets bästa skolkommun där statistik används för att jämföra skolornas betygsresultat. Kommunen med det högsta betygsmedelvärdet hamnar i topp. Detta är dock en förenklad bild av resultaten i skolan eftersom bilden enbart bygger på ett utgångsvärde det vill säga elevernas slutbetyg i årskurs 9. Däremot tas det inte hänsyn till något ingångs- eller startvärde. Ett ingångsvärde är det resultat eleven eller skolan startar med. Att mäta betygsmedelvärdet utan att ta hänsyn till vilket betygsmedelvärde eleverna kom in med ger en skev bild av vilken kommun som har det bästa resultatet. Ett exempel: I en klass på en skola i ett utsatt område (dåliga resultat) har en stor andel av elever Icke Godkänt i flertalet ämnen men under senare delen av grundskolan höjer eleverna sina prestationer avsevärt vilket leder till att de i större utsträckning får Godkänt i de flesta ämnena i slutbetyget i grundskolan. Prestationerna som dessa elever och lärare gör är kanske större och mer genomgripande (från IG till G) jämfört med de prestationer som elever och lärare gör i skolor där eleverna har bättre förutsättningar och ett högre ingångsvärde. Om ett ingångsvärde finns med i analysen kan resultaten bli annorlunda. Vilken information vi väljer ut som intressant och användbar får följder för de slutsatser som dras och de tolkningar som är möjliga att göra. Det finns flera sätt att utvärdera skolan på av vilket 1

2 jämförelser av betygsmedelvärdet är ett sätt medan utvärdering av lärarnas undervisning är ett annat. Statistik används dels som ett sätt att presentera sammanfattande siffror ofta i tabellform t.ex. beskrivning av skolornas betygsresultat, dels används statistikbegreppet som ett samlingsnamn över ett flertal olika metoder för att samla in, beskriva och analysera data. Statistik är ett nödvändigt redskap för att kunna svara på vissa forskningsfrågor. Precis som vi behöver använda oss av intervjuer för att kunna få en annan typ av information eller observationer för ytterligare information. Den metod forskaren eller studenten väljer, beror på den fråga som vi vill ha svar på. Det är sällan som det endast finns en vetenskaplig metod som är bäst utan vi kan välja att undersöka ett fenomen eller frågeställning utifrån ett flertal olika metoder. Att arbeta som forskare innebär att ha kunskap kring olika metoder, både kvalitativa och kvantitativa. Val av metod bör bestämmas av den fråga man vill ha svar på. Inom den utbildningsvetenskapliga (samhällsvetenskapliga) forskningen används de statistiska metoderna som ett verktyg för att få svar på forskningsfrågor och det är ofta inte statistiken, matematiken eller formler i sig som är i fokus utan tolkningen av resultaten. Detta kan vara en skillnad från statistiker som primärt är intresserad av statistik som en matematisk metod. Ett övergripande syfte med forskning är bland annat att förstå och mäta styrkan och riktningen på olika effekter som finns i verkligheten. Oberoende av vilka fenomen som undersöks och på vilket sätt vi undersöker dem, försöker vi att hitta nya och bättre sätt för att få svar på våra forskningsfrågor för att kunna dra så giltiga slutsatser som möjligt. Forskare försöker alltså få tag på effekter av olika fenomen. Vad är effekten av undervisning? Effekten av läxläsning eller av den feed-back eleverna får av lärarna? Hur påverkas elever av betyg? Vilka är effekterna av att lärarna skriver individuella utvecklingsplaner? Vad är effekten av en viss medicinsk behandling? Inom kvantitativ metod produceras siffror (estimat) med syftet att bättre förstå effekter av olika fenomen. Här används begreppet statistisk signifikans som innebär att om ett resultat är statistiskt signifikant beror resultatet inte på slumpen. Att slumpen kan påverka resultaten beror på att i storskaliga studier analyseras ofta ett urval av individer från en population t.ex. elever från en viss årskurs, vilket innebär en risk för att urvalsgruppen inte liknar populationen. Dock är det inte enbart den statistiska signifikansen som är intressant utan lika mycket den praktiska signifikansen d.v.s. signifikans som handlar om förståelse och mening. Det kan hända att 2

3 ett resultat från en studie är statistiskt signifikant men obetydligt när det gäller betydelsen i praktiken eller i verkligheten. Att dra slutsatser enbart utifrån att ett resultat är statistiskt signifikant eller inte kan var problematiskt. Här är ett fiktivt exempel. En forskare vill undersöka hur betyg påverkar elevernas senare prestationer (mätt med betyg) i skolan. Hypotesen är att elever som inte fått betyg i årskurs 6 kommer att prestera bättre och få högre betyg i årskurs 7. Forskaren bestämde sig för att utföra ett experiment där 10 elever fick betyg i årskurs 6 medan 10 elever inte fick betyg i årskurs 6. De båda gruppernas betygsresultat i årskurs 7 jämförs med hjälp av ett statistiskt signifikanstest (t-test). Detta test gör det möjligt att jämföra olika gruppers medelvärde. Forskaren upptäcker att genomsnittet (betyg i årskurs 7) är högre för den grupp som inte fått betyg i årskurs 6 jämfört med den gruppen som fått betyg i årskurs 6. Resultatet är svagt statistiskt signifikant (t-testet) och forskaren får bara ett svagt stöd för sin hypotes. Ett svagt signifikant t-test betyder att det finns en skillnad mellan grupperna men att mer information är nödvändig för att kunna fördjupa förståelsen för skillnaderna mellan grupperna av elever som fått eller inte fått betyg. Detta resultat innebär att forskaren kan välja att gå vidare och genomföra en större undersökning och då med fler deltagare. Att resultatet inte blev statistiskt signifikant kan delvis beror på att de två grupperna innehöll för få deltagare. Om undersökningen haft fler deltagare vilket därmed ökar stickprovsstorleken bör säkerheten kring resultaten öka. Vid få deltagare är risken för att extrema värden spelar stor roll liksom hur deltagarnas värden skiljer sig åt (är de nära eller långt ifrån varandra). Är det en stor spridning d.v.s. stora skillnader mellan deltagarnas värden och dessutom extremvärden är risken stor för att slumpen påverkar resultatet. En annan orsak till att resultatet var svagt statistiskt signifikant kan handla om att det finns grupper av elever med vissa förutsättningar t.ex. stort stöd från föräldrarna hemma eller att skillnaderna mellan könen inte kommer fram i analysen. Om det finns misstankar om att det existerar skillnader mellan olika undergrupper av elever (social bakgrund, kön) bör forskaren gå vidare och undersöka olika grupper av elever. Studenter som lägger fram sitt examensarbete och forskare som försvarar sin doktorsavhandling får ibland följande fråga av opponenten: Vilken nytta har vi denna studie? Att kunna besvara frågor kring varför en studie är viktig för människorna på gatan handlar om den praktiska signifikansen. Den praktiska signifikansen av studier bör lyftas fram och diskuteras. 3

4 Att samla in information Att undersöka ett fenomen och få svar på en forskningsfråga innebär att någon eller några metoder för att samla in information måste väljas. Beroende på frågeställningen kan det variera vilken metod som är lämpligast att använda. I Sverige har vi under många år samlat in information om människor centralt via Statistiska Centralbyrån (SCB). Genom samarbete mellan SCB och olika institutioner på högskolor och universitet i Sverige har information om skolor, lärare, elever och föräldrar samlats in. Informationen kan till exempel handla om registerdata d.v.s. information som går att samla in via personnummer och skolidentifikation. Den kan handla om antal elever på en skola, elevers resultat på standard prov och nationella prov och elevernas betyg i olika årskurser. En annan typ av information är enkätdata d.v.s. information om vad elever, lärare och föräldrar säger sig ha för uppfattning om olika saker när det handlar om skolan och utbildning. Trivs eleverna i skolan? Stöttar föräldrarna sina barn i deras skolarbete? Ytterligare information kan hämtas i databaser där resultat från de internationella undersökningarna PIRLS och TIMSS finns. I forskningsprojektet Betygens jämförbarhet, prognosförmåga och effekter på lärande (COMP ) använde jag mig av data från databasen Utvärdering genom Uppföljning (UGU) som innehåller en stor mängd information, både registerdata och enkätdata för ett 10 % nationellt representativt urval av individer födda mellan 1948 och 1972 (en årskurs eller kohort är ca elever). Urval är representativt vilket innebär att de elever som deltar i UGU är ett representativt urval d.v.s. speglar hela kohorten i fråga om kön, social bakgrund m.m. Här finns information om elevernas kön, familjebakgrund, betyg från grundskolan och gymnasieskolan, resultat från standardprov och nationella prov. Databasen innehåller även information om skolor, som till exempel storlek på skolor, var skolorna är belägna (stad förort - landsbygd), huvudmannaskap (kommunala och fristående skolor) och lärarkaraktäristika som till exempel lärares medelålder, erfarenhet och behörighet m.m. Via databasen har forskare tillgång till en stor mängd enkätdata från elever, lärare och föräldrar. Denna typ av nationella databaser med en stor mängd information för alla individer är unikt för Sverige och gör det möjligt att undersöka många olika fenomen och frågeställningar. 4

5 Variabler Om man väljer att själv samla in data kan man från början tänka på de analyser man vill göra. Informationen t.ex. olika frågor i ett enkätverktyg bildar olika variabler där variablernas egenskaper påverkar vilka typer av analyser som är möjliga att genomföra, t.ex. korstabeller, medelvärdesanalys, korrelationer och regressionsanalys (se t.ex. Djurfeldt, Larsson & Stjärnhagen, 2010). Om studenten eller forskaren däremot använder ett redan insamlat material går det inte att påverka t.ex. vilka frågor som finns med i enkäten utan den information som finns tillgänglig får användas. Variabler definieras utifrån om de är kvalitativa eller kvantitativa. De kvalitativa variablerna kan vara av två typer; nominal- eller ordinalskala. En nominal-skale variabel har information som kategoriserar svarsalternativen (värdena) men det finns ingen möjlighet att rangordna dem. Ett exempel är frågan Hur bor du? med svarsalternativen hus eller lägenhet där det inte är möjligt att rangordna vilket av dessa svarsalternativ som är högst eller lägst, mest eller minst vi kan beskriva skalan i vilken ordning som helst utan att skalan ändras. En ordinal-skale variabel däremot innebär att vi kan rangordna svarsalternativen (värdena). Ett exempel är betyg där vi vet att F är minst, E är mindre än C som i sin tur är mindre än A. Dock har denna skala ingen nollpunkt och vi har inga exakta avstånd mellan stegen (F-E-D-C-B-A), skalan är alltså inte ekvidistant (lika långt mellan skalstegen). Det som däremot är möjligt är att koda om denna typ av variabel till siffror i SPSS så att F=0, E=1, D=2, C=3, B=4 och A=5 och då är det möjligt att räkna ut medelvärde och spridning, se figur 2 nedan. De kvantitativa variablerna kan vara av två olika typer; intervall- eller kvotskala. Dessa typer av skalor lämpar sig mycket bra för statistiska analyser. Ett exempel på intervallskalan (som är ovanlig) är temperaturskalan celsius där det är exakt lika långt mellan de olika graderna men där en absolut nollpunkt varierar: nollpunkten för celisius är inte densamma som för Fahrenheit. Kvotskalan däremot är vanligare och t.ex. variabeln Hur många syskon har du? har en nollpunkt (0 syskon) och är även ekvidistant (lika långt mellan de olika stegen: antal syskon ). Genom att designa enkätfrågor med svarsalternativ (värden) som är av kvotskalekaraktär eller som går att koda om till siffror är det möjligt att göra mer avancerade statistiska analyser som analyser av samband mellan variabler. Vid frågor där t.ex. elever ska svara på frågan vilket skolämne de 5

6 gillar kan möjliga svarsalternativ vara engelska, idrott eller kanske matematik. Att utifrån dessa svar räkna ut medelvärde är omöjligt. Om man tänker på att svarsalternativen ska gå att koda om till siffror så finns det ett större urval av analyser tillgängliga. Svarsalternativ som aldrig, ibland och ofta är möjliga att koda om i SPSS till 1, 2 och 3 och därmed kan denna variabel analyseras med mer avancerade analysmetoder. Att lära känna data När data är insamlad, det kan vara registerdata från SCBs databaser som samlats in centralt eller enkätdata som man själv samlat in, börjar en process där data ska bearbetas. Detta innebär att data för deltagarna läggs in i ett statistiskt datorprogram (t.ex. Excel eller Statistical Package for Social Science - SPSS) där en översikt ges över informationen och att välja ut och bearbeta den information (olika variabler) som samlats in. Om forskaren använder data som samlats in av SCB eller hämtar data på skolverkets hemsida är data redan inmatad i t.ex. SPSS. På de allra flesta högskolor och universitet har studenterna tillgång till SPSS. Vid bearbetning av data är det ofta nödvändigt att koda om vissa variabler. Ett exempel kan vara en enkätfråga som handlar om nivån på föräldrars utbildning. Denna variabel har 5 olika svarsalternativ eller kategorier t.ex. folkskola grundskola gymnasium högskola universitet. Istället för att använda sig av dessa 5 kategorier kan de omkodas till 2 kategorier: den första kategorin är utbildning upp t.o.m. gymnasium medan den andra kategorin är högskolestudier eller högre. En annan bearbetning av data kan handla om att omkoda bortfall. Ett exempel på bortfall är när en elev har varit sjuk under genomförandet av ett nationellt prov och inte har kunnat delta. Ett annat exempel är när en elev inte har besvarat en fråga i en enkät utan hoppat över den, missat den eller valt att inte svara. Det finns många orsaker till bortfall, det kan även handla om att en viss grupp av elever inte svarat på en enkätfråga på grund av att frågans formulering är komplicerad eller att frågan är för svår. Analys Det finns en stor mängd analysmetoder att använda sig av när väl data är bearbetade. I detta avsnitt redogörs för några av dessa analysmetoder. Det första steget handlar om att göra en beskrivning eller deskription av 6

7 datamaterialet, en univariat analys. I den univariata analysen får forskaren en överblick över materialet. Forskaren får t.ex. reda på antalet case d.v.s. antalet deltagare som undersöks, medelvärde för olika variabler t.ex. betygsgenomsnitt och hur stort bortfallet är. Bortfall kan vara av olika slag t.ex. att en elev inte har svarat på en fråga i en enkät eller att en elev varit sjuk den dagen enkäten fylldes i (diskuterar detta ytterligare nedan). Den univariata analysen innebär alltså att de olika variablerna beskrivs och analyseras var och en för sig. I nästa steg kan forskaren undersöka sambandet mellan två variabler, en så kallad bivariat analys. Ett exempel är hur sambandet ser ut mellan två variabler t.ex. enkätfrågan Hur intresserad är du av att lära dig mer i svenska? och betyg. Genom att göra en korrelation mellan dessa två variabler får forskaren reda på styrkan i sambandet mellan dessa. En korrelation anger alltså styrkan på ett samband men inte orsaksambandet mellan variablerna. Med hjälp av en korrelation går det inte att uttala sig om vilken av variablerna som påverkar den andra. Är det elevernas intresse som påverkar deras betyg eller är det betyget som påverkar elevernas intresse för att lära sig mer i svenska? För att undersöka i vilken riktning sambandet går är det lämpligt att genomföra en regressionsanalys. Vid en regression bestämer forskaren vilken av variablerna som påverkar den andra. Den ena variabeln är beroende d.v.s. blir påverkad av något t.ex. att elevernas betyg blir påverkade av hur intresserade de är av att lära sig mer i svenska. Den andra variabeln är oberoende, i detta exempel intresse för att lära sig mer i svenska, d.v.s. den påverkar den beroende variabeln. När det finns flera variabler (fler än 2) som ska analyseras samtidigt kallas det för en multivariat analys (Se t.ex. Djurfeldt & Barmark, 2009). Beskrivande statistik univariat analys Den beskrivande statistiken, så kallad univariat analys, handlar om att få en övergripande bild över den information som är insamlad. Den univariata analysen handlar även om att upptäcka problem och att felsöka datamaterialet. Denna typ av analys beskriver de olika variablernas egenskaper var för sig och det handlar om att få information om variablernas fördelning som centraltendens (medelvärde och median) och spridning (standardavvikelse) (se t.ex. Djurfeldt et al., 2010). Det handlar om att besvara frågor kring sådant som antal och andelar t.ex. Hur många flickor får betyget A? Hur ofta äter eleverna glass i skolan? 7

8 Vid den univariata analysen upptäcker man även olika snedfördelningar i sitt material. Vid små urval (få deltagare) finns det risk för att det blir för få fall för ett visst värde. Till exempel, i en enkät har 40 elever i årskurs 6 svarat på frågan Hur ofta äter du glass i skolan? med 5 svarsalternativ: aldrig - inte så ofta - ibland - ofta - nästan hela tiden. Totalt har 50 % svarat att de äter glassvi skolan ofta, 35 % att de äter glass i skolan nästan hela tiden och resten har svarat ibland. Om vi tittar på en graf över fördelning av svaren märker vi att den är skev det vill säga att svaren är förskjutna åt höger vilket kallas för positiv skevhet medan förskjutning åt vänster kallas för negativ skevhet. På denna fråga svarar den största delen av deltagarna att de äter glass i skolan ofta eller nästan hela tiden. Detta är resultat från SPSS. Uppe till höger i grafen ser vi att medelvärdet (mean) är 4, 20 och att standardavvikelsen (Std. Dev.) är Antalet deltagare (antal anges som N) är 40. Medelvärdet är alltså 4.20 (svarsalternativens räckvidd eller range är 1-5) vilket innebär att eleverna i enkätundersökningen verkar äta mycket glass i skolan. Den standardiserade genomsnittliga avvikelsen från medelvärdet är En standardavvikelse är spridningen runt medelvärdet. Ett lågt värde på standardavvikelsen innebär att observationerna är mer koncentrerade runt medelvärdet medan ett högre värde på standardavvikelsen innebär en större spridning från medelvärdet. I detta exempel är standardavvikelsen rätt liten vilket vi kan se i grafen där 8

9 det inte finns några elever alls som aldrig eller inte så ofta äter glass i skolan. Resultatet visar att de flesta eleverna verkar äta mycket glass i skolan. I ett litet stickprov med få deltagare är risken stor för att slumpen avgör resultatet och att de olika statistiska test som senare genomförs inte blir signifikanta d.v.s. att det kan vara slumpen som styr. Om vi tänker oss att information har samlats in för alla elever i Sverige födda ett visst år så har vi information för en hel årskurs d.v.s. för en hel population. Om vi istället väljer att använda oss av ett urval från populationen finns risken att urvalet inte representerar populationen t.ex. att urvalet har fler elever som har höga betyg, lägre resultat på nationella prov eller att fler är flickor. Att urvalet är representativt innebär att vi med största sannolikhet kan hävda att urvalet speglar populationen. Inom statistiken finns olika test för att avgöra om urvalet representerar populationen. Om jag däremot använder hela populationen i min undersökning t.ex. alla elever som gick ut årskurs 9 år 2003 så gäller resultaten för hela den populationen och olika statistiska test för att pröva om resultatet från urvalet gäller för hela populationen är inte nödvändiga. Systematiska och slumpmässiga snedfördelningar En bra början i en univariat analys är att göra frekvensanalys över de olika variablerna för att se hur deltagarnas värde (fördelningarna) ser ut. I en sådan univariat analys upptäcker man även hur bortfallet ser ut. Det finns olika typer av bortfall och jag ger här några exempel (för fördjupning se t.ex. Djurfeldt at al., 2010) till exempel att information saknas så kallat user missing eller internt bortfall där deltagaren har lämnat blankt svar på någon fråga eller svarat otydligt och inte tydbart eller ett svar som inte är tillämpligt så kallat system missing där deltagaren inte ska svara på efterföljande fråga (till exempel när enbart de som har svarat ett visst alternativ på föregående fråga ska ge ett svar på nästa fråga). Det finns även bortfall i registerdata där t.ex. det fattas värden för t.ex. personers sociala bakgrund eller att elever inte fått betyg. Genom att koda dessa bortfall med ett tal som inte är ett möjligt svarsalternativ, till exempel ett negativt tal (-1) i SPSS är det senare möjligt att urskilja och analysera bortfallet i materialet utan att det blandas ihop med de andra svarsalternativen (positiva tal). Vid en bortfallsanalys kan man jämföra den grupp av deltagare som inte har ett värde på en variabel (fördelningen över bortfallet) med de deltagare som har värde på variabeln (fördelningen för deltagarna). Till exempel om de 9

10 elever som inte besvarat en viss fråga i enkät har något gemensamt med varandra (t.ex. i fråga om kön, social bakgrund eller förmåga) och om denna grupp skiljer sig från den grupp av elever som besvarat frågan. Är det så att bortfallet är snedvridet åt vänster medan populationen inte är snedvridet? Detta kan då innebära att de deltagare som inte har svarat skiljer sig från resten av stickprovet det vill säga att en systematisk skillnad finns mellan de deltagar som har svarat och de som inte har svarat. Ett exempel på detta kan vara att elever som inte har fått ett avgångsbetyg i årskurs 9 visar sig ha lägre resultat på ett kognitivt test (ett test som mäter generell förmåga t.ex. spatial och verbal förmåga) d.v.s. att en större andel av elever som inte har betyg i årskurs 9 har presterat lägre på det kognitiva testet. Detta är viktigt att ta i beaktande när man senare drar slutsatser; att bortfallet är systematiskt. Om man däremot inte hittar några systematiska skillnader i bortfallet utan det är slumpmässigt vilka elever som inte fått ett avgångsbetyg i årskurs 9 (bland bortfallet finns elever som presterar både lågt och högt på det kognitiva testet) behöver man inte ta hänsyn till det när man drar slutsatser av resultatet. Ett exempel på en univariat analys (deskription) För att åskådliggöra hur en univariat analys går till använder jag mig av ett exempel från en studie jag genomfört. Studien handlar om hur betyg påverkar elevernas motivation för lärande och deras senare prestationer mätt med betyg. För att besvara dessa frågor använde jag mig av registerdata. Elevernas meritvärde i årskurs 7 (GPA), om eleverna fått betyg i årskurs 6 eller inte (inte fått betyg=0, fått betyg=1), resultat på kognitivt test i årskurs 6, kön och socioekonomisk status. Under en period av 12 år kunde kommunerna i Sverige själva bestämma om de ville att eleverna skulle få betyg i årskurs 6. Detta resulterade i att ca hälften av eleverna i detta datamaterial inte fick betyg i årskurs 6 medan andra hälften av eleverna i datamaterialet fick betyg. Alla elever fick betyg p årskurs 7. Totalt har studien drygt 7000 deltagare. Ett unikt drag för detta datamaterial är att det finns två grupper av elever som skiljer sig åt när det handlar om de fått betyg eller ej i årskurs 6. 10

11 Tabell 1. Beskrivande statistik för de manifesta variablerna: Inte fått betyg (Not Graded), fått betyg (Graded), Betyg (GPA_7, GPA_8), kön och social bakgrund. Variables N N missing Mean Std. dev Not Graded Graded Grades GPA_7 GPA_ Gender Girls Boys Socioeconomic back. SES I 1 SES II 2 SES III Note. 1 = High socioeconomic status; 2 = Middle socioeconomic status; 3 = Low socioeconomic status. I tabellen ovan finns en deskription av datamaterialet. I den första kolumnen (N) kan vi se att 3760 elever inte fick betyg i årskurs 6 (Not Graded) medan 3583 elever fick betyg i årskurs 6 (Graded). Totalt har 7343 elever ett jämförelsetal (betygsgenomsnitt eller Grade point Average, GPA) för årskurs 7 och 7319 elever har ett GPA för årskurs. Det är 3628 flickor i studien och 3715 pojkar. Längst ner i kolumnen redovisas de olika socialgrupperna; SES I SES III. Social bakgrund (socioekonomisk status) är ett index beräknat utifrån föräldrarnas yrke, inkomst och utbildningsnivå. Elever som tillhör SES I är de elever som har en hög ekonomisk status d.v.s. de har föräldrar med ett yrke som kräver utbildning, hög inkomst och hög utbildningsnivå. I nästa kolumn redovisas N missing d.v.s. bortfallet för respektive variabel. Vidare kan vi se i nästa kolumn (Mean) att medelvärdet för GPA_7 är 3.17 med en standardavvikelse på För GPA_8 är medelvärdet lite högre, 3.22 med en standardavvikelse på I stort sett hälften av deltagarna är flickor nämligen 49.4 %. Deltagarnas socioekonomiska status skiljer sig åt och den största gruppen tillhör SES II (N=3542) medan SES I har minst antal deltagare (N=895). Denna tabell ger en överblick och deskription av datamaterialet som ligger till grund för vidare analyser. 11

12 Inom pedagogisk och utbildningsvetenskaplig forskning räcker det ofta inte med att enbart beskriva ett datamaterial. Vill vi ha svar på sambanden mellan olika variabler (korrelationer) och även orsakssambanden (regressioner) mellan våra variabler för att kunna förklara olika samband och orsaker till de fenomen vi studerar. Bivariat analys (två variabler) Korrelation Att undersöka sambandet mellan två variabler görs med hjälp av en korrelation. Det statistiska måttet kallas för korrelationskoefficienten (r) och anger styrkan på ett samband t.ex. sambandet mellan resultat på kognitivt test och betyg. En korrelation kan vara positiv eller negativ d.v.s. ett positivt eller negativt samband mellan två variabler. Vid ett perfekt samband är korrelationskoefficienten 1 medan ett lågt samband närmar sig 0. Vad som är ett högt respektive ett lågt samband beror på vilka variabler som undersöks. En korrelationskoefficient på.70 mellan skostorlek och betyg skulle vara anmärkningsvärt högt då vi inte förväntar oss ett särskilt starkt samband mellan dessa två variabler. En viktig aspekt när man analyserar två variabler med hjälp av korrelation är att resultatet inte visar på orsak och verkan. I Tabell 2 nedan ser vi en korrelation på 0.64 mellan det summerade resultatet på det kognitiva testet (NNC_TestS) och jämförelsetalet av betygen (GPA_7) i årskurs 7. Sambandet är statistiskt signifikant, vi kan se i tabellen att det är mindre än 1 % (** 0.01) risk att resultatet beror på slumpen. Ett statistiskt samband mellan två variabler innebär dock inte att vi kan påvisa ett orsakssamband. Vilken variabel som påverkar vilken kan vi inte uttala oss om här. Tabell 2. Korrelation mellan resultat på kognitivt test och GPA i årskurs 7. 12

13 Regression Är det elevernas intresse för lärande som påverkar betygen eller är det betygen som påverkar elevernas intresse för lärande? I en regressionsanalys kan vi förklara den observerade förändringen (variation) i den beroende variabeln (intervall- eller kvotskala). I redovisningen av den univariata analysen ovan, speglar analysen ett förhållande som gäller vid en viss tidpunkt, här vårterminen i årskurs 7. Datamaterialet har ingen information om vad som gällde före eller efter mätningen av betygen i årskurs 7. Data som gäller vid ett tillfälle kallas för tvärsnittsdata och det är svårt att med enbart ett mättillfälle säga något om orsak och verkan. Att genom denna typ av data besvara frågan om det är elevernas intresse för lärande som påverkar betygen eller om det är betygen som påverkar elevernas intresse för lärande är svårt. Dock kan vi se att eleverna tar ett kognitivt test i årskurs 6 vilket är innan (i tid) de får betyg. Inom vetenskapsteorin används begreppen betingelse, mekanism och händelse. För att åskådliggöra detta kan vi se på figuren nedan. Orsaken till att en elev får ett bra betyg kan handla om elevens visade intresse att lära sig mer (betingelsen) påverkar att eleven faktiskt lär sig mer (jämfört med elever som inte är intresserade) (mekanism) vilket leder till att eleven får ett bra betyg (händelse). Alltså är mekanismen av betydelse för händelsen. Dock händer det ofta inom den utbildningsvetenskaplig forskning att mekanismerna är 13

14 osynliga. Det kan handla om elevernas attityder och intresse till lärande vilket i sin tur påverkar att de lär sig mer vilket påverkar vilka betyg de får. Sociala händelser orsakas i allmänhet av komplicerade kombinationer av kausala mekanismer som i sin tur aktiveras av hela uppsättningar av betingelser (Hacking, 2001, s. 18). Att försöka ta reda på vad som påverkar elevernas motivation till lärande innebär att en stor mängd olika faktorer måste tas hänsyn till. Det kan handlar om elevens bakgrund, kön, åsikter och attityder. Det kan handla om hur eleven uppför sig och i vilken utsträckning betygen mäter ämneskunskaper och elevens attityder till skolan. Att kunna analysera alla möjliga tänkbara faktorer som påverkar elevernas motivation för lärande är i stort sett omöjligt. Det som är möjligt däremot är att skilja ut de faktorer som påverkar motivationen mest medan de faktorer som inte har så stor betydelse samlas i en rest, det som blir över (kallas för residual). Valet av data som har samlats in (t.ex. vilka enkätfrågor som har ställts) påverkar i stor utsträckning de slutsatser som är möjliga att dra. I den bivariata analysen kan sambandet mellan två variabler undersökas (korrelationen). Om vi däremot tänker oss att det finns ett orsakssamband mellan elevernas resultat på kognitivt test och deras betyg så innebär det att om en förändring sker i den ena variabeln (kognitivt test) åstadkommer det en förändring i den andra variabeln (betyg). I detta exempel är det kognitiva testet en oberoende variabel som påverkar betyget som är beroende variabel. Den oberoende variabeln ses här som att den orsakar en händelse. Det som är avgörande för att det är det kognitiva testet som är oberoende variabel handlar om tidsaspekten: det kognitiva testet föregår betyget i tid. Likaså kan vi intuitivt känna att en elevs resultat på ett kognitivt test bidrar till det betyg eleven får även om det kognitiva testet inte mäter skolkunskaper. Ett kognitivt test mäter mer generella förmågor som t.ex. spatial förmåga. Sambandet mellan det kognitiva testet och betyg är positivt och relativt högt (0.64). Frågan är om detta samband är linjärt? Om sambandet är linjärt ska en ökning av resultatet på det kognitiva testen följas av en ökning i betyget. För att undersöka detta kan vi i SPSS begära att få ut en graf över alla deltagarnas olika värden som då ligger utspridda som punkter i ett diagram (scatterplot). I figur 1 kan vi se att det bildas en bred linje, och mitt i den går den så kallade regressionslinjen. 14

15 Figur 1. Scatterplot över sambandet mellan resultat på det kognitiva testet och betyg i årskurs 7 (GPA). Om vi fortsätter vårt exempel från tidigare med hur motivation påverkar elevernas lärande kan vi i Tabell 3 nedan se resultatet från en regressionsanalys. I detta exempel är den beroende variabeln (den som blir påverkad) GPA i årskurs 7. Den oberoende variabeln (den som påverkar) är resultatet på det kognitiva testet. Som vi kan se i grafen sträcker sig elevernas värden på kognitiva testet från -3 till 2. Skalan för det kognitiva testet är omkodad eftersom skalan i det ursprungliga testet sträcker sig från 10 till 114 poäng och en skala som går så högt är svårt att visa i en graf tillsammans med betyg (som stäcker sig mellan 1-5). Skalorna blir med omkodningen mer jämförbara och lättare att åskådliggöra i en graf. I tabellens första kolumn står det Constant vilket är värdet för betyget (3.17) där linjen skär y-axeln (GPA i årskurs 7) när det kognitiva testet har värdet 0. I kolumnen med B redovisas för testet 0.60 innebär att 0.60 poängs ökning av resultatet på testet medför en förändring i den beroende variabeln med en enhet (1 standardavvikelse). Den statistiska signifikansen (t-test 71.83) visar att det är liten risk (mindre än 1 %) för att det är slumpen som avgör resultatet. 15

16 Tabell 3. Regressionsanalys. Sammanfattning Inom statistiken finns en stor mängd analyser att arbeta med. I detta avsnitt har jag enbart tagit upp några av dem. Beroende på vilken typ av data som används och hur den är bearbetad påverkar vilka analyser som är möjliga att genomföra. Avslutande reflektioner Att undersöka en problemställning innebär flera olika steg; samla in data, bearbeta data, analysera data och slutligen dra slutsatser utifrån resultaten av analyserna. Inom varje steg hotas validiteten och reliabiliteten i undersökningen. Inledningsvis beskrev jag exemplet med årets bästa skolkommun där statistik används på ett sätt som ger begränsad information. Det kan vara tillräcklig information om vi enbart är intresserade av att vet vilken kommun som har det högsta betygsgenomsnittet. Om vi däremot vill diskutera undervisningens kvalitet eller vad som påverkar elevernas lärande kan annan information vara nödvändig att ha som grund än enbart betygsgenomsnittet. Det handlar om vilken mening vi lägger i begreppet årets bästa skolkommun. Hur statistiken tolkas är av stor vikt. Studiernas teoretiska och empiriska kvalitet En undersöknings validitet handlar om huruvida vi lyckas mäta det vi säger oss mäta har vi lyckats överföra vår teori och antaganden till det instrument vi använder oss av t.ex. enkätfrågor. En undersöknings validitet handlar om undersökningens (det vi mäter) relevans och giltighet. 16

17 Hur väl vi mäter olika fenomen handlar om reliabilitet. Det handlar om kvaliteten på mätinstrumentet. Vilket mätinstrument är mest lämpligt för de frågor vi vill ha svar på? En hög reliabilitet innebär t.ex. att svar som en deltagare lämnat är ungefär detsamma över tid och situationer. En låg reliabilitet kan bero på att enkätfrågorna är otydliga, svåra att förstå eller frågar om flera saker samtidigt så att vi inte vet vad deltagaren har svarat på. Att ett enkätinstrument är noga utprövat och testat (pilotundersökning) utifrån alla konstens regler är ett sätt att påverka att reliabiliteten blir hög i en undersökning (se Sorbrings kapitel). Att ta hänsyn till de olika aspekterna av validitet och reliabilitet innebär en möjlighet att kontrollera för att den undersökning jag planerar att genomföra blir av hög kvalitet. Fördelarna med en storskalig studie är att det är många deltagare, ibland hela populationen, som vi får resultat för. Om jag undersöker sambandet mellan elevers avgångsbetyg i årskurs 9 och deras resultat på nationella prov för hela populationen, är resultaten giltiga för populationen. Idag har ytterligare mycket kraftfulla statistiska metoder utvecklats (t.ex. konfirmatorisk faktoranalys, strukturell ekvations modellering, growth modeling) vilka gör det möjligt att undersöka orsakssamband på ett mer tillförlitligt sätt (för mer läsning se t.ex. Gustafsson i Djurfeldt et al., 2009). Inom forskningen finns ofta ett syfte som handlar om generaliserbarhet det vill säga möjligheten att kunna överföra ny kunskap och dra allmängiltiga slutsatser och överföra den nya kunskapen till att gälla för alla. För att kunna generalisera forskningsresultat behöver alla de olika faserna i en studie vara av hög kvalitet (validitet och reliabilitet). Hur ser urvalet ut? Är deltagarna i studien enbart lärare från en skola? Vidare är de teoretiska antagandena av stor vikt. Vad säger den tidigare forskningen om det fenomen jag valt att studera? Att kunna dra slutsatser gällande vad som är orsak och verkan är svårt. I vårt exempel kan vi fråga oss om det är elevernas motivation som leder till att de lär sig mer och därför får bra betyg eller om det är betyget som påverkar eleven att bli mer motiverad. För att kunna diskutera vad som orsakar ett fenomen bör forskaren kunna separera olika mekanismer och urskilja vad som är orsak och verkan. Ett exempel på detta är om det är betygen som motiverar eleverna att presterar eller om det är elevernas motivation som gör att de presterar och får bra betyg. Det är i praktiken mycket svårt att fastställa orsakssamband. Inom pedagogisk- och utbildningsvetenskaplig forskning kan de undersökta fenomenen vara komplexa där en stor mängd faktorer kan spela in och det kan därför vara svårt att fastställa vad som är orsak och verkan. 17

18 Vidare läsning Referenser Djurfeldt, G., Larsson, R., & Stjärnhagen, O. (2010). Statistisk verktygslåda samhällsvetenskaplig orsaksanalys med kvantitativa metoder. Lund: Studentlitteratur. Djurfeldt, G., & Barmark, E. (red.) (2009). Statistsk verktygslåda multivariat analys. Lund: Studentlitteratur. Ellis, D. P. (2010). The essential guide to effect sizes. Statistical power, meta-analysis, and the interpretation of research results. New York: Cambridge University press. Gustafsson, J-E. (2009). Strukturella ekvationsmodeller. I (red.) G. Djurfeldt & M. Barmark Statistisk verktygslåda multivariat analys. Lund: Studentlitteratur. Lekholm Klapp, A., & Cliffordson, C. (2008). Discrepancies between school grades and test scores at individual and school level: effects of gender and family background. Educational Research and Evaluation, 14(2),