Bilaga 3: Redovisning av beräkningar som ligger till grund för skogsdiagrammen

Transkript

1 Digitala lärresurser i matematikundervisningen. Systematisk översikt 2017:02. Skolforskningsinstitutet, Bilaga 3: Redovisning av beräkningar som ligger till grund för skogsdiagrammen Resultat som har använts De värden som används i skogsdiagrammen är rapporterade resultat i form av medelvärden och standardavvikelser på er i de ingående studierna. I de flesta fall är resultaten inte justerade för eventuella skillnader i resultat på förtester. För att en studie ska få ingå har vi dock ställt krav på att skillnader i resultat på förtester inte får ha varit för stora. Vissa studier har rapporterat resultat som är justerade för skillnader i resultat på förtesten. I dessa fall har de värdena använts. I många studier har man dock redovisat ojusterade testresultat även om man har tillämpat så kallade multivariata metoder i sin dataanalys. I dessa fall har vi varit hänvisade till att använda de ojusterade resultaten. Multivariata metoder, dvs. statistiska analyser som behandlar mer än en variabel åt gången, kan vara särskilt lämpliga vid kvasiexperimentella upplägg och då exempelvis för att kompensera för initiala skillnader mellan grupper som jämförs (förtesten). Men eftersom vi inte har kunnat ta hänsyn till de multivariata analyserna för att skapa skogsdiagrammen kan våra beräkningar skilja sig en aning från forskarnas egna analyser. Det är viktigt att inte se våra beräkningar som en överprövning av de analyser som är gjorda av forskarna själva i de enskilda studierna. Vissa studier har rapporterat resultaten i form av förändring från baslinje, dvs. hur mycket jämförda gruppers resultat har förändrats i förhållande till de resultat som erhölls på ett förtest inför experimentets start. Det rekommenderas att inte kombinera resultat avseende slutvärden respektive värden på en förändring om avsikten är att sammanväga resultaten i en metaanalys (Higgins & Green, 2011). Eftersom vi har valt att inte göra några sammanvägningar har vi bedömt det som acceptabelt att redovisa både studier som rapporterat slutvärden och studier som rapporterat förändring från baslinje i samma diagram. I vissa studier har resultaten presenterats på ett sätt som gör att vi inte har kunnat använda dem i ett skogsdiagram. Dessa studier är inte med i diagrammen utan redovisas på annat sätt i översikten. Exempelvis kan det handla om studier där resultaten har rapporterats enbart på en aggregerad nivå, såsom en effektstorlek, eller studier som har presenterat resultaten enbart i ett diagram. Även om vi inte har kunnat illustrera den typen av resultatredovisning i skogsdiagrammen är det inte att betrakta som en brist i studierna. Det finns särskilda beräkningsmetoder som tar hänsyn till de fel som kan uppstå vid ett grupprandomiserat upplägg (Borenstein, Hedges, Higgins, & Rothstein, 2009; Higgins & Green, 2011). En konsekvens blir att skattningarnas osäkerhet ökar något (dvs. konfidensintervallen blir större). Men eftersom justering för gruppeffekter främst har betydelse för en sammanvägning har vi inte lagt ned arbete på att försöka skatta om resultaten. I de fall cross-overstudier har inkluderats har vi enbart använt resultaten från den första perioden, dvs. att studien har hanterats som om den haft ett upplägg med parallella grupper. I det här sammanhanget är det ett rekommenderat sätt för att undvika en del av de risker som upplägget kan medföra (Higgins & Green, 2011).

2 1 Sammanslagningar av resultat i enskilda studier Studier som har flera grupper I några studier har varianter av en och samma digitala resurs studerats i olika experimentgrupper. Det kan exempelvis ha handlat om olika sätt att organisera undervisningen, såsom att man har jämfört elever som arbetar i grupp med elever som arbetar enskilt. I de fall flera experimentgrupper har jämförts med en och samma jämförelsegrupp har vi i de flesta fall beräknat ett sammanslaget medelvärde och standardavvikelse för samtliga experimentgrupper. I några studier har man också haft fler än en jämförelsegrupp och då har vi oftast beräknat ett sammanslaget medelvärde och standardavvikelse för dessa. Det framgår i tabellen nedan för vilka studier och på vilket sätt vi har gjort sådana beräkningar. Studier som har flera utfall Några studier har utvärderat flera utfall (olika aspekter på kunskapsutvecklingen i matematik) och redovisat resultaten separat (t.ex. begrepps- respektive procedurförmåga). I de fall ett samlat resultat på kunskapsutvecklingen i matematik har rapporterats i studierna har det använts i analyserna. I de fall data enbart har rapporterats separat för olika utfall har vi i de flesta fall valt att beräknat ett sammanslaget medelvärde och standardavvikelse. Det framgår i tabellen nedan för vilka studier och på vilket sätt vi har gjort sådana beräkningar. Vissa studier har rapporterat resultat både uppdelade på olika utfall och som ett samlat mått. I dessa fall har det samlade resultatet använts direkt. Sammanfattningsvis har studierna i skogsdiagrammen rapporterat resultat i form av numeriska värden avseende kunskapsutvecklingen i matematik, och rapporterat resultaten i form av medelvärden med tillhörande spridningsmått. Nr Studie Experimentgrupp Jämförelsegrupp Resultat som avses 24 Desoete 2013 Medel SD Antal (n) Medel SD Antal (n) Counting games, number knowledge (at Counting games, mental arithmetic (at Comparison games, number knowledge (at Comparison games, mental arithmetic (at No games (control), number knowledge (at No games (control), mental arithmetic (at Sammanslagna medelvärden och SD 68 Drijvers Retention_Linear, Retention_Quadratic, Sammanslagna medelvärden och SD 71 Engerman Grupp Grupp 3

3 Grupp Grupp Sammanslagna medelvärden och SD 72 Erbas Grupp 1, Grupp 3, Grupp 2, Grupp 4, Sammanslagna medelvärden och SD 78 Foster Number strand total Number recognition and subitizing Composition of number Arithmetic Number comparison and sequencing Applied Problems Sammanslagna medelvärden och SD 103 Ke Individualistic, justerat för förtest Competitive, justerat för förtest Cooperative, justerat för förtest Sammanslagna medelvärden och SD 106 Ke Competitive, justerat för förtest Cooperative, justerat för förtest Sammanslagna medelvärden och SD 109 Khairulanu a Interaction, justerat för förtest Animation, justerat för förtest Sammanslagna medelvärden och SD 169 Kramarski Unsolicited Group, (individuellt) Solicited Group, (individuellt) Sammanslagna medelvärden och SD 171 Kramarski 2006b Online+Meta, justerat för förtest Ftf+Meta, justerat för förtest Online, justerat för förtest Ftf, justerat för förtest Sammanslagna medelvärden och SD

4 3 172 Kramarski MCL, 4.5 åringar, proceduralt kunnande MCL, 5.5 åringar, proceduralt kunnande MCL, 4.5 åringar, konceptuellt kunnande MCL, 5.5 åringar, konceptuellt kunnande CL, 4.5 åringar, proceduralt kunnande CL, 5.5 åringar, proceduralt kunnande CL, 4.5 åringar, konceptuellt kunnande CL, 5.5 åringar, konceptuellt kunnande Sammanslagna medelvärden och SD 188 Pitchford Maths tablet, S2, Mathematical concepts Maths tablet, S2, Maths curriculum knowledge Maths tablet, S2, Mathscurriculum knowledge generalization Maths tablet, S3, Mathematical concepts Maths tablet, S3, Maths curriculum knowledge Maths tablet, S3, Mathscurriculum knowledge generalization Non-maths tablet, S2, Mathematical concepts Non-maths tablet, S2, Maths curriculum knowledge Non-maths tablet, S2, Mathscurriculum knowledge generalization Non-maths tablet, S3, Mathematical concepts Non-maths tablet, S3, Maths curriculum knowledge Non-maths tablet, S3, Mathscurriculum knowledge generalization Sammanslagna medelvärden och SD 189 Praet Counting games, number knowledge, Counting games, mental arithmetic, Comparison games, number knowledge, Comparison games, mental arithmetic, Control, Number knowledge, fördröjt Control, Mental Arithmetic, fördröjt Sammanslagna medelvärden och SD 203 Schoppek Shared control, fördröjt efterttest, justerat för förtest Program control, fördröjt efterttest, justerat för förtest Sammanslagna medelvärden och SD

5 4 217 Ploger Experiment 1, written test Experiment 2, written test Sammanslagna medelvärden och SD 233 Long RePr+Rwd, Post-overall, n uppskattat NoRePr+Rwd, Post-overall, n uppskattat RePr+noRwd, Post-overall, n uppskattat NoRePr+noRwd, Post-overall, n uppskattat Sammanslagna medelvärden och SD 237 Obersteiner Exact (M, SE) Approximate (M, SE) Approximate + exact (M, SE) Jämförelsegrupp (M, SE) Sammanslagna medelvärden och SD (SD omräknad från SE) 240 Rau MGR+SE, reproduction conceptual, MGR+SE, reproduction procedural, MGR+SE, transfer conceptual, fördröjt MGR+SE, transfer procedural, fördröjt SGR+SE, reproduction conceptual, fördröjt SGR+SE, reproduction procedural, fördröjt SGR+SE, transfer conceptual, fördröjt SGR+SE, transfer procedural, fördröjt Sammanslagna medelvärden och SD 243 Roschelle Åk Åk Sammanslagna medelvärden och SD 252 Weiss CL (cooperative) IL (individual) Sammanslagna medelvärden och SD 275 Pareto Compute Concept Strategy Other

6 Sammanslagna medelvärden och SD 281 ter Vrugte 2015a Collaboration competition Collaboration Competition Sammanslagna medelvärden och SD 282 ter Vrugte 2015b Reflection plus procedural information Reflection Procedural information Sammanslagna medelvärden och SD 307 Bakker Grade 2 knowledge test, E-School Grade 2 knowledge test, E-Home Grade 2 knowledge test, E-Home-School Grade 2 skills test, E-School Grade 2 skills test, E-Home Grade 2 skills test, E-Home-School , Grade 2 insight test, E-School Grade 2 insight test, E-Home Grade 2 insight test, E-Home-School Grade 3 knowledge test, E-School Grade 3 knowledge test, E-Home Grade 3 knowledge test, E-Home-School Grade 3 skills test, E-School Grade 3 skills test, E-Home Grade 3 skills test, E-Home-School Grade 3 insight test, E-School Grade 3 insight test, E-Home Grade 3 insight test, E-Home-School Sammanslagna medelvärden och SD 308 Carr Cognitive, Achievment test, boys Cognitive, Achievment test, grirls Fluency, Achievment test, boys Fluancy, Achievment test, grirls Combined, Achievment test, boys Combined, Achievment test, grirls Control, Achievment test, boys Control, Achievment test, grils

7 Sammanslagna medelvärden och SD 321 Pilli MAT1, MAT2, MAT3 (exkluderas pga felrapportering i tabell 1, s 67) Sammanslagna medelvärden och SD 324 Tsuei st semester, overall scores, CBM st semester, overall scores, CBM st semester, overall scores, CBM st semester, overall scores, CBM nd semester, overall scores, CBM nd semester, overall scores, CBM nd semester, overall scores, CBM nd semester, overall scores, CBM Sammanslagna medelvärden och SD 327 Ysseldyke SS Gain, grade SS Gain, grade SS Gain, grade SS Gain, grade Sammanslagna medelvärden och SD Beräkningsmetod för skattning av effektstorlekar i skogsdiagrammen Den beräkningsmetod vi har valt för att skatta de enskilda studiernas effektstorlekar och konfidensintervall kallas inverse variance random-effects. Metoden utgår från antagandet att effekternas storlek faktiskt skiljer sig mellan studierna, men att variationen är slumpmässigt fördelad (därav random). Valet av metod har dock främst betydelse för hur stort inflytande ingående studier får för en sammanvägd effektstorlek. Eftersom vi valt att inte beräkna sammanvägningarna har det i det här sammanhanget inte någon avgörande betydelse. För den som är intresserad av att fördjupa sig inom statistiska metoder för metaanalys hänvisar vi till speciallitteratur i (t.ex. Borenstein 2009).

8 7 Litteratur Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. Higgins, J. P. T., & Green, S. (Eds.). (2011). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]: The Cochrane Collaboration. Available from