Delprojekt I. Format för kartläggning och sammanställning av forskning i Norden. Magnus Levinsson.

Transkript

1 Delprojekt I Format för kartläggning och sammanställning av forskning i Norden Magnus Levinsson

2 Skolforskningsinstitutet en ny myndighet som ska ansvara för att systematiskt väga samman och sprida forskningsresultat som kan bidra till ökad kunskap om vetenskapligt väl underbyggda och effektiva metoder och arbetssätt i skolväsendet. Syftet är att öka måluppfyllelsen och förbättra kunskapsresultaten i skolan (Dir. 2014:7). Evidensbaserad praktik Systematiska forskningsöversikter

3 EPPI- Centre Mäklarorganisationer Kunnskapssenteret for utdanning Danish Clearinghouse The CSRI NB- ECEC What Works Clearinghouse Campbell Collabora2on Best Evidence Encyclopedia Promising Prac2ces Network Educa2on Counts

4 Evidensbaserad praktik Archie Cochrane Randomiserade kontrollförsök (RCT:er) Metaanalys Evidence-based medicine tidigt 90-tal Flera utvecklingslinjer (Bohlin, 2011)

5 Metaanalys Gene Glass & Mary Smith, 70-tal Beteende- och utbildningsvetenskap Enskilda resultat omvandlas till enhetligt mått, effektstorlek Sammanvägd effektstorlek Låg till grund för utvecklingen av systematisk översikter

6 Evidensbasering inom utbildning David Hargreaves, 1996 Etablerades i anglosaxiska länder OECD förespråkar reformer Omfattande debatt - avståndstagande/polarisering Utveckling av EBP I Sverige efter TIMSS och PISA jfr NPM (Hammersley, 2004)

7 Evidensbasering i Sverige idag Regeringen satsar 30 miljoner på evidensbaserad skola och förskola Skolforskningsinstitut Skolverkets satsning Forskning lyfter Arbetsgivare och fackförbund Forskningsöversikter utövar inflytande

8 Utveckling av nya format Rapid review - Begränsad litteratursökning med syntes - t.ex. Chandler m.fl. (2014); Khangura, m.fl. (2012) Systematic map - Deskriptiva och analytiska kartläggningar av forskning - t.ex. Dyson & Gallannaugh, (2008); Gough m.fl. (2003) Bygger på ett urval av metodiken Internationella standarder saknas

9 Syfte Det övergripande syftet är att undersöka vilka olika format för kartläggning och sammanställning som tillämpas av etablerade mäklarorganisationer i Norden. Syftet är vidare att utforska formatens relevans för utbildningsvetenskaplig forskning och Skolforskningsinstitutets uppdrag

10 Frågeställningar Vilka olika format för kartläggning och sammanställning av forskning tillämpas i Norden? Vad utmärker de olika formaten? Vilken huvudsaklig inriktning och funktion kan identifieras? I vilken grad ligger den systematiska översiktens metodik till grund för de kartläggningar och sammanställningar som genomförs? I vilken grad uppfyller respektive format de kvalitetskrav som ställs på systematiska översikter? Hur dokumenteras och tillgängliggörs resultaten för olika målgrupper? Vilka format för kartläggning och sammanställning kan bedömas som relevanta för utbildningsvetenskaplig forskning och Skolforskningsinstitutets uppdrag?

11 Urval och avgränsning Kunnskapssenteret for helsetjenesten (Norge) Socialstyrelsen (Sverige) Kunnskapssenteret for utdanning (Norge) Statens beredning för medicinsk utvärdering (Sverige) SFI Campbell (Danmark) Danish Clearinghouse (Danmark) Utbildning, Socialt arbete, Medicin och hälsa

12 Design och metod Webb och dokumentanalys - Mäklarorganisationers webbsidor - Metodhandböcker - Publikationer Intervjuer med ansvariga Teoretiskt ramverk - Den systematiska översiktens metodik (jfr Bragge m.fl., 2011; Ganann m.fl. 2010; Harker & Kleijnen, 2012) - Aggregativ vs konfigurativ logik (Gough m.fl., 2012)

13 Teoretiskt ramverk

14 Systematiska översikter Aggregering Konfigura2on

15 Kvalitetsbedömning AMSTAR och Socialstyrelsens granskningsmall 1. Redovisas en förbestämd metod för genomförandet? 2. Var litteratursökningen av tillfredsställande omfattning? 3. Har litteratursökning, gallring och kodning beskrivits utförligt? 4. Är gallring och kodning genomförd av två oberoende granskare 5. Har kartläggningen tydliga inkluderings- och exkluderingskriterier? 6. Var kriterierna avseende studiedesign relevanta i förhållande till syfte och frågeställning? 7. Dokumenteras såväl inkluderade som exkluderade studier? 8. Beskrivs de inkluderade studiernas kännetecken och resultat? 9. Har de inkluderade studierna kvalitetsbedömts? 10. Har kvalitetsbedömning genomförts av två oberoende granskare? 11. Har hänsyn tagits till kvalitetsbedömning av respektive studie vid formulering av slutsatser och rekommendationer?

16 Relevansbedömning Skolforskningsinstitutet ska bidra till att de verksamma inom skolväsendet ges goda förutsättningar att planera, genomföra och utvärdera undervisningen, med stöd av vetenskapligt underbyggda metoder och arbetssätt. Myndigheten ska bidra till goda förutsättningar för barns och elevers utveckling och lärande samt till förbättrade kunskapsresultat för elever (U 2014:02. bilaga 1). Forskning för lärare, från olika discipliner och områden, som svarar mot professionens frågor Kunskapsuppdrag, demokratiförberedelse, sociala färdigheter, personlig utveckling (SFS, 2010:800, kap. 1, 4 ).

17 Identifierade format i Norden Kunnskapssenteret for helsetjenesten - Systematisk litteratursøk med sortering - Hurtigöversikter Socialstyrelsen - Förstudie - Systematisk kartläggning SBU - SBU upplysning - SBU kunskapsluckor SFI Campbell - Vidensoverblik - Kortlægning - Videnssyntese Kunnskapssenteret for utdanning - Inga utarbetade format - En kartläggning pågår Danish Clearinghouse - Brief systematisk forskningskortlægning, - Systematisk forskningskortlægning

18 SFI Campbell

19 Socialstyrelsen Förstudie - Ett stickprov, undersöker om det är lämpligt att genomföra en systematisk översikt eller kartläggning för en viss frågeställning Systematisk kartläggning - Beskriver begreppsapparat och forskningsaktivitet - Följer den systematiska översiktens metodik - Ej syntes och evidensgradering Kartläggning av både forskning och praktik

20 Kvalitetsbedömning Hurtigoversikt, Brief systematisk forskningskortlægning, Kortlægning och SBU upplysning tenderar att uppfylla kraven i granskningsmallen i lägre grad - Begränsade litteratursökningar - Ingen eller enklare former av reliabilitetsprövning - Ingen eller enklare former av kvalitetsbedömning

21 Inriktning och funktion Den aggregativa översiktens metodik ligger till grund för merparten av formaten. Formaten är som regel hierarkiskt ordnade Metaanalys prioriteras Kvalitativa studier förefaller inte räknas som ett tillräckligt underlag för systematisk översikt Praktisk relevans indirekt Konfigurativa drag i undergruppsanalyser och beskrivningar, samt kartläggningar av praktiken

22 Relevans för Skolforskningsinstitutet Allmänt - Hur hög grad av systematik och transparens kan åstadkommas - Hur kartläggningar och sammanställningar kan stödja arbetet med systematiska översikter Specifikt - Hur format kan utvecklas och tillämpas när det gäller ett tekniskt kunskapsintresse. - Formatens möjligheter att svara mot andra kunskapsintressen är begränsade. Formaten bedöms inte som tillräckliga för institutets uppdrag.

23 Preliminära rekommendationer Samverkan med mäklarorganisationer i Norden för insikt i hur hög grad av systematik och transparens kan åstadkommas, samt hur kartläggningar och sammanställningar kan bistå arbetet med systematiska översikter. Samverkan med mäklarorganisationer inom utbildningsområdet i syfte att utveckla nya format för kartläggning och sammanställning. Utveckla kartläggningar av både forskning och praktik? Samverkan med Skolverket och Skolinspektionen inom detta område?

24 Tack för mig!