Vetenskap eller debatt? En fråga om etikett

Pedagogisk Forskning i Sverige 2010 årg 15 nr 4 s 307 326 ISSN 1401-6788 Vetenskap eller debatt? En fråga om etikett CLAES NILHOLM Högskolan för lärande och kommunikation, Jönköping ANN-CARITA EVALDSSON Institutionen för pedagogik, didaktik och utbildningsstudier, Uppsala universitet I det här inlägget önskar vi ta upp ett antal etikettsfrågor med anledning av Ingemar Bohlins artikel»systematiska översikter, vetenskaplig kumulativitet och evidensbaserad pedagogik» i föregående nummer, det vill säga nummer 2 3/2010 (s 164 ff) av Pedagogisk Forskning i Sverige. Vi vill tydliggöra att vi vänder oss till tidskriftens redaktion och inte till Ingemar Bohlin. Vi vill väcka en diskussion kring det redaktionella arbetet kring Bohlins artikel men också den»debatt»-artikel vi själva skrivit med titeln»evidensbaserat skolarbete och demokrati mobbning som exempel» i denna tidskrifts nummer 1/2009 (s 65 ff). Den något vitsiga rubriken ovan (redaktionen befinner sig trots allt i Göteborg) ska tolkas som att vi vill diskutera två frågor som har att göra med etikett, om än i helt olika bemärkelse: (i) Vilken etikett kan vi forskare förvänta oss när vi refereras av andra forskare, och (vilket är vårt fokus här) vilket ansvar har en tidskrift i det sammanhanget? Och (ii) varför etiketteras vår artikel som debattartikel medan Bohlins artikel passerar som vetenskaplig artikel? Vi blir förvånade och förargade när Bohlin avfärdar vår artikel med att vi visar»en obenägenhet att sätta oss in i ämnet [evidensbaserad praktik]» (s 182). Detta är ju en väldigt allvarlig anklagelse, som också faller tillbaka på Pedagogisk Forskning i Sverige som ju enligt Bohlin accepterat två artiklar (även en artikel av Christer Fritzell pekas ut i sammanhanget) där man inte satt sig in i»ämnet». Ämnet för vår artikel är evidensbaserat arbete i skolan. Bohlins artikel innehåller inte ett enda argument, som styrker att vi inte håller oss till vårt ämne (detsamma gäller hans behandling av Fritzells artikel). Vår första fråga är om en tidskrift som Pedagogisk Forskning i Sverige bör publicera påståenden av denna typ när de inte underbyggs av argument? Vi tror inte

308 DEBATT att tidskriftens referees eller redaktörer hade accepterat detta om det gällt deras egen forskning. Den andra etikettsfrågan vi vill diskutera handlar om själva etiketteringen av artiklarna. Vi skickade in vår artikel till Pedagogisk Forskning i Sverige som vetenskaplig artikel. En referee var påtagligt positiv till artikeln och ville ta in den med marginella ändringar medan den andre var mer kritisk. Efter många turer beslutade den dåvarande redaktören Biörn Hasselgren att artikeln skulle publiceras med etiketteringen»debattartikel». Vad vi förstår hade man gjort på samma sätt med Mats Ekholms och Kerstin Lindblads kritiska artikel om skolinspektionen. Vi menar fortfarande att vi inte skrivit någon debattartikel, men eftersom processen dragit ut ungefär ett år i tiden gick vi med på denna form av publicering. Intressant nog nominerade Hasselgren sedan vår artikel till Nordisk Förening för Pedagogisk Forsknings»Ahlström Award», vilket torde betyda att Pedagogisk Forskning i Sverige satte stort värde på den. Vi tolkade det faktum att artikeln publicerades som»debattartikel» som att redaktören klämdes mellan en referee och två artikelförfattare. Men i ljuset av Bohlins artikel kan det vara betydelsefullt att närmare diskutera vad som egentligen skiljer hans artikel från vår och på vilket sätt de ska etiketteras. Vi kan säga att det finns minst tre avgörande skillnader mellan Bohlins artikel och vår: (i) Bohlin är i hög grad positiv till evidensrörelsen medan vi intar en mer kritisk position i relation till hur arbetet i skolan ska evidensbaseras. (ii) Bohlin intresserar sig för metoder att sammanställa framförallt kvalitativ forskning, medan vi fokuserar frågan om hur resultat från forskning ska kunna användas i skolans arbete. Det kanske är dessa olika foki som får Bohlin att tycka att vi inte håller oss till ämnet, det vill säga hans ämne. (iii) Vi diskuterar, till skillnad från Bohlin, evidensbasering i relation till makt och demokratifrågor. Den fråga vi vill ställa till redaktionen gäller utifrån vilka kriterier vår artikel kategoriseras som en»debatt»-artikel medan Bohlins artikel publiceras som en vetenskaplig artikel. Det kan inte handla om kunskapsbidraget vilket snarare är tydligare i vår artikel. Bohlin lyckas inte riktigt illustrera vad poängen är med att orientera sig i evidensrörelsens diskussion om hur man syntetiserar studier med kvalitativa data. Detta får förstås inte uppfattas som att det inte skulle vara fruktbart att orientera sig i denna diskussion, även om Bohlins konstaterande att»ett stort mått av begreppsförvirring råder» (s 172) kan verka avskräckande för läsaren. Bohlin urskiljer två poler i debatten om hur man ska göra synteser av studier med kvalitativa data. Å ena sidan en som lägger sig nära den typ av synteser som är etablerade i sammanställningar av kvantitativa data. Å andra sidan en som betonar betydelsen av att kontextualisera både undersökningens metoder och undersökningsobjeket. Och hur ska den pedagogiske forskaren förhålla sig till detta? Bland reflekterade företrädare för olika former av metasyntes råder enighet om att det grundläggande antagandet vid den förra polen är

DEBATT 309 naivt. Beträffande den typ av kontext studierna bör placeras in i råder dock ingen konsensus. (s 173) Detta är sammanfattningen av kunskapsläget och utfallet av»den grundläggande epistemologiska analysen» vad gäller det som är artikelns fokus»metodernas förmåga att hantera kvalitativa studier». Vi står lite frågande inför vilken ny kunskap som tillförs här. Något paradoxalt är det lite svårt att se det kumulativa forskningsbidraget i en artikel som handlar om vetenskaplig kumulativitet! Bohlin gör en stor poäng av att synteser är viktiga. Det hade varit oerhört värdefullt om Bohlin hade kunnat ge ett bidrag till detta komplexa område. Vi tror många pedagogiska forskare hade varit oerhört tacksamma att få ta del av eventuella»breakthroughs» i metoder för sammanställningar av forskning med kvalitativa data. Syntesen av forskning med kvalitativa data kan förväntas fortsätta gå för lösa boliner. Så tillbaka till frågan om vetenskaplighet kontra debatt. Om det inte handlar om kunskapsbidraget måste det handla om något annat. Kan det vara att vi använder en explicit retorisk figur i form av en tydlig argumentation mot en viss position som gör att vår artikel etiketteras som debatt? Men att identifiera luckor i någon annans argumentation har alltid varit en grundläggande beståndsdel i vetenskaplig verksamhet och ligger bakom många vetenskapliga framsteg. Och vi skulle vilja hävda att Bohlins artikel är minst lika retorisk fast på ett mer försåtligt sätt. Bohlins retoriska figur är kortfattat att (a) normativ (detta nyckelord har fallit bort i abstraktet) kumulativitet är avgörande för kunskapsutveckling, (b) metoder för syntes av studier med kvalitativa data har utvecklats inom evidensrörelsen, (c) evidensrörelsen har varit framgångsrik, och (d) därför bör pedagogiska forskare orientera sig i de metoder för syntes av kvalitativa studier som utvecklats inom evidensrörelsen. Problemet är att eftersom Bohlin hoppar över argumentationen för och illustrationen av de nya metodernas nyskapande potential kommer (d) att framförallt stödjas av argumentet (c). Hans till stora delar oproblematiserade framställning av evidensrörelsens framväxt och framgång blir både ett budskap i artikeln och det som ger stöd åt det Bohlin hävdar är sin huvudtes. Vidare gör Bohlin en stor poäng av (a) men detta argument är ju inte på något sätt ägt av evidensrörelsen. Vi har alltså argumenterat för att det inte verkar vara kunskapsbidraget eller det retoriska inslaget som skiljer artiklarna åt. Det som återstår är alltså att vi till skillnad från Bohlin anlägger ett kritiskt perspektiv genom att problematisera relationen mellan forskning och skolans arbete och belysa evidensbasering i relation till demokratifrågor och makt. Är det så att det är det kritiska perspektivet som får tidskriften Pedagogisk Forskning i Sverige att kategorisera artikeln som»debatt»? Vi är spända på att höra om man menar att artiklarna skiljer sig åt på de kriterier vi diskuterat här eller om det är några andra kriterier som gör att den ena artikeln rubriceras som»debatt» och den andra som»vetenskap».

310 DEBATT Vetenskap eller debatt, det är frågan? BIÖRN HASSELGREN Pedagogisk Forskning i Sverige Det är ett antal intressanta frågor Ann-Carita Evaldsson och Claes Nilholm aktualiserar i sitt irriterade inlägg med anledning av Ingemar Bohlins artikel»systematiska översikter, vetenskaplig kumulativitet och evidensbaserad pedagogik». Själv ska jag försöka ge svar på de frågor som rör det redaktionella arbetet, medan jag låter Ingemar Bohlin ta hand om sakfrågorna. Först till frågan om statusfrågan som rör debatt versus vetenskap. Tidskriften Pedagogisk Forskning i Sverige är en av den vetenskapliga disciplinen pedagogiks arenor, vilket innebär att allt som publiceras i tidskriften ska vara vetenskapligt relevant. Att vara relevant i det här sammanhanget innebär dock inte att allt som framförs har den etablerade vetenskapens insignier. Tiskriften ska, förutom att vara en arena för den mogna vetenskapen, också vara forum för det som är i vardande liksom för det som är kritiskt. Redaktionens sätt att skapa underlag för bedömning av vad som kan betraktas som moget respektive kritiskt är bruket av oberoende sakkunniga som bedömer de texter som sänds in till tidskriften för eventuell publicering. Evaldsson och Nilholm ger också en högst rimlig bild av vad som hände deras artikel vid bedömningen. Vad man då kan konstatera är att Bohlins artikel passerade sakkuniggranskningen utan allvarligare anmärkningar medan Evaldssons och Nilholms artikel inte utan allvarligare invändningar passerade den ena av de sakkunniga. Därvid kan man då naturligtvis ställa frågan om Bohlin hade tur eller Evaldsson och Nilholm hade otur i valet av sakkunniga. Den frågan har inte ställts och läggs härmed åt sidan. I valet mellan att åtgärda de invändningar den ene av de sakkunniga hade, och som av redaktionen (mig i detta fall) betraktades som högst relevanta, eller att utan ytterligare åtgärder publicera sin artikel i tidskriftens mindre statustyngda avdelning»debatt» valde man det senare. Jag kan i högsta grad förstå författarnas otålighet liksom också verkligen beklaga att bedömningsprocessen i det här fallet dragit ut så i tiden som den gjort (närmare ett år). Däremot har jag svårt att förstå författarnas känsla av nedklassning, som jag tycker de ger uttryck för. Det ligger inte inom redaktionens kompetensområde att, förutom undantagsvis, bedöma sakinnehållet i de artiklar som sänds in för eventuell publicering, det är ju de sakkunnigas uppgift. Redaktionen har att hålla sig till de sakkunniga förutom i de fall deras utlåtanden är uppenbart egendomliga. Redaktionens policy är att låta författarna gå i svaromål när sakkunniga är av olika uppfattningar. Jag har således svårt att se att en debattartikel skulle vara av mindre värde än en vetenskaplig, vilket ju också framgår av att jag bland

DEBATT 311 andra föreslog Evaldssons och Nilholms artikel till det Ahlströmska priset, som vid den då aktuella tidpunkten, betyder att jag tycker artikeln svarar mot följande: Priset är avsett för en i Norden verksam forskare, som under den period priset avser, bedöms bäst ha utvecklat antingen en självständig vetenskaplig ståndpunkt inom eller ett nytt perspektiv på något pedagogiskt område. (http://www.ped.gu.se/biorn/nfpf/pedpris.htm l; 2011.02.28)

312 DEBATT Evidensbaserad och kunskapsbaserad pedagogik Specifika metoder, generella problem INGEMAR BOHLIN Sociologiska institutionen, Göteborgs universitet Trots vad Ann-Carita Evaldsson och Claes Nilholm inledningsvis skriver i sitt inlägg ovan gäller en hel del av deras kritiska synpunkter innehållet i min artikel i Pedagogisk Forskning i Sverige (Bohlin 2010) snarare än redaktionens agerande. Jag är därför tacksam över att redaktören har gett mig möjlighet att besvara denna del av deras kritik. Evaldsson och Nilholm anser att jag har brutit mot god forskningssed, eller åtminstone mot akademisk etikett, genom att underkänna deras artikel (Evaldsson & Nilholm 2009) utan att ge ett enda argument. I min text (Bohlin 2010) ger jag deras artikel både erkännande och kritik, och argument till stöd för reservationerna står faktiskt att läsa i texten. Jag ger dock gärna Evaldsson och Nilholm rätt i att argumenteringen är alltför kortfattad för att ge något uttömmande stöd för det kritiska omdömet. I vad som följer tar jag tillfället i akt att utveckla och nyansera resonemanget. De frågor som kommer att beröras är av betydelse långt bortom akademiska skärmytslingar. Allra först, dock, några ord för nytillkomna läsare om vad som utlöst Evaldssons och Nilholms missnöje. I inledningen till min artikel skriver jag att ingen svensk utbildningsforskare tycks ha orienterat sig i debatten om metaanalys, systematiska översikter och andra format för syntes av empiriska studier. (s 166) I en åtföljande not säger jag att Evaldssons och Nilholms artikel är»den mest substantiella diskussion av evidensbaserad pedagogik» jag känner till på svenska, men att den samtidigt exemplifierar svenska utbildningsforskares»fortsatta obenägenhet att sätta sig in i ämnet». 1 I en lång avslutande not förs ett resonemang, som jag kommer att utveckla nedan, om vissa brister i deras analys. EVIDENSBASERAD OCH KUNSKAPSBASERAD PRAKTIK Avståndet mellan pedagogisk forskning och lärares praktik uppfattas ofta som ett allvarligt problem, inte bara för utbildningens kvalitet utan även för forskningens legitimitet, och olika sätt att komma till rätta med problemet har länge diskuterats. På senare år har kravet att pedagogisk praktik utformas i enlighet med resultaten av vetenskapliga undersökningar blivit alltmer uttalat, både internationellt och i Sverige. Till de konkreta uttrycken för denna tendens hör den ökade vikt som myndigheter och andra organ lägger vid

DEBATT 313 översikter av aktuell pedagogisk forskning. 2 Ett annat uttryck för samma ambition är det uppdrag att genomföra en utbildning i forskningsbaserade åtgärdsprogram mot mobbning, som regeringen 2007 gav Myndigheten för skolutveckling. 3 Evaldssons och Nilholms artikel är en kritisk granskning av detta initiativ. Författarna ställer angelägna frågor om vilka konsekvenserna kan bli av att statsmakterna på detta sätt försöker styra verksameten i svenska skolor. Initiativet bygger, anser författarna, på föreställningar om produktion, sammanställning och tillämpning av vetenskaplig kunskap som hör hemma i en förlegad positivistisk tradition. Ett viktigt led i Evaldssons och Nilholms analys utgörs av en jämförelse mellan tre rapporter som alla behandlar effekterna av olika åtgärdsprogram mot mobbning. En av rapporterna är en kartläggning (Myndigheten för skolutveckling 2007) som genomfördes på ett tidigt stadium av detta myndighetsinitiativ. De övriga två sammanställningarna har genomförts av norska respektive en australiensisk forskare (Nordahl, Gravrok, Knudsmoen, Larsen & Rørnes 2006, Rigby 2002). Länkar till båda ges på de sidor på Skolverkets hemsida där initiativet redovisas. Av jämförelsen framgår att rapporternas resultat pekar i olika riktningar. Sådana skillnader brukar föreligga mellan översikter av forskningsrön, framhåller Evaldsson och Nilholm, eftersom varje sammanställning bygger på en specifik uppsättning antaganden. Bristen på överensstämmelse mellan de slutsatser som dras i dessa översikter kan helt enkelt tjäna som illustration till att det ligger i forskningens natur att»olika tolkningsmöjligheter alltid föreligger» (s 72). Användningen av kunskapsöversikter som ett redskap för systematisering av vetenskapliga resultat bygger tvärt om på föreställningen att»forskarsamhället skulle kunna enas om en enda beskrivning av verkligheten och att det också är ett eftersträvansvärt tillstånd» (s 70). Ett grundläggande antagande bakom dessa ansträngningar är, annorlunda uttryckt, att det är möjligt att med empiriska studier visa»att något specifikt är rätt och riktigt» (s 79). Evaldssons och Nilholms slutsats är att lärare inte bör tvingas att tillämpa forskningsresultat som torgförs med falska objektivitetsanspråk. Lärare bör kritiskt granska studier av relevans för deras praktik och aktivt delta i samtal om undersökningarnas förtjänster och begränsningar. Problem som mobbning hanteras bäst lokalt, i beslutsprocesser i vilka såväl elever som lärare är delaktiga. Mot teknokratisk centralstyrning och kontroll ställer Evaldsson och Nilholm ett demokratiskt ideal. Skolverkets uppdrag att samla in och ge spridning åt ny kunskap om åtgärdsprogram mot mobbning är ett tydligt exempel på de ansträngningar myndigheter och andra aktörer gör för att garantera att skolornas verksamhet bygger på vetenskapligt kunnande. Lika uppenbart är att begreppet evidensbaserad praktik har sitt ursprung i en strävan av detta slag. Inom utbildningsväsendet liksom inom andra samhällssektorer i länder världen över, har evidensbaserad praktik blivit ett honnörsord. Den starka ställning som»evidensrörelsen» på senare år uppnått är i hög grad ett resultat av breda strömningar i det moderna samhället. Härav följer emellertid inte att varje

314 DEBATT initiativ som tas för att stärka kvaliteten i vård, skola och omsorg sker i överensstämmelse med det evidensbaserade konceptet. I vad mån det konkreta fall Evaldsson och Nilholm diskuterar bör betraktas som ett exempel på evidensbaserad pedagogik är inte givet. Inledningsvis formulerar sig Evaldsson och Nilholm försiktigt om hur representativt regeringsuppdraget är för ansträngningar att etablera evidensbaserad praktik. De noterar att termen evidensbaserad pedagogik inte används i det pressmeddelande utbildningsdepartementet sände ut, och att uppdraget presenterades som en satsning på»forskningsbaserade» och»utvärderade» program mot mobbning. Författarna anser ändå att initiativet är ett uttryck för den evidensbaserade pedagogikens logik. Det primära syftet med deras artikel är att»kritiskt diskutera idén om evidensbasering» (s 66). Regeringsbeslutet ifråga (U2007/1205/S) har rubriken»uppdrag om utbildningssatsning i forskningsbaserade åtgärdsprogram mot mobbning i skolan». I texten återkommer termen forskningsbaserad och de besläktade begreppen utvärderad, kvalitetssäkrad och evidensbaserad, utan att några klara skillnader i innebörd framgår. Mönstret är detsamma i de rapporter som har utarbetats inom ramen för detta uppdrag: termen evidensbaserad förekommer, men det sker endast sporadiskt och utan att den lyfts fram som betydelsebärande (Skolverket 2009, 2011a, b). 4 Idén om evidensbaserad praktik springer ur evidensbaserad medicin (EBM), ett koncept vars genomslag inom hälso- och sjukvård varit oerhört starkt i stora delar av världen. EBM lanserades som ett nytt paradigm i början av 1990-talet, men dess förespråkare gjorde inte gällande att medicinsk praktik dessförinnan inte hade bedrivits på vetenskaplig grund. Budskapet var i stället att metoderna behövde förbättras: kliniska prövningar av medicinska interventioners effekter uppvisade alltför ofta metodologiska brister, rigorösa procedurer borde tillämpas vid sammanställning av resultat av serier av studier, och kliniska riktlinjer borde systematiskt användas för att påskynda implementeringen av ny kunskap i medicinsk praktik. Två metoder för produktion av robust medicinsk kunskap lyftes fram i den ursprungliga programförklaringen: randomiserade kontrollerade kliniska prövningar och metaanalys. Senare har systematiska översikter, ett format som utvecklats ur metaanalys, etablerats som en tredje, minst lika viktig metod. De inititativ som under de senaste 10 15 åren tagits för att sprida det evidensbaserade konceptet till socialt arbete, utbildning och andra områden har i stor utsträckning byggt på dessa tre metoder. Begreppet evidensbaserad praktik har alltså en mer specifik innebörd än de besläktade termerna kunskapsbaserad eller forskningsbaserad praktik, och är inte heller synonymt med kvalitetssäkring, utvärdering, dokumentation eller uppföljning, som alla är vanligt förekommande signalord. En del kritiker av försöken att införa evidensbaserad praktik inom socialt arbete använder därför termen kunskapsbaserad praktik som beteckning för en alternativ hållning (se Bryderup 2008). Evidensrörelsens expansion kantas av kontroverser, just för att nyckelbegreppet evidens avser en mycket specifik typ av kunskap, inte vetenskapligt stöd i allmänhet. 5

DEBATT 315 ÖVERSIKTER AV FORSKNINGSRESULTAT Givet Evaldssons och Nilholms ambition att granska de antaganden idén om evidensbaserad praktik bygger på, vore det rimligt att de, vid sidan om en polemisk artikel (Biesta 2007), hade använt sig av litteratur om det evidensbaserade konceptet eller texter i vilka dess förespråkare kommer till tals. Hade de gjort det kunde de ha upptäckt att fördelar och nackdelar med att översikter utarbetas, jämfört med att praktiker tillägnar sig förmågan att läsa primärstudier kritiskt, har varit föremål för en hel del diskussion inom evidensrörelsen (se t ex Bohlin 2011, 47 f). I en tidig fas av EBM:s utveckling betonades läkares förmåga till kritisk granskning (»critical appraisal»), men av pragmatiska skäl har långt större vikt senare lagts vid att praktiker ges tillgång till väl genomförda översikter. Vilken av dessa två modeller som än prioriteras är det uppenbart att praktiker som utan tillgång till goda översikter eller annat stöd på egen hand förutsätts kunna leta upp primärstudier av relevans för sin praktik och kritiskt granska dem, befinner sig i en mycket svår situation. Detta gäller läkare såväl som socionomer, lärare och andra kategorier av praktiker. Om författarna hade varit mer förtrogna med litteraturen om evidensbaserad pedagogik skulle de kanske också ha känt till de initiativ som har tagits för att utveckla formatet för systematiska översikter så att även resultaten av kvalitativa studier kan ingå. Enligt Evaldsson och Nilholm ges randomiserade experiment högsta prioritet i evidensbaserade sammanställningar, medan studier utförda med kvalitativa metoder utesluts. Så ser verkligen den evidenshierarki ut som somliga forskare utan modifikation velat importera till utbildningsvetenskapen. 6 Som framgår av min artikel har dock initiativ tagits för att systematiska översikter ska inkludera såväl kvalitativa som kvantitativa studier. Evaldssons och Nilholms argument på denna punkt, att empiriska resultat av uppenbar relevans för pedagogisk praktik förkastas på principiella metodologiska grunder inom det evidensbaserade programmet, följer på en sammanfattning av etnografiska studier av interaktion mellan unga personer i skolmiljö. Att författarna presenterar en sådan sammanfattning illustrerar och bekräftar en tes jag driver i min artikel. Oavsett vilken teoretisk ståndpunkt man intar till behovet och nyttan av översikter av läget inom olika forskningsområden är sådana sammanfattningar oumbärliga i vetenskaplig praktik. Man må hävda att det ligger i forskningens natur att olika översikter av ett givet område når motstridiga resultat, att man inte vetenskapligt kan visa att ett visst sätt att förstå verkligheten är mer välgrundat än något annat, och att konsensus inte ens är ett mål att sträva efter. I deras professionella praktik är det inte mindre viktigt för dem som förfäktar dessa åsikter än för andra forskare, att resultat av studier inom områden de verkar inom eller kommer i kontakt med sammanfattas på ett adekvat sätt. Detta är nödvändigt av vad som skulle kunna kallas ett internt skäl, att ny forskning ska kunna bygga vidare på tidigare studier, det vill säga att en kumulativ utveckling ska kunna äga rum.

316 DEBATT Ofta föreligger dessutom ett externt skäl, att resultatens innebörd och relevans för praktiker bör förmedlas tydligt. Detta externa skäl gör sig uppenbart gällande i Evaldssons och Nilholms fall, eftersom budskapet är att en annan typ av studier än de som har uppmärksammats i andra översikter av forskning av relevans för mobbningsproblemet kan vara av större betydelse för vad som kan och bör göras för att komma till rätta med problemet. Varje försök att bygga upp en evidensbaserad praktik kräver synteser av relevanta empiriska studier. Det finns skäl att betrakta de metoder som används för att genomföra dessa synteser som den centrala komponenten i det evidensbaserade konceptet. Även forskare som är kritiska till idén om evidensbaserad praktik tillämpar dock specifika kriterier i sina översikter av forskningsfält. Vilken bild av ett forskningsfält som framträder i en översikt betingas i stor utsträckning av den metod som har tillämpats i syntesen. Hur man än ställer sig till evidensbaserad praktik är frågan om sådana metoders förtjänster och begränsningar av stor vikt. För att kunna värdera olika metoders relativa styrka krävs kunskap om hur de är utformade. Det är till exempel av betydelse att texter som rubriceras som kunskapsöversikter brukar följa ett mycket öppnare, mindre formaliserat och väldefinierat format än dem som har utvecklats inom evidensrörelsen. De översikter av aktuell forskning som Skolverket och andra myndigheter låter genomföra är sällan systematiska översikter, och metaanalyser brukar inte ingå. Evaldsson och Nilholm kallar konsekvent de tre rapporter om åtgärdsprogram mot mobbning som de ställer mot varandra för metaanalyser. Beteckningen, som de aldrig definierar, är inte adekvat i något av fallen. Den australiensiska rapporten (Rigby 2002), som av sin författare betecknas som en»meta-evaluation», har en hel del gemensamt med systematiska översikter, men är inte något försök att följa detta format. Inte heller den norska rapporten (Nordahl m fl 2006) är någon systematisk översikt, även om ett visst släktskap existerar. 7 Den svenska rapporten (Myndigheten för skolutveckling 2007) är, som framgår av Evaldssons och Nilholms beskrivning, en sammanställning av material som företrädare för programmen anser ger stöd för att åtgärderna har positiva effekter. Tillvägagångssättet avviker kraftigt från såväl systematiska översikter som metaanalyser. Lämpligast för den svenska rapportens del förefaller de allmänna benämningarna granskning och kartläggning, som användes när den lades fram. Samtliga tre rapporter skulle dock kunna betraktas som kunskapsöversikter. Utan distinktioner mellan metaanalys, systematiska översikter, kunskapsöversikter och andra syntesformat är det, som jag påpekar i den avslutande noten i min artikel, svårt att föra en meningsfull diskussion om hur empiriska resultat kan och bör sammanfattas. Som jag redan framhållit är de frågor Evaldsson och Nilholm ställer angelägna. Om vetenskapliga studier entydigt visar att en viss hållning gentemot mobbning eller andra problem i skolan har gynnsamma effekter, talar starka skäl för att en sådan hållning allmänt bör intas bland lärare. Elever, föräldrar och övriga medborgare har till och med rätt att kräva att så sker. Ju svårare det

DEBATT 317 är att dra entydiga slutsatser av existerande forskning, desto mindre berättigade är dock alla försök att från departements- eller myndighetsnivå styra verksamheten. Oavsett det vetenskapliga underlagets karaktär kan den minskade autonomi för praktiker, som stärkt centralstyrning medför, dessutom ge allvarliga konsekvenser. Hotet mot professionellt omdöme har ägnats stor uppmärksamhet bland läkare, socionomer och andra grupper som berörs av initiativ som tas för att bygga upp en evidensbaserad praktik. Vad jag i detta inlägg försökt visa är att den diskussion Evaldsson och Nilholm inlett om sådana frågor skulle vinna åtskilligt på en större förtrogenhet med den svenska och internationella litteraturen om evidensbaserad praktik än den deras artikel uppvisar. När svenska forskare kritiserar evidensrörelsens intåg i socialt arbete tycks det vara en självklarhet att litteratur som specifikt behandlar evidensbaserad praktik diskuteras (se t ex Bergmark & Lundström 2006). Svenska utbildningsforskare har all anledning att följa detta exempel. AVSLUTANDE KOMMENTARER Innan jag avslutar detta inlägg skulle jag vilja ge en egen sammanfattning av huvudlinjerna i den argumentation jag för i min artikel. Det är ett missförstånd att artikeln är en plädering för evidensbaserad pedagogik. Att jag har reservationer gentemot randomiserade experiment inom pedagogik torde framgå. Jag har inte argumenterat för att pedagogisk forskning bör syntetiseras med hjälp av metaanalyser eller det format som har varit det etablerade i systematiska översikter. Inte heller har jag tagit till uppgift att redogöra för metodologiska genombrott av det slag Evaldsson och Nilholm efterlyser. Vidare fyller den passage de framställer som analysens utfall ingen sådan funktion, utan ingår i en sammanfattande beskrivning av existerande metoder. För dessa författare framstår artikelns»retoriska figur» som försåtlig. Riktigt läst innehåller argumentationen inga försåtliga drag. Dess huvudpunkter kan sammanfattas som följer: 1. Forskare har starka skäl att sammanfatta egna och andras resultat. Detta gäller i alla discipliner och oberoende av epistemologiska preferenser. Forskare som anser sig frambringa idiografisk kunskap, i motsats till nomotetisk, utgör till exempel inga undantag. Inom många fält syntetiseras empiriska resultat inte bara av interna utan även av externa skäl 2. Ett brett spektrum av metoder tillämpas vid syntes av empirisk forskning. Informella, spontant framvuxna rutiner har utmanats av formella metoder som, efter att ha utvecklats inom kvantitativ samhällsvetenskap, blivit ett centralt redskap i det evidensbaserade konceptets tjänst. I förlängningen av denna tradition, och delvis i opposition mot den, har formaliserade metoder för syntes av kvalitativa data utformats. 3. Inget av de principiella argument mot formalisering av metoder för syntes av utbildningsvetenskapliga studier som har framförts är hållbart. Frågan är inte om explicit formulerade kriterier bör eller inte bör tillämpas i synteser av utbildningsvetenskaplig forskning. Frågan är i stället vilken typ och grad av

318 DEBATT formalisering av kriterier och procedurer som gynnar respektive motverkar översikters tillförlitlighet och användbarhet. 4. Svenska utbildningsforskare har därför all anledning att orientera sig om existerande syntesmetoder. Det vore olyckligt om kopplingen till evidensrörelsen skulle fortsätta att utgöra ett hinder för att så sker. Översikter av resultat av vetenskapliga studier, inom och utanför akademin, ger upphov till intressanta vetenskapsteoretiska och -sociologiska frågor vars praktiska och politiska betydelse ofta är avsevärd. Vilka fördelar ger explicita kriterier och formaliserade procedurer för synteser framför informella, implicita rutiner av det slag som traditionellt har tillämpats i många discipliner? Kan endast kvantitativa data syntetiseras enligt explicita procedurer utan att innehållet förvrängs? Vari består i så fall det som är specifikt för kvalitativa data, och vilka blir implikationerna för de synteser som ständigt presenteras, av interna såväl som externa skäl? Med evidensrörelsens expansion in i utbildningsvetenskapen, där den kvalitativa traditionens ställning är stark, ställs sådana frågor på sin spets. Eftersom synteser av forskningsrön utgör en förutsättning för vetenskaplig kumulativitet existerar i alla discipliner institutionaliserade krav om att översikter ges, bland annat i avhandlingar och i ansökningar om forskningsmedel. Vetenskaplig kumulativitet har, som jag påpekade i min artikel, en normativ aspekt. Användningen av vetenskaplig kunskap utanför akademin är likaså föremål för normativa överväganden. Med vilka medel vetenskaplig kumulativitet kan och bör uppnås inom forskarsamfundet uppfattas ofta som en intern angelägenhet, och utbildningsforskare må välja att ignorera eller avfärda argument av det slag min artikel innehåller. Det står dem fritt att hålla fast vid status quo, att fortsätta att utarbeta översikter»för lösa boliner», som Evaldsson och Nilholm uttrycker saken. Användningen av vetenskaplig kunskap i pedagogisk praktik är däremot i hög grad en angelägenhet för politiker och myndigheter. Vid sidan om de metodologiska och epistemologiska frågor, som min egen forskning fokuserar, existerar alltså en uppsättning praktiska och politiska frågor som rör användningen av utbildningsvetenskaplig kunskap. Det är denna typ av frågor Evaldsson och Nilholm diskuterar. Deras kritik av Skolverkets uppdrag om åtgärdsprogram mot mobbning måste kopplas till konstruktiva förslag. Vilka initiativ bör kommuner och myndigheter ta för att lärares praktik i större utsträckning ska bygga på god vetenskaplig grund? Att uppmana lärare att läsa primärlitteraturen kritiskt, utan att föreslå organisatoriska förändringar, är att lämna såväl lärare som elever i sticket. Det är i praktiken att försvara status quo även på detta område. Teoretiska redskap, ett rikt empiriskt material och en uppsättning viktiga distinktioner existerar som kan hjälpa oss att besvara de frågor evidensbaserad praktik ger upphov till. Den internationella litteraturen är omfattande, och även i Skandinavien har studier ägnats det evidensbaserade konceptets konkreta uttryck i professionell praktik, i första hand inom medicin och socialt arbete (Bohlin och Sager, 2011, är en ingång). Diskussionen om evidensbaserad pedagogik i Sverige har knappt inletts.

DEBATT 319 NOTER 1. En artikel av Christer Fritzell (2009) ges samma blandade omdöme i denna not. Jag välkomnar även Fritzells artikel som ett tecken på att en seriös svensk diskussion om evidensbaserad pedagogik nu kan ta sin början, men markerar samma förbehåll som gentemot Evaldsson och Nilholm. Fritzell för ett utmärkt teoretiskt resonemang om kvalitativa studiers generaliserbarhet, och kopplar detta till den syn på tillämpning av vetenskaplig kunskap som kommer till uttryck i evidensbaserad pedagogik. Däremot diskuterar han inte de rutiner för att syntetisera och implementera kunskap som avänds inom evidensrörelsen. 2. Se Sundberg (2009, särskilt s 64) för konkreta uppgifter om hur kraftigt antalet utbildningspolitiskt relevanta kunskapsöversikter har ökat sedan mitten av 1990- talet, såväl internationellt som i Sverige. 3. När Myndigheten för skolutveckling lades ned överfördes uppdraget till Skolverket. De insatser som genomförts inom uppdragets ram redovisas på Skolverkets hemsida, se www.skolverket.se/sb/d/2470 och de sidor man därifrån kan klicka sig vidare till. 4. I Myndigheten för skolutveckling (2007) används termen dock inte alls. 5. För en diskussion av det evidensbaserade konceptets framväxt inom medicinsk forskning och praktik, och dess expansion till andra samhällssektorer, se Bohlin (2011). 6. Inom medicin har traditionella evidenshierarkier börjat överges till förmån för typologier i vilka randomiserade kliniska prövningar inte alltid ges högsta prioritet. 7. I den avslutande delen av denna rapport förespråkas kunskapsbaserad praktik i skolorna, och även begreppet evidensbasert används (Nordahl m fl 2006 155 ff). LITTERATUR Bergmark, A. & Lundström, T. 2006: Mot en evidensbaserad praktik? Om färdriktningen i socialt arbete. Socialvetenskaplig tidskrift, 13(2), 99 113. Biesta, G. 2007: Why»what works» won t work: evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1), 1 22. Bohlin, I. 2010: Systematiska översikter, vetenskaplig kumulativitet och evidensbaserad pedagogik. Pedagogisk Forskning i Sverige, 15(2/3), 164 186. Bohlin, I. 2011: Evidensbaserat beslutsfattande i ett vetenskapsbaserat samhälle: Om evidensrörelsens ursprung, utbredning och gränser. I I. Bohlin & M. Sager (red): Evidensens många ansikten: Evidensbaserad praktik i praktiken. Lund: Arkiv. Bohlin, I. & Sager, M. (red) 2011: Evidensens många ansikten: Evidensbaserad praktik i praktiken. Lund: Arkiv. Bryderup, I.M. (red) 2008: Evidence based and knowledge based social work: Research methods and approaches in social work research. Aarhus: Aarhus University Press. Evaldsson, A-C. & Nilholm, C. 2009: Evidensbaserat skolarbete och demokrati: Mobbning som exempel. Pedagogisk Forskning i Sverige, 14(1), 65 82. Fritzell, C. 2009: Generaliserbarhet och giltighet i pedagogisk forskning och teoribildning. Pedagogisk Forskning i Sverige, 14(3), 191 211. Myndigheten för skolutveckling, 2007: Granskning av utvärderingar av program mot mobbning. Stockholm: Myndigheten för skolutveckling. Nordahl, T., Gravrok, Ø., Knudsmoen, H., Larsen, T.M.B. & Rørnes, K. (red) 2006: Forebyggende innsatser i skolen. Oslo: Utdanningsdirektoratet.

320 DEBATT Rigby, K. 2002. A meta-evaluation of methods and approaches to reducing bullying in pre-schools and early primary school in Australia. Canberra: Commonwealth Attorney-General s Department. Skolverket 2009: På tal om mobbning och det som görs. Kunskapsöversikt. Stockolm: Skolverket. Skolverket 2011a: Utvärdering av metoder mot mobbning. (Rapport 353) Stockolm: Skolverket. Skolverket 2011b: Metodappendix och bilagor till rapport 353. Stockolm: Skolverket. Sundberg, D. 2009: Evidens i utbildningspolitiken. En kartläggning och analys av policyrelevanta kunskapsöversikter. (Utbildningsdepartementets skriftserie, Rapport nr 10) Stockholm: Utbildningsdepartementet.

DEBATT 321 Var finns evidensen för evidensrörelsens anspråk? CLAES NILHOLM Högskolan för lärande och kommunikation, Jönköping ANN-CARITA EVALDSSON Institutionen för pedagogik, didaktik och utbildningsstudier, Uppsala universitet Vi befarar att läsarna av denna debatt börjar få svårt att orientera sig i vad det hela handlar om. Risken med en debatt är också att den ställer motsättningar i fokus. Vi tror att vi och Bohlin delar fler gemensamma utgångspunkter än vad som verkar vara fallet. Detta kan illustreras med utgångspunkt i följande passage i satiren Ös på SÖ sanningen om Sveriges utbildningsväsen från 1977 av den fiktive amerikanske doktoranden Neville J. Chamberlain. I boken redogör han för sina fiktiva undersökningar av det svenska utbildningssystemet (alltså vid en tidpunkt då det svenska utbildningssystemet sågs som ett föredöme i stora delar av världen): En fråga jag ställde till samtliga forskare löd: Hur får man nytta av era forskningsresultat? Hur informerar ni lärarna? Samtliga svarade: Det du nu berör är ett oerhört viktigt problem. Detta sade alla, sen varierade replikerna. Här nedan några exempel: Vi utför uppdragsforskning. Det är skolöverstyrelsens sak att gå ut och informera fotfolket. Lärarna måste få en vetenskaplig skolning. Det är förbanne mig deras skyldighet att ta del av våra resultat. Min forskning är av grundforskningskaraktär. Därför kan man inte för stunden precisera den eventuella effekten av den. När jag frågade forskarna om de brukade gå ut i skolorna och ta reda på vilka problemen var, fick jag ibland undvikande, ibland mycket öppenhjärtliga svar. Vi är inga skollärare, vi idkar vetenskap. Om jag skulle gå ut till en skola, skulle jag snart vara så insnöad och förbenad som de flesta lärare är. (Chamberlain 1977 s 76) Även om detta är satir illustreras en del attityder man fortfarande kan stöta på. Inte minst visar citatet på att frågan om forskningens relevans för skolan inte är ett nytt problem. I passagen ovan och i boken i övrigt ironiseras över fors-

322 DEBATT karnas bristande intresse för utveckla verksamheten i skolan. Här har Bohlin och vi en gemensam utgångspunkt i det att vi delar uppfattningen om att den pedagogiska forskningen bör ha större relevans för arbetet i skolan. Vi delar också hans åsikt att det är viktigt att göra synteser av forskningsläget inom olika områden. Enligt Bohlin är evidensrörelsens bidrag nya format för syntes av forskning. Vi håller med om att metaanalyser och systematiska forskningsöversikter är format som har sina poänger. Däremot är vi mer tveksamma till genomgången av evidensrörelsens landvinningar, när det gäller sammanställningar av kvalitativ forskning 1, även om det förstås är viktigt att sådana översikter görs med så reflekterade metoder som möjligt. Men i själva verket finns det alltså andra positioner som vi har betydligt mindre gemensamt med än Bohlins. Vi är som sagt positiva till att han väcker frågan om hur forskning och praktik ska kunna närma sig varandra. Vi tror det är viktigt att fortsätta diskussionen kring hur forskning och praktik ska kunna närma sig varandra. Vi menar att man behöver noggrannare analysera vad det är för nya argument den så kallade evidensrörelsen tillför till denna debatt liksom också vilka konsekvenser evidensrörelsen får för forskningen. Därför hänför vi diskussionen om etikettsfrågorna till en fotnot. 2 Det kommer att framgå av vår text att vi saknar pusselbitar som möjligtvis finns i Bohlins empiri. Även om vi är skeptiska till potentialen i evidensrörelsen efterfrågar vi mer empiri i frågan, framförallt skulle vi vilja se illustrationer av hur evidensrörelsen bidragit till att utveckla skolan. Vi efterfrågar alltså evidens. EVIDENSRÖRELSEN OCH FORSKNINGENS FRIHET Biesta (2007a, b) diskuterar evidensrörelsen kritiskt och för bland annat fram att den i England lett till att bara forskning som ger kunskap som är användbar i skolan får stöd. Detta innebär en inskränkning av forskningens frihet. Här kan vi se två olika vetenskapliga ideal på kollisionskurs. Å ena sidan forskaren som själv väljer och formulerar sina forskningsproblem och finner sanningen. Å andra sidan forskaren som en tjänare åt staten och nationen i effektiviseringen av utbildningssystemet. Å ena sidan en forskare som ägnar sig åt»the cultural role of research», å andra sidan en forskare med»a technical knowledge interest» (jfr Biesta 2007b). Vi menar att båda dessa roller behövs men att de behöver balanseras mot varandra. Följer en minskad roll för en kritisk forskning i evidensrörelsens kölvatten? Detta är en empirisk fråga men vi befarar att Biestas analys gäller för fler länder. Och hur påverkas fördelningen mellan studier med kvalitativa och kvantitativa data? Diskussionen om evidensrörelsen måste således omfatta betydligt mer än tekniska frågor om hur sammanställningar av forskning görs på bästa sätt. ÖVERFÖRING AV FORSKNING EN FORSKNINGSFRÅGA Bohlin tar sin utgångspunkt i att»evidens» finns i vetenskapen och att dessa resultat på ett eller annat sätt ska komma arbetet i skolan tillgodo. Bohlin

DEBATT 323 menar att hur»evidensen» används är en»praktisk och politisk» fråga (s 318 i detta nummer). Med en lätt omskrivning av Chamberlains ord är det Skolverkets eller Utbildningsdepartementets uppgift att informera fotfolket. Men hur var det nu? Fanns det inte en diskussion om hur resultaten skulle göras tillgängliga för praktiker? Och en annan om risken för att evidensbasering urholkar professionaliteten? Och Bohlin själv skriver att»ju svårare det är att dra entydiga slutsatser av existerande forskning, desto mindre berättigade är dock alla försök att från departements- eller myndighetsnivå styra verksamheten» 3. Det är bra att Bohlin inser att även evidensrörelsen har teorier om hur evidensen så att säga ska komma i bruk. Tyvärr verkar dessa teorier inte vara lika genomarbetade och explicita som teorierna om hur man ska sammanställa forskning. Det är förstås viktigt att vetenskapligt förstå relationen forskning praktik och vi står frågande inför Bohlins konstaterande att hur evidensen används är en»praktisk och politisk» fråga. Det är det förstås också. Men om det nu är så oerhört viktigt att praktiken grundas i»evidens», varför skulle inte forskningen studera vad detta kommer att innebära för till exempel skolan, när»evidens» ska omsättas i praktik? Eller att skapa teorier för hur det går till empiriskt eller hur det borde gå till (normativt)? Vi tror själva på grundval av tidigare forskning att det blir oerhört problematiskt för verksamma inom utbildningssysemet att (i) läsa forskningsöversikter, (ii) förstå dem, (iii) analysera dem kritiskt, samt att (iv) använda dem på ett fruktbart sätt i sitt arbete. Vi skulle väldigt gärna få tillgång till några empiriska exempel där till exempel lärare lärt sig just detta. Eller för den del exempel på när myndigheter utifrån»entydiga» slutsatser förändrat skolan i en positiv riktning. Vi är mindre hoppfulla härvidlag och ser ett scenario där framförallt kvantitativt orienterade forskare sammanställer»evidens» som sedan ska översättas i riktlinjer och rekommendationer av Skolverket. Vi har redan hört diskussionerna på skolchefsnivå och i skolorna:»har ni evidens för det?»»metoden X är evidensbaserad» och så vidare. Det är svårt att se någon gräns för möjliga missuppfattningar eftersom forskning är mycket komplext för den som inte är skolad in i den. Vems ansvar är detta? Vi tror tyvärr att problemet med evidensbasering är mycket komplext. Därför har också de sammanställningar av forskning man förespråkar en begränsad (men absolut inte obetydlig) betydelse. Hattie ger en läpparnas bekännelse till problematiken i sin bok där han sammanställer utfallet av över 800 metaanalyser: Of course, there are many outcomes of schooling, such as attitudes, physical outcomes, belongingness, respect, citizenship, and the love of learning. This book focuses on student achievement, and that is a limitation of this review. (Hattie 2009 s 6) Skolan har många mål medan vetenskapliga studier fokuserar på något av dessa. Den slutsats man kan dra är att det behövs en annan typ av forskning. En av oss, Claes Nilholm, kommer snart ut med en bok i vilken han i ett kapitel diskuterar hur pedagogers arbete ska kunna vila på vetenskaplig grund

324 DEBATT och beprövad erfarenhet. Han betonar där att forskningen i mycket högre grad än idag bör spegla den situation som pedagoger befinner sig i och där flera mål ska uppnås samtidigt. Praktikbaserad evidens är ett begrepp som ibland används i sammanhanget. Men precis som i Chamberlains (1977) exempel är många forskare ganska ointresserade av de problem lärare ställs inför. Man kan absolut inte bortse från möjligheten att ökade direktiv uppifrån om hur man ska jobba på skolorna utifrån»evidens» kan vara kontraproduktiva. Det är alltså viktigt att studera evidensbaseringens konsekvenser. Risken är att departement och Skolverk, precis som Hattie (2009), väljer att fokusera på ett (oftast också kortsiktigt) kunskapsmål när man ska försöka grunda skolans arbete i forskning (se t ex Skolverket 2009). Och kanske är det så att evidensrörelsen inneburit en ökad fokusering på kunskapsmål på bekostnad av andra mål? Att evidensrörelsen kommer att omfamnas av många politiker och anställda inom departement och myndigheter är inget vi tvivlar på. Varför skulle Sverige gå en annan väg än andra länder? Säga vad man vill om svensk utbildningspolitik men speciellt originell är den inte. Vi tror således att det vore bra för diskussionen om vi kunde bli något mer konkreta i frågor som handlar om vilka framgångar den internationella evidensrörelsen skördat inom det utbildningsvetenskapliga området. Vi tror att det för den fortsatta diskussionen är viktigt att vi, som Bohlin skriver, ser bort från etiketter och talar konkret forskning. Vi, som varit verksamma länge inom det utbildningsvetenskapliga fältet, vill ju gärna förstå vilken nytta vi kan ha av det nya evangeliet. Varför skulle vi motsätta oss nya kunskaper och insikter för att det kläs i begreppet»evidens» 4? Men vi vill i så fall möta en argumentation som beskriver vilka nya lösningar som erbjuds på gamla problem. EVIDENSRÖRELSENS IDÉHISTORIA Det vi delvis efterfrågar är kanske en evidensrörelsens (sociala) idéhistoria. Centrala frågor i en sådan idéhistoria tycker vi borde vara: (1) Vilken kontext möjliggör evidensrörelsens segertåg? (2) Hur kan man spåra idéernas ursprung? (3) Vilka är de bärande idéerna? (4) Vilka idéer besegrar de? (5) Vilka sociala grupper är för idéerna och vilka motarbetar dem? (6) Hur ser spridningsvägarna ut internationellt? (7) Vilken förskjutning i synen på skolan sker med evidensrörelsens intåg i pedagogiken? (8) Vad får evidensrörelsen för konsekvenser för forskningen om skolan och för skolans arbete? (9) Vilka likheter och skillnader finns det i receptionen i olika länder? Vi ska förstås inte anklaga Bohlin för att han inte skrivit den artikel vi önskat, men vi hoppas han har möjligheter att återkomma till dessa frågor. Till dess får vi hålla till godo med hans intressanta men till stora delar oproblematiserade beskrivningar av evidensrörelsens framgångar.

DEBATT 325 NOTER 1. Bohlin (s 317 i detta tidskriftsnummer) visar inte vad de nya formaten innebär för landvinningar. Han skriver att han inte»tagit till uppgift att redogöra för metodologiska genombrott av det slag Evaldsson och Nilholm efterlyser». Synd, det hade verkligen varit ett bidrag till svensk pedagogisk forskning. 2. Etikettsfrågorna igen: Vi ser inte att Bohlins nya inlägg tillför något nytt i sak. Vad vi ser tar inte Biörn Hasselgren ställning i sakfrågan (vad som är vårt ämne och huruvida vi är insatta i det eller ej). Vi uppfattar hans inlägg som att det är reviewerna som sätter etiketten för tidskriften, åtminstone i det här fallet. Som vi tidigare skrev behandlar Bohlin och vi två olika sidor av evidensbaserad praktik (se vårt förra inlägg; s 307 i detta tidskriftsnummer). Vi vill ge Bohlin en poäng då han har rätt i att vi använder begreppet metaanalys slarvigt. Men detta är dock av underordnad betydelse för resonemanget i vår artikel, som handlar om problem när»evidens» ska tilllämpas i skolan. Den poäng vi vill göra är att det är regel snarare än undantag att metaanalyser ger olika utfall. John Hattie (2009) ger en amper illustration av detta för den som ser förbi de medelvärden för metaanalyser han presenterar och går till Appendix A. En sökning på John Hattie på Google ger drygt 14 miljoner träffar. Träff nummer två är ett mycket intressant debattinlägg från några representanter för den svenska evidensrörelsen. I Nilholm (2010) diskuteras detta kritiskt. Det finns förstås många ytterligare metodproblem än de Nilholm (2010) diskuterar som kringgärdar de format som Bohlin lyfter fram och som vi faktiskt har svårt att se att han granskar kritiskt. Kritik är ingen anledning till att man inte ska använda dem men de involverar olika val (utifrån ontologiska och epistemologiska ställningstaganden) som bidrar till att man får fram olika»evidens». Just argumentet att det ska föreligga mer eller mindre objektiv evidens verkar viktigt för Bohlin. Vi tror man får acceptera att maktfrågor är involverade även här: Vems metaanalys eller systematiska forskningsöversikt väljer man att luta sig mot? Ibland är sammanställningar mer enstämmiga men då rör det sig ofta (men inte alltid) om mer eller mindre självklarheter. Faktiskt ger Bohlin också ett exempel på hur analysen vi gör av vårt ämne kunnat ha ytterligare nytta av diskussionen inom»evidensrörelsen» och det gäller diskussionen om huruvida praktiker ska läsa originalstudier eller forskningsöversikter. Vi tackar för det och för att Bohlin börjat uppmärksamma vårt ämne. Vad gäller den andra etikettsfrågan har vi fortfarande svårt att urskilja några tydliga kriterier för hur Pedagogisk Forskning i Sverige skiljer mellan debatt och vetenskap även om vi förstår att här finns ett snårigt gränsland. Vi måste också för ordningens skull peka på vad vi ser som rena feltolkningar av vår position. (i) Bohlin verkar tro att vi är emot metaanalyser. Varför skulle vi vara det (se t ex Nilholm 2010)? (ii) Ibland får vi intrycket av att Bohlin tror att vi inte tycker att man ska göra sammanställningar av forskning överhuvudtaget. Med tillsammans stora erfarenheter som fakultets- och slutseminarieopponenter, betygsnämndsledamöter och som sakkunniga och ledamot på Vetenskapsråder måste väl Bohlin förstå att det är självklart för oss att det kumulativa momentet i forskningen är viktigt? (Bohlin verkar tro att vår empiriska observation att det vanligtvis föreligger konkurrerande analyser av ett forskningsfält, innebär att vi skulle vara emot att sådan analyser görs.) (iii) Bohlin skriver på sid 313 (i detta nummer):»ett grundläggande antagande bakom dessa ansträngningar [att skriva forskningsöversikter]» är, annorlunda uttryck, att det är möjligt att visa»att något är rätt och riktigt»(s 79)». Citatet från vår artikel är helt taget ur sin kontext. Så här ska det vara:»om vi ska ta tanken om evidensbasering på allvar bör kanske förespråkarna först visa att evidensbasering är något gott? En gissning är att idén om evidensbasering till stor del bygger på samma orsak som ligger bakom alla större förändringar i samhälle och utbildning, det vill säga vår tro på att något specifikt är rätt och riktig.» (Evaldsson & Nilholm 2009 s 79) (iii) Det är inte heller vi som menar att forskningsöversikter inom pedagogiken genomförs»för lösa boliner» (s 309 i detta tidskriftsnummer). Vi skulle akta oss väldigt noga för att karakterisera ett helt forskningsfält på det sättet. Det vi syftar på är förstås Bohlins karakterisering av pedagogisk forskning.

326 DEBATT 3. En implikation av Bohlins resonemang är således att när det föreligger entydiga forskningsresultat bör myndigheter styra verksamheten. Notera att vi menar att det oftast (men inte alltid) föreligger motstridiga tolkningar av forskningsläget. Bohlins resonemang bygger hur som helst på att någon eller några ges auktoritet att fastställa vad evidensen är för något. Om vi som ett tankeexempel använder Hattie (2009) som auktoritet och för tillfället bortser från de metodologiska problem som kringgärdar hans arbete, blir implikationen av Bohlins resonemang att myndigheter till exempel bör styra verksamheten bort från problembaserat lärande vid läkarutbildningarna och förhindra nivågruppering. Och hur ser evidensen för skolinspektioner ut? Eller för utvärdering av akademisk utbildning? Hattie ger inga siffror här utan vi reser bara frågorna. Men vi kan se att Hattie (2009) redovisar en ganska stark evidens för grupparbete. Om vi följer Bohlins logik bör således myndigheter arbeta för att öka mängden grupparbete i skolan. Men, som sagt, forskningen kan tolkas på andra sätt än Hatties. 4. Vem vill vara utan evidens eller göra osystematiska forskningsöverskikter? Alla kommer att vilja använda orden oavsett den innebörd som de ursprungligen getts. Det kan förstås tyckas strategiskt att benämna sig på ett sätt som indikerar att man skulle ha förtur till att tolka vad som är evidens och systematik. Vad innebär detta för karakteriseringen av»de andra»? Några som sysslar med»icke-evidens» utifrån osystematiskt sammanställande av forskning? Frågan är vad vi bör kalla evidensrörelsen något? LITTERATUR Biesta, G. 2007a: Why»what works» won t work: evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1), 1 22. Biesta, G. 2007b: Bridging the gap between educational research and educational practice: The need for critical distance. Educational Research and Evaluation, 13(3), 295 301. Chamberlain, N.J. 1977: Ös på SÖ sanningen om Sveriges utbildningsväsen. Stockholm: Bonniers. Evaldsson, A-C. & Nilholm, C. 2009: Evidensbaserat skolarbete och demokrati: Mobbning som exempel. Pedagogiska Forskning i Sverige, 14(1), 65 82. Nilholm, C. 2010: Förenklat resonemang om skola och vetenskap. Göteborgsposten. http://www.gp.se/nyheter/debatt/1.329399-forenklat-om-skola-och-vetensk ap (2011-03-22) Skolverket 2009: Vad påverkar resultaten i svensk grundskola? Kunskapsöversikt om betydelsen av olika faktorer. Stockholm: Skolverket.