Lärande utvärdering/följeforskning femte generationens utvärdering? Karin Sjöberg Lärande utvärdering/följeforskning 7,5 hp Linköpings universitet, ESF-rådet, Nutek
Inledning Stora förhoppningar finns idag inom EU och hos svenska myndigheter om att en lärande utvärdering med hjälp av följeforskning ska bidra till att det regionala utvecklingsarbetet blir mer hållbart. Enligt EU-kommissionens nya riktlinjer ska den tredje programperioden, 2007 2013, präglas av fortlöpande utvärderingar för lärande och kontinuerliga förbättringar. Detta gäller både för Europeiska socialfonden och Europeiska regionala utvecklingsfonden. Nutek och ESF-rådet, som är de myndigheter som administrerar dessa strukturfonder, talar om ett perspektivskifte när det gäller synen på utvärdering. Man går från traditionell utvärdering mot följeforskning, med uppföljning och resultatutvärdering efteråt, något som ska göra strukturfonderna till lärande organisationer. Nutek beskriver i sin vägledning för utvärdering av strukturfonderna (2008) att ambitionen med följeforskningen är att skapa möjligheter till fördjupade reflektioner, analyser, jämförelser, synteser och slutsatser. Den viktigaste uppgiften för följeforskningen är att bidra till att projekt och program bättre styr mot sina mål. Utvärderingen av det regionala utvecklingsarbetet är tänkt att pågå på flera nivåer, följeforskning i projekt och på programnivå samt syntetisering och generalisering på en mer övergripande nivå. Denna metareflektion ska bidra till den offentliga diskussionen. Syfte och disposition Nuteks och ESF-rådets nya utvärderingsansats medför att rollen som utvärderare, eller som den nu kallas, följeforskare, påverkas och förändras. Innebär detta perspektivskifte att man till och med kan tala om ett generationsskifte när det gäller trender i utvärdering? Kan denna nya satsning innebära att en femte generation av utvärderingsinsatser växer fram? (Guba & Lincoln 1989) För att kunna göra en sådan bedömning måste vi veta vad de övriga fyra generationerna av utvärdering kännetecknas av. Inledningsvis görs därför en beskrivning av de fyra första utvärderingsgenerationerna. Jag ger därefter en kortare översikt av olika trender inom utvärdering som beskrivs från 1990-talet och fram till idag. Avslutningsvis presenteras några tankar om dilemman som den femte generationens utvärdering ställs inför. Historik och trender i utvärdering För att förstå det eftersträvade utvärderingsidealet, som enligt ansvariga myndigheter innebär ett perspektivskifte, kan det vara värdefullt att sätta in denna utvärderingsansats i ett historiskt perspektiv. Forskare beskriver utvärderingstrender på olika sätt utifrån skilda utgångspunkter. Vedung (2004) menar att utvärdering är en megatrend i vår tid och beskriver utvärderingens förändring över tid, som en bölja, eller vågrörelse, som formar sig på olika sätt beroende på vilka drivkrafter som råder i samhället. En annan utvärderingsforskare, Karlsson (2007), beskriver även han hur utvärdering har vuxit fram och förändrats över tid genom att skildra utvärderingstrender i den svenska skolan. Guba och Lincoln (1989) använder begreppet generationer när det gäller trender inom området utvärdering. Olika synsätt har vuxit fram som en del av samhällsutvecklingen, därav beteckningen generationer. En generation kan sägas stå för ett sammanhållet perspektiv eller 2
arbetssätt som funnits under en viss tid. Man kan naturligtvis invända mot detta och hävda att generationerna delvis har överlappat varandra, att det finns olika trender på olika områden (skola, hälsovård, socialt arbete, arbetsmarknad m.m), att det finns kombinationer av ansatser osv. Jag ska inte uppehålla mig vid dessa invändningar, utan mer utgå från teorin om de fyra generationerna av utvärdering. Vad är då kännetecknande för de fyra generationer av utvärdering som beskrivs av dessa amerikanska forskare? Och vad har hänt efter 1989, då de skrev sin bok om den fjärde generationens utvärdering? Första generationen en mätande utvärdering Den första generationens utvärdering växer fram i början av 1900-talet och handlar om enkla mätningar och testningar, till exempel när det gäller skolelevers prestationer. Denna generation når sin kulmen under 1920- och 30-talen. Utvärderarens uppgift är mätteknisk och handlar om att identifiera upparbetade resultat på individnivå. Utvärderingarna har ett enkelriktat uppifrån och ner perspektiv. Mätningarna är avgränsade och avser enskilda faktorer. Här finns ingen ambition att vara förklarande och ingen värdegrund anges explicit. Guba och Lincoln (1989) noterar att detta tekniska synsätt på utvärdering förekommer än idag, till exempel är det vanligt att genom olika tester särskilja elever vid examination eller för urval till olika skolor. Det används också för att rangordna och jämföra lärare och skolor. Andra generationen en beskrivande utvärdering Den andra generationens utvärdering är även framåtblickande. Mätning av resultat försvinner inte, men ses nu som ett av flera verktyg. Man mäter måluppfyllelse där insatser vägs mot resultat i syfte att förbättra metoder och verksamheter. Denna andra generation av utvärdering har mer omfattande ambitioner än den första, och det hänger samman med behovet av att utvärdera reformer och program under 1950- och 60-talen. Fortfarande görs jämförelser mellan utfall och mål, men målen ifrågasätts inte. Insamlad information, tillsammans med analyser av styrkor och svagheter används som underlag för förändringar, ungefär som det vi idag kallar en formativ utvärdering, med den skillnaden att resultaten är tillgängliga efter, snarare än under tiden som en process pågår. Man eftersträvar en utveckling grundad på kunskap och fakta. Jämförelser görs inte eftersom det saknas bedömningskriterier för att värdera målen. Utvärderingarna i denna generation strävade efter att vara värderingsfria. Det handlade om att hitta rätt metoder för att förbättra projekt och program. Tredje generationen en bedömande utvärdering Den andra generationens utvärdering kritiseras så småningom och kraven ökar på att utvärdering ska visa vilket program eller vilken metod som är bäst. I den tredje generationen är utvärderarens uppgift att leverera mer oberoende helhetsgranskningar där inte bara medlen, utan även målen, diskuteras och granskas. Ambitionen är att utvärderingarna inte ska vara färgade av enskilda utvärderares egna intressen, och ofta används forskare för att ge status och visa på oberoendet. Bedömningar görs och utvärderaren blir en domare. Synsättet, som växer fram under 1960 och 70-talen, bygger på antagandet att det finns ett entydigt svar och bygger på ett uppifrån-tänkande. Vedung (2004) beskriver denna period som en tid då man strävade efter att göra den offentliga politiken mer vetenskaplig. Positivismen var det förhärskande vetenskapliga paradigmet på 1960-talet. Utvärdering av offentlig politik med strikt naturvetenskapligt inriktade metoder kan ses som ett försök att driva ut känslor och demoner ur politiken och göra den mer resultatorienterad, faktabaserad, välövervägd och rationell.(vedung 2004, s 26) 3
Under 50- och 60-talet ingick alltså utvärdering i ett försök att göra den offentliga politiken mer vetenskaplig. Resultatutvärdering av professionella akademiska forskare skulle hjälpa den offentliga sektorn att fatta väl underbyggda och rationella beslut. Problematisering av de tre första generationerna I den fjärde generationens utvärderingar problematiseras de tre tidigare strategierna. Guba och Lincoln (1989) menar att varje generation representerar ett steg framåt i utvecklingen, både när det gäller innehåll, metoder och förhållningssätt. Den första generationens utvärderingar innebar insamling av data på individnivå, vilket inte tidigare varit möjligt innan man fick tillgång till de instrument som kännetecknar denna generation. Utvecklingen gick vidare, då man i den andra generationen utvärderade program och lärstrategier på organisationsnivån. Den tredje generationen krävde att utvärderingarna även ledde fram till bedömning av insatserna. Alla tre generationerna tillsammans uppvisar dock brister, menar man. Som exempel på tillkortakommanden nämns att de tre första generationerna har ett utpräglat ledningsperspektiv. De uppvisar vidare brister när det gäller en anpassning till mångfalden av värderingar och intressen. De innebär dessutom en övertro på det vetenskapliga paradigmet. Oftast är det ledningen eller de styrande som beställer och ansvarar för utvärderingen och det är med dessa utvärderaren samarbetar. Det är till ledningen utvärderingen rapporteras. Ofta står ledningen utanför utvärderingen och blir inte granskad eller ifrågasatt. Detta menar Guba och Lincoln (1989) är odemokratiskt och orättvist! Chefen eller beställaren har makt att styra vilka frågor som ska utvärderas, hur svaren ska samlas in och redovisas. Guba och Lincoln menar vidare att det är svårt, nästan omöjligt att göra en utvärdering med hjälp av de tre första generationerna som är öppen för andra målgrupper än ledningen. En risk är också att man som utvärderare allierar sig för mycket med cheferna, för att göra sig populär och kanske för att få nya jobb. En annan brist hos de tre första utvärderingarna är att de inte tar hänsyn till att det finnas en mångfald av värderingar. Värdemångfald är en del av samhället, menar författarna och ingen utvärdering är värdefri eller neutral. Vems eller vilkas värderingar ska vara dominerande i en utvärdering? De tre första generationernas utvärderingar försöker göra utvärderingar neutrala och objektiva vilket är omöjligt då all utvärdering sker i ett politiskt sammanhang, något som även andra utvärderingsforskare hävdar (Vedung, 1991, Karlsson, 2002). Den tredje bristen som lyfts fram hos de första tre generationerna, är att de har en övertro på ett vetenskapligt perspektiv. Här har man övertagit metoder från den naturvetenskapliga forskningen för att skapa legitimitet. Detta synsätt kännetecknas av att det finns en sanning och om man kan få syn på den kan man förutsäga framtiden och kontrollera den. För att klara av det blir utvärderarens roll att stå bredvid och undersöka. Som utvärderare ska man inte interagera, då detta kan påverka den sanning man söker. Det skulle också kunna påverka utvärderaren när denne ska bedöma resultatet. Guba och Lincoln (1989) menar att detta vetenskapliga synsätt för med sig olyckliga följder. Ett exempel är att utvärderingarna inte tar hänsyn till kontexten, vilket Guba menar medför att man inte kan generalisera genom resultatet. Ofta uppfattas utvärderingarna irrelevanta på den lokala nivån, vilket medför att man inte bryr sig om resultaten, något som forskarna anser att ingen av de tre första generationerna uppmärksammar som ett problem. Själva anser de att användarnyttan är viktig. Det vetenskapliga perspektivet medför också att man har en övertro på kvantitativa metoder. 4
Det är hårda, kvantifierbara data som analyseras matematiskt och statistiskt, enligt mottot Det som inte kan mätas finns inte. Detta, att man tänker sig att det finns en sanning som man kan få fram genom objektiva data och en neutral analys förstärker top-down -perspektivet. Utvärdering och chefer är oantastliga. Evidens kan inte ifrågasättas och utestänger därmed andra alternativ att tolka resultaten. Enligt detta vetenskapliga paradigm befrias utvärderaren från moraliskt ansvar för sitt agerande. Man kan inte bli straffad för att säga sanningen och den är entydig. Karlsson (2002) beskriver att forskare så småningom började ifrågasätta det rationella experimentet som utvärderingsform och istället intresserade sig mer för genomförandeprocessen och dess förutsättningar. Under 1970-talet påbörjades också en mer övergripande strid som ifrågasatte det vetenskapliga paradigmet och röster höjdes för att intressenterna policyskaparna, praktikerna och brukarna skulle få komma till tals och delta i bedömningar av de aktuella programmen. Med tiden svängde pendeln och från mitten av 80- talet väcktes en misstro mot centralstyrning och förvetenskapligandet av den politiska sfären och utvecklingsarbetet. Istället växte en rörelse fram, New Public Management, som kännetecknades av avreglering, privatisering, effektivitet och kundorientering. Denna nyliberala, marknadsorienterade inriktning kom även att påverka synen på utvärdering. I denna anda växer brukarutvärdering, intressentutvärdering och kostnadseffektivitetsstudier fram. Fjärde generationen delaktighet och intressentutvärdering Den fjärde generationen av utvärdering växer fram utifrån de tillkortakommanden som de tre första uppvisar. De tre första kan sägas höra till samma familj, då samtliga kännetecknas av ett vetenskapligt, uppifrånstyrt förhållningssätt med fokus på mätning och kvantitativa data. Författarna (Guba och Lincoln, 1989) menar att på grund av de tidigare kontrollbehoven, så har de första generationernas utvärderingar misslyckats med att stärka (empower) de människor man försökt hjälpa. Den fjärde generationens utvärdering innebär ett perspektivskifte, då man här fokuserar deltagarperspektivet, mångfald och lärande hos alla berörda. Man bryter med det vetenskapliga paradigmet, som säger att det finns en sanning, och hävdar att det finns många sanningar eller sätt att tolka omvärlden på. Alla berörda målgrupper måste i dessa utvärderingar ta del av och beakta varandras intressen och frågor. Denna process är tänkt att leda till ny information, som så småningom leder till att allas kunskap bli bättre. Vad som ska utvärderas tas fram i en gemensam process. Det finns alltså nu flera intressenter med olika verkligheter som utvärderaren måste interagera med. Fokus är inte det påtagliga och mätbara, utan det socialt konstruerade, det som ger mening för intressenterna. I utvärderingen lyfts det fram flera perspektiv och angreppssätt som leder till olika bedömningar och slutsatser, och det blir därmed viktigt att identifiera olika intressenter och ståndpunkter. Utgångspunkten är ett konstruktivistiskt perspektiv på lärande. Sanning är en fråga om konsensus, dvs. att man blir överens, då man menar att det inte finns någon objektiv verklighet eller objektiv sanning. Utvärderingsresultaten blir kontextberoende och kan inte generaliseras. Användarnyttan betonas och man menar att utveckling inte går att kommendera fram, utan förutsätter en lärprocess hos dem som ska förändras, där man tar del av varandras perspektiv. 5
Detta post-moderna förhållningssätt påverkar starkt synen på utvärderingsarbetet. Alla har rätt till sin sanning, vilket skulle kunna tolkas som att anything goes, något som författarna menar är en felaktig föreställning. Motsatsen till absolutism är inte anarki, menar de utan hävdar att denna nya ansats istället leder till att man jämför ett synsätt med ett annat för att slutligen bedöma vilket som ska föredras, vilket som bäst stämmer överens med verkligheten, så som man gemensamt uppfattar den efter dialog som visat på olikheter. Olika intressenter har olika synsätt, som alla är värda att beakta. Utvärderingen strävar efter att utmana dessa olika synsätt, och om detta inte sker har utvärderingen inte varit tillräckligt bra! Man går, enligt författarna, från säkerhet till relativitet, från kontroll till empowerment, från generaliserbarhet till lokal kontext och från arrogans till mänsklighet. Detta perspektiv leder också till ökat och delat ansvar, ökad förståelse, erkänsla, uppskattning och ökad aktivitet och handlingsförmåga, menar författarna. Utvärderingar organiseras utifrån intressenternas mål och intressen och bygger på ett konstruktivistiskt sätt att se på lärande. Alla medverkande målgrupper är delaktiga i hela utvärderingsprocessen, allt ifrån att man inledningsvis identifierar vilka intressenterna är till analys av insamlad data. Utvärderarens roll blir att skapa samsyn och öka förståelsen mellan olika intressenter. Rollen som utvärderare blir mer komplex och konfliktfylld i denna generation. Utvärderaren benämns förhandlingsagent och har en subjekt-subjekts-relation till deltagarna. En viktig uppgift är att fånga upp olika målgruppers intressen och frågor för att därefter sammanföra dessa och försöka nå konsensus, baserat på bättre underlag. Detta perspektiv innebär att man som ansvarig ger upp kontrollen över utvärderingen. Alla har lika stor makt. Förhållningssättet påverkar också valet av metoder, vilka till största delen är kvalitativa. Guba och Lincoln beskrev den fjärde generationens utvärdering i slutet av 1980-talet. Vilka utvärderingstrender kan man se under 1990-talet och fram till idag? Utvärderingstrender under 1990-talet och fram till idag Vedung (2004) beskriver att den tredje utvärderingsböljan, som växer fram från omkring 1990, har kostnadskrisen i den offentliga sektorn som drivkraft. Vedung menar att denna drivkraft dock har betytt mindre för ökad användning av utvärdering än New Public Management, som växte fram under 1980-talet och förvetenskapligandet under 1950-och 60- talen. Till sist nämner Vedung en fjärde bölja, eller drivkraft, som vuxit fram ur kritiken av den representativa demokratin. Han menar att avståndet mellan folkets vilja i allmänna val och offentliga inrättningars service i mötet med brukarna upplevts som alltför långt. För att råda bot på denna brist har utvärderingen utformats i en mer demokratisk, deltagarorienterad och dialoginriktad inriktning, menar Vedung. I och med detta blir utvärdering en angelägenhet för alla, inte bara något för akademin. Han tycker sig alltså se en vändning till förmån för en mera demokratisk utvärderingsansats och beskriver det som att utvecklingen har gått från vetenskaplig, akademisk forskning till participation och deliberation, dvs. en demokrati som bygger på deltagande och ett fritt offentligt samtal. När Karlsson (2008) beskriver historik och trender i utvärderingen rubricerar han perioden 1990 2000 som Ekonomism, marknad, brukare, kvalitet. Här har utvärderaren olika roller: tjänsteman, kontrollant, problemlösare, konsult och forskare. Perioden kännetecknas av ökad marknadsstyrning och av att deltagarna blir kunder. Dagens trender, från 2000 och framåt 6
innebär en återgång till top-down - utvärdering med fokus på kvalitet och effektivitet. Han menar att två paradigm finns samtidigt en summativ och formativ utvärdering som parallella rörelser. Trenden verkar vara att utvärdering förväntas uppnå fler syften än tidigare - lärande och delaktighet tillsammans med kontroll och styrning. Är vi framme vid en ny utvärderingsgeneration, och vad är i så fall kännetecknande för denna, den femte generationens utvärdering? Femte generationens utvärdering I en lärande utvärdering/följeforskning är utvärderarens huvuduppgift att fortlöpande, kritiskt och konstruktivt utvärdera stora projekt och program för kontinuerliga förbättringar, men också att bedöma utfallet i relation till de övergripande målen som gäller för den projektbaserade regionala utvecklingspolitiken. Utvärderingsansatsen är med andra ord rationell vad gäller mål och medel. Fokus är på långsiktiga effekter, snarare än på kortsiktiga resultat, det vill säga att analysera vilka insatser som bidrar till en hållbar utveckling. Lärperspektivet är centralt och ska ske både inom och mellan projekt samt omfatta både individer och organisationer. Utvärderingarna skall dessutom leda till att resultat och kunskaper förs in i framtida projekt och program och vara en del av en strategisk påverkan på systemnivå. Målet för dessa utvärderingar är med andra ord en gemensam kunskapsbildning för regional tillväxt och hållbar utveckling. Den primära uppgiften är att vara ett stöd för projektens genomförande under tiden som de pågår. Följeforskaren förväntas bidra till de lärprocesser som projekten ska utmynna i. En annan viktig arbetsuppgift för följeforskaren är att självständigt återföra gjorda erfarenheter i projektet men även i övrigt i form av deltagande i den offentliga diskussion, lärkonferenser och seminarier. Följeforskning skall inte bara ge underlag för bättre styrning och strategisk omorientering, utan även kunna publiceras för att skapa offentlig debatt. ( Nyttan med följeforskning, Nutek, 2008, baksida) Lärande utvärdering och följeforskning ska alltså både vara till praktisk nytta och samtidigt vara en del av en forskning som är kritisk och som bidrar till en långsiktig teoriutveckling och offentlig debatt. Förutsättningar ska skapas för ett kontinuerligt lärande i projekten och från programmen, och samtidigt beskrivs den viktigaste uppgiften för följeforskningen/den lärande utvärderingen som att den ska bidra till att projekt och program bättre styr mot sina mål. Hur man än väljer att beskriva utvärdering ur ett historiskt perspektiv, som böljor, trender eller generationer, kan man, likt Vedung (2004), konstatera att utvärdering påverkas och förändras av olika drivkrafter i samhället. Efter att ha studerat utvärderingstrender under 1900- talet och följt de fyra beskrivna generationerna tycker jag mig se följande mönster. De tre första generationerna utgick från gemensamma grundläggande principer de var alla uppifrånstyrda och utgick från ett rationalistiskt, naturvetenskapligt synsätt. De utvecklades för varje generation, men höll sig inom samma perspektiv. Den fjärde generationen däremot innebar en större förändring, då man nu ändrade fokus och rationalitet. Denna generation kännetecknas av ett underifrånperspektiv, av lärande och av värdemångfald. Här ägnar man sig inte åt att analysera grad av måluppfyllelse, utan betydelsen av måluppfyllelse för olika intressenter och skilda uppfattningar om vad som är viktigt i ett utvecklingsarbete. 7
Kanske är det inte det ena eller det andra perspektivet som är den bästa lösningen, utan att det, med dagens komplexa och mångfacetterade utvärderingsbehov, handlar om att ta tillvara det bästa från tidigare generationer och att skapa någonting nytt baserat på detta? Med dagens ambition, att med hjälp av utvärdering ge underlag för lärande och samtidigt styra mot politiskt givna mål och dessutom bidra till långsiktig teoriutveckling och offentlig debatt, räcker ingen av de tidigare generationernas utvärdering till var för sig, men tillsammans kan de ge viktiga bidrag. 8
I tabell 1 görs ett försök att beskriva de olika utvärderingsgenerationerna utifrån ett antal olika aspekter. De tre första generationerna Fjärde generationen Femte generationen Top-down perspektiv Bottom-up perspektiv Både top-down och bottom-up Syfte och mål för utvärderingen bestäms av utvärderaren tillsammans med ledning Vetenskapligt, rationellt synsätt Syfte och mål för utvärderingen bestäms av utvärderare tillsammans med alla berörda intressenter målgrupper Relativistiskt, förståelseinriktat synsätt Syfte och mål bestäms av utvärderare tillsammans med ledning och berörda intressenter och målgrupper. Övergripande politiskt satta mål är styrande. En kombination av relativisitiskt och rationellt synsätt, kombinerat med ett kritiskt perspektiv Utvärdering för kontroll Utvärdering för lärande och empowerment Utvärdering för lärande, empowerment och kontroll Främst kvantitativa data Främst kvalitativa data Både kvantitativa och kvalitativa data Mätning av mål och resultat Mäter inte måluppfyllelse. Fokus på fördjupad förståelse och lärande Mäter måluppfyllelse, långsiktiga effekter och betonar ett reflekterat och kritiskt lärande Subjekt objekts relation mellan utvärderare och målgrupp Subjekt subjekts relation mellan utvärderare och målgrupp Subjekt subjekts relation, men även subjekt objekts relation, som tillåter en kritisk distans Generaliserbara resultat Kontextberoende resultat Kontextbundna resultat, men som tillåter viss generaliserbarhet Användarnytta på strukturell nivå Ej fokus på teoriutveckling Ej intresserad av att bidra i den offentliga debatten Betonar användarnyttan på användarnivån Intresserad av teoriutveckling men i en begränsad mening Lyfter fram lokala exempel Betonar användarnyttan på samtliga nivåer Bidrar till långsiktig teoriutveckling Bidrar till den offentliga debatten Tabell 1: Utvärderingsgenerationer beskrivna utifrån några olika aspekter. 9
Utmaningar för den femte generationens utvärdering Karlsson (2008) beskriver fyra olika inriktningar när det gäller utvärdering: kontrollinriktad, interaktiv deltagande, lärande och forskningsinriktad. Syftet med en utvärdering bör styra val av upplägg och metod. Man skulle kunna säga att den utvärderingsansats som nu växer fram har ambitionen att inrymma alla dessa inriktningar. Innebär den femte generationens utvärdering att man lyckas kombinera ett uppifrånperspektiv utifrån politiskt satta mål med ett underifrånperspektiv som kännetecknas av ett utvecklingsinriktat lärande och empowerment av berörda grupper? Är det möjligt att skapa en ny generation av utvärdering som klarar en sådan närmast omöjlig uppgift? Det vet vi inte ännu, men jag vill i detta sammanhang knyta an till erfarenheter från en annan verksamhet, nämligen skolan. Här har också funnits, och finns, liknande ambitioner, dvs. att med hjälp av utvärdering samtidigt kontrollera och utveckla verksamheten. I skolan finns en lång och väldokumenterad utvärderingstradition vilket gör den intressant att studera när det gäller olika trender inom området. Olika perspektiv på utvärdering har dominerat vid olika tidpunkter. En kamp om vilken rationalitet som ska vara den tongivande har förts där man på lokal och central nivå haft olika syn på vilken sorts utvärderingsarbete som bäst leder till utveckling av verksamheten. Scherp (2003) visar att tron på utvecklingskraften i olika måldokument och planer, vilka i sin tur följs upp med kontrollerande utvärderingar och inspektion verkar vinna gehör ju längre ifrån verksamheten man befinner sig. Även Lundberg (1996) menar att en lärande utvärdering som utgår från pedagogernas egna frågor är mest gynnsamt för att få verksamhetsutveckling och ökad måluppfyllelse. Karlsson (2000), som intresserat sig för utvärderingstrender i förskola och fritidshem, menar att det handlar om en kollision mellan två typer av logik. Han ser en kvalitetsstyrning baserad på en teknisk rationalitet, där idealet är att exakt kunna beskriva, beräkna och mäta och där praktiskt kunnande reduceras till en fråga om att kunna verkställa problemlösning. Han menar att detta tekniska perspektiv är alltför snävt och för tankarna till Taylorismen, som inte passar när det handlar om utvärdering av praktisk pedagogik vars rationalitet skiljer sig från den tekniska. Praktiskt pedagogiskt arbete handlar om att hantera unika, komplexa och sammansatta miljöer där allmängiltiga teorier och modeller sällan stämmer i det enskilda fallet. (s. 5) Hans kritik mot ett rationalistiskt perspektiv på utvärdering är att detta blir normativt och dominerande, vilket skulle kunna leda till att man slår ut den lokala analysen och pedagogernas egna bedömningar av vad som är väsentligt att beakta, något som i förlängningen innebär att det sker en maktförskjutning över det inre pedagogiska arbetet från pedagogen till administrationen. Detta leder i sin tur till en avprofessionalisering av läraryrket menar vissa forskare (Jacobsson & Sahlin- Andersson, 1995). Central och lokal utvärdering borde kunna komplettera varandra, eftersom de svarar upp mot olika syften, men här vill Karlsson varna för en alltför harmonisk syn på denna ambition att förena de olika nivåerna av utvärdering. Genom att anlägga ett maktperspektiv får relationen mellan nivåerna en annan innebörd och den centrala frågan blir vem som ska styra över den pedagogiska verksamhetens utformning. Karlsson menar att behovet av att använda 10
utvärderingsmodeller som innebär att man kan göra jämförelser mellan olika verksamheter riskerar att överskugga behovet av lokal kunskap för att genomföra ett gott pedagogiskt arbete. En annan risk är att gapet ökar mellan den uppfattning om verksamheten som skapas på central nivå och den bild som skapas lokalt. Han pekar också på riskerna med så kallad institutionalisering av utvärdering, vilket ofta medför ökade krav på extern redovisning vilket upptar stor del av pedagogernas tid, på bekostnad av spontana, innovativa inslag som främjar lärande (Karlsson 1996). En angelägen fråga att diskutera är alltså hur den femte generationens utvärdering ska kunna skapa ett samspel mellan det professionella, det lokala intresset att använda utvärdering för att utveckla verksamheten, och beslutsfattarnas och finansiärernas berättigade behov av att utvärdera för styrning och kontroll. Ett sådant samspel kan ge synergieffekter som gagnar såväl kvaliteten i verksamheten, de professionellas yrkesutveckling och som även vore gynnsamt ur ett empowement -perspektiv. Fokus på det lokala och den omedelbara nyttan gör att generella kunskaper blir svåra att utvinna, vilket gör bidraget till den offentliga debatten begränsat. Avslutningsvis vill jag lyfta fram ytterligare några svårigheter och dilemman man kan tänkas behöva hantera eller förhålla sig till i en femte generation av utvärdering. Det första handlar om utvärderarrollen. Kan man vara kritisk när man är så nära verksamheten och deltagarna? Hur organiserar man en lärprocess som ger deltagarna kritisk distans, som tillåter dem att bli medforskare i utvärderingen och analysarbetet? Det andra är en resursfråga. En lärande utvärdering kräver mer tid och resurser, eftersom det handlar om att följa en process och att kontinuerligt interagera med deltagarna. En tredje svårighet handlar om hur man ska komma åt frågor om kausalitet när processen är i fokus, inte resultaten eller effekterna. Ytterligare ett dilemma handlar om hur man ska fånga upp olika intressenters uppfattningar och önskemål, till exempel de målgrupper som ett projekt vänder sig till. För att, som följeforskare kunna klara av alla gamla och nya krav som den femte generationens utvärdering ställer behöver man troligtvis samarbeta med andra utvärderare i team. Denna nya utvärderingsansats skulle, om den lyckas nå upp till sina högt ställda intentioner, kunna bidra till ett reflekterat och hållbart regionalt utvecklingsarbete och innebära ett generationsskifte när det gäller utvärderingstänkande. Ja, det är högt ställda förväntningar på utvärderingsarbetet, men det är också högt ställda förväntningar på vad som ska uppnås i den tredje programperioden. Tillväxt ska skapas med hjälp av offentligt finansierade utvecklingsprojekt i syfte att hela Sverige ska leva! Nu behövs en omfattande forskning för att lära mer om vad denna nya generations utvärdering kan innebära för att bidra till ett hållbart regionalt utvecklingsarbete. I detta paper har jag ställt frågor utifrån egna funderingar, frågor som ska vidareutvecklas i boken Lärande utvärdering/följeforskning. 11
Referenser Guba, E. G. & Lincoln, Y. S. (1989): Fourth Generation Evaluation. London: Sage. Jacobsson, B. & Sahlin- Andersson, K. (1995): Skolan och det nya verket. Skildringar från styrningens och utvärderingarnas tidevarv. Stockholm: Nerenius & Santérus förlag. Karlsson, O. (2000): Praktikbaserad utvärdering. Utbildning & Demokrati nr 2, 2000. Karlsson, O. & Andersson I. (2002): Utvärdering av utbildning både politik och vetenskap. Framtider nr 2/2002. Karlsson, O. & Andersson, I. (2007): Pedagogisk utvärdering som styrning en historia från präster till PISA. Myndigheten för skolutveckling: Forskning i fokus, nr 35 Karlsson, O. (2008): Föreläsning, kurs Lärande utvärdering/följeforskning. Linköpings universitet. Lundberg, L. (1996): En skola som lär för livet. Utveckling via styrning och/eller utveckling via lärande. I Johansson, O & Kallós, D (red) Tänk utveckling! En antologi om skolans kvalitet och effektivitet vad kan ledaren göra? Umeå: Umeå universitets tryckeri. Nutek R (2008 16): Nytta med följeforskning. En vägledning i utvärdering av strukturfonderna 2007 2013. Scherp, H-Å. (2003): PBS. Problembaserad skolutveckling. Ett vardagsnära perspektiv. Karlstad: Universitetstryckeriet. Vedung, E. (1991): Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Vedung, E. 2004: Utvärderingsböljans former och drivkrafter. Helsingfors: Stakes, Stakesin Sosiaalipalvelujen Evaluaatioryhmä Finsoc 1/2003. 12