ATT UTVÄRDERA KUNSKAPSLYFTET ett servicematerial

Transkript

1 Clas-Uno Frykholm ATT UTVÄRDERA KUNSKAPSLYFTET ett servicematerial KUNSKAPSLYFTET

2 KUNSKAPSLYFTET Delegationen för kunskapslyftet Utbildningsdepartementet Stockholm Telefon Fax

3 Förord Att utvärdera Kunskapslyftet är en del i en serie av material som Delegationen för kunskapslyftet erbjuder som stöd och bidrag till utveckling och förnyelse av den gymnasiala vuxenutbildningen. Materialet är avsett att användas inom det samlade skolväsendet för vuxna. Den 1 juli 1997 startade Kunskapslyftet, en riksomfattande vuxenutbildningssatsning som pågår i fem år. Den vänder sig till de människor i samhället som har störst behov av utbildning. Kunskapslyftet är i första hand till för vuxna som helt eller delvis saknar treårig gymnasieutbildning, i andra hand anställda med kort utbildning. Kommunerna ansvarar för utbildningen och har fria händer att lägga upp och anpassa utbildningen efter sina lokala behov och förutsättningar. Lokalt byggs nya former för den kommunala vuxenutbildningens samarbete med arbetsförmedlingen, folkbildningen, fackliga organisationer, studieförbund och olika utbildningsföretag. Kunskapslyftet är en ny syn på vuxenutbildning. Utbildningen ska utformas efter vuxna människors erfarenheter och krav. De som genomgår en utbildning ska själva kunna vara med och påverka utbildningens inriktning, uppläggning och metodik. Materialet har författats av Clas-Uno Frykholm, forskare vid Centrum för utvärderingsforskning vid Umeå universitet, på uppdrag av Delegationen för kunskapslyftet.

4 ATT UTVÄRDERA KUNSKAPSLYFTET ett servicematerial INNEHÅLL OM UTVÄRDERINGEN AV KUNSKAPSLYFTET 5 Vad är syftet med utvärderingen? 5 Vad är det som ska utvärderas? 5 Vem ska göra utvärderingen? 6 Hur ska utvärderingen göras? 6 Hur ska resultaten användas? 7 STRATEGIER OCH MODELLER FÖR UTVÄRDERING 8 Olika sätt att värdera utbildning 8 Produktinriktade utvärderingsmodeller 8 Jämförande utvärdering 8 Målrelaterad utvärdering 8 Processinriktade utvärderingsmodeller 9 Målfri utvärdering 9 Polariserad utvärdering 10 Expertutvärdering 10 Förklaringsinriktade utvärderingsmodeller 11 EN MODELL FÖR UTVÄRDERING AV KUNSKAPSLYFTET 12 Beskrivning av verksamheten 12 Förutsättningar 12 Processer 12 Resultat 13 Tolkning och analys av resultat 14 Utfallsanalys 14 Processanalys 15 Insatsanalys 15 Sammanfattning och grafisk illustration av modellen 15

5 NÅGOT OM METODER 17 Allmänt om metoder 17 Några enkla principer vid val av metoder 18 Metoder för datainsamling 18 Enkäter 18 Intervjuer 19 Observationer 19 Konstruktion av instrument för datainsamling 20 Enkäter och intervjuformulär 20 Observationsprotokoll 21 ATT SKRIVA EN UTVÄRDERINGSRAPPORT 22 Disposition av utvärderingsrapporten Rapportens olika delar 22 Bakgrund och syfte 22 Uppläggning och metoder 23 Resultat 23 Tolkning, analys och diskussion 23 Sammanfattning 24 Referenser och bilagor 24 Till sist, några avslutande ord om språk och språkbehandling 25 OM DU VILL VETA MERA 26 Litteraturtips 27 Nationella styrdokument 27 Om utvärdering i allmänhet 27 Om specifika metoder 28

6 4

7 OM UTVÄRDERINGEN AV KUNSKAPSLYFTET Vad är syftet med utvärderingen? Syftet med utvärderingen av Kunskapslyftet är enkelt uttryckt att följa verksamheten för att se hur det går, att finna förklaringar till varför det går som det går och att återföra kunskap för att utveckla verksamheten så att det går så som man vill att det ska gå. Ett mer konkret syfte är att undersöka i vilken utsträckning målen för verksamheten verkligen uppfylls. I ett längre perspektiv är syftet att summera verksamhetens resultat för att dra lärdom av det som hänt inför kommande beslut om liknande verksamheter. Målen för satsningen på Kunskapslyftet formuleras på olika nivåer och uttrycker olika intressen. Kunskapslyftets övergripande nationella mål handlar om att höja utbildningsnivån i samhället, att minska arbetslösheten, att förnya arbetslivet och att öka förutsättningarna för ekonomisk tillväxt. De handlar också om att utveckla vuxenutbildningens innehåll och arbetsformer och att anpassa utbildningen till de krav som individen, arbetslivet och samhället kommer att ställa in på 2000-talet. Kommunernas mål ligger som regel i linje med de nationella målen, men med den skillnaden att de är anpassade till lokala och regionala förutsättningar. Ett viktigt mål för kommunerna är att samordna olika former av vuxenutbildning till en kraftfull struktur för lärande och kompetensutveckling. På så sätt blir vuxenutbildningen en viktig komponent i en samlad strategi för närings- och tillväxtpolitik i kommunen. För enskilda individer kan Kunskapslyftet innebära ökade möjligheter att få arbete, att utvecklas i sitt arbete eller att byta yrke till något som har bättre framtidsutsikter. En bas i form av en treårig gymnasieutbildning ger också bättre förutsättningar för individuell utveckling, fortsatta studier och ett livslångt lärande. Syftet med utvärderingen av Kunskapslyftet sett ur kommunernas perspektiv är: att undersöka om utbildningssatsningen uppnår de mål som politiker, utbildningsanordnare och deltagare ställt upp att visa vad som fungerar bra och vad som fungerar mindre bra att analysera och förklara varför det går som det går, och att ge förslag till åtgärder som kan utveckla och förbättra verksamheten Utvärderingen ska också ge underlag för beslut om fortsatta satsningar på vuxenutbildning. Vad är det som ska utvärderas? Utvärderingen av Kunskapslyftet görs på olika nivåer, av olika intressenter och med olika inriktning och syften. Kunskapslyftskommittén samordnar den nationella utvärderingen som i huvudsak görs av forskare. Delegationen för Kunskapslyftet följer implementeringen av utbildningssatsningen, främst för att se hur regelverket fungerar. Skolverket genomför inom ramen för sin ordinarie verksamhet fortlöpande tillsyn, uppföljning och utvärdering av all kommunal vuxenutbildning. Skolverket kommer efterhand att ta ett större ansvar för den centrala uppföljningen och utvärderingen av Kunskapslyftet. Kommunerna har ansvaret för utvärderingen på lokal nivå. De ska utvärdera sin egen verksamhet, främst för att utveckla och säkerställa utbildningens kvalitet. Kommunerna är också skyldiga att medverka i den uppföljning och utvärdering som initieras centralt. Den nationella utvärderingen av Kunskapslyftet ska ge svar på övergripande frågor om den särskilda utbildningssatsningens resultat vad gäller kunskapsökning, effekter på sysselsättning och förändring av vuxenutbildningssystemet. Utvärderingen ska belysa frågor som rör kommunernas förutsättningar att anordna utbildningen, kostnader, rekrytering av deltagare, pedagogisk förnyelse, deltagarinflytande, deltagarnas personliga utveckling, hur satsningen påverkar det lokala näringslivet och arbetsmarknaden, hur satsningen bidrar till att förändra vuxenutbildningens verksamhetsformer och hur en sådan här satsning fungerar som modell för förändring mer generellt. Vad gäller kommunernas roll i den nationella utvärderingen sägs i Kunskapslyftskommitténs uppdragsspecifikation 1 att man bör studera hur kommunerna genomför sina uppgifter: vad som görs, varför och hur. Som exempel på sådant som bör belysas nämns kommunernas sätt att organisera och planera utbildningen, kommunernas samverkan med näringslivet och arbetsmarknaden, hur upphandling och anpassning av utbudet går till, målformulerings- och utvärderingsprocesserna samt hanteringen av eventuella skillnader mellan sökta och beviljade projektmedel. Vidare sägs att det bör vara intressant utifrån ett individperspektiv att utvärdera arbetet med individuella studieplaner, vägledning, uppsökande verksamhet och validering av deltagarnas tidigare kunskaper. Vad gäller de pedagogiska aspekterna av utbildnings- 1 Kunskapslyftskommittén, PM , Dnr 24/94: Utvärdering av Kunskapslyftet. 5

8 satsningen så sägs i samma dokument att det är angeläget att granska kvaliteten i utbildningen, de olika utbildningsanordnarnas vuxenpedagogiska utgångspunkter, fortbildning av berörd personal och system för kvalitetssäkring och kvalitetsutveckling. Andra aspekter som framhålls är erfarenheter av lärande och utbildning i arbetslivet och verksamhetens kostnadseffektivitet. Slutligen påpekas att utvärderingen bör belysa eventuella skillnader mellan kvinnor och män, samt hur olika aktiviteter slår för invandrare och lågutbildade. Det bör framhållas att ovan angivna aspekter av utvärdering på kommunnivå gäller den nationella utvärderingen av Kunskapslyftet. De utvärderingar av Kunskapslyftet som kommunerna själva beslutar om ska i första hand göras för kommunernas egen skull. Deras främsta syfte är att se till att verksamheten i kommunen fungerar så bra som möjligt, men de bör naturligtvis även belysa resultaten av kommunens insatser i relation till lokala och centrala mål. Inriktningen av kommunernas utvärderingar av Kunskapslyftet bestäms lokalt. Tyngdpunkten bör dock ligga på kommunernas förutsättningar för att genomföra verksamheten, de pedagogiska processerna och utbildningens resultat så som de upplevs av de studerande och deras lärare. I Kunskapslyftskommitténs samordningsansvar ingår att följa de utvärderingsinsatser som initieras av kommunerna. Kommittén ska stödja och stimulera utvecklingen av lokala utvärderingsprojekt och fungera som en nationell diskussionspart för kommunerna. Vem ska göra utvärderingen? I förordningen om Kunskapslyftet fastslås att en kommun som tilldelats statligt stöd är skyldig att medverka i uppföljning och utvärdering av verksamheten. Hur kommunerna ska fullgöra denna skyldighet preciseras emellertid inte. Det sägs inte heller något om vem eller vilka som ska genomföra utvärderingarna. Principiellt kan man tänka sig flera olika lösningar: Utvärderingarna kan göras av personer som är centralt placerade i kommunens skolförvaltning och som normalt har ansvar för uppföljning och utvärdering av skolverksamhet; utvärderingarna kan göras av personer som är projektanställda för att arbeta med Kunskapslyftet; utvärderingarna kan göras av oberoende konsulter (utvärderingsexperter) som upphandlas för ändamålet och slutligen kan utvärderingarna göras av personer som är direkt involverade i verksamheten på fältet. Det finns för- och nackdelar med alla varianterna. Utvärderingar som görs av någon utomstående expert kan ibland ha större trovärdighet, men i andra situationer kan det vara en styrka kanske nödvändigt att ha inifrånkunskap. Det kan också ha betydelse om utvärderingarna görs uppifrån och ner eller nerifrån och upp. Utvärderingar som görs uppifrån och ner brukar ofta ha ett tydligare inslag av styrning och kontroll, medan nerifrån-utvärderingar är mer inriktade mot utveckling och förändring. Det kan många gånger vara en god strategi att engagera olika utvärderare för olika delar av utvärderingen. Utvärderingen av kommunernas sätt att organisera och planera utbildningen bör kanske göras av någon oberoende person, medan den kvantitativa uppföljningen av sökandebild, studieresultat och aktiviteter efter avslutad utbildning med fördel kan göras av någon inom skolförvaltningen. Utvärderingen av utbildningens processer, den tillämpade pedagogiken, deltagarinflytandet och utbildningens kvalitet görs förmodligen bäst av de närmast berörda deltagarna själva och deras lärare. Det är viktigt att involvera deltagare och andra intressenter i utvärderingsarbetet. Av praktiska skäl bör det emellertid finnas en utvärderingsansvarig samordnare som kan initiera och stödja olika utvärderingsinsatser, hålla ihop arbetet och svara för en samlad redovisning gentemot intressenter, utbildningsanordnare och beslutsfattare. Hur ska utvärderingen göras? Det finns mycket få riktlinjer i de officiella dokumenten om hur kommunernas utvärderingar ska göras. I Kunskapslyftskommitténs promemoria om den nationella utvärderingen 2 sägs att kommunerna ska genomföra egna utvärderingar av Kunskapslyftet, liksom Folkbildningsrådet av de platserna på folkhögskolorna. Vidare sägs att egenutvärderingarna är ett viktigt led i arbetet med kvalitetsutveckling i kommuner och på folkhögskolor. Om metoder sägs i samma dokument att både kvantitativa och kvalitativa metoder behöver komma till användning i utvärderingarna som skall avse såväl satsningens genomförande och pedagogiska processer som resultat och effekter. (sid 4). Kvantitativa mått sägs vara intressanta när det gäller effekter på individ- och kommunnivå. Som exempel nämns antal studerande som deltar i olika kurser och program, studieresultat, kunskapseffekter och effekter på individernas fortsatta utveckling, vidareutbildning, anställning och samhällelig delaktighet. Kvalitativa effekter bör också studeras på individnivå, hos utbildningsanordnare och i kommuner. Här lyfts processtudier fram som särskilt viktiga. Som metod framförs idén om en kvalitativ dialog: I ett innovativt program av ett sådant slag måste det finnas utrymme för en kvalitativ dialog mellan programansvariga och deltagare i programmet. Det är viktigt att utvärdera i vilken utsträckning de deltagande arbetslösa, vuxenutbildare och ansvariga i kommunerna kommer till tals redan under processens gång så att det innovativa förloppet förstärks. (sid 5). 6 2 Kunskapslyftskommittén, PM , Dnr 24/94: Utvärdering av Kunskapslyftet.

9 Det processinriktade angreppssättet framhålls av det skälet att ett viktigt syfte med Kunskapslyftet är att förändra och utveckla vuxenutbildningen, och då är det viktigt att följa förändringsprocessen för att försöka förstå och förklara vad som händer. Som en generell metod förordas jämförande studier av olika slag. Jämförelser kan göras mellan könen och mellan olika målgrupper, men också mellan olika kurser och program och mellan olika utbildningsanordnare. I det senare fallet kan det vara intressant att studera insatserna vad gäller utbildningens omfattning och inriktning, utbildningens organisation och pedagogik samt studiefinansieringen. Jämförelsegrupper kan vara tidigare deltagare i kommunal vuxenutbildning, deltagare i arbetsmarknadsutbildning eller i annan arbetsmarknadspolitisk åtgärd. Hur ska resultaten användas? I ett inledningsskede är det angeläget att snabbt få in uppgifter om hur regler och bestämmelser kring den särskilda satsningen tillämpas, hur de slår för olika målgrupper och vilka konsekvenser de har för verksamheten. Dessa resultat ska användas för att vid behov göra förändringar i regelverket så att verksamhetens mål på bästa sätt kan nås. Inledningsvis är det Delegationen för Kunskapslyftet som har ansvar för denna uppföljning och som också ska föreslå eventuella förändringar som kan vara påkallade. Beslut i dessa frågor tas av regering och riksdag. I ett längre perspektiv ska utvärderingen av Kunskapslyftet ge underlag för beslut om den framtida vuxenutbildningen mer generellt vad gäller exempelvis inriktning, omfattning, finansiering, organisation och pedagogik. När det gäller den specifika satsningen på Kunskapslyftet så är det Kunskapslyftskommittén som i första hand har ansvar för den nationella utvärderingen, men det ankommer även på Skolverket att inom ramen för sitt uppdrag följa upp och utvärdera verksamheten i relation till nationella mål. Såväl Kunskapslyftskommittén som Skolverket kan utifrån utvärderingens resultat ge förslag till förändringar av regelsystem, och även föreslå olika stöd- och stimulansåtgärder för utvecklingen av vuxenutbildningen. Det är naturligtvis också intressant för statsmakterna att så småningom få en slutsummering av den särskilda satsningen, för att se vilka resultat och långsiktiga effekter den gett. Dessa erfarenheter är värdefulla som grund för framtida beslut om liknande satsningar. Resultaten av de utvärderingar som kommunerna genomför ska främst användas för att säkerställa och utveckla utbildningens kvalitet, vilket inte hindrar att de samtidigt kan utgöra viktiga inslag i den nationella utvärderingen. Kommunerna har emellertid ett uttalat självständigt ansvar, både vad gäller verksamheten som sådan och utvärderingen av den. När medelsramen väl fördelats är det kommunernas ansvar att forma verksamheten, att utveckla dess innehåll och former och att utvärdera satsningen mot de mål som kommunerna själva satt upp. Resultaten av egenutvärderingarna ska användas för att kontinuerligt ge återkoppling till de direkt berörda studerande, lärare och administratörer vid de institutioner som genomför Kunskapslyftet. Syftet med dessa resultatåterföringar är att säkra och utveckla kvaliteten i verksamheten så att de studerande blir nöjda, men också att styra verksamheten mot uppställda mål. Resultaten ska även användas för beslut på kommunnivå om dimensionering, samordning och organisation av Kunskapslyftet och andra utbildningsinsatser för vuxna. På sikt handlar det om att utveckla vuxenutbildningens innehåll och arbetsformer och att anpassa utbildningen till de nya krav som individen, arbetslivet och samhället kommer att ställa i framtiden. Eftersom resultaten ska användas på olika sätt för verksamhetsutveckling, i det kommunala beslutsfattandet och i den nationella utvärderingen så är det viktigt att de presenteras i årliga lägesrapporter. Mer analyserande och förklarande rapporter bör produceras efter halva försökstiden och vid försöksperiodens slut. 7

10 STRATEGIER OCH MODELLER FÖR UTVÄRDERING Olika sätt att värdera utbildning Det finns många olika strategier och modeller för utvärdering av utbildning. Modellerna skiljer sig åt vad gäller syften, uppläggning, metoder, genomförande och resultatanvändning. Grovt sett kan man skilja mellan produktinriktade modeller, processinriktade modeller och förklaringsinriktade modeller. Produktinriktade utvärderingsmodeller Produktinriktade utvärderingsmodeller är som namnet antyder inriktade mot att belysa resultat och mer långsiktiga effekter av olika utbildningssatsningar. Man brukar i dessa sammanhang tala om summativ utvärdering. Syftet med en summativ utvärdering är att efter det att en verksamhet är genomförd summera resultaten för att se vad verksamheten lett till och om de uppställda målen nåtts. Vanligen ställs resultaten i relation till de insatser i form av tid, pengar och andra resurser som krävts för genomförandet. Värdet av verksamheten bestäms som ett slags kvot mellan investerade resurser och den nytta som verksamheten lett till (sk costbenefit analyser). Jämförande utvärdering Ett viktig syfte med produktinriktad utvärdering är att bestämma och om möjligt öka effektiviteten i en bestämd utbildningsverksamhet. Med olika former av jämförande utvärderingar kan man avgöra om en viss undervisningsaktivitet eller utbildningssatsning är bättre eller sämre än en annan jämförbar aktivitet. Principen för en jämförande utvärdering är egentligen mycket enkel. Man utgår från en försöksgrupp som prövar nya metoder eller ett nytt program, och en referensgrupp som arbetar traditionellt; ser till att de är likvärdiga vid försökets inledning och jämför sedan utfallet när verksamheten är genomförd. Om utgångsläget för de båda grupperna är lika och man i slutändan får skillnader i resultat så kan dessa skillnader hänföras till skillnader i programaktiviteter. Man kan då dra slutsatser om huruvida programverksamhet A är bättre eller sämre än programverksamhet B. 3 Likhet i utgångsläget Försöksgrupp Referensgrupp Programaktivitet Referensaktivitet Figur 1. Jämförande utvärdering. Resultat Resultat Bakgrund Organisation Kunskaper Förkunskaper Innehåll Färdigheter Motivation Pedagogik Attityder Studievillkor Resurser Beteenden Skillnader i resultat Ett problem vid jämförande utvärderingar är att mätningen av verksamhetens utfall ofta görs utifrån kvantitativa effektmål och vad som brukar kallas mätbara framgångsindikatorer. Det innebär att modellen inte kan hantera komplexa mål, kvalitativa mål och målkonflikter. Om verksamheten som ska utvärderas har delvis nya och mer komplexa mål jämfört med referensaktiviteten vilket är fallet när det gäller Kunskapslyftet uppstår problem att göra jämförelser och tolka resultaten. Det går inte att på något enkelt sätt mäta om ett ökat studerandeinflytande leder till nya förhållningssätt till inlärning och kunskap som i sin förlängning bidrar till ett livslångt lärande. Det går inte heller att utifrån en enkel kunskapsmätning dra slutsatsen att den ena verksamheten är bättre än den andra. Målen för verksamheterna kan ju skilja sig åt vad gäller betoningen av inlärning av enkelt mätbara kunskaper. Målrelaterad utvärdering Ett sätt att hantera problemen med komplexa mål och målkonflikter är att ta målen som utgångspunkt för utvärderingen. Vid målrelaterade utvärderingar görs jämförelserna mellan resultat och i förväg uppställda mål till skillnad från den jämförande utvärderingen där en verksamhet jämförs med en annan för att fastställa dess relativa värde. Ansatsen är således i båda fallen jämförande, men referenspunkterna för jämförelserna skiljer sig åt. I det ena fallet jämför man resultaten av två olika program (t ex försöksverksamhet och reguljär verksamhet) och i det andra fallet jämförs resultaten av ett program med uppställda mål. 8 3 Jämförande utvärderingar kan också genomföras retroaktivt genom att man jämför resultaten av en ny verksamhet med resultat av en tidigare avslutad verksamhet. Härvid uppstår emellertid vissa metodiska problem när det gäller att säkerställa likvärdighet i utgångsläget vilket ger en större osäkerhet vad gäller förklaringar till skillnader i utfall.

11 Mål Grad av måluppfyllelse Medel Kunskaper Organisation Kunskaper Färdigheter Innehåll Färdigheter Attityder Metoder Attityder Beteenden Resurser Beteenden Figur 2. Målrelaterad utvärdering. Resultat Tanken bakom den målrelaterade utvärderingsmodellen är att en verksamhet ska styras av explicit formulerade mål och att utvärderingen ska avgöra i vilken utsträckning målen har nåtts. Utvärderingen av verksamheten görs därmed på verksamhetens egna premisser, vilket på en underordnad nivå undanröjer problemet med målkonflikter men samtidigt på en överordnad nivå förutsätter att det råder enighet om de gemensamt fastlagda målen. Den målrelaterade utvärderingen bygger på den rationella tanken att det är möjligt att åstadkomma förändringar genom att i förväg formulera tydliga (mätbara) mål, att finna rationella medel för att uppnå målen och att i efterhand kontrollera om målen har nåtts eller inte. Om det finns brister i måluppfyllandet kan utvärderaren gå in och granska medlen: Fungerar organisationen bra? Finns det brister i innehåll och metoder? Används resurserna på bästa sätt? Ett problem med den målrelaterade utvärderingsmodellen är att utvärderingen vanligen inriktas mot mål som är enkla att mäta, vilket innebär att övergripande och långsiktiga mål ofta glöms bort. Betoningen av mätbara mål gör också att utvärderingen kan få en styrande och kontrollerande funktion. Gemensamt för de produktinriktade utvärderingsmodellerna är att de ofta saknar processinformation. Processen blir en svart låda något som man inte vet så mycket om. Produktinriktade utvärderingar kan avgöra om en verksamhet är bättre eller sämre än en annan verksamhet och om verksamhetens mål har uppfyllts eller inte. Däremot ger de sällan svar på varför-frågor och därmed inte heller någon information som är användbar för beslutsfattare och genomförare om vad som kan och bör förändras och hur det ska göras. Produktinriktade utvärderingar görs ofta av och för överliggande nivåer. Syftet är vanligen att kontrollera verksamheten och att styra den i riktning mot centralt fastlagda mål. Modellerna är inte lämpliga om syftet med utvärderingen är att ta fram underlag för att utveckla och förändra en verksamhet. Processinriktade utvärderingsmodeller Processinriktade utvärderingsmodeller lägger tonvikten vid studier av processer och förlopp. Syftet är mer formativt än summativt. Med formativ utvärdering avses en utvärderingsstrategi som är inriktad på att forma verksamheten och inte så mycket på att summera dess resultat. Lite slagordsmässigt kan man säga att processen är viktigare än produkten. Tanken är att om man på olika sätt kan garantera att processen håller hög kvalitet så bör produkten också bli bra. Processinriktad utvärdering betonar utvärderingens funktion som drivkraft i en förändringsprocess. Förändringar kan inte åstadkommas genom att man i förväg och i detalj preciserar mätbara mål och sedan bestämmer hur man på bästa sätt ska uppnå dem. Förändringsprocesser är organiska och inte mekaniska. De lever och utvecklas i ett socialt sammanhang, och det är genom reflektion över vad som händer och hur saker och ting går som man får kunskap om hur en verksamhet kan och bör utvecklas. Den processinriktade utvärderingen fyller funktionen att kontinuerligt ge återkoppling till dem som driver verksamheten, så att de kan utveckla den i riktning mot övergripande mål och intentioner. Målfri utvärdering Mål framför allt övergripande mål är viktiga för att inrikta uppmärksamheten på viktiga aspekter av processen, men en processorienterad utvärderare ser inte något behov av detaljerade och mätbara mål. Det finns till och med en variant av processinriktad utvärdering som brukar kallas för målfri utvärdering 4 där man särskilt framhåller vikten av att inte utgå från i förväg uppställda mål. Motivet är att en sådan strategi kan leda till att man inte uppmärksammar viktiga resultat och effekter bara för att de inte finns formulerade som mål. Det gäller särskilt negativa effekter, eftersom dessa av naturliga skäl sällan uttrycks som mål. Mål inte viktiga Process Beskrivning av processen organisation innehåll metoder etc. Figur 3. Målfri utvärdering. Resultat Alla slags effekter är viktiga positiva negativa 4 Begreppet introducerades av Michael Scriven,

12 Polariserad utvärdering Idén att särskilt belysa de starka och svaga sidorna med en viss verksamhet framhålls i det som brukar kallas polariserad utvärdering. Processen beskrivs här i termer av alla fördelar, allt som är positivt och stöder den verksamhet som utvärderas och samtidigt alla nackdelar, allt som är problematiskt och hindrar genomförandet. Även beskrivningen av resultatkomponenten polariseras i positiva och negativa effekter. Själva utvärderingen består sedan i en analys där för- och nackdelar vägs mot varandra. Förändringsstrategin är att utveckla det som fungerar bra och vidta åtgärder för att undvika det som är problematiskt. 5 sin gedigna erfarenhet och stora sakkunskap om det som ska utvärderas. Processbeskrivningarna baseras i stor utsträckning på subjektiva bedömningar. En speciell variant av expertutvärdering är det som brukar kallar kollegieutvärdering (peer reviews). I den modellen baseras experternas bedömning på en självvärdering som de verksamhetsansvariga själva genomför. Experterna är kollegor till de som granskas och syftet med deras externa bedömning är att de ska se verksamheten med andra ögon och utifrån sina erfarenheter ge förslag till förändringar. Mål Process Mål inte viktiga Process Beskrivning av processen Positiva effekter Negativa effekter För- och nackdelar Övergripande mål viktiga för att styra observationerna Beskrivning av processen kritisk granskning subjektiv bedömning Resultaten inte viktiga tillgångar, möjligheter begränsningar, problem Polarisering av positiva och negativa effekter. Figur 5. Expertutvärdering. Figur 4. Polariserad utvärdering. Expertutvärdering En annan variant av processinriktad utvärdering är den så kallade expertmodellen. Till skillnad från andra processinriktade utvärderingsmodeller där utvärderingarna vanligen görs av och för dem som är direkt involverade i verksamheten så överlåter man här åt särskilt sakkunniga personer att bedöma den verksamhet som ska utvärderas. Utvärderaren gör sina bedömningar utifrån Gemensamt för de processinriktade utvärderingsmodellerna är att de alla ger goda beskrivningar av processerna, de lyfter fram för- och nackdelar med olika verksamheter och de visar på olika sätt att förändra och utveckla den verksamhet som utvärderas. Processinriktade utvärderingsstrategier är därför lämpliga när man prövar sig fram för att finna nya former, metoder och arbetssätt för att genomföra något på ett nytt sätt. Men de processinriktade utvärderingsmodellerna ger inte några bra svar på varför-frågorna. Avsaknaden av en noggrann analys av förutsättningarna, det ensidiga användandet av kvalitativa metoder och den subjektiva bedömningen gör det svårt att beskriva vad som egentligen sker, att förklara varför just detta sker och att ange hur något annat skulle kunna ske Så kallad SWOT-analys är ett specialfall av polariserad utvärdering. SWOT står för Strength, Weakness, Opportunities och Threats. Metoden utvecklades för att analysera starka och svaga sidor i företag, som grund för framtida strategiska satsningar. Metoden är numera relativt vanlig även inom offentlig verksamhet.

13 Förklaringsinriktade utvärderingsmodeller Förklaringsinriktade utvärderingsmodeller har som främsta syfte att beskriva den utvärderade verksamheten så som den faktiskt bedrivs, att fastställa verksamhetens resultat i vid mening, att finna förklaringar till varför verksamheten leder till just dessa resultat och att ange hur verksamheten skulle kunna utvecklas och förbättras. För att finna förklaringar och få svar på varför-frågorna är det nödvändigt att förutom verksamhetens resultat ingående granska verksamhetens förutsättningar och de processer som pågår. När de tre komponenterna förutsättningar, processer och resultat har beskrivits vet man redan en hel del om den verksamhet som ska utvärderas, men genom att sätta de tre komponenterna i relation till varandra kan kunskapen fördjupas avsevärt. Ett första steg i analysarbetet är att jämföra resultaten med de förutsättningar som varit rådande. En sådan utfallsanalys syftar till att finna förklaringar till varför vissa saker gått bra medan andra inte gått så bra. Att någonting gått bra beror kanske på att vissa gynnsamma förutsättningar varit rådande god organisation, duktiga lärare, bra lokaler etc. På motsvarande sätt kan ett negativt resultat kanske förklaras av brister och problem i verksamhetens förutsättningar dåliga studievillkor, få sökande till utbildningarna etc. Man kan också jämföra resultaten med vad som händer i själva genomförandet. I en processanalys undersöker man om det finns faktorer i processkomponenten som kan förklara varför det går som det går. Saker och ting kanske inte går så bra, även om förutsättningarna är goda. Kanske finns det brister i planeringen av undervisningen; innehållet och uppläggningen av studierna kanske inte är anpassade till målgruppen; det kanske inte finns någon tid till handledning och stödinsatser? Ett positivt utfall kan kanske på motsvarande sätt förklaras av positiva processer att ledningsfunktionen fungerar särskilt bra eller att lärarna är lyhörda för deltagarnas synpunkter. Slutligen kan man titta på processerna i relation till de förutsättningar som råder. Syftet med en insatsanalys är att kritiskt granska hur resurser och andra förutsättningar utnyttjas för att genomföra verksamheten. I en framåtblickande analys diskuteras vad man utifrån givna förutsättningar kan göra (kunde ha gjort) för att nå ett ännu bättre resultat. Den framåtblickande insatsanalysen kan i vissa fall leda till att verksamhetens förutsättningar ifrågasätts och att kritik riktas uppåt i systemet. Enligt förklaringsinriktad utvärdering bör tolkning, analys och värdering av resultat alltid göras utifrån en explicit formulerad referensram. I referensramen beskrivs inte bara verksamhetens bakgrund och syften, utan också hur utvärderaren betraktar den verksamhet som ska utvärderas. Det är viktigt att verksamheten sätts in i ett större sammanhang där utvärderaren försöker förstå varför den kommit till stånd, vad man vill uppnå och vilka intressenter som berörs. Referensramen fyller flera syften: den är vägledande vid val av aspekter och metoder för datainsamling, den utgör tolkningsbas och värderingsgrund vid analys och värdering av resultat och den fungerar som en varudeklaration för läsare av utvärderingsrapporten, så att de kan bedöma tillförlitligheten i de slutsatser som dras utifrån utvärderingens resultat. Referensram Insatsanalys Utfallsanalys Processanalys Förutsättningar Processer Resultat Mål Aktiviteter Kunskaper Ramfaktorer Metoder Produkter Resurser Relationer Kostnader Personal Arbetsklimat etc. etc. etc. Figur 6. Förklaringsinriktad utvärdering. Förklaringsinriktade utvärderingsstrategier är lämpliga vid utvärdering av större utbildningssatsningar och vid genomförandet av mer genomgripande förändringar. Tyngdpunkten ligger i en formativ ansats där utvärderingens viktigaste funktion är att ta fram underlag för förändring och utveckling, men modellen ger också svar på mer konkreta frågor om måluppfyllelse och kostnadseffektivitet. Nackdelen med modellen är att den är mer krävande både vad gäller tid, resurser och kunskaper jämfört med andra modeller. Modellens styrka är att den som regel ger goda beslutsunderlag. 11

14 EN MODELL FÖR UTVÄRDERING AV KUNSKAPSLYFTET I det följande ska vi utifrån en förklaringsinriktad ansats presentera en modell för utvärdering av Kunskapslyftet. Modellen gör inte anspråk på att vara uttömmande och fullständig. Den ska inte heller betraktas som föreskrivande i betydelsen att den måste tillämpas. Modellen ska snarast ses som ett hjälpmedel vid uppläggning och genomförande av de utvärderingar av Kunskapslyftet som kommuner och Folkbildningsrådet är ålagda att genomföra. Modellen kan tillämpas i sin helhet, valda delar kan användas, den kan modifieras så att den passar lokala förhållanden och den kan helt läggas åt sidan. Modellen bygger på den tidigare presenterade strukturen där verksamheten granskas utifrån dess i förutsättningar, processer och resultat och där analysen görs genom att sätta dessa komponenter i relation till varandra. Beskrivning av verksamheten En bra startpunkt för all utvärdering är att ta fram en beskrivning av den verksamhet som ska utvärderas. Den kan inledas med en kort översikt över av vad Kunskapslyftet är och vad verksamheten syftar till, hur den har vuxit fram och vilka politiska överväganden som ligger bakom besluten. Beskrivningen bör göras både utifrån ett övergripande nationellt perspektiv, och mer specifikt utifrån hur det ser ut i den egna kommunen. Bakgrundsbeskrivningen bör också belysa hur projektidén mottogs och förankrades bland de berörda, vilka överväganden som gjordes inför kommunens ansökan om att medverka och vilka prioriteringar som gjordes innan det slutliga programmet fastlades. Själva programmet kan beskrivas kortfattat och huvudsakligen i siffror som anger verksamhetens omfattning, antal utbildningsplatser på olika kurser och program, utbildningsanordnare, personalinsatser, kostnader etc. Projektets ledning och organisation bör också beskrivas. Till beskrivningen kan fogas eventuella direktiv för kommunens utvärdering och hur utvärderingen är organiserad och upplagd. Om utvärderaren eller utvärderarna utgår från något speciellt perspektiv, någon specifik värdegrund eller någon speciell modell för utvärdering så bör det anges. Förutsättningar Efter en mer allmän beskrivning av projektet kan det var lämpligt att gå in och titta mer specifikt på projektets förutsättningar. En given utgångspunkt är det mål- och regelsystem som fastlagts på central nivå. Vad vill uppdragsgivarna (staten) uppnå med utbildningssatsningen och vilka villkor gäller för genomförandet? Hur har de nationella målen tolkats och utvecklats på lokal nivå? Har kommunen tillfört egna mål för sitt engagemang? Har målen preciserats i kvantitativa (mätbara) termer? Hur har regelsystemet tolkats och tilllämpats? Kommunens utbildningsutbud och det sätt på vilken man kommit fram till det är en viktig förutsättning för möjligheterna att framgångsrikt genomföra Kunskapslyftet. Hur och på vilka grunder har program och kurser fastställts? Hur väl är utbildningsutbudet anpassat till arbetslivets behov och målgruppernas önskemål? Hur många utbildningsplatser finns för olika utbildningar och hur är tillgängligheten för olika målgrupper? Hur många sökande finns till de olika utbildningarna? Hur sker urvalet när antalet sökande är större än antalet utbildningsplatser? En ingående analys av utbildningsanordnarnas strukturella förutsättningar för att genomföra olika delar av programmet bör också göras. Om programmet genomförs av olika utbildningsanordnare kan det vara intressant att jämföra deras erfarenhet, kapacitet, kompetens, tradition, motiv och engagemang. Skillnader i strukturella förutsättningar kan vara en viktig förklaring till varför vissa utbildningsanordnare lyckas bättre än andra. Resurser i form av pengar, personal, lokaler och utrustning bör också kartläggas och beskrivas. När det gäller personella resurser bör man inte bara titta på tillgången på personal, utan också på hur personalen är sammansatt vad gäller kön, ålder, utbildning, kunskaper, erfarenheter, motivation, pedagogisk grundsyn, inställning till Kunskapslyftet etc. Bedömningen av lokaler och utrustning bör göras utifrån frågor om de är tillräckliga och ändamålsenliga. Tillgången till bibliotek och datorer bör särskilt uppmärksammas. Slutligen utgör naturligtvis de studerande och deras studievillkor en viktig förutsättning för hur verksamheten ska lyckas. Att beskriva de studerandes bakgrund, förkunskaper, kompetens och motivation för studier är en viktig uppgift för en utvärderare. De studerandes familjesituation, boende, resor, ekonomi, tillgång till datorer etc. bör också kartläggas. Bakgrundsbeskrivningen bör göras så att man ser om det finns skillnader mellan män och kvinnor och mellan olika målgrupper. Processer Vi har tidigare i vår genomgång av olika utvärderingsmodeller betonat vikten av att beskriva verksamhetens processer. Med processer i en utbildningsverksamhet menas allt som är relaterat till verksamhetens genomförande. Centrala processer i genomförandet av Kunskapslyftet är ledningsprocesser, planeringsprocesser, under- 12

15 visningsprocesser, inlärningsprocesser, bedömningsprocesser och utvärderingsprocesser. Ledningsprocesser handlar om hur projektet organiseras och leds. Mer konkret handlar det om fördelning av ansvar och arbetsuppgifter. Rekrytering och förberedelse av personal, liksom rekryteringsåtgärder riktade mot potentiella studerande, är viktiga ledningsprocesser. Hit hör frågor om information, studievägledning och personalutbildning. Till ledningsprocesserna hör också strategisk planering och kopplat till det uppföljning och utvärdering av projektets övergripande mål. Budgethantering, resursanvändning och administrativ service är andra viktiga ledningsprocesser. Med planeringsprocesser menar vi här den planering som är mer direkt kopplad till olika kurser och program. Till planeringsprocesserna hör tidsplanering, schemafrågor och distributionsformer (skolförlagt eller distansstudier, hel- eller halvfart, dag- eller kvällstid). Den direkta planeringen av utbildningarnas innehåll och uppläggning är naturligtvis också viktiga planeringsprocesser både vad gäller hur de går till och vad de resulterar i. Mot bakgrund av Kunskapslyftets övergripande mål bör studerandeinflytandet i planeringsprocesserna särskilt belysas. De processer som äger rum i själva utbildningssituationen är kanske de mest centrala i utvärderingen av Kunskapslyftet. Som utvärderare bör man försöka beskriva dessa processer så ingående som möjligt. Deltagarmedverkan, arbetsklimat och socialt samspel är viktiga aspekter, liksom undervisningsformer, arbetssätt och inlärningsstrategier. Vid studier av vuxenpedagogiskt arbete där inslaget av självständigt arbete bör vara stort är det särskilt viktigt att beskriva hur handledning, stöd och hjälp ges och mottas av de studerande. Det faktum att många av de studerande kan vara studieovana bör särskilt uppmärksammas. Förekomsten av uppföljning och utvärdering i form av kontinuerliga kursvärderingar och mer omfattande programutvärderingar liksom användningen av resultaten från sådana utvärderingar ger också en viktig bild av hur verksamheten fungerar och utvecklas. Som utvärderare bör man inte bara titta på resultaten av sådana utvärderingar, utan också och kanske ännu mer på vilken inställning lärare och studerande har till utvärderingar som instrument för kursutveckling och hur resultaten faktiskt används för att förbättra utbildningen. Syftet med en sådan meta-utvärdering (utvärdering av utvärderingar) är att utveckla användningen av uppföljning och utvärdering som instrument för kvalitetssäkring och kontinuerlig kvalitetsutveckling av undervisningen. Resultat Kunskapslyftet har många olika mål, formulerade på olika nivåer och av olika intressenter. Målen är både kvantitativa och kvalitativa, och mer eller mindre komplexa. De är både kortsiktiga och långsiktiga och inriktar sig mot olika områden i samhället. Det är naturligtvis inte lätt att i en sådan situation ge en enkel och entydig redovisning av verksamhetens resultat. Det är heller inte meningen att kommunerna ensamma ska besvara alla de frågor om verksamhetens resultat och effekter som kan ställas. Kommunerna ska i första hand inrikta sig mot mer direkta resultat av den egna verksamheten. Ett ganska påtagligt resultat som bör beskrivas är omfattningen av den verksamhet som faktiskt genomförts. En kvantitativ beskrivning av genomförd verksamhet bör innehålla uppgifter om både planerade och faktiskt genomförda utbildningsvolymer för olika kurser och program, liksom uppgifter om antal sökande, antagning, genomströmning och studieavbrott med avseende på kön och målgrupper. I analysen och diskussionen bör dessa data sättas i relation till utbildningsutbud, tillgänglighet, information, studievägledning, distributionsformer, kursinnehåll, pedagogik, studievillkor, stödinsatser mm. Resultatbeskrivningen bör också innehålla en redovisning av kostnader för olika delar av verksamheten. Kostnaderna kan lämpligen delas upp i olika kostnadsslag, till exempel kostnader för ledning och administration, kostnader för information och studievägledning, kostnader för personal och personalutveckling, kostnader för lokaler, utrustning och material etc. Man kan också beräkna totalkostnader och per capita-kostnader för olika utbildningar, kurser och program. Hur kostnaderna redovisas bör styras av kommunernas behov av information för fortsatt planering. Redovisningen av kostnaderna bör sättas i relation till såväl kvantitativa som kvalitativa resultat. Även om utbildningsvolymer och kostnader är viktiga, så är det ändå så att det är utbildningens kvalitet och deltagarnas studieresultat som är viktigast när man ska bedöma resultaten av kommunernas insatser för att förverkliga Kunskapslyftet. Kvalitet är emellertid ett mångtydigt begrepp som kan definieras och bedömas på olika sätt. Man ska vara medveten om att uppfattningen om vad som är att betrakta som god kvalitet kan variera mellan olika individer och också förändras över tid. När man ska bedöma utbildningskvalitet kan det vara praktiskt att skilja på processkvalitet och produktkvalitet. Processkvalitet handlar om egenskaper i produktionsprocessen själva undervisnings- och inlärningssituationen medan produktkvalitet handlar om egenskaper hos produkten, vad deltagaren kan efter avslutad utbildning. Det vanligaste sättet att bedöma processkvalitet är att fråga de studerande vad de tycker om sin utbildning. Processkvalitet kan även bedömas mer objektivt genom att beskriva nyckeltal och sammanställa viss basinformation, till exempel lärartäthet, gruppstorlek, undervisningstid per modul, lärarnas formella kompetens, utbildningens innehåll, former för bedömning, kravnivåer etc. På samma sätt kan produktkvalitet bedömas mer informellt genom att fråga de studerande vad de har lärt sig, eller mätas mer objektivt genom att studera provresultat och betygsnivåer i system där prov och graderade betyg ges. Ett annat sätt att bedöma utbildningens kvalitet är att utvärderaren gör egna observationer av undervisningen och därefter intervjuar lärare och studerande. 6 Det kan 13

16 också vara intressant att ta reda på vad avnämare och andra intressenter tycker om utbildningen. En viktig aspekt av utbildningskvalitet sett ur avnämarnas perspektiv är utbildningens relevans i relation till de krav som arbetslivet ställer. Informationen kan kompletteras med beskrivningar av generella uppfattningar om utbildningen utbildningens rykte vilket inte är helt oviktigt i sammanhanget, särskilt inte mot bakgrund av att ett av de viktigaste målen med utbildningssatsningen är att öka de studerandes möjligheter på arbetsmarknaden. Andra saker som man som utvärderare bör belysa är de långsiktiga effekter som Kunskapslyftet har i kommunen och i regionen. Enligt de nationella målen för satsningen ska den ju leda till ökad efterfrågan på arbetsmarknaden, reformering av vuxenutbildningen, förnyelse i arbetslivet och en generell ekonomisk tillväxt. Även om det kan vara svårt att objektivt mäta i vilken utsträckning dessa mål nås och om eventuella förändringar kan hänföras till satsningen på Kunskapslyftet eller inte så är det önskvärt att också dessa frågor berörs i utvärderingen. Av naturliga skäl kan bedömningen av långsiktiga effekter till en början bli något spekulativa. Möjligen kan man peka på tendenser och trender, men det är naturligtvis inte förrän efter en längre tid som man mer seriöst kan bedöma och kanske också belägga de långsiktiga effekterna. Tolkning och analys av resultat När de olika komponenterna förutsättningar, processer och resultat är beskrivna kan själva analysarbetet börja. En första uppgift kan vara att undersöka i vilken utsträckning verksamheten uppfyller nationella och lokala mål. På så sätt får man veta vad som fungerar bra och vad som fungerar mindre bra. Genom att sedan granska utfallet i relation till verksamhetens förutsättningar och processer så kan man också hitta förklaringar till varför det går som det går. Slutligen kan man självkritiskt ställa processerna vad man faktiskt gjorde i relation de förutsättningar som varit rådande, för att på så sätt få idéer till hur man kan utveckla och förbättra verksamheten. En sådan analys kan ibland leda till att själva förutsättningarna ramfaktorerna och kanske också målen för verksamheten kommer att ifrågasättas. Utifrån de tre grundkomponenterna kan vi således göra tre olika analyser: en utfallsanalys, en processanalys och en insatsanalys. I det följande ska vi utveckla de tre analysstrategierna. Utfallsanalys I utfallsanalysen jämförs olika resultat med förutsättningskomponenter som utvärderaren utifrån teoretiska överväganden tror kan ha en förklarande kraft. Kvantitativa resultat vad gäller utbildningsvolym, genomströmningstider och studieavbrott kan kanske som tidigare nämnts relateras till utbildningsutbud, tillgänglighet och de studerandes förkunskaper och studiemotivation, men de kanske också kan relateras till Kunskapslyftets regelsystem, urvalsförfarandet och de studerandes studievillkor. Det går inte att i förväg ha någon säker uppfattning om vilka förklaringar som är mer troliga än andra. Det är först när förutsättningarna är beskrivna och de faktiska resultaten föreligger som man kan hitta de förklaringar som är mest sannolika i varje enskilt fall. Kostnader som resultatkomponent kan också jämföras med rådande förutsättningar. Skillnader i utbildningskostnader kan kanske förklaras av skillnader i förutsättningar vad gäller tillgång till lokaler och utrustning, personalkostnader, kostnader för resor etc. Vid analysen av utbildningskostnader som resultatkomponent är det viktigt att hålla isär kostnader som betingas av skillnader i förutsättningar och kostnader som betingas av strategiska beslut om exempelvis satsningar på information, studievägledning, personalutbildning etc. Det är också viktigt att i analysen hålla isär begreppet resurser som förklaringsfaktor och kostnader som utfallsmått, annars finns det risk för en kortslutning av analysen. Slutligen bör man naturligtvis alltid ställa tillgängliga resurser, genomförda utbildningsvolymer och utbildningskostnader i relation till utbildningens kvalitet och uppnådda studieresultat. Förklaringar till utfall vad gäller utbildningens kvalitet kan i första hand sökas i utbildningsanordnarnas strukturella förutsättningar för att genomföra utbildningen och i tillgängliga resurser. Det betyder helt enkelt att om kvaliteten i utbildningen inte är bra, så kan det möjligen bero på att de ekonomiska ramarna varit för snäva, att utbildningsanordnaren inte har haft tillräckliga kunskaper och erfarenheter för att organisera och genomföra utbildningen på ett bra sätt, att lokaler och utrustning inte har varit bra, att det har varit svårt att rekrytera duktiga lärare eller att engagemanget och tilltron till Kunskapslyftets mål varit bristfällig. Återigen så kan vi inte i förväg veta om detta är rimliga antaganden. Det är först när empiriska data föreligger som vi med någon trovärdighet kan uttala oss sannolika förklaringar. Utfall på individnivå vad deltagarna faktiskt lär sig beror naturligtvis på utbildningens kvalitet, men också på hur motiverade och duktiga de studerande är och hur deras studievillkor ser ut. Deltagarnas motiv för att delta i Kunskapslyftet och deras intresse för de kurser och program som bjuds ut kan vara viktiga för att förklara studieresultat. Problem att förstå svenska, ovana vid studier och bristande förkunskaper kan vara andra förklaringar, liksom familjesituation och ekonomi. Det är svår att i förväg förutsäga vilka förutsättningar som bäst kan förklara Kunskapslyftets utfall vad gäller övergripande mål och långsiktiga effekter, eftersom dessa frågor hänger samman med övergripande ekonomiska och politiska villkor, arbetslivets utveckling, förändringar av arbetsmarknaden, demografiska förändringar, utbildningspolitik mm. Här kan vi bara överlåta åt utvärderaren att kontakta sakkunniga om hon eller han inte besitter den sakkunskapen för att få hjälp med möjliga tolkningar och förklaringar Jämför med expertmodellen i föregående kapitel.

17 Processanalys I processanalysen jämförs verksamhetens resultat med olika utbildningsrelaterade processer. Det är framför allt utbildningens kvalitet och studieresultat som kan förklaras med processvariabler. Till viss del kan processvariabler även förklara genomströmning och studieavbrott. Strategin vid processanalys är densamma som vid utfallsanalys. Utvärderaren utgår från beskrivningar av olika utbildningsprocesser ledning, planering, undervisning, inlärning, bedömning, utvärdering och försöker relatera dessa till observerade resultat. Det kan många gånger vara en god idé att använda sig av en polariserande teknik när man arbetar med processanalysen. Det innebär att man vid granskningen av processerna försöker hitta de starka sidorna, allt som är som är positivt och bra, allt som stöder genomförandet av Kunskapslyftet. Samtidigt försöker man hitta de svaga sidorna, det som är problematiskt, det som hindrar genomförandet. I analysen relateras de starka och svaga sidorna till positiva och negativa effekter. Syftet är att se om och i vilken utsträckning man kan hitta förklaringar till varför vissa saker fungerar bra medan andra fungerar mindre bra. En sådan analys ger indikationer om vad som behöver utvecklas och förbättras, och kanske också hur det ska göras. Analysen kan även indikera vad som är problematiskt och hur problemen kan åtgärdas eller undvikas. Uppföljnings- och utvärderingsprocesser bör ägnas speciell uppmärksamhet i processanalysen. Dessa kan nämligen om de fungerar väl bli en intern drivkraft för kontinuerlig kvalitetsutveckling. Genom att återföra resultat av kurs- och programutvärderingar till lärare och ansvariga beslutsfattare kan utbildningen successivt utvecklas och förbättras, vilket är ett av de främsta syftena också med kommunens övergripande utvärdering. Som utvärderingsansvarig på kommunnivå bör man därför se som en av sina viktigast uppgifter att granska uppföljnings- och utvärderingssystemen (kvalitetssäkringssystemen) för att utveckla dessa. Utbildningens uppläggning, distributionsformer, schemafrågor, innehåll, svårighetsgrad, pedagogik, metoder, arbetsklimat, socialt samspel, deltagarmedverkan, stödåtgärder, bedömningsformer och kravnivåer är exempel på processvariabler som sannolikt har stor förklarande kraft vad gäller utbildningens kvalitet och uppnådda studieresultat. Insatsanalys I insatsanalysen granskas utbildningens processer mot bakgrund av rådande förutsättningar. Det är framför allt demografiska och kulturgeografiska förhållanden, måloch regelsystemet och tillgängliga resurser som styr och begränsar processerna. Som utvärderare bör man dels granska hur resurserna utnyttjats och hur verksamheten organiseras och genomförs, men också om och hur olika ramfaktorer sätter gränser för vad som är möjligt att göra. Det mål- och regelsystem som styr Kunskapslyftet ger kommunerna formellt sett ett relativt stort handlingsutrymme, medan utbildningsuppdragen och de ekonomiska resurserna begränsar de reella handlingsmöjligheterna. I en sådan situation är det särskilt viktigt att kritiskt granska hur handlingsutrymmet utnyttjas och hur resurserna används. Regionala och lokala förhållanden bör också belysas. Situationen i en liten glesbygdskommun skiljer sig väsentligt från situationen i en större kommun. Det primära syftet med insatsanalysen är att utifrån rådande förutsättningar optimera de insatser som görs för att förverkliga målen för Kunskapslyftet. Frågor att ställa kan vara: Är projektets organisation adekvat och lämpligt dimensionerad? Fungerar projektledningen bra? Är satsningen på information och rekrytering av studerande väl avvägd? Har vi ett genomtänkt utbildningsutbud i relation till arbetsmarknadens behov och de studerandes efterfrågan? Bör vi ändra på distributionsformerna för att nå fler för att sänka våra kostnader för att nå bättre resultat? Bör undervisningen läggas upp på ett annat sätt? Bör vi satsa mer på personalutbildning? Insatsanalysen bör resultera i ett åtgärdsinriktat handlingsprogram, men den kan även resultera i konstaterandet att det är svårt att med rådande förutsättningar nå de uppsatta målen. I en sådan situation måste förutsättningarna också kunna ifrågasättas. Det gäller naturligtvis enbart de förutsättningar som rimligen går att förändra. Vanligen brukar det handla om ekonomiska resurser och regler för verksamheten. I vissa fall bör man även kunna ifrågasätta verksamhetens mål. Sammanfattning och grafisk illustration av modellen Den ovan presenterade modellen för utvärdering av Kunskapslyftet ska förstås som en analytisk modell ett sätt att strukturera utvärderingen, ett sätt att tänka och inte som en handlingsplan där man startar i ruta 1 och gör allting i tur och ordning. Arbetet med att genomföra en utvärdering är sällan logiskt och rationellt. Ofta gör man flera saker samtidigt eller i fel ordning, vilket inte är fel på något sätt. Det viktiga är att man vet vad man gör och att det finns genomtänkta motiv till varför man gör just det och inte något annat. I figur 7 har vi försökt sammanfatta modellen i en grafisk illustration där vi har plockat in några av de komponenter och aspekter av Kunskapslyftet som vi bedömer vara viktiga att studera i en utvärdering. Vi har också i linje med den förklaringsinriktade ansatsen antytt hur man kan relatera de olika komponenterna till varandra för att söka förklaringar till verksamhetens utfall. 15

18 Referensram Utfallsanalys Insatsanalys Processanalys Förutsättningar Processer Resultat Mål- och regelsystem Ledningsprocesser Genomförd verksamhet nationella mål organisation och ledning utbildningsvolym regler och föreskrifter strategisk planering antagning, genomströmning lokala mål och regler rekrytering och urval studieavbrott map. målgrupper personalutveckling Utbildningsutbud ekonomi, administration Kostnader (exempel) program- och kursutbud information och vägledning antal utbildningsplatser Planeringsprocesser personal, personalutbildning tillgänglighet tid, schema, distribution lokaler och utrustning innehåll och uppläggning administration Utbildningsanordnare litteratur, studiematerial - mottagarkapacitet Utbildningens kvalitet erfarenhet, kompetens Utbildningsprocesser deltagarnas värdering motiv, engagemang undervisning, arbetsformer intressenternas värdering deltagarmedverkan avnämarnas värdering Resurser arbetsklimat, socialt samspel ekonomiska resurser inlärning, eget arbete Studieresultat personella resurser handledning, stöd och hjälp kunskaper och färdigheter lokaler och utrustning attityder och förhållningssätt Bedömning av studieresultat Deltagare former för bedömning Långsiktiga effekter bakgrund kriterier och kravnivåer efterfrågan på arbetsmarknaden förkunskaper reformerad vuxenutbildning motivation Uppföljning och utvärdering förnyelse i arbetslivet studievillkor kursvärderingar ekonomisk tillväxt resultatanvändning Figur 7. Modell för utvärdering av kunskapslyftet. Eftersom modellen ovan är analytisk är det fullt möjligt att använda den så som man själv vill. Man kan exempelvis börja med att titta på deltagarnas värdering av utbildningens kvalitet i relation till utbildningsanordnarens kompetens och egna observationer av utbildningsprocesserna. Eller så kan man studera deltagarnas studieresultat i relation till deras bakgrund och förkunskaper, utbildningens innehåll och arbetsformer samt möjligheterna för de studerande att få handledning och hjälp. På motsvarande sätt kan man kombinera andra komponenter för att belysa särskilda frågor som bedöms som intressanta. Komponenterna kan kombineras ganska fritt utifrån egna teorier om samband och tänkbara förklaringar. Modellen kan således ligga till grund för flera mindre delstudier. 16

19 NÅGOT OM METODER Det är naturligtvis inte möjligt att här inom ramen för denna lilla skrift ge någon mer utförlig beskrivning av olika metoder som kan komma till användning vid utvärderingen av Kunskapslyftet. Syftet här och nu är endast att ge några enkla råd när det gäller val av metoder. För mer ingående presentationer hänvisas till befintlig litteratur om utvärdering och till specifika metodböcker. Tips för vidare läsning ges i slutet av denna skrift. Allmänt om metoder När man genomför en utvärdering är det nödvändigt att skaffa sig information om hur saker och ting förhåller sig och hur olika människor upplever det som ska utvärderas. Själva införskaffandet av informationen brukar kallas för datainsamling, oavsett om det rör sig om hårda data i form av siffror och statistik, eller mjuka data i form av åsikter som framförs i ett samtal. Det finns egentligen inte så många olika sätt att skaffa sig information: man kan läsa sig till sådant som finns dokumenterat, man kan utnyttja befintlig statistik, man kan fråga någon som har den information som man söker och man kan själv skaffa sig information (kunskap) genom egna observationer, intervjuer och enkäter. För mer specifik information kan man använda sig av dagböcker, attitydskalor, kunskapsprov och tester av olika slag. Innan man börja fundera över vilka metoder som kan vara lämpliga bör utvärderaren noggrant tänka igenom vad det är som är viktigt att ta reda på. Man brukar säga att det är problemet som ska styra valet av metoder. Genom att exempelvis utgå från den modell som presenterades i föregående kapitel kan utvärderaren bestämma ett antal utvärderingsfrågor frågor som utvärderingen ska ge svar på. Med utgångspunkt tagen i utvärderingsfrågorna görs sedan överväganden om vilka metoder som kan vara lämpliga att använda. Den egna datainsamlingen bör föregås av en analys av vad man vill veta, hur man kan få reda på det och vilka man ska vända sig till (målgrupper). Kunskap om verksamhetens mål- och regelsystem, utbildningsutbud och resurser kan man få genom att studera olika dokument styrdokument, projektbeskrivningar, protokoll, minnesanteckningar etc men det kan många gånger vara bra att komplettera den skriftliga informationen med intervjuer som kan förtydliga olika saker och förklara varför man gjort så som man har gjort. Kunskap om utbildningsanordnarnas strukturella förutsättningar kan man få genom besök (observationer) och genom att intervjua nyckelpersoner. De studerandes bakgrund och förkunskaper kan kartläggas genom en enkät, men känsliga frågor om de studerandes livssituation och personliga motiv för att delta i Kunskapslyftet bör kanske fördjupas i personliga intervjuer. Processer kan studeras genom egna observationer eller genom att man frågar personer som är involverade i eller berörs av processerna. Lednings- och planeringsprocesser är ofta svåra att studera genom direkta observationer. Ett sätt att mer systematiskt följa sådana processer är att uppmana berörda personer att skriva minnesanteckningar eller att föra en enkel dagbok över saker som de gör i sitt vardagliga arbete. Anteckningarna kan sedan ligga till grund för samtal eller mer strukturerade intervjuer. Undervisningsprocesser kan studeras direkt genom egna observationer eller indirekt genom att fråga lärare och deltagare. Frågorna kan framföras muntligt i intervjuer eller skriftligt genom enkäter. Undervisningsprocesser kan också studeras indirekt genom att utvärderaren tar del av resultaten från kursvärderingar och utvärderingar som lärare och deltagare själva genomför. Uppföljnings- och utvärderingsprocesser, liksom processer för bedömning av deltagarnas prestationer, kan studeras genom de instrument som används och de dokument som produceras. Sådana studier bör emellertid kompletteras med mjukare data som insamlas genom enkäter eller intervjuer. Verksamhetens resultat bör beläggas med hårda data : antal sökande till olika utbildningar, antal antagna, antal studieavbrott, antal som genomfört olika kurser och program, kostnader, verksamhet efter avslutad utbildning, antal som fått jobb osv. 7 Men resultat handlar också om utbildningens kvalitet och vad de studerande faktiskt lärt sig. Lärarnas och de studerandes uppfattning om utbildningens kvalitet kan kartläggas genom attitydundersökningar eller intervjuer. Intervjuer kan vara att föredra om man utöver en kartläggning vill gå mer på djupet med vad som varit problematiskt, varför vissa saker inte fungerat bra och vad man kan göra för att höja kvaliteten. Bedömningar av uppnådda studieresultat vad de studerande faktiskt har lärt sig kan göras genom objektiva kunskapsmätningar eller genom mer subjektiva värderingar baserade på lärarnas och de studerandes egna bedömningar av vad de har lärt sig och vilken nytta de anser sig ha av sina nyvunna kunskaper. Svårast av allt är att på ett tillförlitligt sätt skaffa information om Kunskapslyftets långsiktiga effekter. Hur Kunskapslyftet bidrar till att förändra vuxenutbildningens struktur, innehåll och arbetsformer borde dock kunna undersökas genom jämförelser mellan Kunskapslyftet och annan gymnasial vuxenutbildning, framför allt genom studier av organisation, mål- och styrdo- 7 Här kan man också göra jämförelser med andra kommuner genom att utnyttja de uppgifter om Kunskapslyftet som kommer att samlas in i det reguljära uppföljningssystem som Statistiska centralbyrån, Arbetsmarknadsstyrelsen, Centrala studiestödsnämnden och Statens skolverk förfogar över. Kunskapslyftskommittén har också inlett ett samarbete med SCB som syftar till att ta fram ett mer komplett statistikpaket som på ett fylligare sätt än uppföljningssystemet beskriver såväl individerna som kommunerna i Kunskapslyftet. 17

20 kument, undervisningsprocesser och resultat av kursvärderingar. Man kan möjligen också bedöma förändringar i arbetsmarknadens efterfrågan på personer med olika gymnasiala utbildningar genom att se hur många som får jobb efter utbildningarna. Dessa data måste emellertid sättas i relation till mer generella förändringar av arbetsmarknaden. Det kan därför vara klokt att i det sammanhanget intervjua personal från arbetsförmedlingen och chefer (personalchefer) i näringslivet. Samtidigt bör man införskaffa aktuell utbildnings- och arbetsmarknadsstatistik. Huruvida den ökade tillgången på arbetskraft med gymnasial utbildning i sin tur bidrar till en förnyelse av arbetslivet och till en generell ekonomisk utveckling kan endast bedömas utifrån tendentiella förändringar sett i ett längre tidsperspektiv. En kombination av intervjuer med nyckelpersoner och analys av relevant ekonomisk statistik kan här vara en framkomlig väg, men det är troligt att den lokala utvärderaren måste överlåta dessa komplicerade frågor till den forskningsbaserade nationella utvärderingen. Några enkla principer vid val av metoder De vanligaste sätten att inhämta information är genom enkäter, intervjuer och observationer. Enkäter är bra om man har en klar uppfattning om vilka frågor som man vill ha svar på och om dessa frågor är okomplicerade och enkla att besvara. Enkäter är också bra om man vill göra mer övergripande beskrivningar av hur saker och ting förhåller sig genom att uttrycka det i kvantitativa termer, exempelvis hur stor andel i procent som tycker si eller så. Ytterligare en fördel med enkäter är att man har större möjlighet att generalisera, eftersom det är relativt lätt att gå ut till stora grupper. Man kan då med god trovärdighet säga saker som att nästan alla tycker... eller det är ytterst få som... osv. Slutligen kan man säga att enkäter är bra om man har ont om tid. Det går ofta fortare att samla in information genom enkäter jämfört med att göra intervjuer. Den stora fördelen med intervjuer jämfört med enkäter är att man i en intervjusituation har möjlighet till tvåvägskommunikation. Det gör att man kan förklara komplicerade frågor på ett bättre sätt och man kan också få bekräftelse på att den som ska svara har förstått frågan. Intervjuer är bra om man vill kunna styra datainsamlingen för att få fylligare och mer relevant information. Intervjuer är också bra om man vill veta hur någon tänker och om man vill kunna förstå och förklara saker och ting. Känslig information kan också hanteras på ett bättre sätt i en intervjusituation. Observationer är bra om man som utvärderare vill bilda sig en egen uppfattning om vad som händer och sker. Det kan vara särskilt angeläget om bilderna av verkligheten går isär, dvs om olika målgrupper deltagare, lärare, utbildningsanordnare har olika uppfattningar om hur saker och ting förhåller sig. Då kan det vara en fördel om utvärderaren har förstahandsinformation, har sett med egna ögon. Sådana direktobservationer är också bra som tolkningsgrund när man som utvärderare ska tolka utsagor som görs om den verklighet som man studerar. Nackdelen med observationer är att de är tidskrävande och att de kan vara svåra att strukturera och tolka för den som inte är van. Rent generellt kan man säga att det ofta är fruktbart att kombinera olika metoder, att försöka belysa samma problem på olika sätt och att ställa samma frågor till olika målgrupper. Det brukar kallas att triangulera metoder och målgrupper. 8 Metoder för datainsamling Enkäter När man normalt tänker på skriftligt insamlad information tänker man oftast på enkäter med flervalsfrågor, attitydskalor och korta öppna frågor. Vanligen förknippar man också enkäter med hårda data: siffror, tabeller och statistik. Så behöver det emellertid inte vara. Instrument för insamling av skriftlig information kan se ut på många olika sätt och ge lika mjuka data som intervjuer och observationer. De två senare kan för övrigt också vara hårt strukturerade och ge hårda data. Rent principiellt kan man tänka sig att samla in skriftlig information genom att dela ut ett helt blankt papper och be deltagarna skriva att ner allt som de kommer att tänka på när de reflekterar över den utbildning som de genomgår. Den extrema motsatsen är en hårt strukturerad enkät som enbart består av ja- och nej-frågor. Där emellan finns ett helt spektrum av olika frågetyper som varierar från essäfrågor och öppna frågor till skattningsskalor och slutna frågor av flervalstyp. Öppna frågor är bra om syftet är explorativt, dvs om det som utforskas är relativt okänt. Öppna frågor ger respondenten möjlighet att själv styra sina svar och ta fasta på det som upplevs som mest angeläget att förmedla. Validiteten (giltigheten, relevansen) i svaren ökar därmed, samtidigt som reliabiliteten (tillförlitligheten, mätsäkerheten) blir sämre. Slutna frågor och skattningsskalor är bra om syftet är deskriptivt, dvs om man vill beskriva i kvantitativa termer hur många som tycker på det ena eller andra sättet. Styrningen av svaren till ett antal i förväg formulerade svarsalternativ gör att reliabiliteten ökar, samtidigt som validiteten minskar. Lite förenklat kan man säga att öppna frågor är bra om det som man frågar om är komplicerat och där det är svårt att i förväg ha en uppfattning om vilka olika typer av svar som man kan tänkas få. Slutna frågor är bra om det som man frågar om är relativt okomplicerat och där det är möjligt att i förväg ställa upp ett antal tänkbara svarsalternativ. Enkäter kan distribueras som postenkäter, genom utdelning och återinsamling eller genom att de som ska besvara enkäten samlas i en lokal och fyller i den gemen Uttrycket kommer från det sätt som brukar användas för att pejla in radiosändare genom att från olika positioner ta ut bäringar i olika riktningar. Om bäringar tas ut från tre olika positioner bildas en triangel inom vilken den sökta sändaren ofta en båt måste finnas. På samma sätt menar man att man kan triangulera in sanningen genom att be olika målgrupper ge sin bild av en viss företeelse, eller genom att använda olika metoder för att belysa samma problem.