Utvärdering och lärande från utvärderingskonsultens

Transkript

1 Papper till Utvärdering i Sverige makt, kunskap och lärande Svenska utvärderingsföreningens konferens, Stockholm april 2004 Utvärdering och lärande från utvärderingskonsultens perspektiv Sven Faugert Petra Salino Annelie Eriksson Faugert & Co Utvärdering AB 1 Executive summary Som konsulter inom utvärdering är vi sedan många år intresserade av området Utvärdering och lärande. Vi redovisar här ett inlägg utifrån egna erfarenheter. De hämtas främst från kontakter med olika verksamheter inom den statliga sektorn och sätts i relation till en del av vad vi för vår del tror oss veta om lärande i organisationer. Först beskriver vi en egen resa, som främst en av oss gjort, när det gäller utvärdering och lärande hos dem som utför utvärderingar eller ansvarar för olika verksamheter som utvärderas. Den spänner över drygt 30 års yrkesarbete. Vi ger konkreta exempel på egna erfarenheter från en rad publicerade och opublicerade utvärderingar. Det gäller ett brett spektrum, från förvaltningsrevision rörande försvaret och övergripande utvärderingar av energiforskning och till bland annat projektverksamhet för organisatorisk kompetensutveckling, innovationsfrämjande åtgärder och utveckling av facklig verksamhet. Konsekvenser för lärandet av olika förhållningssätt till utvärderarrollen och olika angreppssätt vid genomförande av utvärdering tas sedan upp. Vi berör matchningen mellan angreppssätt och mottagarnas absorptionskapacitet och resonerar kring två av oss tillskapade begrepp, mottagarunderskott och utvärderingsunderskott. Slutligen kommenterar vi frågan om utvärderarnas eget lärande och om vidare användning av kunskaper från utvärderingar. 1 Faugert & Co Utvärdering AB är ett konsultföretag, verksamt med utvärdering inom främst offentlig sektor. Se vidare

2 2 Inledning en teoretisk introduktion Detta papper är uppbyggt i tre delar. Vi inleder med en översiktlig teoretisk redogörelse i syfte att sätta in lärandebegreppet i ett teoretiskt och vuxenpedagogiskt sammanhang. Därefter definierar vi vad vi menar med utvärdering. I papprets andra del startar den egna resan genom utvärderingsområdet. I denna del reflekterar vi över vår egen empiriska erfarenhet. Vidare avslutar vi med en diskussion om tänkbara samband mellan hur en utvärdering genomförs och möjligheterna till lärande. Vi diskuterar även relationen mellan dels vår roll som utvärderare, dels mottagarens absorptionskapacitet, dvs den förmåga mottagaren besitter att ta till sig det som kommer ut av en utvärdering. Vi talar om matchning och om risken för brist på matchning i termer av Fel typ I och Fel typ II. Avslutningsvis snuddar vi vid utvärderarens eget lärande samt kunskapsöverföring till andra än de direkt berörda. Lärande Då lärande genom utvärdering är centralt i detta papper är det på sin plats att inledningsvis ge vår definition av de båda begreppen, och att också sätta in begreppet lärande i ett teoretiskt perspektiv. Ett lärande förutsätter att man lär om något. Enligt Ohlsson 2 sker lärandet i ett visst sammanhang i vilket individen uppfattar och hanterar en uppgift. Ohlsson menar att lärandet kännetecknas av den förändring som sker i tanke och handling och att det är knutet till det individen tycker sig förstå och utföra. Med lärande menar vi den process, vilken resulterar i relativt varaktiga förändringar i tanke och handling utifrån gjorda erfarenheter. Vad kännetecknar då de processer som leder till att vi lär oss något nytt? Svaren varierar naturligtvis beroende på vilket perspektiv man utgår ifrån. Utifrån ett konstruktivistiskt perspektiv uppfattas människan som en tänkande, rationell, aktiv och medveten varelse som konstruerar sin bild av världen utifrån sina erfarenheter. Piaget 3 menar att alla människor strävar efter mental jämvikt (equilibrium), d v s en balans mellan olika motverkande krafter i medvetandet. Människan utvecklas genom interaktion med sin omgivning och strävar ständigt efter att förstå och begripa omvärlden och det som händer i den. Detta innebär med andra ord att vårt kunnande ständigt förändras i takt med våra erfarenheter. Människans handlingar och tidigare erfarenheter blir då av central betydelse för individers möjligheter till lärande och utveckling. Piaget ser intelligensen som en form av adaptivt beteende ett beteende som främjar individens anpassning till omgivningen. Genom individens aktiva interaktion med omgivningen utvidgas, förändras och samordnas individens beteendemönster eller schemata genom två varandra komplementära processer; assimilation och ackommodation. Dessa anpassningsformer är ständigt närvarande och i kontinuerlig rörelse. Genom assimilation läggs nya erfarenheter till de gamla utan att några scheman behöver ändras. Vi tar in och bearbetar omgivningen - gör den begriplig för oss. Ackommodation in- 2 Ohlsson, J (1996) Kollektivt lärande. Lärande i arbetsgrupper inom barnomsorgen. Rapport nr 26, Seminariet för miljöpedagogik och kunskapsbildning. Doktorsavhandling. Stockholms universitet, Pedagogiska institutionen. 3 Piaget, J (1982) Barnets själsliga utveckling. Stockholm: Liber.

3 3 nebär däremot att vi måste förändra våra scheman efter den nya erfarenheten och kunskapen, d v s detta inträffar när det inlärda beteendet inte stämmer överens med det vi erfar utan måste anpassas till den nya situationen. Dessa förändringar i individens scheman (sätt att tänka) gör det möjligt för oss att förstå fenomen som vi tidigare inte förstod eller att förstå tidigare kända fenomen på ett nytt sätt. Begreppen assimilation och ackommodation kommer i viss mån relateras till det lärande vi kunnat se hos uppdragsgivare. Vidare menar Kolb 4 att de konkreta erfarenheterna måste bearbetas (transformeras) mentalt eller genom yttre handling för att ett lärande ska kunna ske och kunskap utvecklas. Learning is the process whereby knowledge is created through the transformation of experience. 5 Figur 1: Kolbs 6 modell för erfarenhetslärande Grundläggande strukturer i lärprocessen Vår avsikt är inte att strikt definiera olika begrepp och ge en fullständig överblick över vare sig Kolb eller Piaget 7 syftet är att sammanfatta och sätta in begreppet lärande i ett mer principiellt sammanhang. Kolb liksom Piaget har sin teoretiska grund i ett konstruktivistiskt perspektiv på lärande, d v s ett perspektiv där människan uppfattas som tänkande och aktiv i relation till sin omgivning. Kolb menar i likhet med Piaget att individen i samspel med miljön konstruerar sitt kunnande. 4 Kolb, D (1984) Experiential Learning. Experience as The Source of Learning an Development. New Jersey: Prentice-Hall. 5 (a a, sid 38) 6 (a a, sid 42) 7 (a a)

4 4 Kolbs modell över människors lärande speglar i huvudsak dess olika faser med en betoning på lärandet som en kontinuerlig process grundad på erfarenhet. Kolb beskriver det erfarenhetsbaserade lärandet i termer av två grundläggande dimensioner; varseblivningsdimensionen och transformations- eller handlingsdimensionen. Varseblivningsdimensionen inrymmer dels uppfattandet (apprehension) av något i omgivningen, d v s vi blir varse något med våra sinnen, och dels ett begripande (comprehension) på ett mer abstrakt plan, vilket innebär ett sätt att förstå något. Dessa två förhållningssätt till omgivningen räcker dock inte för att vi ska lära. Lärande implicerar en transformation av de konkreta erfarenheterna, d v s någon form av handling. Kolb skiljer mellan transformation via "intention" (mentala eller internt riktade handlingar) och "extension" (handlingar som förändrar något i omgivningen, externt riktade handlingar). Information måste alltså bearbetas (transformeras) för att lärande ska kunna ske och kunskap utvecklas. Själva lärandet som aktivitet kan i och för sig ses som en enskild handling. Vi menar att förutsättningarna för den enskilda individens lärande är av social karaktär och nära sammankopplat med andra människors kunnande. Med en definition av begreppet lärande och en mycket översiktlig teoretisk referensram i bagaget går vi vidare till papprets andra centrala begrepp utvärdering. Och, vad menas egentligen med utvärdering? genom utvärdering Det beror på om den som använder begreppet är pedagog, statsvetare, ekonom, medicinare, naturvetare o.s v. Det kan också bero på om vederbörande arbetar inom Riksrevisionen, Statskontoret, Skolverket, Kemikalieinspektionen, Naturvårdsverket, en kommunal förvaltning eller. Det kan bero på om vederbörande är en offentlig utredare, forskare eller konsult. Det kan bero på vilken generation av utvärderare vederbörande tillhör, och så vidare. Det kan bero på om vederbörande är ute efter bekräftelse eller efter ammunition i en kamp mot något oönskat. Det kan bero på om vederbörande ser utvärdering som en möjlighet till lärande och kunskapsbyggande eller som verktyg för kontroll och revision. Med detta vill vi ha sagt att varje framställning om ämnet strängt taget bör innehålla ett slags självdeklaration om synen på och innebörden av utvärdering. För oss som konsulter skulle en sådan självdeklaration innehålla något om att utvärdering främst är ett verktyg för lärande och utveckling och att lärande av den typ vi avser förutsätter reflektion hos den eller dem det gäller. Och dem det gäller kan vara de som är utvärderade eller som på annat sätt är berörda av verksamheten, likaväl som de som utvärderar. Det är i alla fall utvärdering i den meningen, som vi vill behandla här. Frågorna för detta papper handlar mot den bakgrunden om följande: På vad sätt främjas eller hämmas sådan reflektion av olika utvärderarroller eller förhållningssätt och olika angreppssätt vid utvärdering? Kan olika utvärderarroller och angreppssätt leda till olika slags reflektion på olika nivåer, till olika slags lärande? I så fall bör väl förhållningssätt och angreppssätt väljas med utgångspunkt från vilket lärande en utvärdering avses leda till, d v s då bör väl uppläggningen av utvärderingen matchas mot det avsedda lärandet? Ytterligare en fråga gäller hur kunskaper från en utvärdering sprids till andra än dem som deltagit själva?

5 5 Reflektion tankens krökning tillbaka till sig själv Det svenska ordet reflektion kommer av latinets reflectere (re-, åter, tillbaka och flectere, böja), bildligt talat tankens krökning tillbaka till sig själv 8. Mer vardagligt kan vi förstå reflektion som en handling av eftertanke, begrundan att stanna upp och tänka ett varv till. Längre fram i detta papper ger vi exempel på olika typer av reflektion som vi kunnat identifiera i våra möten med uppdragsgivare i olika verksamheter. Ellström 9 diskuterar arbete och lärande med utgångspunkten i ett handlingsteoretiskt perspektiv där handlingen kan förstås som individens aktiva förhållningssätt i relation till sin omgivning eller det aktuella sammanhanget. Ellström menar att handlingar växer fram ur interaktionen mellan människa och omgivning genom successiva anpassningar till förändrade omständigheter. Ellström gör en åtskillnad mellan lärande som anpassning och/eller utveckling. Det anpassningsinriktade lärandet karaktäriseras av ett rutinmässigt handlande, d v s handlandet blir till vanor och rutiner för att individen ska lära sig hantera och anpassa sig till olika situationer. Lärande som utveckling kännetecknas av individens aktiva förhållningssätt till omgivningen, implicerande ett mer reflekterat handlande. Ett utvecklingsinriktat lärande, enligt Ellströms terminologi, inrymmer just ett mer reflekterat handlande. Ellström 10 skiljer mellan reflektion-i-handling och reflektion över handling. Det förra innebär en fortlöpande reflektion under tiden man utför handlingen. Den formen av handlande används ofta då det spontana handlandet inte leder till det resultat som man förväntat sig. Detta kan vi tänka oss sker löpande i det vardagliga arbetet, och egentligen utan någon djupare eftertanke. Det handlar om att hantera det som sker just nu och för stunden. Reflektion över handling innebär däremot att vi i efterhand reflekterar över vårt handlande och dess resultat. Vad har vi gjort? Hur har vi gjort? Varför gick det som det gick? Vad fungerar respekterar fungerar inte? Vad och Hur kan det förbättras? Utifrån vårt perspektiv på utvärdering och med vår syn på vår roll som konsulter, så handlar vårt arbete till stor del att stödja den process som Ellström 11 benämner reflektion över handling. Vi kan också skilja mellan individuell reflektion en slags inre dialog, och gemensam reflektion som kan förstås som en yttre dialog, d v s en dialog med andra. Reflektion handlar i båda fallen om en förmåga att distansera sig från det aktuella sammanhanget. I distanseringsprocessen skulle vår roll som konsulter kunna vara att stödja den tankerörelse som krävs för att se på sig själv och sin verksamhet med andra ögon. Att få nya perspektiv och tänka utanför det invanda. Genom gemensam reflektion skapas förutsättningar för ett s k kollektivt lärande 12, dvs ett lärande som innebär att kollektivet tillsammans förstår och definierar gjorda erfarenheter på liknande vis ett lärande som kommer gruppen och verksamheten till del. Ohls- 8 Grøn A, Husted J, Lübcke P, Alstrup Rasmussen S, Sandøe P, Stefansen N C (1988) Filosofilexikonet Filosofer och filosofiska begrepp från A till Ö. Stockholm: Forum. 9 Ellström, P-E (1992) Kompetens, utbildning och lärande i arbetslivet. Stockholm: Publica. 10 Ellström, P-E (1996) Arbete och lärande - förutsättningar och hinder för lärande i dagligt arbete. Solna: Arbetslivsinstitutet. 11 A a 12 Ohlsson, J (1996) Kollektivt lärande. Lärande i arbetsgrupper inom barnomsorgen. Rapport nr 26, Seminariet för miljöpedagogik och kunskapsbildning. Doktorsavhandling. Stockholms universitet, Pedagogiska institutionen.

6 6 son och Granberg 13 beskriver kort det kollektiva lärandets grunder: Kollektivt lärande kan ske endast genom att individer lär och delar med sig av sitt kunnande till andra i gruppen eller organisationen. Avgörande för detta är kommunikationsprocesser och dialog. 14 Handlingsutrymme och lärande Innan vi börjar resa genom utvärderingsområdet vill vi mycket kort nämna och definiera begreppet handlingsutrymme eftersom det har en central betydelse i lärandesammanhang. Ellström 15 menar att lärandet kan sägas vara intimt sammankopplat med individens handlingsutrymme - både ett subjektivt och ett objektivt sådant. Med handlingsutrymme avses här "de frihetsgrader, som individen har när det gäller val och tolkning av uppgift/mål; metoder för att lösa dessa; samt värderingen av de resultat som uppnås" 16. Vi kan också definiera handlingsutrymme som upplevda möjligheter att handla och agera i ett visst sammanhang. Ellström 17 behandlar betydelsen av individens handlingsutrymme i samband med en diskussion av hinder och möjligheter för att ett kvalificerat lärande ska utvecklas. Handlingsutrymmet - både det objektiva, som ges inom olika verksamheter i form av t ex ramar, styrning och normer och det subjektiva, som beror på den egna förmågan som t ex kompetens, självförtroende och tidigare erfarenheter - anses ha en avgörande betydelse för människans lärande. Och tvärtom så är bristande handlingsutrymme, menar Ellström, ett effektivt hinder för lärande. Ellström menar också att individers och gruppers subjektiva handlingsutrymme (även det objektiva handlingsutrymmet skulle vi vilja hävda) påverkas av en organisations kultur och därmed även deras möjligheter till lärande. Kultur ses här som mer eller mindre explicita normer, regler och föreställningar om vad som är ett önskvärt sätt för medlemmarna i en organisation att uppfatta och agera i olika sociala situationer. Nu, över till att reflektera över egna erfarenheter! Den egna resan reflektion över empirisk erfarenhet Ett revisorsperspektiv Den egna resan genom utvärderingsområdet, som vi tar som utgångspunkt för framställningen, börjar på dåvarande Riksrevisionsverket, RRV, i början av 1970 talet. En av oss arbetade då med förvaltningsrevision inom främst försvaret. Vi tillämpade åtminstone på den tiden inom RRV ett slags systemsyn på den verksamhet vi granskade och hade 13 Ohlsson, J & Granberg, O (2000) Från lärandets loopar till lärande organisationer. Stockholms universitet, Pedagogiska institutionen. 14 (a a, sid 84) 15 Ellström, P-E (1992) Kompetens, utbildning och lärande i arbetslivet. Stockholm: Publica. 16 (a a) 17 Ellström, P-E (1996) Arbete och lärande - förutsättningar och hinder för lärande i dagligt arbete. Solna: Arbetslivsinstitutet.

7 7 ambitioner om pedagogik i de revisionsrapporter vi framställde. I några fall försökte vi använda hard facts på ett analytiskt och kvantitativt sätt. Vi använde exempelvis regressionsanalyser i en granskning av effektiviteten i militära körcentraler inom flygvapnet. Totalkostnaden för dessa ställdes mot det transportarbete som utfördes. Sambanden analyserades på ett sätt som väckte mottagaren och spräckte vissa myter, genom att peka på fakta och samband som bevisade att det fanns outnyttjade möjligheter till effektivisering och besparing. I ett annat exempel granskades verksamheten vid ett försvarsområdesregemente 18. Utöver körcentraler granskades en rad andra verksamheter, inklusive lagerhållningen av producerade krigsförband, styrning av olika stödfunktioner etc. Så långt möjligt användes även där hårda data, vilket skapade mottaglighet för våra synpunkter och förslag och uppfordrade till beredskap att ompröva eller åtminstone fortsätta att analysera verksamheten. (Vi anpassade oss därigenom till vad vi bedömde vara nödvändigt för att skapa mottaglighet för våra budskap.) I vår verksamhet fanns vidare ambitioner om att träffa ett slags överenskommelser om åtgärder efter överläggningar med mottagaren, i syfte att främja utveckling och förändring. Vi såg det som ett alternativ till att utmana och tvinga fram åtgärder, med risk att (bara) åstadkomma konfrontation. En god dialog och en konstruktiv relation med berörda chefer i försvaret uppnåddes, och flera överenskommelser ingicks. Uppföljningar i konstruktiv anda genomfördes också, några år efter avslutad revision, med sikte på att underhålla en dialog mellan jämbördiga parter. Ledningen för RRV kände dock så småningom övergripande tveksamhet till denna nära relation mellan revisorn och dem som skulle revideras, vilket med tiden satte stopp för denna praxis. Vilken reflektion (och handling) skapade då detta i grunden konstruktiva förhållningssätt hos mottagaren? I bästa fall: Så här tycks det vara, och så här kan man ju också se det, och i så fall kanske det här är en bra idé?. Detta inträffade i flera fall. I sämsta fall: Vad f n vet dessa byråkratlejon? Nåja, det är bäst att vi håller med så slipper vi ha dem hängande över oss, och går vi med på detta så skadar det ju inte oss! Också detta inträffade. Det senare kan vi kalla Reflektion typ I, ett handlande som inte direkt kännetecknas av reflektion i egentlig mening. För att återknyta till våra teoretiska utgångspunkter vad gäller lärande kan vi se att det vi kallar reflektion typ I tangerar den process som Piaget 19 benämner assimilation, dvs att nya erfarenheter läggs till de gamla utan att tankemönster eller sätt att förstå ändras. 18 Förvaltningsrevision av Hälsinge regemente och Gävleborgs försvarsområde (I14/Fo 49), Riksrevisionsverket Piaget, J (1982) Barnets själsliga utveckling. Stockholm: Liber.

8 8 Ett myndighetsperspektiv Resan fortsatte i myndighetsvärlden med fem års avbrott för departementsvärlden från mitten av 1970-talet till slutet av 1980-talet. Sakområdet gällde de stora statliga satsningar på energiforskning, som startade till följd av den första oljekrisen och förstärktes av Harrisburgskatastrofen och all turbulens kring kärnkraften som följde. En lång rad övergripande utvärderingar gjordes på egna initiativ, både riktade mot egen verksamhet och mot verksamhet som andra myndigheter ansvarade för. När utvärderingar initierades inifrån och riktades mot den egna verksamheten - det gällde några utvärderingar av egna forskningsprogram - så innebar det (självklart?) att det fanns en god mottaglighet för utvärderingsresultaten. Trovärdighet var samtidigt viktig att uppnå, både i förhållande till departementet som ju skrev regleringsbrev om anslag till dessa forskningsprogram - och för att skapa mottaglighet och lärande hos berörda programansvariga och forskargrupper. För att säkerställa en viss trovärdighet anlitade vi utomstående utvärderare som stod för själva värderingarna, medan vi själva s a s höll oss på armlängds avstånd från utvärderarna 20 och stod för administrationen av utvärderingarna. När vi initierade utvärderingar utifrån innebar det att vi (i enlighet med myndighetens instruktion) tog initiativ till utvärdering av forskningsprogram, som andra myndigheter ansvarade för. Detta möttes ibland med misstänksamhet från de närmast ansvariga myndigheterna. Det kunde ta sig uttryck i att de ifrågasatte våra data och metoder eller de experter vi anlitade. I ett mycket tydligt exempel på försvarsreaktioner gjorde vi först en utvärdering som tecknade en rätt kritisk och ifrågasättande bild av effekterna av en stor forskningssatsning. Den berörda myndigheten förnekade först vår bild och var inte beredd att ta till sig våra rekommendationer. Den första reaktionen blev istället att anlita egna experter och göra om vår utvärdering bara för att själv komma fram till samma bild och själv dra exakt de slutsatser vi något år tidigare hade dragit. Det var alltså nödvändigt för den mottagande myndigheten att göra samma lärdomar själv för att kunna tro på resultaten och kunna dra slutsatser om vad som behövde göras 21. En slutsats vi rätt snart drog var att det är viktigt för individers och gruppers lärande att själv få delta i utvärderingsprocessen, att det inte räcker att bara läsa rapporter. Det är mer eller mindre nödvändigt för lärandet att själv bli varse problemet eller frågan, att själv få medverka i att utforma undersökningen, att själv få ta emot och tolka resultat, samt dra slutsatser om åtgärder. Utan att då använda begreppet hade vi alltså erfarit värdet av s k participatory evaluation 22 Lärande handlar till stor del också om öppenhet. T ex Peter Senge 23 menar att delaktighet ( participative openness ) och reflektion ( reflective openness ) är olika saker men måste kombineras för att en verklig öppenhet ska uppstå. Denna öppenhet är en förutsättning för att ta emot resultat och ta dem till sig. Delaktighet i utvärdering skulle innebära att vara involverad, tillföra sitt perspektiv och sina åsikter. Endast detta räcker dock inte för att ett lärande ska 20 Exempel: Utvärderingar av programmen Allmänna energisystemstudier, AES, och Långsiktig energiteknik. 21 Solvärme och värmepumpar, Efn rapport nr 13, Stockholm Se exempelvis Democratic Evaluation, B Floc lay och E. Plottu, Evaluation, vol 4 nr 5, The Fifth Discipline, 1993, Peter M Senge, s 276 ff

9 9 ske. Reflektion, d v s att tankemässigt utmana sina egna föreställningar, behövs i kombination med delaktighet. Reflektion är dock i praktiken inte oproblematiskt att åstadkomma då det behövs utrymme tid men även möjlighet att få öva sig i det något som kanske inte alltid ledningen för en verksamhet inser! Den praktiska form för delaktighet och reflektion som vi valde och tillämpade under en rad år, var att bilda referensgrupper med representanter för berörda fackdepartement och myndigheter, vilka fick följa utvärderingen aktivt, ända från förstudieskedet och till slutversionen av utvärderingsrapporten. Ett aktivt deltagande och en total insyn i uppläggning och data blev en kritisk faktor för lärandet hos gruppens medlemmar. När detta fungerade som bäst, uppfattade vi det som en rätt genuin form av participatory evaluation. Vilken reflektion blev det fråga om i dessa fall? Den kan beskrivas ungefär så här: Ja, nu när vi fått vara med och formulera detta själva, och kunnat kolla upplägget, och fått tillfälle att ge synpunkter, och dessutom fått vara med och tolka data och diskutera slutsatser, så måste vi väl också hålla med om slutsatserna och om vad som ska göras? Ja, åtminstone så länge det inte strider alltför radikalt mot våra egna idéer. Vi kan beskriva detta slags reflektion som en justering av den egna bilden av problem och handlingsmöjligheter och en inventering av möjliga åtgärder. Vi kan kalla den Reflektion typ II. Om Reflektion typ I handlade om att lägga nya erfarenheter till de gamla utan att egentligen förändra det sätt på vilket vi förstår det som sker, så närmar sig det vi här kallar för Reflektion typ II den process som Piaget 24 benämner ackommodation, d v s den process som innebär att vi måste förändra vår kunskap efter den nya erfarenheten och kunskapen och anpassa den till den nya situationen. Genom denna process kan vi förstå det som händer på ett nytt sätt. Ett departementsperspektiv En del av resan ägde rum på ett fackdepartement, under slutet av talet och början av 1980-talet. Den politiska agendan styrde delvis verksamheten där. Det innebar bland annat att bara vissa frågor egentligen fanns. Det fanns, åtminstone vid den tiden ett litet intresse för lärande i egentlig mening, det fanns inget intresse för att se bakåt och dra slutsatser för framtiden. Inga sådana utvärderingar initierades från departementshåll. I den mån de gjordes, tog myndigheterna själva initiativet. När det gällde utvärderingar fanns det snarare mera intresse för statsbegravningar. Nu gör vi en utvärdering av detta eller detta, så kan vi (under högtidliga former) legitimera en avveckling eller neddragning av anslagen!. Ibland gjordes utvärderingar av typen kritisk granskning för att få underlag för ett nej (oftast) eller ett ja i någon viss fråga Vilket var då inslaget av reflektion? Ja, det handlade nog mera om oreflekterad bekräftelse av mer eller mindre politiska sanningar och förutfattade meningar, eller om upptäckande av första ordningens lösningar på problem, när det gällde besparingar eller ökning av måluppfyllelsen. 24 Piaget, J (1982) Barnets själsliga utveckling. Stockholm: Liber.

10 10 Vi kan kalla detta Åh, en möjlighet att spara pengar eller att öka uppfyllelsen av politiskt formulerade mål! eller Se där, ett ingripande behövs! eller Vad var det vi sa? I det här fallet handlar det egentligen inte om reflektion, vi skulle istället kunna förstå det som en strategi för att bibehålla balansen, som ett utslag av kognitiv dissonans 25. Mycket kort innebär kognitiv dissonans att det finns en tendens hos människan att ta till sig det som stämmer överens med ens egen situation och inställning, eller omvänt så lyssnar vi inte på det som strider mot våra egna idéer. Av den anledningen läser vi böcker och tidningar och umgås helst med människor, som har samma synsätt och åsikter som oss själva. Vi kan också se det som att utvärderingar här delvis levde i en miljö av självklarhet. Självklarhet är en slags reflex, d v s säkerhet över att så här är det. När den uppstår minskar incitamentet att söka efter andra svar, eller ta till sig andra resultat, eller ifrågasätta sanningen. 26 Att ha en medveten eller omedveten färdig agenda kan förstärka denna typ av reflexer. Reflektion typ III Ett konsultperspektiv Resan har sedan slutet av1980-talet företagits inom ramen för utvärderingskonsultens litet friare roll. Utvärderarrollen har tydligare handlat om att vara på samma lag som mottagaren av utvärderingen fast i en speciell position eller roll. Upplevelserna eller erfarenheterna under resan avspeglar möjligen en trendmässig utveckling av utvärderarrollen under den perioden. Konsultrollen har inte bara varit friare, den har i detta fall också innehållit mera av metodinriktning och innefattat en bredare verksamhet med möjligheter till transversellt lärande. Det har getts rika tillfällen till överföring av erfarenheter från ett sakområde eller en sektor till helt annan, mest statlig, verksamhet. Konsulten kan i detta sammanhang ses som kunskapsbärare såväl som kunskapsspridare av gjorda erfarenheter och lärdomar genom sina resor mellan olika verksamheter och sammanhang, och på detta sätt spela en betydande roll för lärandet inom och mellan olika verksamheter. Denna resa mellan sakområden och verksamheter skulle vi också kunna se ur konsultens lärandeperspektiv i termer av en ständigt pågående lärandeprocess och en ständigt pågående rörelse mellan det Piaget 27 kallar assimilation och ackommodation. Enligt Kolb 28 implicerar lärande en transformation av de konkreta erfarenheterna, d v s en handling i form av ett aktivt prövande i omgivningen eller en internt riktad handling i form av reflektion. Den information vi får och de erfarenheter vi gör måste alltså bearbetas (transformeras) för att lärande ska kunna ske och kunskap utvecklas. För konsultens del handlar det i mångt och mycket om att transformera gjorda erfarenheter i syfte att förstå och kunna använda tidigare erfarenheter i nya sammanhang, i nya verksamheter. Eller, enklare uttryckt, konsulten lär här genom att bearbeta sina erfarenheter och att pröva nya eller modifierade sätt att utföra sitt arbete. 25 Egidius, H (1997) Psykologilexikon Stockholm: Natur och Kultur 26 The Fifth Discipline, 1993, Peter M Senge, s 281 f. 27 Piaget, J (1982) Barnets själsliga utveckling. Stockholm: Liber. 28 Kolb, D (1984) Experiential Learning. Experience as The Source of Learning an Development. New Jersey: Prentice-Hall.

11 11 Vi har som konsulter samlat en del erfarenheter av att främja lärande och reflektion genom upprepade mätningar av exempelvis organisationskultur 29 eller målgruppernas upplevelser av service 30 med hjälp av skriftliga enkäter till ett stort antal personer. Angreppssättet har i stort varit att vi först formulerat utvärderingsproblemet tillsammans med mottagaren, sedan genomfört återkommande mätningar och därefter tolkat resultaten tillsammans med mottagaren i ett slags informella workshops. Ett viktigt moment har varit statistiska analyser av samband mellan kundnöjdhet å ena sidan och (attityder till) olika serviceaspekter å den andra. De har byggt på antaganden om underförstådda lineära effektsamband mellan den levererade servicen och kundupplevelsen. Genom att kombinera ett mått på detta samband med mått på återstående förbättringsutrymme till vad vi kallat hävstångsindex 31 har vi kunnat rangordna olika möjligheter till serviceförbättringar efter vilken verkan de antas ha på kundnöjdheten. Detta har sedan utgjort underlag för diskussion under workshoparna. Utvärderingen har i dessa fall 32 främjat både s. k. single och double loop learning 33 genom kombinationen kvantitativ mätning och kvalitativ tolkning i workshopform. Vi kan sammanfatta detta i följande tabell 34. Figur 2: Metod Typ av lärande Metod/typ av lärande First loop learning Second loop learning Enkäter kvantitativ metod Återkoppling på tekniska justeringar av servicen Faktabaserat ( hårt ) underlag för omprövning av målnivå och strategier, positionering mot olika intressenter Workshops - kvalitativ metod Kritisk diskussion av samband och bakgrundsfaktorers inverkan, uppslag till ytterligare justeringar Underhåll av intern utvecklings- och strategidiskussion, uppslag till nya åtgärder etc. Vi har goda erfarenheter, också från flera andra utvärderingar, av att på detta sätt komplettera hårda och kvantitativa eller kvantifierade data med mer mjuk interaktiv gemensam reflektion. Våra utomstående mätningar kompletterar de löpande interna diskussionerna genom att aktivt engagera de närmast ansvariga och hjälpa dem pröva sina teorier om verksamheten. Vi ser detta som ett verkningsfullt angreppssätt vid sådana utvärderingar som är särskilt inriktade på att främja lärande hos främst uppdragsgivaren ledningen för organisationen - och de närmast berörda. I detta fall handlar reflektionen om att mottagaren upptäcker nya handlingsmöjligheter och ett nytt handlingsutrymme (valmöjligheter), och om att se första ordningens effekter av åtgärder. I några fall har reflektionen också handlat om oväntade samband eller avsaknad av samband, 29 S k klimatmätningar eller personalenkäter är ett exempel 30 Vi har närmare beskrivit våra erfarenheter av att arbeta med Verket för Högskoleservice i Årlig uppföljning av servicemätning bland studenter, paper till Dansk Evaluerings Selskabs konferens i Helsingör, september Statistisk analysmetod, som bygger på signifikanta korrelationer mellan service- och målvariabler, utvecklad och tillämpad av bl a konsult- och analysföretaget B2B på 1990-talet. 32 Här avses servicemätningarna i samarbete med VHS. 33 Begreppen använda av bl a Chris Argyris, se exempelvis Peter Docherty, 1996, Läroriket vägar och vägval i en lärande organisation, Arbetslivsinstitutet, Solna. 34 A a s. 6, se not 30.

12 12 om myter som blev spräckta. En omhuldad myt innebar exempelvis att det bara var de, som inte fick bifall till sin ansökan, som var missnöjda med myndighetens service 35. Den myten spräcktes vid en workshop, där vi testade hypoteser om dessa samband vid datorn. Även de som fick bifall hade i samma utsträckning kritiska synpunkter på servicen! Det fick i sin tur följder för hur man betraktade målgruppernas synpunkter på servicen och ledde till en viss omprövning av den modell av verkligheten som mottagaren hade. Här kan vi se hur utvärderingsresultat haft inverkan på mottagarens förståelse och upplevelse av verkligheten. Utvärderingens resultat fungerade som katalysator och stöd för mottagarens lärandeprocess. Detta är ett exempel på den process som Piaget kallar ackommodation, d v s att mottagaren av utvärderingsresultat förändrar sin kunskap efter den nya erfarenheten. Den inlärda och befintliga hypotesen stämde inte överens med det utvärderingen visade. Mottagarna var tvungna att tänka om och göra en anpassning till den nya situationen. Dessa förändringar i mottagarens (uppdragsgivarens) sätt att tänka gjorde det möjligt för dem att förstå sin verksamhet på ett nytt sätt. (Jmf. även Kolb 36 och Ellström 37.) Detta slags reflektion har alltså gjorts möjlig genom att en central del av verksamheten eller verkligheten kan sägas ha avbildats i form av en rad (antagna) lineära effektsamband. Vi kan beskriva reflektionen ungefär så här: Aha, det är så vår omvärld ser ut och det är så här effekterna av våra handlingar kan se ut! Det är en reflektion som är öppen mot omvärlden och vi kan benämna den reflektion av typ III. Reflektion typ IV Mottagarnas aktiva medskapande Vår egen utvärderingsverksamhet har senare utvecklats mot ännu mer av workshops tillsammans med mottagaren, inklusive instant research i form av enkäter och liknande som genomförs och återförs under loppet av en workshop. (Det kan också röra sig om olika varianter av lappövningar med postitlappar eller pluppövningar.) Uppdragsgivarna behandlas här som aktiva medskapare inte bara medtolkare - av data. Ett exempel gällde utvärdering av tvärgående interna projekt (hos uppdragsgivaren kallade verksprojekt), medvetet konstruerade för att vara arenor för och tillfällen till lärande 38. Dessa projekt drevs i en separat organisatorisk enhet, som arbetade med både konsulter och projektanställda och också tillfälligt lånade in personal från linjeenheterna. Projekten kunde gälla sådana frågor som nya interna arbetsformer för verket, eller former för samverkan med andra myndigheter på central nivå eller länsplanet. 35 Här avses erfarenheter från servicemätningarna åt VHS 36 Kolb, D (1984) Experiential Learning. Experience as The Source of Learning an Development. New Jersey: Prentice-Hall. 37 Ellström, P-E (1996) Arbete och lärande - förutsättningar och hinder för lärande i dagligt arbete. Solna: Arbetslivsinstitutet. 38 Våra erfarenheter av samarbetet med Naturvårdsverket finns närmare behandlade i Deltagande utvärdering av arbetsformer i projekt, paper till Dansk Evaluerings Selskabs konferens i Helsingör, september 2002

13 13 Som ingångsvärden till utvärderingen hade uppdragsgivaren formulerat ett antal hypoteser om effekterna av dessa projekt med avseende på lärandet inom organisationen. Det gällde effekter på både organisationen och dess enskilda medarbetare. Själva utvärderingsarbetet bedrevs i tre steg. Först genomfördes gruppintervjuer med representanter för olika interna rollinnehavare, nämligen projektledare, projektmedarbetare och medlemmar i de styr- och samordningsgrupper, som tillsattes för vart och ett av dessa projekt. Syftet var att utveckla utgångshypoteserna till mer specifika hypoteser rörande områden för möjligt lärande genom projekten. På grundval av intervjuerna genomfördes sedan en intern enkät i två delar. Den första delen i enkäten handlade om vilket lärande som möjliggörs och skapas genom projekten. Vi frågade både om hur angeläget eller viktigt det var för myndigheten att lära olika saker och om hur mycket de svarande själva lärt. På individnivån gällde det exempelvis att planera egen tidsanvändning och tänka i nya banor. På gruppnivån kunde det gälla att skapa kontaktnätverk eller arbeta i team. På organisationsnivån rörde det sådant som att se konflikter och att söka helhetslösningar. Den andra delen i enkäten handlade om hur projektverksamheten fungerar i praktiken och vad som behöver förbättras. Vi frågade om sådant som projektgenerering, beställardialog, resursmobilisering, arbete i projektgrupp och implementering av projektresultat. I det tredje och sista steget genomfördes en workshop med berörd personal där enkätresultaten redovisades och tolkades och möjliga slutsatser diskuterades. Vi redovisade exempelvis citat och korstabeller över vilket lärande som var angeläget från hela organisationens perspektiv och vilket lärande som faktiskt uppnåtts i projekten. I tolkningen av resultaten visade det sig bland annat ha betydelse var projekten befann sig på olika stadier i en förändringstrappa. Processerna i projekten blir också olika om projekten stämmer väl med rådande normer och kulturer och lätt kan assimileras, eller om de är radikala och riskerar att röra upp olika slags konflikter. En viktig fråga visade sig, naturligt nog, röra relationerna och resurskonkurrensen mellan verksprojekten och projekt som helt drevs på linjeenheterna. Möjliga åtgärder diskuterades också under workshopen, inklusive utveckling av beställardialogen och bättre stöd till projektledarna i deras roll. (Här tog vi hjälp av instant research i form av en enkät om utvecklingsområden, som delades ut och fylldes i under en paus i workshopen och sedan återfördes till deltagarna när workshopen fortsatte.) Man diskuterade även om man skulle fortsätta att bedriva verksamheten i en separat organisatorisk enhet. Vi har också andra exempel på detta sätt att arbeta med utvärdering. Av intresse här är hur utvärderaren kunnat bidra till organisationens lärande. Utvärderarens roll som katalysator eller aktivt medskapande aktör Vi tror alltså att vi som utvärderare kan göra mycket för att främja organisatoriskt lärande. På det enklaste planet kan det ske genom att vi hjälper till med att skapa en grundförutsättning för lärande, nämligen tillfälle till och utrymme för reflektion kring erfarenheter. Detta kan vi göra genom att själva, när tillfälle ges, ställa frågor som initierar reflektion hos berörda. I mer iscensatt form kan vi göra detta inom ramen för vad vi brukar kalla tolkningsseminarier. Vi

14 14 kan också göra det genom att exempelvis propagera för att bygga in ett utvärderingsmoment i varje projektplan, som upprättas inom en organisation. Vi kan också - som i det här refererade fallet - göra det genom att vara beredda att själva ta oss an utvärderingar av processer, och att utforma själva utvärderingsprocesserna, på ett sådant sätt att de skapar möjligheter till avsedd reflektion. Med exempelvis Peter M Senge 39 kan vi tala om fem grundläggande kompetensteknologier (organisatoriska kompetenser) som en organisation måste behärska och utveckla för att vara en lärande organisation. I dessa termer skulle en utvärderare kunna bidra på följande sätt: Figur 3: Utvärderarens bidrag på vägen mot en lärande organisation Organisatoriska kompetenser Systemtänkande Personligt mästerskap Teamlärande Tankemodeller Gemensamma visioner Utvärderarens bidrag Diagnosticera brister, hinder Diagnosticera brister, hinder Engagera berörda i utformning och tolkning Avslöja myter och dolda konflikter Framhålla betydelsen För att det ska vara möjligt att utforma lämpliga utvärderingsprocesser måste, tror vi, också vissa praktiska och taktiska förutsättningar föreligga. Det gäller bland annat följande. En god kännedom om organisationen krävs, för att kunna ställa rätt diagnos när det gäller de fem organisatoriska kompetenser Peter M Senge talar om 40. Den diagnosen behövs för att utvärderaren ska kunna utforma och planera utvärderingsprocessen på ett ändamålsenligt sätt. Tidsutrymme hos deltagarna och god timing av utvärderingen. För att utvärderingar med detta syfte ska kunna genomföras krävs en organisation med personer som är villiga att lägga ner arbete själva och som också har tillfälle att aktivt delta i möten och seminarier etc. Resultatet av utvärderingen kan delvis hänga på detta. Till en del är detta självfallet en fråga om de presumtiva deltagarnas prioriteringar. Till en del handlar det också om att välja tidpunkter. Om olika processaktiviteter exempelvis ett seminarium för nyckelpersoner - läggs vid fel tidpunkter, kan det trots god vilja och stort intresse vara praktiskt omöjligt att samla de nyckelpersoner som egentligen behöver delta. Väl tilltagna utvärderingsbudgetar, detta kan nämligen ta mycket tid! I detta fall handlar reflektionen om omprövning av mentala modeller, upptäckt av lärmöjligheter i kombination eller samspel med andra, om upptäckt av eget ansvar och egen kapacitet att lära. Här närmar vi oss det fenomen som Ohlsson & Granberg 41 benämner kollektivt lärande. Det kollektiva lärandet är något som skapas gemensamt, beroende av de enskilda individernas interagerande i gruppen, de är varandras kontext och samtalsmiljö. Grundläggande för det kollektiva lärandet är offentliggörandet av skilda sätt att tänka och förstå, att problematisera, granska, förtydliga och reflektera gemensamt över erfarenheter. Dessutom är det viktigt att lyfta konkreta erfarenheter till nya sammanhang och kunna generalisera. För att 39 Senge, P M, (1996) Den femte disciplinen Den lärande organisationens konst, Stockholm: Nerenius & Santérus Förlag. 40 Ibid 41 Ohlsson, J & Granberg, O (2000) Från lärandets loopar till lärande organisationer. Stockholms universitet, Pedagogiska institutionen.

15 15 ett kollektivt lärande ska kunna utvecklas krävs en öppenhet för varandras utsagor och ett ingripande i varandras sätt att förstå. Genom samtal och gemensam reflektion ges möjlighet till att skapa och utveckla gemensamma intentioner och handlingsstrategier, d v s gemensamma sätt att lösa uppgiften på och förstå den uppgift som står att lösas. Då individernas olika perspektiv offentliggörs ges tillfälle för gruppmedlemmarna att forma och låta sig formas av varandras tänkande. Utifrån våra erfarenheter som konsulter kan vi beskriva denna typ av reflektion ungefär så här: Hur lär vi egentligen och hur kan vi förbättra förmågan att lära? Det är en reflektion som i själva verket både är en social process mellan de närmast involverade och som också handlar om att utveckla själva förmågan till reflektion, ett slags meta-reflektion som vi här benämner reflektion typ IV. I det här exemplet (Naturvårdsverket) var det tydligt att det ägde rum ett lärande både hos enskilda individer och kollektivt, på flera nivåer: Projektledare Projektmedarbetare Styr- och samordningsgrupper Ledare för verksprojekt Linjechefer Vi, som utvärderare Alla reflekterade och lärde sig, olika saker på olika nivåer. Reflektion av typ V Utveckling av utvärderarrollen ger större möjligheter att bidra till lärandet För närvarande finns en trend i vår verksamhet mot utveckling av tydligare formativa roller för utvärderaren. Det kan exempelvis röra sig om följande, mer renodlat rådgivande roller: Handledning: I samband med anpassad utbildning i utvärdering har deltagarna redovisat hemuppgifter kring utvärderingsplaner och vi har sedan kompletterat detta med direkt handledning och rådgivning under olika moment i utvärderingarna när de sedan genomförs. En variant på detta är att följa med en utvärdering från start till mål och tjäna som coach åt den som gör själva jobbet. Ytterligare en variant är att med hjälp av intervjuer stödja en mottagare i att formulera både sitt utvärderingsproblem och sin utvärderingsstrategi. Dessa rådgivande roller är rätt renodlade och okomplicerade för utvärderaren. De underlättas om utvärderaren använder sig av mentala modeller (utvärderingsmodeller) som avbildar själva utvärderingsproblemet exempelvis i form av en effektkedja. Konsultrollen är tydlig och utvärderaren fungerar närmast som pedagog. Den reflektion som äger rum i dessa fall handlar närmast om att mottagaren upptäcker sin egen kapacitet att formulera modeller av den egna verkligheten, eller upptäcker sin egen kompetens och sitt ansvar när det gäller att utvärdera - det upplevda handlingsutrymmet kan vidgas.

16 16 Ett begrepp som beskriver vad det rör sig om är empowerment. Empowerment 42 är ett klassiskt begrepp inom ledarskapsteorier Den grundläggande tanken med empowerment utgår från att ledaren (eller utvärderaren) skapar förutsättningar för t ex medarbetare att själva fatta beslut och ta mer ansvar att skapa egenkraft. Vi kan anta att en känsla av egenkraft eller empowerment är gynnsam för individens lärande, då empowerment implicerar en upplevelse av att kunna påverka. Genom empowerment görs individen delaktig i arbetsprocessen och i beslutsfattandet. Genom empowerment, eller på svenska egenkraft, kan vi anta att såväl det subjektiva som det objektiva handlingsutrymmet vidgas. Empowerment är också ett begrepp starkt förknippat med demokrati då upplevelse av att kunna påverka är av betydelse. I utvärdering handlar Empowerment Evalutaion om att få medverkande, aktörer eller intressenter att själva delta i utvärderingen och att ta ansvar för process och/eller resultat själva. Den tillåter uppkomst och strukturering av motkrafter på ett tidigt stadium i utvärderingen. 43 Vi kan beskriva den reflektion som äger rum vid Empowerment evaluation ungefär så här: Så här kan jag öka min egen förmåga att leva upp till mitt ansvar för verksamheten och så här kan jag utveckla min egen förmåga att lära och förändra verksamheten på egen hand. Det rör sig om en något djupare och längre gående insikt eller upptäckt än de föregående, och vi kallar den därför reflektion av typ V. Om nu den här antydda rådgivande eller renodlat formativa rollen för utvärderaren är enkel och okomplicerad i princip, går det då att förstärka den genom att utvärderaren också själv bidrar med egna bedömningar eller kritiska granskningar? Det har åtminstone tidigare hävdats att en summativ roll inte går att förena med en formativ roll 44. Stämmer detta? I några aktuella fall 45 har vi försökt kombinera de formativa och summativa rollerna. Vi har tjänat som metodrådgivare i samband med mottagarens egna utvärderingsaktiviteter, samtidigt som vi kompletterat med vissa kompetensutvecklande insatser, av typ anpassad utbildning i planering av utvärdering. Dessa insatser har alltså haft som direkt syfte att hjälpa mottagaren att själv göra och strukturera erfarenheter, d v s i princip utvärdera, på ett sätt som är verkningsfullt. Samtidigt med detta har vi gjort egna intervjuer och (kritiska) iakttagelser, som vi återfört till mottagaren i form av ett seminarium. Vi har då behandlat dem som våra bedömningar, utan att ge råd om hur mottagaren mer konkret bör hantera dem. Det vill säga vi har då intagit en rätt summativ roll. Vad innebär detta? Å ena sidan har vi möjligen förstärkt de reflektionsprocesser som, initierats genom kompetensutvecklingen och rådgivningen. Vi har i så fall gett mer näring åt redan startade processer genom att tillföra kritiska erfarenheter. Å andra sidan kan vi, i värsta fall, ha skapat en osäkerhet om vår roll som utvärderare står vi på mottagarens sida eller är vi där för att kritisera? Uppfattas vi på det förstnämnda sättet är allt väl. Uppfattas vi på det sistnämnda sättet kan det i stället framkalla defensiva reaktioner, 42 DuBrin A J, Leadership - Research, findings, practice and skills (1998), Second edition, Boston: Houghton Mifflin Company. 43 Democratic Evaluation, B floc hlay och E. Plottu, Evaluation, vol 4 nr 5, Åke Jerkedal, Utvärdering av utvärderingar, Studentlitteratur, Det ena gäller en statlig myndighet det andra en medlemsorganisation

17 17 som snarast blockerar lärandet. Som vi ser det måste vi som utvärderare gå en balansgång i dessa fall. Vi tror att dels vår integritet som utvärderare, dels vår förmåga som pedagoger är det som avgör om balansen hålls. Om mottagaren förstår och accepterar våra iakttagelser och samtidigt har fått ökad metodkompetens, har vi nog nått så långt som är möjligt för en utomstående utvärderare. Om mottagaren inte håller med eller accepterar iakttagelserna eller vår roll, kan vi få en låsning som blir kontraproduktiv. En slutsats av de självvärderande funderingana i det föregående blir hursomhelst att utvärderarens sätt att utöva sin roll har betydelse för vilken reflektion som uppstår hos mottagaren. Det gäller för utvärderaren att både vara medveten om sina roller och vad de för med sig och att välja dem så att de är anpassade till eller matchar både mottagarens förutsättningar och det lärande som eftersträvas. Detta för över till en diskussion om utvärderarroller och reflektionsnivåer. Diskussion Utvärderarroller och reflektion Utvärderarroller och reflektionsnivåer Reflektion och lärande Med utgångspunkt från de refererade erfarenheterna kan vi formulera några hypoteser om ett samband mellan olika nivåer av reflektion hos mottagaren av utvärderingen och olika roller och angreppssätt från utvärderarens sida. Till att börja med kan vi sammanfatta vår erfarenhet av sambanden i följande tabell eller figur. Vi har här tagit oss friheten att se reflektion typ av I V som reflektion på olika, litet lösligt definierade, nivåer. Innebörden är i stort att högre nivå betyder större kapacitet till analys och reflektion, kräver större upplevt handlingsutrymme, leder till större (mer radikal) möjlighet till förändring eller utveckling. Högre nivå betyder också att lärandet i högre grad är en social i motsats till individuell process, med flera personer inblandande. Vi har i samma anda också graderat utvärderarens roll och angreppssätt i olika nivåer I V. Innebörden av högre nivå är här mer ingripande intervention i mottagarens egen analys och egna lärandeprocesser, närmare och mer stödjande relationer med mottagaren och därmed en mer komplex roll för utvärderaren.

18 18 Figur 4: Utvärderarens roll och förhållningssätt som stöd i lärandeprocessen Utvärderarens roll och förhållningssätt, bidrag till mottagarens reflektionsprocess I. Att presentera hårda fakta som visar på att det finns utrymme för effektivisering/för-bättring. Bidrag: Nya fakta eller analyser. II. Engagera mottagarna i problemformulering, datainsamling och analys. Bidrag: Inititiativ, analysförmåga, ett slags projektledning som involverar mottagaren. III. Som II, plus vilja till medverkan i en mer långsiktig relation med mottagaren. Bidrag: Tillskapar återkommande tillfällen och anledningar till reflektion. IV. Processledare. Bidrag: Driver eller katalyserar reflektionsprocesser. V. Handledare eller pedagog. Bidrag: Bollplank och råd till mottagaren, stöd till mottagaren att komma till insikt själv Mottagarens reflektionsnivå, villkor för att reflektionen ska leda till handling I. Handlar inte om reflektion i egentlig mening. Den nya kunskapen läggs till den gamla. Sättet att förstå det som sker ändras inte. Liknar den assimilativa processen (se Piaget). Villkor: Signalen når fram och gäller mottagarens ansvarsområde. II. En justering av den egna bilden av problem och handlingsmöjligheter och initiativ till inventering av möjliga åtgärder. Här finns möjlighet att förstå det som händer, t ex utvärderingens resultat på ett nytt sätt. Tangerar det Piaget kallar ackommodation. Villkor: Delaktighet i utvärderingen, utrymme för reflektion och handlande (handlingsutrymme). III. Aha, det är så vår omvärld ser ut och så här kan effekterna av våra handlingar se ut! Villkor: Samma som II plus kapacitet (resurser och metoder) för analys av olika handlingsalternativ. Jmf ackommodation. IV. Hur lär vi egentligen och hur kan vi förbättra förmågan att lära? (meta-reflektion). Villkor: Ligger nära Senge s krav på fem organisatoriska nyckelkompetenser (lärande organisation). Här skapas också förutsättning för ett kollektivt lärande. En kvalitativt annan typ av lärande än det som sker individuellt, (även om vi aldrig kan frigöra individen från ett socialt sammanhang). V. Så här kan jag öka min egen förmåga att leva upp till mitt ansvar för verksamheten och att lära/förändra verksamheten på egen hand. Villkor: Som IV, plus möjligen en kultur eller ett gott lärklimat, där experimenterande uppmuntras. Ökade och goda förutsättningar för såväl individuellt som kollektivt lärande. En första hypotes är att en vissnivå av reflektion hos mottagaren kan främjas av en viss typ av roll och angreppssätt/förhållningssätt från utvärderarens sida. Kan detta verkligen vara riktigt? Ja, om betoningen läggs på kan, tror vi det. Om handlingsutrymmet och förmågan till reflektion hos mottagaren i utgångsläget ligger på en viss nivå I V, så kan reflektionen främjas eller förstärkas av en utvärderarroll eller ett angreppssätt på motsvarande nivå.

19 19 Men, om reflektionsnivån och angreppssättet inte matchar varandra, då? Om utvärderaren försöker med ett angreppssätt på nivå II eller III och mottagarens handlingsutrymme eller reflektionsnivå av något skäl ligger på nivå I, vad händer då? Och vad händer om mottagaren själv befinner sig på nivå III eller IV och utvärderaren begränsar sin roll till nivå I? Vi tror att man då kan tala om fel av typ I och fel av typ II. Angreppssätt och absorptionskapacitet eller fel av typ I och II Vi kan resonera kring följande figur På den vertikala axeln, Y-axeln, har vi avsatt nivå I V av utvärderarroller och på den horisontella, X-axeln, nivå I V av reflektion. Eftersom de sistnämnda har att göra med individers och gruppers eller hela organisationens kapacitet att ta emot och bearbeta eller absorbera ny information eller nya insikter (från utvärderingar) har vi här parallellt använt begreppet absorptionskapacitet. Figur 5: Fel typ I och Fel typ II Utvärderarroll Angreppssätt V IV III Fel typ I II Fel typ II I I II III IV V Reflektionsnivå Absorptionskapacitet Fel av typ I innebär här ett slags mottagarunderskott, utvärderingens angreppssätt och roll lämnar ett bidrag som mottagaren av något skäl inte förmår absorbera. De bidrag utvärderingen lämnar när det gäller påvisande av handlingsmöjligheter eller effekter av olika handlingsalternativ, eller av omvärldens påverkan, kan inte absorberas och bidra till lärande. Skälen kan vara av olika slag, alltifrån olika yttre restriktioner till egna resursbegränsningar, organisationskultur, ledningens prioriteringar etc.

20 20 Om utvärderaren har en konsultroll i förhållande till mottagaren, kan det finnas möjligheter för utvärderaren att minska detta underskott, genom sättet att bedriva sitt utvärderingsarbete. Detta förutsätter givetvis att underskottet upptäcks i tid. Ett sätt att göra detta kan vara att söka minska mottagarens avstånd till utvärderingen eller öka delaktigheten. Med minskat avstånd från själva utvärderingsövningen ökar allt annat lika mottagarens potential att agera till följd av en utvärdering. Ett sådant avstånd kan utvärderaren aktivt verka för att minska genom olika inslag i sitt arbete. Sådana inslag i arbetet kan exempelvis vara: Intervjuer som delvis syftar till - inte datainsamling, utan att väcka intresse eller medvetenhet. Referensgrupper till utvärderingen, som engagerar sig och verkar både som aktiva bollplank till utvärderaren och som interna ambassadörer för (användning av) utvärderingen. Löpande avstämningar med mottagaren, som bygger upp ett ökat ägarskap till utvärderingen från mottagarens sida. Tolkningsseminarier, där mottagaren aktivt deltar i tolkning av fakta och utvärderingsresultat och själv formulerar sina slutsatser, innan någon färdig rapport föreligger. Workshops med inslag av instant research (olika slags enkäter-på-plats, lappövningar etc.) där ytterligare utvärderingsdata skapas. Sådana övningar kan liksom tolkningsseminarier ha starka pedagogiska inslag, sett från mottagarnas sida. Förekomsten av ett mottagarunderskott, som vi här kallat det, innebär strängt taget ett slöseri i form av outnyttjade lärmöjligheter. Med våra utgångspunkter ligger det ett visst ansvar på utvärderaren att diagnosticera ett sådant underskott och att anpassa sitt angreppssätt därefter. Åtminstone i en idealisk värld. Utan en samtidig vilja och en aktiv medverkan från mottagarens sida, går det dock knappast att minska detta underskott. Av mottagaren krävs, om det är en extern utvärderare som används, också en viss medvetenhet om sin egen absorptionskapacitet och en god beställarkompetens. Fel av typ II innebär däremot ett utvärderingsunderskott, utvärderingen lämnar inte ett bidrag som svarar mot mottagarens behov och kapacitet. Utvärderingen blir missriktad och inte så användbar som hade behövts. Skälen till detta kan finnas både hos mottagaren och hos utvärderaren. Mottagaren har kanske inte formulerat sina behov för sig själv och inte heller i en beställning till utvärderaren. Utvärderaren har kanske å sin sida missbedömt situationen och valt ett angreppssätt som inte svarar mot behoven. Om utvärderaren har en konsultroll i förhållande till mottagaren, kan det finnas möjligheter för utvärderaren att minska också detta underskott, givetvis under förutsättningen att underskottet upptäcks i tid. Framförallt handlar det om en bra uppdragsdialog och om avstämningar under löpande utvärderingsarbete, som ger möjligheter till modifiering av angreppssättet. Även detta underskott innebär ett med lärtillfällen. Ansvaret för att upptäcka och åtgärda det ligger, även här, både hos utvärderare och mottagare. Några slutsatser för utvärderingspraxis kan möjligen dras av dessa resonemang. Utvärdering som avses främja reflektion och lärande bör ses som en gemensam angelägenhet för utvärderare och mottagare.