Vad gör en lärande utvärderare, och vad utmärker en kompetent lärande utvärderare? idealtypiska uppfattningar om lärande utvärdering

Transkript

1 Vad gör en lärande utvärderare, och vad utmärker en kompetent lärande utvärderare? idealtypiska uppfattningar om lärande utvärdering Paper, SVUF konferens, Stockholm 2011 Kettil Nordesjö, doktorand Institutionen för Socialt arbete, Linnéuniversitetet

2 INLEDNING 3 BAKGRUND OCH SYFTE 3 ÖVERSÄTTNING SOM UTGÅNGSPUNKT 5 METODOLOGISKA UTGÅNGSPUNKTER 7 ANALYSMETOD 9 METODDISKUSSION 9 RESULTAT 10 KONTINUERLIG ÅTERKOPPLING 10 STÖDJANDE OCH KRITISK DIALOG 12 STYRMEDEL I RELATION TILL ANSÖKAN 13 MÖJLIGA ANALYSBEGREPP 16 SAMARBETANDE UTVÄRDERINGSANSATSER 16 PARALLELLA IDEALTYPER 19 EN IDEALTYP OLIKA PROCESSFOKUS? 21 SLUTSATSER 21 BETYDELSE FÖR ÖVERSÄTTNINGSPROCESSEN 22 REFERENSER 24 2

3 Inledning I detta paper undersöks uppfattningar om begreppet lärande utvärdering. Under våren 2011 skickades en enkät ut till de som deltagit i en högskole- eller universitetskurs i lärande utvärdering och följeforskning sedan 2009, med frågor om hur man såg på ansatsen, vad man lade i begreppet och hur man såg på sin egen praktik. Enkäten var ett sätt att få kunskap om vad kursdeltagare fick med sig ut i praktiken och hur de själva hade uppfattat ansatsen, vilket i sin tur kan ses som ett sätt att få kunskap om den översättning av begreppet mellan myndighetsnivå och praktiknivå som skett. Undersökningen är en del i ett avhandlingsarbete där lärande utvärdering som idé studeras i översättningstermer från den formulerande EUnivån till den praktiserande projektutvärderarnivån i socialt arbete. Fortsättningsvis ses lärande utvärdering och följeforskning som synonyma, och främst kommer termen lärande utvärdering att användas. Bakgrund och syfte Inför EU:s strukturfonders programperiod lanserade EU-kommissionen en ny utvärderingsansats som ersättning för de halvtidsutvärderingar som skett mellan ex ante och ex postutvärderingarna av tidigare periods strukturfondsprogram. Ansatsen var on-going evaluation (fortsättningsvis OGE), och var ett svar på ett missnöje där halvtidsutvärderingarna kom för tidigt i programmen och ofta var översiktliga då de skulle svara på en stor mängd komplexa programfrågor. OGE skulle istället vara en pågående process bestående av flera utvärderingsaktiviteter. Den skulle vara en flexibel ansats under programtiden och kunna svara mot förändringar inom och utanför programmet och på så sätt bättre kunna förstå och analysera utfall som ett led i att nå effekter på längre sikt, och kunna ändra programmet därefter (European Commission, 2006). I Sverige kom OGE att formuleras som följeforskning i Tillväxtverkets termer (TVV, dåv. NUTEK) och lärande utvärdering i Svenska ESF-rådets (ESF), där ansatserna inte enbart kom att användas för programutvärdering utan även för projektinsatser. För att sprida kunskap om den nya ansatsen och utbilda professionella lärande utvärderare skrevs också en antologi med titeln Lärande utvärdering genom följeforskning (Svensson, 2009) där utvärderingsansatsen sattes i perspektiv av olika författare. Kurser har sedan 2009 getts på flera högskolor och universitet där man delvis i samarbete med TVV, ESF eller antologins författare har utbildat främst utvärderare i lärande utvärdering och följeforskning. Då antologins innehåll har flera explicita och implicita kopplingar till en interaktiv forskningstradition genom begreppsanvändning och vetenskapssyn, blir den övergripande översättningsprocessen från EU till utvärderingspraktik intressant av flera skäl. Hur och varför fick lärande utvärdering det utseende som den har fått i Sverige relativt de ursprungliga riktlinjerna? Har lärande utvärdering och följeforskning i Sverige samma syfte som ursprungsformen OGE? I en tid av evidensinriktad och kvalitetssäkrande utvärderings- och 3

4 forskningsretorik är det på sätt och vis förvånande att strukturfondernas utvärderingspolicy i Sverige på projektnivå antar ett så på pappret interaktivt och dialoginriktat utseende. Har utvärderingens roll så förändrats i och med ett närmande mellan utvärdering och interaktiv forskning? Och hur kan vi se dessa eventuella förändringar i ljuset av ett ökat intresse för samarbetande och interaktiva forskningsansatser inom samhällsvetenskaperna? För att kunna närma sig dessa stora frågor anläggs ett översättningsperspektiv där idén lärande utvärdering studeras i förhållande till dess ursprung OGE, och till den observerade praktik som sker inom verksamheter i socialt arbete. Då de ursprungliga riktlinjerna från EUkommissionen skulle appliceras flexibelt och med hänsyn till medlemstatens egna unika omständigheter är det av intresse att närmare undersöka utseendet på den utvärderingsansats som Sverige kom att utforma, och hur de utvärderare som faktiskt ska använda sig av ansatsen, uppfattar den. Jönsson och Eriksson (2010) menar till exempel nyligen i en rapport från SPeL om lärande utvärdering i praktiken, att det delvis råder en begreppsförvirring kring lärande utvärdering (s 3), och att man inom projekten inte har en gemensam syn på vad det rent praktiskt innebär. Är man osäker på begreppets innebörd är det också svårt att ställa krav på utvärderingens roll, genomförande och användning (s 20). Utvärderingen uppfattas exempelvis rikta sig till projektledningen och mindre till styrgruppen, och resurstilldelning till utvärdering är generellt låg. Flera konferenspaper diskuterar den eventuellt breddade utvärderarroll som OGE resulterat i på svensk projektnivå och hur den kan hanteras (se tillgängliga konferenspapers som exempelvis Bienkowska et al., 2010, Wikner, 2011). En magisteruppsats (Åstedt, 2010) har behandlat lärande utvärderings tillämpning i förhållande till modellens teoretiska utformning och finner ett fokus på processtödjande insatser som inte riktigt förmår mäta måluppfyllelse och effekter. Forskning kring hur just OGE fallit ut i Sverige är annars sällsynt. Albinsson and Arnesson (2010) resonerar kring kritisk distans och närhet som ett viktigt problem att diskutera i inte bara interaktiv forskning utan också i följeforskning som ett resultat av EU:s nya utvärderingsansats. Lärande utvärdering och följeforskning anses vara i en utvecklingsfas där definitionsfrågor kring begreppen ständigt återkommer. En del texter börjar alltså problematisera begreppet lärande utvärdering och rollen som den lärande utvärderaren får i relation till befintlig utvärderingspraxis. På EU-nivå har OGE kommenterats komparativt på program- och projektnivå där den svenska modellen omnämns som fokuserad på implementering och mindre på kontrafaktiska studier (Ward, 2010). En kort kunskapsöversikt visar på att lärande utvärdering som begrepp och roll fortsatt kan diskuteras. Syftet i detta paper är att utifrån en enkätundersökning till utvärderare som gått en kurs i lärande utvärdering, och som använt eller använder sig av lärande utvärdering, på ett explorativt sätt få förståelse för vad lärande utvärdering uppfattas vara. På så sätt belyses en arena mellan myndigheten som är ansvarig för implementeringen av utvärderingsansatsen, och praktiken som utför den. Det är arenan där praktiker som tillåts delta i en kurs och reflektera och arbeta med litteratur kring lärande utvärdering, omtolkar och skapar en egen förståelse för lärande utvärdering, vilken sedan utgör underlag för deras praktik. 4

5 De huvudsakliga frågeställningarna är därför Hur uppfattas lärande utvärdering av kursdeltagarna? Kan man urskilja olika grupper av uppfattningar av lärande utvärdering? Den första frågan låg till grund för utformningen av enkätfrågor, den andra var av mer analytiskt intresse. Fyra öppna frågor om lärande utvärdering ställdes i enkäten med en egen inledning. Respondenten kunde alltså svara som den ville på frågorna: I denna del efterfrågas DIN uppfattning om vad lärande utvärdering är. Svara alltså utifrån vad du anser lärande utvärdering vara utifrån din egen kunskap, din egen erfarenhet och hur du arbetar med lärande utvärdering. Vad gör en lärande utvärderare? Vad utmärker en kompetent lärande utvärderare? Vad är lärande i lärande utvärdering? Vilka delar av lärande utvärdering tycker du är svårast att använda dig av i ditt arbete? Översättning som utgångspunkt Frågeställningen ska ses i förhållande till en större översättningsprocess där idéspridningen av OGE ses på flera arenor. En översiktlig modell visar hur lärande utvärdering går från en EUnivå till en praktisk utvärderingssituation. På varje arena finns ett okänt antal aktörer som påverkar utvärderingsansatsens utformning. Formuleringsarena (EU- kommission) Transformeringsarena (Medlemsstat) Realiseringsarena (Utvärderare) Arenorna är implementeringsenheter som har som främsta funktion att skilja på den problemformulerande policynivån och den förverkligande realiseringsnivån, och synliggöra den transformering som sker däremellan (Lindensjö and Lundgren, 2000). På den första arenan står formuleringen av ursprungsidén i centrum. EU-kommissionen utformar flexibla riktlinjer som nästa arena, transformeringsarenan, har att förhålla sig till. På denna arena 5

6 översätts OGE till lärande utvärdering av svenska aktörer som sedan praktiseras av utvärderare på en realiseringsarena. 1 Ett grundantagande är här att spridningen av OGE och dess förändring till lärande utvärdering ska ses i termer av översättning. Dess motsats är diffusionsperspektivet, vars spridningsidé bygger på kommunikation som överföring av meddelanden. Spridningen av en idé är där en transport av en idé och kodas och avkodas av sändare och mottagare. Händer något fel i kommunikationen beror det på någon sorts störning på vägen (Czarniawska, 2005). I översättningsperspektivet tar Latour (1986) avstånd från den opersonliga och mekaniska transportmetaforen som diffusionsperspektivet erbjuder och ser istället människan som aktör som central där den kommer i kontakt med idén som sprids. Det är en performativ ontologi, dvs ett grundantagande om att aktörer skapar verkligheten, i detta fall lärande utvärdering, allteftersom aktörer involveras, omtolkar och sprider idén vidare. Aktörer får en mening och identitet i och med att de tillskriver varandra en mening kring översättningen av lärande utvärdering, och bildar tillsammans aktörsnätverk. Nyttan av Latours översättningsperspektiv är att inte se lärande utvärdering som något fast och fixt, och inte se omtolkningar och förändringar i implementeringen från EU-nivå till utvärderingspraktik som problematiska. Snarare är omtolkningar ofrånkomliga och snarast ett villkor för spridning när aktörer möts för en given problemställning som här är lärande utvärdering. Tre närliggande exempel på översättningsansatser med relevans för socialt arbete är Erlingsdottirs (1999) studie över kvalitetssäkringsarbete i hälso- och sjukvård, Johnsons (2003) om metadonkonflikten i Sverige och Lindes (2010) om församlingen i granskningssamhället. Hos Erlingsdottir handlar det om handlar det om managementidéer som tas i bruk i sjukvården, hos Johnson om den från början amerikanska idén om metadonanvändning som medel för narkotikaavvänjning, och hos Linde om hur också traditionella organisationer som församlingar blir föremål för nutida granskningsmekanismer. Idéer som alltså har tagits in av svenska aktörer, och inte varit föremål för en påbjuden implementering som i lärande utvärderings fall. Skillnaden ligger i att OGE varit något som medlemsstaterna ska implementera, vilket gör att OGE inte endast ska ses som en idé utan också i governance- och implementeringstermer. Översättningsmetaforen blir i implementeringssammanhang att se lärande utvärdering och följeforskning växa fram från ett aktörsnätverk, snarare än att se OGE växa in i en befintlig implementeringskedja. Av intresse i detta paper är området mellan transformeringsarenan och realiseringsarenan där kurserna i lärande utvärdering och följeforskning kan antas befinna sig. I ett översättningsperspektiv lärs här lärande utvärdering ut av aktören högskola och universitet till utvärderare där flera av dem kommer att utvärdera verksamheter inom socialt arbete. Här sker 1 Det kan direkt konstateras att det är en starkt förenklad bild. I en mer nyanserad spridningsmodell sker översättningen i ett formulerings- transformerings- och realiseringsstadium på tre olika nivåer: EU, medlemsstat och praktik vilket skapar en figur med nio olika idénedslag (tre horisontella stadier och tre vertikala nivåer). För paprets syfte, som behandlar en liten del av denna översättningsprocess, utvecklas dock inte denna modell närmare. 6

7 två presumtiva översättningsprocesser: dels då kursen läggs upp, vilket inte behöver vara med någon myndighets inblandning eller förlaga, även om samtliga kurser begagnat sig av antologin som huvudsaklig kurslitteratur (förutom den första kursen 2008), och dels då kursen bedrivs, där kursledning och kursdeltagare skapar och skaffar sig uppfattningar av lärande utvärdering och följeforskning. Detta paper behandlar den senare översättningsprocessen, där utvärderare tar del av, reflekterar och diskuterar kring begreppet lärande utvärdering, och på så vis får en uppfattning om den som påverkar hur de kommer att praktisera den. Praktiken kan här ses i Julkunens breda termer (2011) som: networks that include human actors (such as social workers, nurses, doctors and family members), their activities and interactions, and any kind of resources (such as theories, tools, models, technical artefacts, norms, goals, rules and money) these actors mobilise and utilise in their activities (s 1) Utvärderaren tar utifrån definitionen med sig resurser i form av exempelvis kunskaper om lärande utvärdering (som de uppfattat den), och som sedan används i praktiken. Metodologiska utgångspunkter Metoden kan på ett metaplan karaktäriseras som en fenomenologisk ansats. Inom fenomenologin utgår forskaren från upplevd erfarenhet som avgörande för handlingen och praktikens fundament och kontext. Vi är som individer inneslutna i den erfarenheten och kan inte skilja oss från den mening och den betydelse den har för oss (Dall'alba, 1998). I denna undersökning innebär det ett induktivt sätt att se utvärderarnas upplevelser av vad lärande utvärdering är, som betydelsefulla för deras fortsatta praktik. Inga teoretiska utgångspunkter nyttjades för frågornas utformning, de försökte snarare hållas så stora och öppna som möjligt för att inte styra respondentens svar. Då ansatsen varit explorativ och ambitionen har varit att visa på variationer inom enkätfrågorna blir framställningen fenomenografisk i det att den kommer att försöka hitta olika sätt att uppfatta vad en lärande utvärderare gör, vad som utmärker en kompetent lärande utvärderare, vad som är lärande i lärande utvärdering och vilka de största svårigheterna är. Olika typer av uppfattningar av vad en kompetent lärande utvärderare är representerar alltså inte individuella kvaliteter hos respondenterna utan snarare olika idealtypiska sätt att beskriva någonting (Marton, 1981). Resultaten säger heller ingenting om vad lärande utvärdering verkligen är, om nu en sådan definition tentativt skulle tas utifrån exempelvis antologin Lärande utvärdering genom följeforskning (Svensson, 2009). Teoretiska begrepp och tidigare forskning kring samarbetande utvärderingsansatser förs in i diskussionen efter att empirin har presenterats. För att få förståelse för ett fenomen och för hur individer tolkar och upplever det torde en kvalitativ ansats vara den naturliga utgångspunkten. I denna undersökning användes en blandning av en kvantitativ och en kvalitativ ansats kvalitativ i den meningen att de fyra huvudsakliga frågorna ovan ställdes som stora öppna frågor där respondenter kunde utforma sitt svar skriftligt i den riktning de själva ansåg relevant. Kvantitativ i den meningen att 7

8 bakgrundsvariabler efterfrågades i en webenkät och att dessa sedan ska kunna kopplas till utsagor och jämföras inom populationen. Inget urval gjordes, utan den webbaserade enkätundersökningen var en totalundersökning till de som deltagit i en kurs om lärande utvärdering och följeforskning sedan Kursen skulle alltså uttryckligen handla om lärande utvärdering och följeforskning och inte endast utvärdering eller vetenskaplig metodik. Det visade sig vara relativ enkelt att urskilja dessa kurser då respektive kursledningar hade varit i kontakt med myndigheterna Tillväxtverket och ESF-rådet, vilka hade god kännedom om vilka kurser som getts. E-postadresser erhölls via högskolorna och universiteten och via APeL respondenter kontaktades några dagar innan enkäten skickades ut för att upplysa om undersökningen och ge respondenten möjlighet att avböja medverkan. På detta stadium föll tolv respondenter bort pga att de inte ville vara med eller för att e-postadressen inte stämde och hänvisning saknades. En enkät skickades den 21 mars 2011 ut till 131 personer som deltagit i en kurs i lärande utvärdering och följeforskning sedan Två påminnelser följde och svarsfrekvensen var vid enkätens stängning den 30 april, 60% (se tabell 1). Tabell 1 Termin och lärosäte Svarat Ja Nej Total % LIU 2008, HH MDH 2009, MIUN LTU MAH Total Tabell 1 svarsfrekvens per lärosäte (LIU=Linköpings universitet, HH=Högskolan i Halmstad, MDH=Mälardalens högskola, MIUN=Mittuniversitetet, LTU=Luleå tekniska universitet, MAH=Malmö högskola) 52 av 78 personer hade efter kursen genomfört en lärande utvärdering, vilket motsvarar 67%. Fyra personer valde att inte svara på de öppna frågorna. Bland de återstående 48 personerna, som utgör underlaget för resultaten, var alla yrkesverksamma, och uppgav att de genomför eller projektleder utvärderingar. De är alltså inte beställare, eller handläggare av utvärderingar, även om de kan ha den kompetensen också. Utbildningsmässigt var statsvetenskap, national- och företagsekonomi, pedagogik och sociologi de vanligaste huvudämnena. 2 APeL är ett nationellt centrum för interaktiv och kritisk forskning inom arbetsplatslärande, tillväxt och regional utveckling (hemsida APeL Har deltagit i flera insatser kring lärande utvärdering, bl a som medförfattare till nämnd antologi. 8

9 Analysmetod Bland de fyra öppna frågorna som utgjort dataunderlag för detta paper tematiserades den första frågan först; vad gör en lärande utvärderare? Genom att läsa dataunderlaget för de 48 personer som genomfört en lärande utvärdering flera gånger sorterades de in i tre grupper som sedan studerades var för sig flera gånger. Tre idealtypiska uppfattningar om frågan vad en lärande utvärderare gör erhölls, vilka sattes i relation till olika dimensioner av frågan: syfte och vad gör man? Fråga två, vad utmärker en kompetent lärande utvärderare, tematiserades först förutsättningslöst och sedan på nytt med tidigare idealtyper i åtanke. Korrigeringar och nya idealtyper utformades för att idealtyperna skulle bli konsistenta så att en respondent i stort skulle kunna hänvisas till en idealtyp. Den induktiva processen fortsatte så med den tredje och den fjärde frågan som sattes i relation till övriga tematiseringar med för frågan relevanta dimensioner. Vid analysarbetets slut fanns tre idealtyper beskrivna utifrån fyra frågor tillsammans innehållandes fem dimensioner. De ska ses som idealtypiska uppfattningar av lärande utvärdering, uppdelade på följande fem olika dimensioner: Syfte och fokus, Vad gör man?, Vilken kompetens krävs?, Syn på lärande och Upplevda problemområden. (se tabell 2 nedan). Tillkommer i tabellen gör Lärande i användningstermer och Utvärderingskaraktär som är teoretiska kategorier som tillskrivits idealtyperna i efterhand till skillnad från övriga dimensioner. Teoretiska perspektiv fungerar alltså som referenspunkter för diskussion och tolkning i efterhand, och inte som analytiskt redskap för utformningen av idealtyperna. Metoddiskussion Då undersökningen ska ses som ett försök att förstå hur utvärderare uppfattar lärande utvärdering är det nödvändigt att påpeka undersökningens begränsningar. För det första är det empiriska materialet relativt litet. Som totalundersökning kunde det förstås inte vara större, men att göra anspråk på att nedan presenterade idealtyper skulle gälla för en lärande utvärderingspraktik generellt är problematiskt då de exempelvis inte är de enda som genomför lärande utvärderingar. Valet att fråga just kursdeltagare kom dock av att de är en grupp som säkert har fått tid att läsa om lärande utvärdering och kunnat bilda sig en uppfattning om den. En sextioprocentig svarsfrekvens och ett bortfall av respondenter till följd av att dessa inte genomfört en lärande utvärdering, vilket ansågs viktigt för att kunna tala om självupplevda erfarenheter, har också bidragit till underlagets ringa storlek. För det andra finns ett frågetekniskt problem i att fråga kursdeltagare om vad lärande utvärdering är, då de kan förväntas svara i linje med vad de lärt sig på kursen. Svarar kursdeltagarna på frågorna som på ett läxförhör, eller på hur de uppfattar lärande utvärdering utifrån egna erfarenheter, som ju frågan uttryckligen löd? ( Svara alltså utifrån vad du anser lärande utvärdering vara utifrån din egen kunskap, din egen erfarenhet och hur du arbetar med lärande utvärdering ) I ett översättningsperspektiv kan det tänkas spela mindre roll, då undersökningen ju handlar om att se vad utvärderaren tar med sig från kursen och som 9

10 reflekteras i dennes praktik. Då en praktik inte har observerats eller efterfrågats efter kategorier utan utifrån fyra öppna frågor, går det heller inte att säga i detalj vad en persons uppfattning av lärande utvärdering ska karaktäriseras som. Resultaten återspeglar snarare större grupperingar av uppfattningar som utgångspunkt för kommande praktikstudier av lärande utvärdering. För det tredje är frågan om kurserna är likvärdiga så att respondenterna kan sägas ha fått liknande möjligheter att reflektera kring och läsa in sig på lärande utvärdering. Alla kurser utom den som gavs 2008 hade antologin Lärande utvärdering genom följeforskning (Svensson, 2009) som kurslitteratur, och de flesta hade även med Nytta med följeforskning en vägledning för utvärdering av strukturfonderna (NUTEK, 2008). Att kurslitteraturen var inriktad på lärande utvärdering och följeforskning var därför tydligt. Hur kursernas upplägg sett ut har inte kunnat klargöras, dock har det relevanta för undersökningen varit att respondenterna varit bekanta med konceptet lärande utvärdering och följeforskning och att de fått en chans att sätta sig in i vad det kan vara för att kunna svar på enkäten. Resultat Nedan redogörs för de tre olika idealtypiska uppfattningar av lärande utvärdering som är undersökningens resultat, och som exemplifieras genom citat. En sammanfattande framställning av resultaten finns i tabell 2. Inga skillnader mellan högskolor/universitet eller tidpunkt för kursen kunde hittas, dock representeras idealtyp 3 nästan uteslutande av personer som arbetar i privat verksamhet. Det ska återigen poängteras att de tre idealtypiska uppfattningarna inte främst ska tillskrivas individer utan ska ses som just olika förenklade sätt att uppfatta ett koncept som lärande utvärdering. Få individer inom de tre uppfattningarna Kontinuerlig återkoppling, Stödjande och kritisk dialog och Styrmedel i relation till ansökan, svarar alltså helt enligt sin idealtyp. Kontinuerlig återkoppling Den första idealtypiska uppfattningen är lärande utvärdering som Kontinuerlig återkoppling. Syftet med lärande utvärdering är att för uppdragsgivarens (ospecificerat om styrgrupp eller projektledare åsyftas) räkning samla in och återföra data för analys. Fokus är på en systematisk och väl genomförd återföring som ska resultera i antingen en enskild analys där utvärderaren levererar slutsatser och rekommendationer, eller gemensam analys där projektdeltagare involveras: Fångar upp, reflekterar och ger feedback/återkopplar. Kan använda sig av olika insatser som intervjuer, analysseminarier (nr 78) Återrapporterar mera frekvent till projektledning än i traditionell utvärdering (nr 7) Genomför löpande utvärdering av projekt och återför regelbundet utvärderingsresultaten. (nr 37) 10

11 Den kompetens som är utmärkande för den lärande utvärderaren handlar i mångt och mycket om att kunna samla in och förmedla de insamlade data på ett framgångsrikt sätt. Metodskicklighet och kommunikativa färdigheter betonas: Använder trovärdiga och vetenskapliga metoder för informationsinsamling, vilket är grunden för en bra utvärdering. Kan föra en dialog med och se olika intresseperspektiv/-konflikter i en verksamhet, kunskap om gruppdynamik och färdigheter i kommunikation är värdefulla. (nr 23) Goda kunskaper i utvärderingsmetoder, duktig på att sätta sig in i projektets/verksamhetens syfte och mål, kritisk förhållningssätt. (nr 66) Gällande synen på lärande finns ingen klar ståndpunkt inom Kontinuerlig återkoppling. En vanlig uppfattning är att lärandeinslaget i lärande utvärdering är det förändrade tillvägagångssättet som inträffar som en följd av återkopplingen (lärande 1). En annan möjligen mer genomgripande lärandesyn ser lärandeinslaget som de förändrade rutiner och beteenden som sker som ett resultat av både återkoppling och gemensam dialog och reflektion (lärande 2). (Lärande 1) Systematiska datainsamlingar, kontinuerliga återkopplingar och gemensamma analyser. (nr 75) (Lärande 2) Att diskutera och reflektera över projektets måluppfyllelse och arbetssätt. Vad kan projektägare, projektledning och samverkansparter lära av just det här projektet för att föra över i ordinarie verksamhet lokalt men även regionalt och nationellt? Genom att reflektera kommer de olika aktörerna ofta till nya slutsatser och att pröva nya möjligheter eller arbetssätt. Detta blir i sin tur underlag för påverkan i både den egna och samarbetsparters organisation, som leder till ett vidgat lärande. Lärande 2 synliggör också en tredje lärandesyn som främst är representerad i Kontinuerlig återkoppling just lärande i syfte att implementera goda idéer i reguljära verksamheter. De mest framträdande problemområdena handlar om en kritik mot den lärande utvärderarens bidrag till samhällelig opinionsbildning (public debate), och bristande resurser för en tillfredställande lärande utvärdering, som är resurskrävande både vad gäller utvärderaren och projektets tid. Delaktighet i en lärande utvärdering kräver resurser som projektet ofta inte har förutsett, vilket undergräver förutsättningarna för organisatorisk förändring och lärande, både i befintlig och i framtida verksamhet: Det finns svårigheter med flertalet delar på grund av tidsramar såväl som ekonomisk ersättning och förmåga hos intressenter att ta till sig resultat. Exempelvis upphandlas utvärderare ofta när projektet redan är igång och medlen är ofta små givet uppdraget. Vidare finns sällan utrymme att arbeta vidare efter det att projektet avslutats - med lärande respektive med att använda resultaten (nr 15) Skulle idealtypen Kontinuerlig återkoppling karaktäriseras i utvärderingstermer skulle den kunna benämnas som en relativt passiv uppföljningsansats. Det är återkopplingen som är i 11

12 centrum som vid gemensamma tillfällen avhandlas i form av analysseminarier. Leveransen av data av hög kvalitet kan skapa lärande av olika typ, men det är inte den kontinuerlige återkopplarens uppgift att planera detta, särskilt som denne ser att den lärande utvärderingen lider av otillräckliga resurser vilket leder till ett begränsat deltagande. Stödjande och kritisk dialog Den andra idealtypiska uppfattningen är lärande utvärdering som stödjande och kritisk dialog. Den lärande utvärderingen beskrivs mindre som en återkopplingssekvens och mer som en process där stöd och kritisk granskning står i centrum. Givetvis samlar utvärderaren också här in data med jämna mellanrum, men vid frågan om vad en lärande utvärderare gör poängteras den kritiska analysen och involverandet av intressenter: Intar rollen som 'en kritisk vän' och följer projektledningens arbete men även vad och hur projektorganisationen uppfattar sina roller och hur de uppträder. Utvärderaren samlar intryck som återges/speglas inför projektledningen. Detta bör ske med viss regelbundenhet och kan också genomföras i form av analysseminarier då utvärderaren presenterar insamlade data och intryck inför projektledningen/organisationen. Ambitionen är att tillsammans åstadkomma en gemensam analys och slutsatser som kan återföras till projektplanen, och om så behövs ändra i plan och inriktning efter att ha kommit fram till att man är fel ute. (nr 56). Stödet, den kritiska granskningen och ett involverande av intressenter indikerar ett ökat deltagande med krav på en bredare kompetens som kan förklara flera kommentarer kring vikten av att fundera över sin roll som lärande utvärderare: Att undvika de bägge huvudsakliga fällor som vederbörande kan falla i. Den ena är att utvecklas till en sorts biträdande projektledare och den andra fällan är att enbart se till uppfyllandet av indikatorerna. (nr 55) Förmåga att vara både delaktig och ha integritet (nr 68) Rollmedvetenheten är den mest framträdande kompetensen i Stödjande och kritisk dialog tillsammans med kommunikativa färdigheter, som förekommer lika ofta i alla idealtyper. Skillnaden mot Kontinuerlig återkoppling kan möjligtvis vara att kommunikationen där handlar om att återkoppla på ett pedagogiskt och riktigt sätt, medan den här sägs syfta till att skapa dialog och en förtroendefull plattform för lärande: En person som bygger upp/använder det förtroende som behövs för att kunna arbeta både fristående och involverad. En som kan utveckla löpande dialoger och också positivt kritiskt få gehör för förslag om förändringar (nr 43) Stor förmåga att lyssna och se sammanhang och helheter. Stor integritet och tydlighet Och så naturligtvis kunskaper om vad lärande utvärdering innebär och förmåga att förmedla detta...(nr 71) 12

13 Lärandesynen handlar i Stödjande och kritisk dialog om att förändra rutiner och beteenden genom återkoppling och dialog och reflektion. Lärande handlar fortfarande till stor del om att reagera på återkoppling av data, även om det här också är viktigt att löpande synliggöra projektförhållanden tillsammans med intressenter, och orsaker till hur dessa förhållanden uppstår: Att samla ihop material och systematisera den så att projektet, styrgrupp och dess samverkansparter får en djupare förståelse för projektprocessen. Även få projektledaren att lyfta blicken från aktiviteter till uppsatta mål. (nr 46) Upplevda problemområden handlar också här om vad samhällelig opinionsbildning (public debate) ska tillföra och huruvida det är utvärderarens uppgift, men också om svårigheterna av att involvera projektaktörer och andra intressenter i den lärande utvärderingen. Problematiken liknar den som framfördes i föregående idealtyp, men handlar här mer om bristen på dialog mellan relevanta intressenter än om resursbrist som orsak till svårigheter att återkoppla och förändra: Det absolut svåraste är att skapa kvalificerade arenor för dialog med relevanta projektaktörer. [ ] Det är få som vill lägga tid på de lärande processerna, och eftersom det krävs dialog och interaktion så skulle jag vilja skilja på hur 'lärande utvärdering' beskrivs som modell, och hur den fungerar i praktiken. (nr 54) Att få tiden i styrgrupp och andra grupper. Att lärande utvärdering läggs in både i tid, aktiviteter och tillräckliga medel/pengar i planeringen av projektet/verksamheten. (nr 32) Karaktäriseras Stödjande och kritisk dialog skulle den ha närmare kopplingar till en mer upplysande och participativ processanvändning (Vedung, 2011, Weaver and Cousins, 2004), där involverandet av intressenter ska skapa förståelse för projektprocessen och skapa dialog utifrån återförda data. Styrmedel i relation till ansökan Den tredje idealtypen av uppfattningar är lärande utvärdering som styrmedel i relation till ansökan. Här avses den projektansökan som blivit godkänd av Tillväxtverket eller ESF-rådet och som beskriver projektverksamhetens målsättningar och innehåll och som denna idealtyps utvärdering ser som central. Det handlar här om hur den lärande utvärderaren kan förbättra projektet i enlighet med ansökan och styra mot dess mål. Liksom tidigare nämnt förekommer denna uppfattning också i de tidigare idealtyperna, men är här mer framträdande. Den lärande utvärderaren samlar in data för återkoppling, men här ligger betoningen på att granska, värdera och analysera data relativt målsättningar för hög måluppfyllelse och för att undvika att projektet går i fel riktning: Fungerar som en kritisk vän, som ställer frågor om tex målen nås med de planerade åtgärderna som projektet planerar. Är med och korrigerar åtgärder för bättre måluppfyllelse. Kommer med idéer på hur projektet kan utvecklas. (nr 57) 13

14 Stödjer projektets ledning (styrgrupp företrädesvis) genom att följa projektet och ge feedback för att ledningen ska kunna korrigera och jobba mot sina mål. Leder dialogseminarier för gemensam analys av resultat. Som utvärderare kommer man inte med sanningen utan snarare med dilemman som man gemensamt utforskar. (nr 11) Inom denna idealtyp är måltänkandet utbrett och flera respondenter talar om programteori som viktigt hjälpmedel. Viktiga kompetenser är liksom tidigare kommunikativa färdigheter som här liknar både den Kontinuerliga återkopplingens och den Stödjande och kritiska dialogens, dvs. både en pedagogisk återkoppling av data men även i syfte att skapa dialog. En annan kompetens är ett helhets- och måltänkande ska styra arbetet: Insikt i system, kunskap om samverkan och incitament för denna, kunskap om och intresse av människor, nyfikenhet, lösningsfokus. (nr 13) Man skall förhålla sig som ett konstruktivt stöd till projektledaren samtidigt som man skall vara obrottsligt lojal till godkänd ansökan - om ingen aktiv förändring i dessa mål och dessa indikatorer genomförs. Styrgruppen är den yttersta uppdragsgivaren och skall kontinuerligt informeras om vad som gjorts/hänt på ett konstruktivt och intresseväckande sätt för att man skall förstå att det finns utrymme för förändring och nya tankar i projektet - i förhållande till slutligt mål och avslut av projektsatsningen. (nr 22) Lärandet ses i enlighet med detta som ett förändrat tillvägagångssätt som en följd av återkopplingen som skett. Även om gemensam analys har skett är det korrigeringen i förhållande till målbeskrivningen som är utmärkande för lärandet: Att erfarenheter tas tillvara och implementeras för högre måluppfyllelse. Att eftertanke i grupp kan leda till ny kunskap. (nr 57) Det som är lärande är att man återför tankar och funderingar ifrån genomförandefas till styrgrupp och att man tillsammans med styrgrupp och projektledare försöker finna fram till om man måste vidta någon slags förändring i arbetet om man vill uppnå de mål som man satt. (nr 22) Det sista citatet belyser dessutom ett styrgruppsperspektiv som förekommer inom Styrmedel i relation till ansökan. Om föregående idealtyp underströk vikten av att involvera många intressenter är det här styrgruppen som fokuseras som centrum för beslut om projektets riktning och måluppfyllelse. Ingen gemensam problembild finns för denna idealtyp som också är den där 13 av 14 personer arbetar inom den privata sektorn. Det finns en tro på utvärdering som instrumentellt beslutsunderlag. En mer kvalificerad uppföljningsansats där både processoch målstyrning är tydligt närvarande och kommunikativa färdigheter ska få projektet att styra i rätt riktning. 14

15 Tabell 2 Dimensioner av lärande utvärdering (n=48) Teoretisk kategorisering Relation till övrig empiri Idealtypiska uppfattningar om lärande utvärdering 1. Kontinuerlig återkoppling (16 personer) 2. Stödjande och kritisk dialog (18 personer) Syfte/fokus Vad gör man? Vilken kompetens krävs? Återföra insamlad data för analys Att stötta och kritiskt granska; Processfokus Samlar kontinuerligt in data, för enskild eller gemensam analys Samlar in data; Följer och kommenterar projektet i dialog med intressenter, granskar Kommunikativa färdigheter pedagogisk skicklighet VISS Kritik/stöd /balans vetenskap/opartis khet/metod Kommunikativa färdigheter - skapa dialog och plattform för lärande Kritik/stöd/balans Syn på lärande Förändrat tillvägagångssätt genom återkoppling Förändrade rutiner och beteenden genom återkoppling och dialog/ reflektion Lärande om implementering i reguljär verksamhet Förändrade rutiner och beteenden genom återkoppling och dialog/ reflektion Intressentperspektiv Upplevda problemområden Public debate Bristande resurser för LU Dåliga förutsättningar för förändring och lärande Public debate Involvering av intressenter Lärande i användningstermer Upplysande? Instrumentell, processanvän dning Upplysande, Participativ processanvän dning Utvärderings karaktär Uppföljning Praktisk participativ utvärdering (P-PE) Påståenden och bakgrundsvariabler inom vilka idealtypen ligger långt från genomsnittet Denna grupp är mest bekymrad över traditionella vetenskapliga normer som opartiskhet och att bli en del av det som ska utvärderas I denna grupp upplever hälften av respondenterna att den lärande utvärderaren tenderar att bli ansvarig för lärandeprocesser 3. Styrmedel i relation till ansökan (14 personer) Förbättra projektet i enlighet med ansökan; Hur projektet ska förbättras; Mål- och resultatfokus Samlar in data; Granskar, värderar, analyserar; förbättrar måluppfyllelse, varnar vid inkongruens VISS Vetenskap/opartis khet/metod Kommunikativa färdigheter helhetssyn/mål/sy stem/samhälle Förändrat tillvägagångssätt genom återkoppling Styrgruppsperspektiv 15 Instrumentell Kvalificerad uppföljning med betoning på mål och resultat 13/14 i denna grupp utgörs av personer i privat verksamhet (jämnt fördelat i de två andra)

16 Möjliga analysbegrepp De presenterade resultaten är medvetet tillspetsade för att kunna rymma alla undersökningens svar inom endast tre idealtyper. Under denna rubrik diskuteras idealtypernas inbördes förhållanden och hur de skulle kunna tolkas inom ramen för en utvärderingslitteratur. Om översättningsperspektivet är en övergripande logik för att problematisera ramarna för en utvärderingsansats innehållsförändring kan lärande utvärdering som samarbetande utvärderingsansats, tas som utgångspunkt för att närmare definiera vad som skiljer de idealtypiska uppfattningarna åt. Samarbetande utvärderingsansatser En omedelbar referenspunkt bör först göras via den antologi som utformats till stor del för kurserna i lärande utvärdering och följeforskning. I det sammanfattande kapitlet Lärande utvärdering följeforskning: en syntes (Sjöberg et al., 2009), slås fast att lärande utvärdering visserligen inte en metod som kan fastställas en gång för alla, utan ska ses som ett sätt att förhålla sig till, och se på utvärdering. Den är formativ, dvs processbaserad och sker löpande, den kommer in tidigt i projektgenomförandet, den kräver en närhet till [projekt]deltagarna, den ska vara till omedelbar nytta för olika berörda, och den förutsätter en kontinuerlig återkoppling med olika ambitionsnivå. Den ska också bidra med underlag för utvecklingsinriktat lärande och gemensam kunskapsbildning, ska studera måluppfyllelse och slutligen bidra till allmän debatt och mer generell kunskapsbildning. Med denna referenspunkt är inte avsikten att värdera kursdeltagarnas svar som riktiga eller felaktiga, men att ta en utgångspunkt i samarbetande och formativa utvärderingsansatser. Det är givetvis inte är snäv precisering, just samarbetande utvärderingsansatser med avseende på ökad användning av process och resultat, involvering av interna och externa intressenter och strategier för ett ökat lärande, har länge varit av stort intresse inom utvärderingslitteraturen (se exempelvis Cousins and Earl, 1995, Cousins and Whitmore, 1998, Weaver and Cousins, 2004, Preskill et al., 2003, Suárez-Herrera et al., 2009). Tar vi participatorisk utvärdering som tentativ utgångspunkt ser Weaver och Cousins (2004) tre huvudriktningar av samarbetande utvärderingsansatser som skiljs åt genom mål och syfte med samarbetet. Där finns den pragmatiska traditionen som syftar till instrumentella konsekvenser och till att öka nyttan av den kunskap som skapas inom samarbetet med praktiker. Lösning av praktiska problem står här i fokus. Den politiska traditionen är ideologiskt rotad i ett normativt ställningstagande om social rättvisa och den demokratiska processen. Intresset är här samarbete och direkt involvering av praktiker och målgrupper som i processen ska få göra sin röst hörd. Fokus är på emancipation och förändring av sociala strukturer. Den epistemologiska traditionen har som syfte att producera valid kunskap eller underliggande orsakssamband för sociala fenomen. Här finns en skiljelinje mellan konstruktivistiska och logiskt empiriska synsätt på huruvida denna valida kunskap är kontextuell eller kan förflyttas och appliceras på andra liknande sammanhang. Den senare 16

17 kunskapssynen utgår från att genererad kunskap kan förflyttas, även om mottagande, tolkning och integrering till den lokala kontexten avgör dess påverkan och beständighet (Huberman, 1994). I den participatoriska gruppen betonas verksamhetens deltagande som en förutsättning för en utvecklingsprocess som blir användbar på samma gång som den besvarar utvärderingsfrågar genom tillämpad samhällsvetenskaplig forskning. Den samarbetande ansatsen gör inte bara utvärderingen mer användbar utan också mer demokratisk (Preskill et al., 2003). Shaw och Lishman (1999) ser dock en fara i att oreflekterat koppla på ett participatoriskt prefix på en utvärdering då deltagande i det sociala arbetets kontext lätt kan bestå i enskilda projektmedlemmars deltagande, men inte alltid projektdeltagarnas. De citerar Feuerstein (1988): while many people in developement activities are ready to share responsibilities, there are few who are genuinely ready to share power (s. 16). Detta är såklart en kärnfråga som är svår att besvara utifrån empirin vem är deltagande och participatorisk i en utvärdering? Utifrån Sjöbergs definition ovan innebär lärande utvärdering ett närmande till projektdeltagarna, en omedelbar nytta för dem och en kontinuerlig återkoppling, men ett explicit deltagande av interna eller externa intressenter kan inte återfinnas. Går vi till Ellströms (2009) beskrivning i samma antologi är det tydligare att den lärande utvärderingen ska utformas och genomföras i samverkan mellan utvärderare och de som berörs av utvärderingen. De som berörs av utvärderingen (användarna), inbjuds att delta i formuleringen av utvärderingens syfte, frågeställningar och metoder för datainsamling (s 112). Participatorisk utvärdering med sitt deltagande huvudinslag kan alltså belysa en sida av lärande utvärdering, även om den inte fångar dess helhet. Vad innebär då användning i den participatoriska utvärderingen? Utvärderingars användning generellt kan beskrivas som sättet på vilket en utvärdering och information från utvärderingen påverkar den verksamhet eller intervention som utvärderas (Alkin and Taut, 2003). Olika typer av utvärderingsanvändning kan rymmas inom ovanstående inriktningar. Vid sidan av den instrumentella användningen som ser utvärderingsresultat som direkt användbara som beslutsunderlag, den konceptuella eller upplysande användningen som ger beställaren goda idéer utan att de för den sakens skull omgående implementeras, och den symboliska eller legitimerande användningen som gör utvärderingen till ett politiskt medel för att uppnå särskilda mål (Weiss, 1979), är processanvändningen ett sätt att beskriva just utvärderingars process som betydelsefull: individual changes in thinking and behaving that occur among those involved in evaluation as a result of the learning that occurs during the evaluation process. Changes in program or organizational procedures and culture may also be manifestations of process impacts. (Patton 1998:225) Det är alltså inte endast utvärderingsresultaten som kommer till användning, utan även deltagandet i processen. Patton menar att utvärderingen genom involverandet av intressenter, kan ha ett värde redan innan data samlas in. Samarbetande, participatoriska utvärderingsansatser syftar bland annat till en ökad processanvändning. Dessa ska inte bara 17

18 förbättra projektets utfall utan även bidra till en interaktiv lärandemiljö för samtliga utvärderingens intressenter (Vedung, 2011). Detta görs vanligen av två anledningar antingen för att maximera användningen för ett mer framgångsrikt projekt i måltermer mätt, eller för att bidra till empowerment där de med minst makt och lägst status kan få sina intressen tillgodosedda (Cousins and Whitmore, 1998, Suárez-Herrera et al., 2009). Här görs en uppdelning mellan en praktisk och en transformativ participatorisk utvärdering som motsvarar Weaver och Cousins (2004) två första syften ovan. Uppdelningen sätter fokus på en för socialt arbete intressant aspekt, den om utvärdering som förändringsarbete inom givna institutionella ramar. Den praktiska inriktningen handlar där också om instrumentell och konceptuell användning såväl som processanvändning då utvärderaren följer projektet och föreslår förbättringsåtgärder, dock utan att utmana verksamhetens institutionella förutsättningar. I den transformativa inriktningen som har fler aktionsforskningsinslag, försöker utvärderaren bidra till att identifiera sociala orättvisor och understödja intressenter i att förändra maktstrukturer i den lokala kontexten. Det finns alltså flera olika ståndpunkter inom processanvändningens kategori där ansatsens syfte är nära sammanflätad med användningen som kommer därur, men där lärande inte har en uppenbar plats (Om vi nu inte ser all utvärdering som syftande till lärande, vilket också kunde vara en utgångspunkt). För att placera lärande inom ramen för utvärderingars användning ser Preskill (2003) att processanvändning återspeglar konstruktivistisk lärandeteori då den fokuserar på hur grupper av människor skapar mening under tiden som de deltar i en utvärdering. Dialog, reflektion, och ifrågasättandet av värden och normer skapar en större förståelse för den utvärderade verksamheten, de själva och andra, och för utvärderingspraktiken. Denna lärandeprocess, menar Preskill, kräver samarbetande ansatser där intressenter involveras på olika sätt i form av formulerande av frågor, eller datainsamling. I antologin Lärande utvärdering genom följeforskning (Svensson, 2009) är det delvis Ellströms (2009) dualistiska lärandemodell som står som ideal för relationen mellan lärande och utvärdering. Det reproduktiva lärandet avser en bemästring av givna förhållanden. På en arbetsplats kan det handla om att lära sig handla enligt rutiner som gör att personalen kan hantera den dagliga verksamheten enligt väl befästa vanemönster: Detta är en nödvändig form av lärande för att kunna behärska elementära principer och regler, och för att kunna hantera återkommande uppgifter och situationer (Ellström 2006:28). Denna handlingsnivå är funktionell till dess att ett överraskande moment uppstår i situationen. En för stark rutiniserad struktur gör att förändringar inte kan hanteras och att dessa feltolkas. Därför behövs en pendelrörelse mellan det reproduktiva lärandet och det utvecklingsinriktade. Denna lärandeform fokuserar mindre på hur ett problem ska lösas och mer på att formulera problem. Vad och varför kommer i förgrunden och individen måste ifrågasätta givna strukturer och handlingsmönster för att utveckla det rådande arbetssystemet. Det utvecklingsinriktade kreativa lärandet innebär därför en beredskap att ifrågasätta och omtolka uppgifter, mål och omvärldsbetingelser, samt att utveckla och pröva nya metoder och arbetssätt (Ellström 2006:29). En annan dualism kring lärandetyper i organisationer återfinns exempelvis i Argyris och Schöns (1995) organisatoriskt lärande där single-loop står för teknisk kortsiktig 18

19 problemlösning och ett lärande som leder till instrumentell korrigering mellan förväntade och erhållna resultat, och double-loop för ifrågasättandet av de värden, normer och grundantaganden som resulterar i en problematisk situation. Uppräknade användnings- och lärandebegrepp är bara några som kan nyttjas för att förstå de olika idealtypiska uppfattningar som kommit fram som resultat. Att idealtyperna är skilda sätt att uppfatta lärande utvärdering står klart, men är uppfattningarna beskrivningar av vitt skilda utvärderingsansatser, eller är de i själva verket olika fokus på en och samma process? Parallella idealtyper Här diskuteras hur idealtyperna kan ses i relation till nyss nämnda begrepp. Framställningen ska ses som en diskussion då det empiriska underlaget inte är tillräckligt detaljerat för att klargöra exakt vilken typ av utvärderingsmodell eller - ansats som en idealtypisk uppfattning kan tänkas motsvara. Det är exempelvis svårt att veta hur mycket och när, olika grupper av intressenter deltar, när och hur kriterier formuleras, eller i vilket tidsperspektiv som mål och effekter omnämns (exempelvis kort eller lång sikt). Svårigheten att fånga idealtyperna i befintliga utvärderingsteoretiska typologier bottnar i undersökningens induktiva metod, där färdiga begrepp inte har använts för att utforma och kategorisera frågorna. Ytterligare intressanta begreppsapparater för att karaktärisera lärande utvärdering skulle kunna vara utvärderarens breddade roll (se Caracelli, 2000) eller utvärderingsmodeller i stort (tex Stufflebeam, 2001). Men för det skulle mer kategoriserande scheman av empirin vara nödvändiga som utgångspunkt. Det som är gemensamt för de tre riktningarna är att de alla gör anspråk på att vara främst en formativ ansats, dvs. utvärdering under en verksamhets utveckling eller förbättring, för verksamheten (Scriven, 1991). Den första idealtypen, den kontinuerliga återkopplingen, är den som får sägas ha lägst aktivitetsgrad och är till synes relativt passiv i relation till sitt utvärderingsobjekt. Även om den i bästa fall skulle kunna ses som en form av praktiskparticipatorisk utvärdering har den snarare drag av konventionell uppföljning där data återförs regelbundet som kan analyseras gemensamt. De övriga två idealtyperna kan istället ses som ytterligare ett steg mot ökat deltagande från utvärderarens sida. Först den stödjande och kritiska dialogen som går mot just dialogen och intressenters inblandning som förutsättning för lärande. Det är den idealtyp som mest påminner om en participatorisk processanvändningstanke med praktisk eller transformativ inriktning. I undersökningen är det närmaste som svaren kommer den transformativa ambitionen, uttryck som talar om att målgruppen ska involveras. Det kan vara ett resultat av att strukturfondsprojekt riktas mot en mängd verksamheter där den mer politiskt inriktade empowermenttanken är främmande. Detta motsägs dock av faktumet att 42 % (20/48) av de som genomfört en lärande utvärdering också genomfört en lärande utvärdering av ett projekt för aktivering av arbetslösa, som bör ha en större andel av resurssvaga eller marginaliserade målgrupper än andra projekt inom strukturfonderna. En annan anledning kan vara att projekten bedrivs inom rigida institutionella ramar där strukturell social förändring ses som 19

20 alltför radikal. Detta perspektiv ska förstås i ljuset av det institutionella sammanhang som organisationer inom socialt arbete ofta bedrivs inom. Dess institutionella miljö innebär att organisationen upprätthåller ett moraliskt arbete som sker genom dolda ställningstaganden, genom att söka legitimitet hos ramverk av regler, normer och värderingar i dess närhet. Dessa kan vara professionell etik, en lagparagraf eller verksamhetsmål och ses som externa och givna (Hasenfeld, 1983, Hasenfeld, 2010). En förändringsinriktad utvärderingsansats måste därför sättas i en maktrelation till de institutionella logiker som är rådande och inte sällan svårforcerade eller oönskade av en utvärderingsfinansiär. Oavsett orsak ter sig de svarande inom idealtypen tala om en praktisk participatorisk användning med ett pragmatiskt syfte. Styrmedel i relation till ansökan markerar tydligast av alla, utvärdering som instrumentellt beslutsunderlag. Om den Stödjande och kritiska dialogen är ett steg vidare från den Kontinuerliga återkopplingen mot en deltagande och involverande ansats är den tredje ansatsen ett steg från återkoppling till styrning. Huruvida det är en annan riktning än den Stödjande och kritiska dialogen är svårt att svara på. På ett sätt ligger styrningstypen nära den praktisk participatoriska användningen i det att maximera verksamhetens resultat inom givna ramar. Å andra sidan finns i den styrande idealtypen ett större instrumentellt fokus på användningen, och fokus på ansvarsförhållandet mellan utvärderare och styrgrupp som ställs i första rummet på bekostnad av, får vi anta, bredare intressentinvolvering. Här finns också tron på utvärderarens uppgift som målkontrollant, även om den i undersökningen får en formativ klädnad. Den kontinuerliga uppföljningen blir i sammanhanget just en uppföljning som sällan betonar utvärderingens värderande karaktär, utan istället talar om cyklisk återkoppling genom kommunikativa färdigheter. Just avsaknaden av värderingen gör att det är svårt att tala om utvärdering överhuvudtaget. Även om återkopplingen hjälper projektet att ta korrekta beslut genom instrumentell eller konceptuell användning liknar den snarare en form av uppföljning. Den tredje idealtypen kan istället betecknas som kvalificerad uppföljning i Vedungs (2009) termer. Bland olika typer av uppföljning är begreppsanvändningen visserligen generellt något oklar, men den kvalificerade typen av uppföljning betecknar en mål-processmodell där avvikelser försöker blottläggas och justeras, medan den okvalificerade första idealtypen avser en rutinmässig dataåterföring. Lärandet i lärande utvärdering har i papret hittills berörts främst i utvärderingstermer i form av användning. Preskill (2003) ser som tidigare nämnt processanvändning inom utvärderingar som baserat på socialkonstruktivistiska lärandeteorier där individer konstruerar kunskap och utvecklar en gemensam verklighet tillsammans med andra. Konstruktionen, tolkningen och integrationen av denna kunskap är avhängig en i detta fall projektkontext och deltagande intressenters erfarenheter. Studiet av förekommande lärandetyper blir så givetvis en empirisk fråga som bör studeras kvalitativt i en given praktik, men i denna undersökning var det återigen uppfattningarna om vad som var lärande i lärande utvärdering, som var av intresse. Återgår vi till Ellströms lärandemodell som kort beskrevs går det att urskilja olika uppfattningar om lärande i idealtyperna som kan ses i termer av produktionens och utvecklingens lärande. Där idealtypen Stödjande och kritisk dialog stod för ett större intresse för förändrade rutiner och beteenden, innebar Styrmedel i relation till ansökan en mer teknisk korrigering av produktionskaraktär. Denna polarisering kan också ses i termer av Argyris och 20