Metaforiska dilemman i den interaktiva utvärderarrollen perspektiv på roller, etik och attityder Artikel presenterad vid Svenska Utvärderingsföreningens (SVUF) andra konferens Utvärderingssystem i Sverige till vad och för vem?. 20-21 oktober, 2005 i Stockholm. Joakim Tranquist Utredare Arbetslivsinstitutet Citadellsvägen 7, 205 06 Malmö. Telefon: 040-10 95 17 alt. 0703-09 95 17 E-post: joakim.tranquist@arbetslivsinstitutet.se
2
År 1982 skrev Ingalill Eriksson en metaforisk saga om aktionsforskning. Sagan utspelar sig på en fiktiv ö i Bortersta Bottenhavet där den huvudsakliga industrin var en surströmmingsanläggning. Eftersom fabriken var framgångsrik blev den av allt större intresse för omvärlden och under sagans lopp får vi bland annat möta följande karaktärer (Eriksson 1982): Turister hade sedan länge kommit till ön och inledningsvis hade de nöjt sig med att titta på naturen, ta bilder och skicka vykort. Efter ett tag började emellertid turisterna att bosätta sig på ön under lägre perioder och de var särskilt intresserade av fiskeindustrin. Slutligen ville de till och med vara med och arbeta i fabriken och på så sätt bidra till utvecklingen på ön. En dag kom en man till ön med ett hemligt uppdrag från personalavdelningen på arbetsgivarens kansli. De flesta tyckte om mannen, även om han gav ett lömskt intryck i all sin inställsamhet. Efter ett tag visade det att han skrev utförliga redogörelser av sina erfarenheter, huvudsakligen av fackföreningens arbete, som sedan sändes till kansliet. Därefter kallade arbetarna vid fabriken honom för spionen. Men hans rapporter lästes främst av ekonomer på kansliet och trots att han gav ut dem i fackets skriftserie var det få som visade dem intresse. Under hundratals år hade missionärer kommit till ön för att predika sina läror. På ön firades inte religiösa högtider som jul eller påsk och följaktligen var öborna då tillgängliga för arbete. Istället hölls det en gång i månaden en dansfest med uppsluppen stämning och allmänt omoraliska inslag. På senare tid hade missionärerna bestått av vänsterradikaler som sett festerna som opium för folket och ett sätt för facket att psykologiskt kontrollera sina arbetare. I denna artikel kommer Erikssons metaforiska karaktärer 1 i form av turisten, spionen och missionären att utvecklas, men nu i termer av participativ utvärdering. På senare tid har samarbete mellan teori och praktik kommit att lyftas fram med synnerligen positiva förtecken (jfr Guba & Lincoln 1989; Solomon et al 2001; Svensson 2002; Hosseini- Kaladjahi 2004). Men den kollaborativa relationen mellan utvärderare och utvärderade har många skepnader där utvärderaren förväntas kunna spela olika och ofta motsägelsefulla roller i relation till den utvärderade verksamheten. Följaktligen uppstår även diverse etiska dilemman för utvärderaren att ta ställning till. Denna artikel syftar till att illustrera aspekter på utvärderarrollen från utvärderarens perspektiv. Utgångspunkt för diskussionen hämtas från teoribildning inom de båda snarlika fälten interaktiv forskning 2 och participativ utvärdering, men i bakgrunden ligger även personliga erfarenheter av participativt utvärderingsarbete. 1 I Erikssons artikel finns även en fjärde karaktär fången på social träning. Denna metafor kan ses i ljuset av att utvärderaren inte bör låta spridningen av resultat styras av verksamheten, men inte heller bortse från klientens specifika behov genom att göra organisationshemligheter kända för konkurrenter (Rapoport 1970). Fångmetaforen kan även ses i ljuset av illegitim utvärdering där utvärderaren används för att legitimera politiska beslut (jfr Vedung 1998). Denna metafor utvecklas inte här då den, även om den berör en central maktaspekt inom utvärderingen, är av något annan karaktär än de andra tre. Inte heller i Erikssons artikel är denna metafor särskilt utvecklad. 2 Aktionsforskning dök upp som fenomen för 60 år sedan som ett sätt att flytta den distanserade forskningen närmare det praktiska samhället. Idag används begreppet med en bred definition. Inriktningen innehåller därför en mängd ansatser och det finns stora skillnader avseende perspektiv, metoder, teorier och värderingar (Holter & Schwartz- Barcott 1993). Den terminologi som används idag tenderar snarast att ha karaktären av familjelikhet med en strävan till förändring, d v s att forskningen ska bidra till utveckling eller problemlösning, som gemensam nämnare. En av de ansatser som kommer ur aktionsforskning och som har kommit att växa i synnerhet inom arbetslivsforskningen är interaktiv forskning (Svensson 2002). Denna ansats lägger fokus på den gemensamma kunskapsutveckling som uppstår i samspelet mellan forskare och praktiker. I ett sådant samspel lär och utvecklas forskare och praktiker tillsammans och ambitionen är att deltagarna ska lära och förändra sig själva och därigenom förändra sin praktik 3
Participativ utvärdering Under 1960-talet började utvärderingsteoretiker i Amerika att regera på dominansen av vad de ansåg vara mekaniska och okänsliga utvärderingsansatser. De uttryckte en oro över att utvärderare i allmänhet inte uppmärksammade eller förstod vad som egentligen hände i de program de utvärderade beroende på ett förhärskande tekniskt perspektiv. Samtidigt började många praktiker att ge uttryck för sitt missnöje med att den mänskliga dimensionen som avspeglas i vardagens komplexitet gick förlorad bakom de siffror, figurer och tabeller som användes för att beskriva organisatoriska processer (Fitzpatrick et al 2004). Därför började man att istället att utveckla en ny utvärderingsansats som betonade aktiv participation från de utvärderades sida. Men vad menas med participation i en utvärderingsprocess? Deltagande kan ju vara allt från att de utvärderade fyller i ett frågeformulär till deras aktiva deltagande i processens alla faser (Garaway 1995). När det gäller participativ utvärdering bör vi emellertid förhålla oss till det senare och se deltagandet som ett engagemang med medansvar för varje fas av utvärderingsprojektet, såväl innehållsligt som procedurmässigt (Westlander 2000). Därigenom blir också participativ utvärdering en ansats där distinktionen mellan expert och lekman, utvärderare och utvärderad tonas ned och omdefinieras (Molund & Schill 2004). I enlighet med denna tanke definierar sedan Cousins & Earl (1992, s 399) participativ utvärdering som applied social research that involves a partnership between trained evaluation personnel and practicebased decision makers, organization members with program responsibility or people with a vital interest in the program. Men deltagandet kan även ses från utvärderarens synvinkel då den participative utvärderaren ofta fungerar som en intern utvärderare, det vill säga att denna har en ställning som ordinarie medlem av en organisation (Korr 1982). Denna typ av utvärdering har också signifikativt kallats för in-house research (Lyon 1989). Kännetecknande för interna utvärderare är alltså att de verkar i en organisation och därmed deltar i de vardagliga processerna, något som ger upphov till alldeles särskilda dilemman för utvärderaren (Mathison 1991b; 1994). Denna typ av partnerskap mellan utvärderare och utvärderade, där de två parterna arbetar i en participativ relation, kan ses kombinera fördelarna med intern och extern utvärdering. Samtidigt är det också troligt att även nackdelarna kombineras (Mathison 1994). Mathison (1991a) konstaterar att det finns tre övergripande roller som den participative utvärderaren antar, nämligen rollen som professionell utvärderare, som medlem av ett substantiellt ämnesområde 3 samt som medlem av en organisation. Dessa tre roller är i sig unika och många av de dilemman som uppstår i intern utvärdering kan i grunden hänföras till deras motsättningsfulla natur. (Kemmis & McTaggart 1988). På detta sätt har interaktiv forskning det dubbla syftet att generera teoretiskt insiktsfull kunskap samtidigt som den förväntas leverera praktiskt tillämpbar kunskap (Svensson 2002). Målsättningen är att skapa ny kunskap som är både praktiskt användbar och teoretiskt intressant. 3 Utvärderare tränas oftast inom ett visst ämnesområde, som t ex sociologi, psykologi eller pedagogik. Därmed upplevs också ofta de största yrkesmässiga meriterna komma från att vara aktiv inom detta område (Mathison 1991a). 4
Professionell utvärderare Konflikt Konflikt Medlem av substantiellt ämnesområde Medlem av organisation Figur 1. Illustration av den participative utvärderarens konfliktfyllda tillvaro. Källa: Mathison 1991a, s 175. Den participative utvärderaren kommer tidvis att tvingas anpassa sig till de växlande identiteterna, vilket i sin tur ofta resulterar i svårigheter att uppfylla alla professionella riktlinjer som idag ställs upp för utvärderare (Lyon 1989). Följaktligen uppstår en mängd etiska 4 dilemman för utvärderaren. Avslutningsvis kan det konstateras att den participativa utvärderingens grundläggande princip är möjligheten för en verksamhet att med hjälp av utvärderaren samla in information som är av högre kvalitet och mer tillförlitlig än den som vanligtvis finns tillgänglig för organisationens medlemmar. Samtidigt ses ansatsen i sig som en garant för en större användning av utvärderingens resultat än vad som vanligtvis är fallet då informationen tas fram genom traditionella utvärderingsformer (jfr Smith 1999; Morabito 2002). Syftet med ansatsen är således att generera en anpassningsbar kunskap som kan leda till allmän upplysning eller utveckling av insikter om organisatoriska processer och konsekvenser (Cousins & Earl 1995). Utvärderarroller ur metaforisk synvinkel För en utvärderare finns en omfattande uppsättning roller att ikläda sig för att kunna frambringa den information som eftersöks. Diskussionen om utvärderarroller har också blivit alltmer aktuell i takt med framväxten av den s k fjärde generationens 5 utvärdering. Under senare år har utvärderarrollen utvecklats mot att vara mer av samordnare, organisatör och medlare. Detta ställer också nya krav på utvärderaren att kunna balansera olika aktörers krav och intressen. Ju större inslag av personliga relationer i utvärderingen, desto större betydelse får också faktorer som makt, politik, etik och partsintressen det Jerkedal (2001) kallar för utvärderingens sociodel vilka ofta kan vara utslagsgivande för vilka frågor som blir belysta, hur resultaten tolkas och hur de används. Framväxten av den fjärde generationen har följaktligen medfört nya ingredien- 4 Etik innebär korrekt uppträdande och studiet av detta. Enkelt uttryckt talar om etiska riktlinjer hur man bör bete sig, men snarare än att vara en fråga om likformig anpassning till professionella standards kräver etiken ställningstaganden kring när och hur olika principer bör tillämpas som ett svar på specifika omständigheter. Ett avgörande inslag av anpassning ofrånkomligheten av mänskligt omdöme som en medlande länk mellan principer och uppträdande blir enligt detta perspektiv en av etikens centrala punkter (Mabry 1999). 5 Guba & Lincoln (1989) har beskrivit de fyra roller som kännetecknar utvecklingen av utvärderingsprofessionen fram till dagens generation. Först kom teknikern som var mätspecialist, därefter kom beskrivaren vars uppgift var att visa på mönster av styrka och svaghet i ett program och sedan följde bedömaren som skulle dra slutsatser om hur framgångsrikt programmet var för att sedan ge rekommendationer om förbättring. Idag ska utvärderaren vara mer av en samarbetsman än kontrollant vars huvuduppgift är att få till stånd en bred medverkan kring utvärderingen (Jerkedal 2001). 5
ser i utvärderingens praktik och en sådan är just förhållandet mellan utvärderare och utvärderad och de roller som utvecklas i detta samspel. En diskussion kring roller kan belysa vilka olika uppfattningar som kan formas kring utvärderarens roll (Lundin & Söderholm 2002). Utvärderarrollen är sällan tydligt formulerad, utan avgörs snarare av situationsbundna omständigheter och olika förväntningar som finns hos dem som utvärderingen berör (Widell 1999). För varje nyinrättad funktion i en organisation finns det en tid av osäkerhet kring roller, uppgifter och ansvarsområden, något som också gäller utvärderingsfunktionen (Mathison 1991a). Men rolldiskussionen i denna text bör inte ses i ljuset av statiska roller av idealtypskaraktär, där alla utvärderare kan passas in i en eller annan typ. Snarare är avsikten att visa på olika situationer som utvärderare kan komma att konfronteras med i olika skeden av en utvärderingsprocess. Med största sannolikhet kommer utvärderaren att träda in i och ut ur de respektive rollerna under olika faser av en process 6. På detta sätt bör rollskapande istället ses som en pågående och cyklisk process (jfr Korr 1982). Den vetgirige turisten turis t subst. ~en ~er [tur-ist-en] En person som reser till en annan plats, minst tio mil från sin folkbokföringsadress under minst 24 timmar, i syfte att ha roligt eller för att uppleva olika sevärdheter m.m. utanför sin vanliga omgivning. Turister kallas människor som åker till och uppehåller sig på platser utanför den vardagliga miljön. Vissa turister åker till soliga platser för att vila upp sig, andra låter sitt intresse för okända kulturer och miljöer styra resmålet 7 och ytterligare andra reser till platser bara för att kunna säga att de varit där. Oavsett resans syfte ger den participative utvärderaren sig ut på ett gränsöverskridande äventyr där utbildning, erfarenheter eller sociala och språkliga förmågor kan vara till såväl för- som nackdel (jfr Mathison 1991a). Men detta gäller även personlighetsdrag som värderingar, tankesätt, fantasi och mod (Mabry 1999). Ett problem för många turister är språkförbistring. Vid en resa till nya platser, oavsett om de är fjärran eller nära, ställs nykomlingen inför mer eller mindre bekanta dialekter, talesätt, ordförråd och slang. Detta gäller också den participative utvärderaren. Diskursiva mönster, uttryckta genom det språk vi använder, är bland de starkaste beteendemönster som en nykomling måste lära sig för ett bli en del av ett socialt system (Segal et al 1998). Utan tillräckliga språkfärdigheter kommer således utvärderaren att få svårt att möta sympati och förståelse för de förslag till förändring som presenteras, utan snarare ses som [an] emissary from Babel who speaks in a strange tongue about incomprehensible topics (Love, i Lyon 1989). Som en följd av dessa otillräckliga kommunikationsfärdigheter blir utvärderaren ofta ignorerad, missförstådd eller bemött med uppriktig fientlighet till och med när denne själv anser sig ha värdefulla bidrag att lämna till den studerade verksamheten (Segal et al 1998). För att utvärderaren ska bli 6 Rolldiskussionen skulle också kunna ses som normativ d v s att olika skeden av processen kräver att utvärderaren antar de respektive rollerna för att denna ska bli framgångsrik. Men genom ett normativt perspektiv på rollerna riktas fokus ut från utvärderaren, vilket inte är syftet med denna artikel. Här är avsikten istället att rikta blicken mot utvärderarens egen situation. 7 Jfr Edström & Plisch (2005, s 90f) för ett citat från en kommunal samordnare som uppger att utvärderingarna haft mer karaktär av studiebesök snarare än utvärdering. 6
framgångsrik i den nya miljön är det därför av avgörande vikt att finna lämpliga sätt att kommunicera (Salo 2004). Men att det kan vara svårt att bli accepterad i det nya sammanhanget behöver inte enbart bero på hur förslag till förändringar presenteras, utan kan även bero på vad förslagen innehåller och när de läggs fram. I praktikers ögon erbjuder utvärderare inte alltid svar på de frågor praktikerna själva söker svar på. Istället presenteras resultat och idéer som ofta uppfattas som irrelevanta (Mathison 1991a; Rosell 2002). Dessutom anses resultaten ofta komma för sent för att vara till riktig nytta (Cronbach et al 1980; Hartley & Benington 2000). Jerkedal (2001) är en av de utvärderingsforskare som berör vikten av resultatens presentation i tiden. Följaktligen hävdar han att utvärderingsresultat som kommer för sent kan vara helt oanvändbara, även om de är mycket bra (jfr även Kusek et al 2005). Därför tröttnar också ofta praktiker på att kommunicera med utvärderare. Rapporterade efterenheter från samarbetsprojekt tyder på att kommunikationssvårigheterna kan bygga på ett ömsesidigt problem där de två parterna inte till fullo förstår varandras specifika förutsättningar. Praktikern förstår inte alltid utvärderarens metodologiska ansträngningar för att närma sig ett problem. Å andra sidan anstränger sig inte alltid utvärderaren för att sätta sig in i praktikerns situation med vardagliga problem som är i mer eller mindre akut behov av en lösning (Rosell 2002). Istället försöker utvärderaren att blottlägga en djupare förståelse för problemet och klargöra för praktikern vad som egentligen försiggår (jfr Rapoport 1970). Men kommunikation är inte den enda kulturella 8 aspekt som kan orsaka problem för turisten i den nya okända omgivningen. Kultur inbegriper bland annat olika tankesätt och handlingsmönster som utvecklats i relativt obesläktade miljöer som länder, städer eller organisationer (jfr Altrichter et al 2002; Motsieloa et al 2002). Den participative utvärderaren måste också vara medveten om att de värderingsmässiga skillnaderna mellan teori och praktik kan vara svåra att överstiga. Det är inte svårt att finna exempel på praktiker som berättar om svårigheter med att tillämpa akademisk teori, begreppsbildning och analys i det vardagliga arbetet. Det har också rests kritik mot att akademiska insatser är för abstrakta, långsamma, senkomna eller återblickande för att vara till riktig nytta i praktiken (Hartley & Benington 2000). På liknande sätt har också utvärderare gett uttryck för frustration i arbetet med praktiker eftersom de efterfrågar enkla verktyg som har direkta återverkningar på det pratiska arbetet: [the potential for organizational conflicts] include the researcher s concerns for long-range knowledge building that is generalizable, insistence on clarity and precision, and sceptical stance. In contrast, the practitioner s immediate focus is on uniqueness and outcomes in providing client services, and the administrator emphasizes organizational survival (Lyon 1989, s 241). Häri ligger ett av de stora kulturella dilemman som den participative utvärderaren ställs inför hur hanteras professionella metodologiska intressen å ena sidan med kundens behov av omedelbar praktisk vägledning å den andra (Westlander 2000)? Balansgången mellan teoretiskt och metodiskt kunnande vs. praktiska och politiska krav aktualiserar också frågan om utvärderares kompetens där det gäller att behärska såväl forskningens som politikens språk och tänkande. För den utvärderare som kunskapsmässigt uppfyller 8 Kultur kan ses ur olika perspektiv till exempel ett estetiskt och ett antropologiskt perspektiv. Ur det estetiska perspektivet handlar kultur om företeelser som dans, musik och konst. Ur ett antropologiskt perspektiv handlar kultur snarare om normer, värderingar, livsstilar eller grupptillhörigheter. Ofta hänger dessa två perspektiv samman genom att människor gestaltar sitt antropologiska ursprung genom estetiska uttrycksmedel (Motsieloa et al 2002). 7
dessa krav på tvåspråkighet återstår sedan bara frågan om det går att kombinera vetenskapens och praktikens logiker i utvärderingens genomförande (Karlsson 1999). Likt turisten som reser till främmande resmål agerar också den participative utvärderaren på praktikerns hemmaplan. Därför är det nödvändigt för utvärderaren att utveckla en förståelse för de handlingar och människor som studeras. Tillsammans med en sådan förståelse kommer sedan det positiva mottagandet av utvärderingsresultaten gradvis att öka. Inledningsvis kommer utvärderarens position som outsider att hämma förmågan att nå fram till den utvärderade. Men allt eftersom utvärderingsprocessen växer in i gränslandet mellan teori och praktik kommer också en ömsesidig förståelse att uppstå. Efter de inledande svårigheterna kommer utvärderaren att ha tillägnat sig förmågan att kommunicera med praktikerna på det språk som formar deras professionella tillvaro (Segal et al 1998). Lärandet är således en central aspekt av den participativa utvärderingen. Flera utvärderingsteoretiker ser även utvärderaren som en utbildare med möjlighet att skapa lärande hos de utvärderade: the evaluation process can have an influence on organizational stakeholders, and thus, the entity being evaluated, when the evaluator takes on the role of an educator and fosters learning (Morabito 2002, s 325). Men vi kan aldrig bortse från utvärderarens eget lärande. Efter det kollaborativa samspelet kommer utvärderaren att lämna den praktiska miljön med en fördjupad kunskap om den utvärderade verksamheten och det teoretiska fältet, men även om sig själv som individ. På samma sätt som turisten anpassar sig till den nya omgivningen kommer utvärderaren att genomgå en lärprocess med upplevelser, reflekterande, tolkning och handlande (jfr Coughlan & Coghlan 2002). Lärande innebär att skapa nya idéer ur gamla, men för att utvärderaren ska få ut så mycket som möjligt av en sådan lärprocess är det viktigt att denne tar tillfället i akt och begrundar situationen för att tydliggöra vilka kunskaper som har erhållits i samspelet med praktiken (Raelin 2000). Den sluge spionen spio n subst. ~en ~er [spion-en] 1. En person som är anställd av en stat för att leverera hemlig information, i synnerhet av militär natur, om dess potentiella eller faktiska fiender. 2. En person som är anställd av ett företag för att leverera konfidentiell information om dess konkurrenter. 3. En person som i hemlighet bevakar en eller flera andra personer. En risk som varje participativ utvärderare löper är att bli stämplad som allierad med verksamhetsledningen. Att engageras som utvärderare kan göra att man automatiskt uppfattas som ett dåligt samvete och överhetens spion (Jensen 2004). Den omedelbara närheten till verksamheten kommer att ge utvärderaren tillgång till det informella livet i organisationen och därigenom för utvärderingen värdefull insyn i verksamheten (Lyon 1989; Svensson 2002). Privilegiet att röra sig fritt inne i en organisation kan innebära oändliga möjligheter för en utvärderare och hanterat på rätt sätt kan det ge upphov till nya sätt att bedriva utvärdering. Men oförsiktig manövrering kan leda till att utvärderaren ses som en inkräktare med hotfulla förmåner och utvärderarens rykte i organisationen kan komma på skam (Rowley 2003). Organisationer är sociala entiteter och karaktäriseras som sådana av mänskliga egenskaper som kärlek, hat, avundsjuka, 8
väl- och illvilja, inbördes stridigheter och politiska fraktioner (Williamson & Prosser 2001). Att ta del av det sociala spelet i en organisation kan berika ett utvärderingsarbete, men det kan samtidigt visa sig innebära en omskakande upplevelse för utvärderaren. När ett participativt utvärderingsprojekt initieras anländer utvärderaren till organisationen som en ny medarbetare med särskilda privilegier, ofta med a position at the elboe of the decision-maker (House, citerad i Mathison 1991a). Det finns i de allra flesta fall också en uttalad önskan om att samarbetet ska leda till förändringar i organisationen och utvärderaren är den som ska lägga grunden för förändringsarbetet. Men en grundläggande inställning kan vara att ledningen inte skulle initiera en utvärdering om det inte fanns anledning att misstänka felaktigheter eller problem (Lundin & Söderholm 2002). De anställda i organisationen kan därför känna sig utsatta för press och relationen mellan utvärderare och praktiker kan således mötas med reservation (Meyer 1993). Mänskliga försvarsmekanismer får ofta förändringar att verka skrämmande eftersom de kan peka på svagheter i organisationen svagheter som upplevs som skamliga av de anställda och som de nu kan komma att konfronteras med. Varför skulle vi göra något som inte är bra och effektivt? Ett sökande efter alternativ innebär i grunden en kritik av den rådande ordningen, vilket i sig kan vara en möjlighet för de anställda. Men samtidigt kommer alternativet i slutändan att motsäga det nuvarande systemet och således riskerar det att såra och förolämpa dess försvarare (Tiller 2004). För att hantera sådana mekanismer kräver därför en participativ ansats större kulturell känslighet och kommunikativ kompetens från utvärderarens sida än många andra utvärderingsansatser (jfr Lyon 1989; Eilertsen 2004). För att undvika att stämplas som orosmakare är det nödvändigt för utvärderaren att etablera ett förtroende hos olika aktörer och samtidigt bedöma vilka olika maktförhållanden och intressen som finns inom organisationen (Coghlan & Casey 2001; Macneil 2002). Om utvärderaren kan övertyga deltagarna om sin personliga och professionella integritet kommer denne sedermera att få tillgång till det informella livet i backstageområdet 9 av organisationen där anställda tenderar att stiga ur sina karaktärer och bjuda på avklädda versioner av sina åsikter (Svensson 2002). Det är heller inte förrän utvärderaren har trängt in i den informella sfären som eventuella problem eller konflikter i organisationen börjar framträda på allvar (Magnusson 1996). Matraster, after work och andra sociala sammankomster är tillfällen för utvärderaren att lära känna personalen bättre. Det är också då som känslor om jobbet brukar förmedlas och samtidigt kan umgänget tjäna som en termostat som visar hur accepterad utvärderaren har blivit av sina nya kollegor (Webb 1989). Men naturligtvis kommer den nya vänskapen inte utan komplikationer. Den participative utvärderaren behöver på sitt sätt vara allas bästa kompis (Meyer 1993). Ett ömsesidigt förtroende måste byggas upp för att utvärderaren ska kunna försäkra sig om att få del av den information som krävs för uppdraget. Men en sådan nära relation medför oanade bieffekter. Som allas vän kommer utvärderaren att få ta del av personliga åsikter från de anställda, som till exempel skitsnack, rykten eller folk som lättar på trycket (Webb 1989). Oavsett hur neutral utvärderaren försöker vara i en sådan situation är det ett ofrånkomligt faktum att denna informella information ger utvärderaren makt och därigenom blir till ett hot för andra (Lyon 1989; Meyer 1993). Den trovärdighet som utvärderaren behöver etablera gäller således formell legitimitet 9 Denna term myntades av Goffman (1959), men den är frekvent använd i studiet av det sociala livet i organisationer. 9
som utvärderare, med aspekter som förtrolighet och personlig integritet. Men det gäller också legitimitet kring den praktiska kunskapen om det utvärderade arbetet (Salo 2004). Att arbeta upp en viss mängd ward cred är ofta ett nödvändigt villkor för en framgångsrik implementering av utvärderingens resultat och rekommendationer (Webb 1989). Om inte utvärderaren visar upp tillräcklig förståelse för det arbete som utvärderas kommer praktikerns förtroende för resultaten och de föreslagna förändringarna också att minska. Om utvärderaren istället kan bygga upp ett förtroende dels som utvärderare, dels som praktiskt kunnig kommer detta att underlätta den fortsatta processen avsevärt (Lyon 1989; Meyer 1993). Även om syftet med utvärderingen är att främja verksamheten kan utvärderingen misstolkas som ett kontrollinstrument eller som en bricka i ett politiskt spel inom organisationen (Magnusson 1996). Oavsett uppsåt riskerar den participative utvärderaren alltid att mötas av sådana misstankar, eftersom denne befinner sig på samma nivå i den organisatoriska strukturen som den administrativa ledningen (Mathison 1991). Men misstanken om olämpliga lojaliteter kan komma från olika läger. Eftersom utvärderingen är tänkt att påverka det framtida arbetet finns all anledning för personalen att vara taktiska i sin relation till utvärderaren (Magnusson 1996). Genom utvärderaren får de anställda en röst i det politiska spelet mot organisationsledningen. Därmed kan också utvärderingsresultat komma att avfärdas som klagomål eller idéer levererade av en agent på uppdrag av de anställda (jfr Coghlan & Casey 2001; Emling 2003; Jensen 2004). Det är därför viktigt för utvärderaren att värdera inte bara informationen som resultaten baserar sig på utan även de personliga och politiska motiv som varje individ har för att reagera på resultaten på olika sätt (Rapoport 1970). I de flesta fall måste hänsyn tas till att olika aktörer har växlande, och ibland motsägelsefulla, intressen i utvärderingsprocessen och dess resultat (Rowan 1981). För spionen är urskillningsförmåga en dygd. Detsamma gäller den participative utvärderaren. En skillnad mellan de två är emellertid att medan spionen levererar sina fynd till uppdragsgivaren i all hemlighet, så vill utvärderaren ofta slå på trumman för att locka en bred läsekrets till sin rapport. Häri ligger också ett av de etiska dilemman som den participative utvärderaren ställs inför. Tidvis kommer utvärderarens önskan att ta reda på fakta att resultera i löften om att inte förmedla informationen vidare. Det kan dessutom vara så att utan ett sådant löfte ges informationen inte alls (Tickle 2001). Detta är i sig en paradox som innehåller stor potential till bedrövelse och utvärderarens makt riskerar lätt att gå överstyr. I de flesta participativa utvärderingsprocesser är en relativt liten krets av människor inblandade, vilket kan göra det lätt för en uttolkare av resultaten att identifiera personer trots att de deltagit under anonyma premisser 10. Detta är ytterligare en anledning till att en participativ ansats kräver mer känslighet än traditionella ansatser när det gäller förtrolighet och respekt för de inblandade. Löften om konfidentiell behandling behöver testas i praktiken och det är därför viktigt för den participative utvärderaren att vara samvetsgrant noggrann i fråga om förtrolighet för att få deltagarnas förtroende inför genomförandefasen av processen (Webb 1989). Därför kan också en utforskning av de egna intressena som utvärderare vara på sin plats för att sedan så tydligt som möjligt redogöra för dessa inför de andra deltagarna i processen. En förutsättning för att de ska känna sig trygga är att låta dem veta så mycket som möjligt om vad som förväntas och vilka den participative utvärderarens åtaganden och 10 Organisationsstorlek är en i sammanhanget intressant aspekt då detta kan få avsevärd betydelse för utvärderarens roll som en följd av ökad kunskap om de berörda personerna. Resonemanget här är alltså att ju mindre organisation desto större utsatthet (jfr Korr 1982; Widell 1999). 10
förpliktelser är (Macneil 2002). Endast om utvärderaren först riktar förstoringsglaset mot sig själv är det möjligt för deltagarna att få en bild av den förförståelse som utvärderaren tar med sig in i den participativa processen (Garaway 1995). Missionären och rättfärdighetens nit missionär subst. ~en ~er [miss-ion-är-en] 1. En person som är utsänd på mission, särskilt en som är utsänd för att utföra religiöst eller välgörande arbete i ett främmande område eller land. 2. En person som försöker övertyga eller omvända andra till ett särskilt program, doktrin eller uppsättning principer; en propagandist. I Bibelns missions- och dopbefallning sänder Jesus ut sina lärjungar med orden gör alla folk till lärjungar, döp dem i Faderns och Sonens och den heliga Andens namn och lär dem att hålla alla de bud jag har gett er (Matteus 28:18-20). Mot denna bakgrund uppfattas missionären ofta som en karaktär som sprider rättfärdiga uppfattningar till mindre upplysta personer. På samma sätt kan man också se participativ utvärdering som ett påhitt av experter som tror att detta är vägen till anställdas frigörelse, förbättrad praktik och social förändring (jfr Llorens 1994). I den vetenskapliga diskursen märks ofta en syn på vetenskapsmannen som bärare av särskild kunskap (Solomon et al 2001). Följaktligen har praktisk expertis underordnats teoretisk kunskap som associeras med abstrakta, rena och högststående egenskaper (Olsson 2002). Det finns också många exempel som berättar om en hierarkisk ordning som tycks vara av naturen given i relationen mellan teori och praktik. Vi kan där se att vetenskapsmannen ofta antar rollen som bärare av högre kunskap kring vad som fungerar eller inte (jfr Campbell et al 2003). Därmed ges praktiker ofta ett begränsat utrymme att förmedla sin kunskap (Hattrup & Bickel 1991). Dessutom tycks praktiker ofta betrakta vetenskapsmannen som expert och sig själva som noviser i behov av att en expert bidrar med nödvändig information om hur sakernas tillstånd kan förbättras (Menon & Owens 1994). I en sådan situation placeras utvärderaren också i en expertroll: Sometimes the teacher s frustration and demands for assistance have lead to such actions by evaluators as teaching a demonstration lesson in the classroom, or monitoring students as they try something new, or giving the teacher a personal critique of her instruction. It is all well and good to say this is not the evaluator s role, but it is only possible to say that if one has not been put in such a position (Mathison 1991, s 176). [Naturen av tjänstemannens arbete] skapar en benägenhet hos tjänstemannen att förvandla den samarbetande forskaren till rådgivare. Tjänstemannen vill dela det eldprov beslutsfattandet innebär med en samarbetspartner som kan tänkas ha kontroll över situationen. Det gäller särskilt när frågan saknar enkelt svar eller när svaret ligger bortom tjänsteutövningens horisont. I en sådan situation projiceras uppgiften att göra mirakel på forskaren (Hosseini-Kaladjahi 2004, s 23) Men om praktiker tar på sig en roll där de huvudsakligen ansvarar för att hantera den kunskap som erbjuds dem innebär detta dessvärre att den praktiska tolkningen av teoretiska modeller riskerar att utebli. Om bristen på förtroende för den egna kunskapen får praktiker att enbart applicera vetenskapliga teorier på den situation de befinner sig i, reduceras sedermera den praktiska kunskapen till tillämpad vetenskap (Schön 1983). 11
Hur bör då den participative utvärderaren hantera denna hierarkiska syn på teori vs. praktik? Har inte utvärderare uppmuntrade eller ej en samhällsmoralisk skyldighet att låta praktiker veta som framkommer vid en granskning av deras verksamhet? Hursomhelst studerar utvärderaren ofta, med missionärens rättfärdiga nit, en begränsad del av en verksamhet under en begränsad tid för att sedan insistera på att förklara hur det verkligen ligger till och upplysa de berörda om vad som behöver göras för det ska bli bättre (Segal et al 1998). Man kan läsa om utvärderare som tvingats kämpa mot sin drift att överföra sina egna övertygelser 11 på verksamheten för att istället behålla sin position som kollaborativ samarbetspartner (Peterson 1995). Men då utvärderaren ses som den kunnige experten kan det tidvis vara svårt att stå emot frestelsen att döma och föreskriva för att istället värdesätta och lyfta fram den professionella kunskapen hos praktikerna (jfr Meyer 1993; Harris 1995). Följaktligen kan man vid en närmare studie av organisationer tydligt se att de präglas av olika läror som olika missionärer har predikat genom åren (Jensen 2004). Vid alla former av participativa ansatser finns en ständig risk för exploatering av de deltagande praktikerna där vetenskapsmannen betraktar dessa som objekt för sina förändringstankar snarare än att utgå från verksamhetens faktiska behov och bekymmer (Badger 2000). Aktionsforskning uppstod en gång i tiden som ett sätt för forskningen att hjälpa praktiker, men det finns de som ifrågasätter ett sådant motiv och hävdar att detta egentligen är en i grunden manipulativ ansats. Schein (1995) hävdar att då Lewin formulerade grunderna för aktionsforskning, så berodde det på att han sökte efter ett sätt för forskare att mer framgångsrikt driva igenom de förändringar som man ansåg vara nödvändiga. Samma tolkning kan också göras av framväxten av participativ utvärdering. I likhet med Lewins idéer hävdar Greene (1990) att participativ utvärdering växte fram ur en förfinad definition av själva syftet med utvärdering, nämligen användande. Men i anmärkningsvärt många utvärderingsteoretiska skrifter, i synnerhet bland sådana som producerats i amerikansk tradition, diskuteras utvärderarroller i termer av att säkerställa att utvärderingens resultat och rekommendationer verkligen omsätts i praktiken av de utvärderade. En artikel av Stephen Morabito (2002) är ett tydligt exempel på denna manipulativa syn på utvärderarens roll. Utvärderaren bör enligt detta perspektiv förhålla sig till sin roll i termer av maximal påverkan på den studerade verksamheten: In understanding the advocacy for an evaluation process influence, the advocate will serve in a variety of roles to open up opportunities for the evaluation to have an influence. Understanding and implementing the evaluator roles of educator, consultant, facilitator, and counselor have great potential to foster this influence. ( ) An evaluator should explore his/her own knowledge, skills, abilities, and personal characteristics to develop and implement appropriate roles that have the potential to foster an enhanced evaluation process influence (Morabito 2002, s 324, 328). Morabitos perspektiv är således att utvärderaren hela tiden bör reflektera över och utveckla sin roll i syfte att kunna få större genomslag på den utvärderade verksamheten. Men faktum är att utvärderaren oftast engageras för bistå en förändringsprocess genom att utvärdera effekterna av ett specifikt program, inte för att konstruera en ny version av kärnverksamheten (jfr Morris 2001). En överhängande risk med participativa ansatser är dock att utvärderaren reducerar sig själv till organisatör eller verksamhetskonsult och 11 Det finns de som ser vetenskapsmannen som en hängiven trosanhängare till akademiska teorier och som sedan för in dessa övertygelser i sina studier (jfr Palumbo 1989). 12
samtidigt glömmer bort den kritiska hållning som är nödvändig för utvärderingens tillförlitlighet (Lyon 1989; Olsen & Lindøe 2004). I Erikssons berättelse uppfattas missionärerna som en samling påstridiga allvetare. Tyvärr är det inte svårt att finna liknande berättelser från verkligheten där praktiker sörjer att de utsatts för vetenskapsmän på missionsfärd (jfr Meyer 1993; Peterson 1995). Den participativa utvärderingsansatsen kan alltså tolkas som motsatsen till sin grundtanke den altruistiska frigörelsen av den samarbetande praktikern och främjandet av den utvärderade verksamheten och istället ses som en ansats utvecklad av koloniserande utvärderare. Utvärderarrollen en nödvändig aspekt att beakta Ett nödvändigt villkor för utvärdering är att det finns en utvärderare och någon som utvärderas. Denna relation är särskilt framträdande i participativ utvärdering där det också ofta finns känsloladdade och dramatiska spänningar mellan de inblandade parterna. Ett centralt studieobjekt är därför den roll som utvärderaren ikläder sig gentemot den utvärderade. Inbyggt i denna roll finns många motsättningar, vilka i sig kan leda till osäkerhet och splittring hos utvärderaren (Meeuwisse 1990). Komplexiteten i utvärderarrollen har också ökat i och med utvecklingen av den fjärde generationens verksamhetsnära utvärderingspraktik. Detta kan vara en anledning till att det inom den växande utvärderarkåren, ofta i termer av professionalisering, har uppkommit en fortlöpande diskussion om utvärderarens roller (Åberg 1997). Men bara för att man har en adekvat vetenskaplig utbildning i utvärderingens teori innebär detta inte att man automatiskt har en relevant social expertis för att bedriva kvalitativ utvärdering (Worthen 1999). Faktum är att den participativa relationen ställer höga psykosociala 12 krav på utvärderaren. Få vill se sig själva bryta mot utvärderingens professionella eller etiska koder eftersom det vi gör i vårt arbete även återspelglas i formandet av oss själva som individer (jfr Korr 1982). Därmed blir utvärderandet ett stressfyllt arbete ur ett såväl professionellt som personligt perspektiv (Mathison 1991). Den politiska kontext som den participativa utvärderingen utförs i skapar således en speciell roll med krav på särskild medvetenhet och noggrannhet där den politiska känsligheten kanske rent av är viktigare än det tekniska handlaget (Åberg 1997). Ett sätt att närma sig den komplexa utvärderarrollen är genom metaforer, vilka genom sitt sätt att förvränga verkligheten kan bidra med nya perspektiv på existerande teorier (Morgan 1999). Utvärderarrollen har tidigare diskuterats i mer eller mindre fantasifulla metaforiska termer 13 där exempelvis Lundin & Söderholm (2002) talar om utvärderaren som ängel, demon, mamma eller fogde och Brorström et al (i Widell 1999) ser utvärderaren som terapeut, opponent, krönikör eller recensent. Macneil (2002) betraktar utvärderaren som steward, medan Morabito (2002) resonerar kring utvärderaren som educator, consultant, fascilitator och counselor. Caracelli (2000) diskuterar utvärderaren i termer av facilitator, problem solver, educator, coach och 12 Med det psykosociala åsyftas här det ömsesidiga samspelet mellan sociala och psykiska faktorer, det vill säga mötet mellan individens egenskaper och omgivningen. I det här fallet består detta till stor del av utvärderaren och organisationen. Hur utvärderaren reagerar på samspelet med organisationen påverkas dels av dennes genetiska faktorer, dels av (alla) tidigare erfarenheter (Theorell 2003). 13 Vi kan även vända oss till aktionsforskningen och där finna metaforer som katalysator, ordförande, advokat, detektiv, vägledare, tränare, lärare, kameleont, lindansare, akrobat, konstnär, sokratisk broms och pedagogisk geting (Salo 2004). 13
critical friend, medan Folkman & Rai (1997) ser utvärderaren som process evaluator, process consultant och learning fascilitator. Slående med en sådan översikt är emellertid att samtliga dessa roller ses ur den utvärderades perspektiv och vad utvärderaren är i förhållande till verksamheten. Garaway (1995) talar istället om utvärderaren som learner, arbitrator och teacher och genom att se utvärderaren som en del av en ömsesidig lärmiljö är han en av anmärkningsvärt få som blickar mot sig själv och ser rollen ur utvärderarens perspektiv 14. Men faktum är att utvärderare smickras, daltas med, indoktrineras, vilseleds, ignoreras, utmanas eller misskrediteras beroende på berörda parters intressen i processen, vilket innebär att utvärdering utförs i en intensivt politisk miljö där etiska riktlinjer inte är självklara att följa (Mabry 1999). Därför är det av avgörande vikt att även diskutera utvärderarrollen ur ett psykosocialt perspektiv där också utvärderarens komplexa vardag blir belyst. Att bedriva utvärdering är långt ifrån att endast applicera en föreskriven strategi och därför är det viktigt att utveckla kunskapen på detta område (jfr Altrichter et al 2002). Vi kan aldrig eliminera orsakerna till de dilemman vi stöter på som utvärderare, men vi kan lära oss att hantera dem (Mathison 1991a). I denna text har de metaforiska karaktärerna turisten, spionen och missionären använts för att belysa olika aspekter av participativ utvärdering sett ur ett utvärderarperspektiv. Med bilden av turisten framför ögonen är det lätt att se vistelsen i en organisation som en omvälvande erfarenhet för utvärderaren. Organisationskulturer och kommunikationssystem kan visa sig vara problematiska hinder att ta sig förbi, men vistelsen kommer inte bara vara omskakande. Den kommer också att vara lärorik med såväl utvärderingsteknisk som individuell utveckling som följd lärandet är en naturlig följd av de motsättningar och dilemman som uppstår i mötet med praktiken (Folkman & Rai 1997). Därför tar utvärderare inte ut svängarna när de även fokuserar på det egna lärandet. Detta är en naturlig konsekvens av det kollaborativa samspelet. Genom bilden av spionen kan vi vidare få förståelse för den roll utvärderaren måste ikläda sig för att få deltagarnas välvilliga inställning till den ifrågasättande processen och sedermera locka till uppslutning kring förändringsprocessen. Men samtidigt som denna offentliga roll axlas måste den participative utvärderaren ge sig i kast med det informella spelet bakom kulisserna i organisationen. Under processens gång förväntas utvärderaren att skapa en nära relation till deltagarna och kommer följaktligen vid många tillfällen att ställas under stora påfrestningar. Genom missionären får vi sedan en bild av den värdemässiga relationen mellan utvärderare och utvärderad. I participativ utvärdering bygger denna relation inte på en doktor-patient-modell där patienten går till doktorn för diagnos och föreskriven behandling. Istället förväntas utvärderaren stödja praktiker i arbetet med att granska sin egen verksamhet utifrån sina egna frågeställningar och att identifiera och implementera lösningar till sina problem (Coughlan & Coghlan 2002). Att döma av den utvärderingsteoretiska litteraturen har allt för lite uppmärksamhet ägnats åt psykosociala påfrestningar för såväl utvärderare som utvärderade. Istället har många utvärderingsteoretiker ägnat sig åt att marknadsföra förtjänster med olika ansatser. Detta kan få konsekvenser när man tillämpar participativa ansatser utan att först ifrågasätta syften och metoder. För att undvika att exempelvis hamna i en missionärsställning är det viktigt att vi som utvärderare lär oss att arbeta varsamt, med praktiker inte bara som informanter utan som fullvärdiga deltagare i en undersökning 14 Knott (1998) är ett annat exempel, då hon använder Trollkarlen från Oz som illustration av utvärderarens behov av mod (The Cowardly Lion), respekt för andra människor (the Tin Man) samt vetenskaplig kompetens (the Scarecrow). 14
som de är engagerade i och bryr sig om (jfr Segal et al 1998). Vidare forskning om etiska dilemman och gränsdragningsproblematik i verksamhetsnära utvärdering är därför nödvändig för vidare utveckling på detta område (jfr Korr 1982; Worthen 1999; Morabito 2002). I denna artikel har tre metaforiska karaktärer använts för att illustrera några av de dilemman som uppstår i den participative utvärderarens möte med praktiken. Eriksson (1982) hävdade att hon med metaforens hjälp ville avspegla några av aktionsforskningens tänkbara konsekvenser. I hennes saga symboliserar turistrollen den ömsesidiga kunskapsproduktionen, spionrollen symboliserar lojalitetskonflikterna som uppstår och missionärsrollen symboliserar utvärderarens påverkansmöjligheter ur ett etiskt perspektiv. Vi kan också konstatera att turisten och spionen är handlingsorienterade metaforer som syftar till att beskriva den process det innebär att genomföra utvärdering. Missionärsmetaforen är däremot maktorienterad då den behandlar gränser och möjligheter i den sociala interaktionen med utvärderade verksamheter. Det är viktigt att vi som utvärderare ständigt anför ett kritiskt ifrågasättande av aspekter kring vår egen roll och det ansvar som den medför. För nästan trettio år sedan slog Frederick E Emery (1976) fast att as social scientists we must work toward establishing ethical guidelines for our own conduct in the collaborative relation. Emerys påbud är fortfarande i allra högsta grad av yttersta vikt. Vi måste ständigt ifrågasätta vår roll som utvärderare i relation till den praktik vi försöker främja. Referenser: Altrichter, H & Kemmis, S & McTaggart, R & Zuber-Skerrit, O (2002)»The concept of action research«. The Learning Organization vol. 9 nr 3, s. 125-131. Badger, T G (2000)»Action research, change and methodological rigour«. I: Journal of Nursing Management vol. 8 nr 4, s. 201-207. Campbell, M & Patton, M Q & Patrizi, P (2003)»Changing stakeholder needs and changing evaluator roles: the Central Valley Partnership of the James Irvine foundation«. I: Evaluation and Program Planning vol. 26 nr 4, s. 459-469. Caracelli V J (2000)»Evaluation Use at the Threshold of the Twenty-First Century«. I: Caracelli, V J & Preskill, H (red.) The Expanding Scope of Evaluation Use. San Francisco: Jossey-Bass. Coghlan, D & Casey, M (2001)»Action research from the inside: issues and challenges in doing action research in your own hospital«. I: Journal of Advanced Nursing vol. 35 nr 5, s. 674-682. Coughlan, P & Coghlan, D (2002)»Action research for operations management«. I: International Journal of Operations & Production Management vol. 22 nr 2, s. 220-240. Cousins, J B & Earl, L M (1992)»The case for participatory evaluation«. I: Educational Evaluation and Policy Analysis vol. 14 nr 4, s. 397-418. Cousins, J B & Earl, L M (1995) Participatory Evaluation in education: Studies in evaluation use and organizational learning. Washington: Falmer. Cronbach, L J et al (1980)»Our Ninety-five Theses«. I: Cronbach L J et al (red.) Toward Reform of Program Evaluation. San Francisco: Jossey-Bass Inc. 15
Eilertsen, T V (2004)»Aksjonsforskning på nært hold: muligheter og dilemmaer«. I: Tiller, T (red.) Aksjonsforskning. Kristiansand: Høyskoleforlaget. Emery, F E (1976)»Professional Responsibility of Social Scientists«. I: Clark, A W (red.) Experimenting with Organizational Life. London: Plenum Press. Emling, E (2003) Informellt ledarskap och organisatorisk förändring. Stockholm: Trygghetsfonden. Eriksson, I (1982)»Aktionsforskaren som turist, spion, missionär eller fånge på social träning«. I: Sociologisk Forskning nr 2/3, s. 56-60. Fitzpatrick, J L & Sanders J R & Worthen B R (2004) Program Evaluation. Alternative approaches and Practical Guidelines. New York Pearson Education. Folkman, D V & Rai, K (1997)»Reflections on facilitating a participatory community self-evaluation«. I: Evaluation and Program Planning vol. 20 nr 4, s. 455-465. Garaway, G B (1995)»Participatory evaluation«. I: Studies in Educational Evaluation vol. 21 nr 1, s. 85-102. Greene, J C (1990)»Technical quality versus user responsiveness in evaluation practice«. I: Evaluation and Program Planning vol. 13 nr 3, s. 267-274. Goffman, E (1959/2000) Jaget och maskerna. En studie i vardagslivets dramatik. Stockholm: Prisma. Guba, E & Lincoln, Y (1989) Fourth Generation Evaluation. London: Sage. Hartley, J & Benington, J (2000)»Co-research: A new methodology for new times«. I: European Journal of Work and Organizational Psychology vol. 9 nr 4, s. 463-476. Hattrup, R A & Bickel W E (1993)»Teacher Researcher Collaborations: Resolving the Tensions«. I: Educational Leadership vol. 50 nr 6, s. 38-40. Holter, I M & Schwartz-Barcott, D (1993)»Action Research: what is it? How has it been used and how can it be used in nursing?«i: Journal of nursing vol. 18 nr 2, s. 298-304. Hosseini-Kaladjahi, H (2004) Användning av forskningsresultat i Botkyrka kommun. Botkyrka: Mångkulturellt centrum. International Bible Society (1984) The Holy Bible, New International Version. Grand Rapids: Zondervan Publishing House. Jensen, C (2004) Storstadssatsningens organisering. Företagsekonomiska institutionen, Göteborgs universitet, Göteborg. Jerkedal, Å (2001) Utvärdering steg för steg. Stockholm: Norstedts Juridik. Karlsson, O (1999) Utvärdering mer än metod. Stockholm: Svenska kommunförbundet. Kemmis, S & McTaggart, R (1988) The Action Research Planner. Victoria: Deakin University. Knott, T D (1998)»A Wiz of a Way to Remember the Five Guiding Principles for Evaluators«. I: American Journal of Evaluation vol. 19 nr 1, s. 135-139. Korr, W S (1982)»How evaluators can deal with role conflict«. I: Evaluation and Program Planning vol. 5 nr 1, s. 53-58. Kusek, J Z & Rist, R C & White, E M (2005)»How Will We Know the Millennium Development Goal results When We See Them? Building a Results-based monitoring and Evaluation System to Give Us the Answers«. I: Evaluation vol. 11 nr 1, s. 7-26 Llorens, M B (1994)»Action Research: Are Teachers Finding Their Voice?«I: The Elementary School Journal vol. 95 nr 1, s. 3-10. 16