TEORINS TILLÄMPNING I PRAKTISKT UTVÄRDERINGSARBETE, NÅGRA REFLEKTIONER

Transkript

1 TEORINS TILLÄMPNING I PRAKTISKT UTVÄRDERINGSARBETE, NÅGRA REFLEKTIONER Göteborg i november 2009 Claes Rossby Kursen Lärande utvärdering och följeforskning, Högskolan i Halmstad, ht 2009

2 TEORI VS PRAKTIK. PROBLEM OCH MÖJLIGHETER Två utgångspunkter för denna uppsats: 1/ Mina erfarenheter är praktikerns. Jag har arbetat inom industrin under mer än trettio år i olika funktioner. Lärdomarna är tydliga. För att lösa ett problem eller för att göra en plan för ett framtida projekt måste man arbeta strukturerat, målmedvetet utifrån en fastställd tidsplan. Börja med att analysera situationen, definiera sedan de olika handlingsalternativen. Utvärdera och välj sedan de mest lämpliga åtgärderna. Besluta om vem som gör vad i projektet. Bestäm sedan tidsplanen. Starta projektet, följ arbetet och utvärdera sedan resultaten. Blev resultaten som förväntat? Vad gick fel? Vilka lärdomar gav oss arbetet? Hur utnyttjar vi den kunskapen i nya projekt? Ansatsen är rationell och logisk, helt enligt skolboken. Då vi har att göra med människor, inte maskiner, uppstår olika störningar på vägen. Den ansvarige måste vara insiktsfull och sensibel, dvs kunna agera på lämpligt sätt då irrationella faktorer påverkar arbetet. En annan viktig regel är att analysen inte får drivas in absurdum. Det går aldrig att i förväg hitta den absoluta sanningen eller kunna förutse vad som kan hända i framtiden. Därför gäller regeln att vi drar ett streck i analysarbetet när vi fått en rimlig kunskap och sedan fokuserar på att utföra de beslutade åtgärderna. Det är bättre att göra något än att fortsätta tänka. Det är bättre med tio beslut, varav x är felaktiga än att inte göra något. 2/ En teori får aldrig bli ett självändamål. När så är fallet hör frågan hemma hos akademin. Samtidigt är en modell som går att översätta till verkligheten ett gott stöd i arbetet. En bra teori hjälper till att strukturera arbetet, att bringa ordning & reda i ett projekt. Vilka krav skall man ställa på en dylik modell? Den måste vara tillräckligt enkel för att kunna utnyttjas i det operativa arbetet. Ju mer komplex modell, ju fler parametrar i modellen, desto svårare att använda den. Vid behov skall modellens parametrar kunna kvantifieras. Några exempel, i början av 1970-talet arbetade jag som produktchef på Mölnlycke AB (nuvarande SCA). Företaget hade ett tätt samarbete med Handelshögskolan i Göteborg i syfte att implementera lämplig forskning i marknadsföringsarbetet. Jag utsågs till testobjekt. I ett projekt testade vi två konsumtionsmodeller och en modell för ett datorbaserat informationssystem: a/ Howard-Sheth model for consumer decision making b/ Roger s consumption model c/ Computerized Business Intelligence System Alla tre teorierna provades i det praktiska arbetet. Howard-Sheth fungerade inte. Modellen var för komplicerad. Den tredje teorin fallerade då datortekniken inte var tillräckligt 2

3 användarvänlig. Roger s teori däremot var enkel, tydlig och kom att fungera väldigt bra i lämpliga sammanhang. Teorin använder jag fortfarande när tillfälle ges! Modellen är enkel att använda och den förstås av tredje man utan större problem. Där finns en tydlig logik som är lätt att greppa. Således är den ett gott stöd i marknadsföringsarbetet. För mig är detta ett mycket bra exempel på en för praktikern bra teori som skapar struktur, hjälper till att planera arbetet på ett ordnat sätt och med möjlighet att sätta siffror på de olika delarna i modellen. TEORIER I LÄRANDE UTVÄRDERING, REFLEKTIONER Med risk för att svära i kyrkan upplever jag att bokens teorier ofta är abstrakta och svåra att konkretisera. Kopplingen till verkligheten känns diffus. Teoribildningen kan lätt uppfattas som ett självändamål där målet för forskaren är kopplat till hans/hennes position i forskarvärlden. Samtidigt säger ibland teorierna samma sak om än uttryckt på olika sätt. Ibland är modellerna så pass komplexa att de blir svårgreppbara. Problemet är identiskt med det generella problemet att akademin ibland har svårt att kommunicera med industrin och vice versa. Man talar olika språk utifrån olika referensramar. Detta ser jag ibland tydligt i mitt arbete på Chalmers. Inom teorin finns två modeller som kan utgöra ett bra stöd i utvärderingsarbetet. Den första är INTRESSENTMODELLEN. Modellen är enkel och hjälper utvärderaren att identifiera de parter som på något sätt är kopplade till, direkt eller indirekt, det aktuella projektet. Inte minst med tanke på vikten av att ha ett fokus på lärandet i projektet hjälper modellen till att inte glömma bort någon intressent. Den andra teorin är PROGRAMLOGIK, presenterad i kapitel sex i boken. Modellen är till god hjälp för att strukturera arbetet i projektet. Likheten är stor med de principer som tillämpas inom industrin i projektarbete. Där finns också klara paralleller med de mallar som används vid framtagningen av ett företags affärs- eller marknadsplan. Bägge teorierna är tydliga, enkla och lätta att åt sig för utvärderaren. De går att implementera i ett utvärderingsuppdrag utan problem. TVÅ TEORIERS TILLÄMPNING I ETT UTVÄRDERINGSPROJEKT Den första teorin att nyttja är INTRESSENTMODELLEN.. Innan utvärderingsarbetet börjar måste projektledaren identifiera vilka människor eller organisationer som har ett intresse av projektarbetet, både resultaten i sig och under vägen fram till målet. Några exempel på berörda parter: a/ Projektets ledning. De vill ha feedback på hur de lyckats med arbetet. Nåddes målen? Vilka långsiktiga effekter kan identifieras? Vilka lärdomar kan man dra inför framtiden? b/ Deltagare i de olika projektaktiviteterna. Hur upplevde de projektet? Positiva resultat, problem, besvikelser? c/ Projektägare. Vilka blev resultaten? Långsiktiga effekter? Lärdomar inför framtida projekt? Problem under projektarbetet? Vad gjordes bra i projektet? 3

4 d/ Finansiär. Frågorna liknar de som projektägaren vill ha svar på. Samtidigt har finansiären ett intresse att kunna översätta lärdomarna till nya projekt i vilka finansiären har ett intresse. Om finansiären är, ex.vis., ESF-rådet skall de kunna ge relevant feedback till nya, planerade, projekt inom samma område. Som framkommit under kursens diskussioner är detta en stor och svår utmaning för ESF-rådet. e/ Aktörer som planerar liknande projekt. Se ovan punkt d/. De praktiska problemen med att överföra lärdomarna till nya projektägare är stora. Hur man löser de problemen ligger utanför denna uppsats. f/ Andra aktörer som direkt eller indirekt har ett intresse av projektets resultat eller långsiktiga konsekvenser. Sådana aktörer kan vara branschorganisationer, myndigheter eller departement. Ansvaret för ett delge dessa parter lärdomarna vilar på projektägare, utvärderare och finansiär. För utvärderaren gäller att i rapportarbetet ha i minnet att alla ovan nämnda parter har ett intresse av att få ta del av lärandet i projektet. Det skapar vissa, intressanta, problem. De olika intressenterna har olika agendor och referensramar. Vilket språk skall utvärderaren använda? Akademisera språket eller använda vardagsprosa? Hur tydlig kan han/hon vara i sina slutsatser? Den andra modellen är PROGRAMLOGIK. Den beskriver ett projekt i fem på varandra följande steg, en förväntad orsakskedja. Syftet med modellen är att ge alla inblandade parter en gemensam problembild. Den beskriver sambandet mellan åtgärder och resultat. Utvärderare och projektdeltagare får en gemensam bild av och förståelse för projektet. Inget projekt kan drivas utan ej förutsedda störningar och problem. Med hjälp av modellen kan nödvändiga justeringar göras av projektarbetet utan att fokus går förlorat. De fem (sex) stegen: a/ Analys. Den ingår inte i modellen men jag förutsätter att den, implicit, är utgångspunkten för uppläggningen av projektet. Ju bättre analys desto bättre projekt. Min erfarenhet är att projekt understundom sjösätts utan nödvändig analys. En god analys kan resultera att det antagna problemet inte är det sanna. Och att det sanna problemet förutsätter helt andra åtgärder än de planerade. Jag lärde mig en gång att analys, analys, analys är grunden för allt framgångsrikt arbete Under kursen presenterades under en föreläsning tekniken PROBLEMTRÄD. Med utgångspunkt i ett huvudproblem analyseras på ett strukturerat sätt problemets orsaker och efftekter. Trädets rotsystem är orsakerna och trädets krona effekterna av problemet. Verktyget är ett utomordentligt hjälpmedel för att identifiera de grundläggande orsakerna och effekterna av ett problem. Efter avslutad analys kan de ansvariga se var man måste sätta in åtgärder, vilka som är berörda och vilka typer av aktiviteter som krävs. Noteras kan att Toyota använder samma verktyg när man identifierar ett problem eller ett fel i produktionen. Ett exempel, en bil läcker olja. Effekterna är givna, misslynta bilägare och dåligt renommé. Orsak, dålig plugg i oljetråget. Byt plugg. Fråga, varför läckte pluggen olja? Svar, felaktig specifikation. Åtgärd, förändra specifikation. Fråga, varför var specifikationen fel? Orsak, inköpspriset viktigast parameter. Fråga, varför var priset viktigast för inköparen? Svar, 4

5 inköparen premierades för billiga inköp. Åtgärd, förändra premieringen av inköpare. Fokus inte bara på priset utan koppling till kvalitet. b/ Resurser. Pengar i form av en budget är självklart basen för arbetet. Kompetenta projektdeltagare är ett annat självklart krav. Projektledaren måste också besitta de egenskaper och erfarenheter som krävs för att driva projektet framåt utifrån den tidsplan som gäller. Han/hon måste samtidigt kunna bedöma resultaten och effekterna av de planerade åtgärderna. Utan det långsiktiga seendet finns risken att de kortsiktiga åtgärderna blir självändamål utan att de önskade resultaten uppnås. Det kortsiktiga utfallet blir viktigare än de långsiktiga effekterna. Lärandet från tidigare projektarbete minskar risken för felaktiga prioriteringar. Utvärderaren skall här kunna ingripa om han/hon ser de problem som undgått projektledaren. c/ Aktiviteter. Här specificeras de olika åtgärder som planeras. Ju tydligare planering desto bättre kontroll på projektet, inte minst budgeten. d/ Utfall. Under denna punkt kan man kvantifiera resultaten av aktiviteterna. Ex.vis, hur många utbildningsprogram har genomförts, hur många deltagare hade kurserna osv. Här finns risken att projektledaren fastnar. Som skrivs i kapitel sex i boken, görandet hamnar i fokus, inte de uppnådda (utbildnings)resultaten med ty åtföljande långsiktiga effekter. Aktiviteterna blir självändamål. Synsättet blir statiskt. Utvärderaren har ett ansvar att ingripa om han/hon ser att projektledaren gör denna suboptimering. e/ Resultat. Vilka blev de faktiska resultaten av genomförda aktiviteter? Har projektdeltagarna fått en ökad kunskap eller kompetens? Hur skall man mäta resultaten? Går de att kvantifiera? Svårigheterna är många när det gäller att konkret beskriva resultaten av de olika aktiviteterna. f/ Effekter. Det långsiktiga målet är naturligtvis att projektdeltagarna efter genomförda program skall utföra sina respektive arbetsuppgifter på ett bättre sätt än tidigare. De yttersta konsekvenserna kan vara att i ett industriprojekt produktionskostnaderna sjunker eller en produkts kvalitet förbättras, dvs att företagets konkurrenskraft ökar. Rimligtvis är detta effekter som företaget kan mäta och kan således verifiera konsekvenserna av det genomförda projektet över tiden. För att sammanfatta, metoden ger ett bra stöd åt projektledaren och utvärderaren. Samtidigt kan inte verktyget spegla alla faktorer som påverkar ett projekt. Man måste vara beredd att revidera programlogiken allt eftersom projektet utvecklas. Oplanerade händelser kan tvinga fram en revision av planen och arbetet. Under hela projektarbetet genereras ett lärande som utvärderaren skall fånga upp, dokumentera och föra vidare till projektets intressenter SLUTORD De beskrivna modellerna är exempel på teorier som går att tillämpa i det praktiska utvärderingsarbetet. De är enkla, går att konkretisera och lätta att beskriva för tredje man, som projektledaren. Man skall samtidigt vara medveten om att modellerna aldrig kan beskriva hela sanningen och att verkligheten hela tiden kan kräva revisioner av planer och anpassningar. För mig som praktiker och utvärderare kommer INTRESSEMODELLEN och PROGRAMLOGIK att användas i framtida utvärderingsuppdrag. 5

6 PROBLEMTRÄDET är ett verktyg som kompletterar de två modellerna. En konsekvent genomförd analys innan ett projekt definieras ökar sannolikheten för att projektet kommer innehålla de element som är relevanta. När projektet avslutats kan de uppnådda resultaten och långsiktiga effekterna verifieras gentemot trädets rotsystem och krona. Således ännu ett gott exempel på att en teoretisk modell kan användas för att beskriva verkligheten. Några slutreflektioner. Min utgångspunkt för denna uppsats har varit praktikerns. En god teori är för mig som utvärderare något som kan appliceras på verkligheten. Den hjälper mig att på ett ordnat sätt beskriva och följa ett projekt. Modellen eller verktyget kan aldrig spegla hela sanningen. Utvärderarens intuition och erfarenhet måste komplettera teorin. Saker händer alltid som gör att planer måste revideras eller ifrågasättas. I kursen har vi presenterats för olika forskares teorier och resonemang. Vissa modeller har varit mycket komplexa, innehållit många olika parametrar. För mig är de inte mindre intressanta. De ger mig inte den hjälp jag behöver. De passar tillsvidare bäst inom forskningen. Jag slutar med de tre ord som mitt yrkesliv lärt mig: ANALYS, ORDNING OCH REDA. 6