Utvärdering i teori och praktik Behövs uppföljning/utvärdering över huvud taget?? Göran Bostedt

Transkript

1 Utvärdering i teori och praktik Behövs uppföljning/utvärdering över huvud taget?? Göran Bostedt

2 Orientering i nutid pga snabb samhällsförändring I Decentralisering Individualisering Privatisering Teknologisering Internationalisering Avsektorisering Politisering (miljö, etnicitet, genus)

3 Orientering i nutid pga snabb samhällsförändring II Globalisering Individualisering Teknikspridning Avmaterialisering (Ida Hult, Trendethnography 2010)

4 Samhället som problemlösare, behovet av koordinering Politik Marknad Civilsamhälle

5 Diskutera Lista vilka som ingår i/möjliggör ett lasaretts verksamhetsprocesser Sundsvall lasarett ca1880

6 Demokratins dimensioner - implementationsproblemet Innehåll (idé/vision/politik) Form (beslutfattandet) Genomförande (förvaltning) Resultat (individ)

7 Det vertikala och horisontella samhället (Petersson 1991) Det vertikala Det horisontella Aktörer Få Många Struktur Sluten Öppen Variation Enhetlighet Differentiering Framtidsperspektiv Stabilitet Oförutsägbarhet Det oväntade Avvikelse Innovation Logik Kategorier Flerdimensionalitet Tidsordning Sekvens Samtidighet Makt Befäl Autonomi Kontroll Reglementering Regulering Politik Styrning Styrelse Förnuft Rationalitet Rationalism Problemlösning Konsensus Konflikt Samförstånd Implicit Explicit

8 Historisk vertikal maktdelning GO1 GO2 Go3 GO4 GO5 P1 P2 P3 P4 P5 GO = Gamla organisationer P= problembilder

9 Behovet av förvaltningspolitik: Organisationsmodell nutid NP1 GO1 GO2 GO3 GO4 GO5 NO1 NP2 NO2 NP3 NO3 NP4 NO4 P1 P2 P3 P4 P5 NP= Nya problembilder NO= Nya organisationer

10 Fundera Finns det inom er organisation nytillkommande verksamhetsprocesser som kräver samarbete med andra organisationer/institutioner för att lösas/hanteras? Exemplifiera.

11 Förvaltning idag Ha hög anpassningsförmåga för olika institutionella förutsättningar Hantera komplexitet Uppvisa autonomi för situations- och individanpassningsbehov Vara flexibelt Vara pro-aktivt, inte enbart fastställande

12 Den nödvändiga utvärderingen Ju större komplexitet, desto större behov av utvärdering. Men.. Vilken utvärdering? Med vilka antaganden som utgångspunkt? Till vilken nytta/användning? Dahler-Larsen (i Lindgren, 2008 sid 19) menar att de ökande kraven på utvärdering kan liknas vid en mani eller en slags kollektiv mental besatthet som om evalueringsmonstret kraever mere og mere mad hver dag.

13 Utvärdering som självändamål eller med olika syften Instrumentell användning (grund för beslutsfattande) Konceptuell användning (påverka mottagarens tänkande, utan att leda till konkreta beslut) Legitimerande användning (att övertyga) Taktisk användning (en ursäkt för att t ex vinna tid eller begrava en fråga) Rituell användning (det är vad man skall göra i moderna organisationer) (Lindgren 2008, s 22)

14 Välfärdssamhället karaktär påverkar utvärderingsmodell Entydig Målsituation Mångtydig Aktörssituation Få Många

15 Centrala steg i kvalitets- och resultatmätning ( performance measures ) Lindgren 2008, s 54

16 Men om situationen är denna är då målmedelanalysen tillräcklig? Entydig Målsituation Mångtydig Aktörssituation Få Många

17 Diskutera Vilken situation lever er organisation/institution i? A) få aktörer entydig målsituation. B) många aktörer mångtydig målsituation. Exemplifiera från din organisation/institution tre primära verksamhetsprocesser vardera som karaktäriseras av a) respektive b). Kan de följas upp/utvärderas på samma sätt?

18 Hur hantera svensk demokratis rasterlägen? Beslutsinstanser Output Politik in Media Medborgare Särintressen Allmänintressen Förvaltning ut Outcome

19 Hur hantera krav/förväntan på offentliga förvaltning/service idag Ha hög anpassningsförmåga för olika institutionella förutsättningar Hantera komplexitet Uppvisa autonomi för situations- och individanpassningsbehov Vara flexibelt Vara pro-aktivt, inte enbart fastställande Detta kräver andra antaganden är en enkel rationalistisk modell

20 Beslutsteori I (Rationalism (Sharkansky, 1978), Begränsad rationalism (Simon, 1946), Inkrementalism (Lindblom, 1979) Rationalism Inkrementalism En dominerande beslutfattare Flera deltida beslutsfattare Entydiga och stabila mål Vaga, instabila, ibland motstridiga mål Klar åtskillnad mål och medel Svårigheter att skilja på mål och medel Fullständig information om alla Knapp information om ett fåtal alternativ och konsekvenser alternativ och dess konsekvenser Beslut som optimering förändringar Beslut som marginella

21 Beslutsteori II Begränsad rationalism Val av handlingsalternativ efter varje enskild målsättning är svårt/felaktigt eftersom det är den totala måluppfyllelsen som är syftet/visionen Uppdelning mellan mål och medel är omöjligt då alternativen inte är värdemässigt neutrala Ambitionerna och kraven i de flesta programsatsning kräver mångmålsuppfyllnad Beslut som att nå det möjliga/tillräckliga (satisficing nivå)

22 Ansvarighet ser olika ut beroende på perspektiv Systemperspektiv (drar vi åt samma håll?) Strukturperspektiv (är redskapen effektiva?) Organisatoriskt perspektiv (målöverensstämmelse?) Problembaserat perspektiv (åtgärdas problemen?) Vems utgångspunkt väljs? Vad är det som prövas? Hur sker prövning/reflektion/ återkoppling?

23 Formerna för samhällets styrning är förändrad -från Government till Governance Samhällets förändring har medfört förändrad syn på, eller former för, dess möjliga styrning. Dvs en förändring i både innehåll i, arbetsformer för och resultat av den offentliga verksamheten. Definition government: acitivities that are backed by formal authorities (Rosenau) Definition governance: governance signifies a change in the meaning of government, referring to a new process of governing; or a changed condition of ordered rule; or a new method by which society is governed (Rhodes 1997) Jag menar att förvaltning (Goverment )inte bara handlar om design, accessability, efficiency, (government) utan måste också sättas in i ett mycket viktigt demokratiskt kontextuellt sammanhang (governance).

24 Governance utmaningar vad avser processvärden Accountability (ansvar /ansvarighet Sjölin 2001) Politiskt/juridiskt ansvar Transparency (öppenhet, genomskinlighet Lundquist 2001) Juridiskt/organisatoriskt ansvar Trust (förtroende/ömsesidighet/delaktighet Lundqvist 2001) Etiskt/moraliskt ansvar Trust -- empirisk validering av accountabiltiy genom transparency.

25 Applicering Government I Genomskinlighet: hur information struktureras, hur ofta den ges, jämförelsemöjligheter med andra data, föreståelsegrad, tillgänglighet Ansvar: a) rättsäkerhet (individ-mydighet, b) ansvarfördelning (politik-förvaltning-tjänstemanmedborgare), c) problemlösning/genomförande (inom och mellan stuprörsproblematik - förvaltningar, d) finansiell (Behn, 2001) Tillit: mellan politik - förvaltning - medborgare politik (Hanberger 2006). Dialog/diskussion är viktig.

26 Applicering Government II De tre (fyra) ansatserna på ansvarighet (VAD) i Government: finansiell, rättsäkerhet eller genomförande kan inte, vad avser ansvarighet, prövas på samma sätt. Ansvarighet för finanser och rättsäkerhetsfrågor är teknokratisk till sin natur, medan genomförandefrågan rör demokratins kärna politiken, dvs service/problemösning för medborgare. Här måste vem och vad frågorna adresseras. Vidare måste tid och rum (Giddens, 1984) samt mål- och värderationalism (Weber, 1922) tas med. Enligt Behn (2001) måste ansvarighet i genomförande karaktäriseras av a compact of collective responsibility. (En sådan definition innebär dock samtidigt ett aktivt val av demokratiperspektiv - deliberativ istället för elitistisk eller participatorisk). Den inkluderar också medborgarna.

27 Våra system för ansvarighet behöver således utvecklas om vi lever in a world of decentralized governance, shared power, colloborative decision processes, resultoriented management, and broad civic parti- cipation (Edward Weber 1999) HUR?

28

29 Utvärdering som möjliggörare Politik Tjänster Effektivitet Outcome Lång sikt Värden Marknad Varor Produktivitet Output Kort sikt Mål

30 Diskutera Har distinktionen värden eller mål någon betydelse för dina primära verskamhetsprocesser? Exemplifiera.

31 Policyanalys Policyanalys= Course of action intended to accomplish some end (Hugh Heclo 1984) eller. hur idéer blir till verklighet Policyanalysen möjliggör att studera samhällsförändringsprocesser givet den komplexitet vi har att hantera idag.

32 Utvärdering - uppföljning

33 KRM Utvärderingsmonstret: Denna bok handlar med svensk språkbruk om uppföljning. Närmare bestämt handlar den om en form av uppföljning som på engelska går under namnet performance measures vilken jag, i brist på en bra svensk översättning, valt att kalla kvalitets- och resultatmått eller - mätning (KRM) Lena Lindgren, 2008 sid10

34 Den distributiva analysens frågor Vem? Vad? När? Var? Hur? Varför?

35 Myntets tre sidor Vem, vad, när, var, hur och varför kan användas både A) som struktur för att planera och genomföra utvärderingar B) som struktur för att beställa och kvalitetssäkra utvärderingar (beställarkompetens) C) som struktur för att kritiskt granska och värdera utvärderingsprojekt och resultat

36 Vems mål? Officiella måldeklarationer Expertmodeller Intressentmodeller Alternativa planeringsförutsättningar Oppositionsmodeller Teorimodeller

37 Vad utvärderas? Effekter (input output) Processer (skeenden i organisationer) Strukturer (organisationers interna effektivitet relaterat till mål) Funktionalitet (organisationers interna effektivitet relaterat till problem)

38 Vilket är uppdraget? Problem i verkligheten Problemverklighet Effektverklighet Effekt i verkligheten

39 Vilket är uppdraget? Problem i verkligheten Problemverklighet Organisationsfokus, KRM Struktur, effekt Effektverklighet Effekt i verkligheten Problemfokus, Vision Process, resultat

40 Vad avses? Inuti och in? Inuti och ut? Utifrån och in? KRM (Balanced score card) kan fel använd liknas vid en oreflekterad Taylorism (Scientific managament) där idé, vilja och behov (politik) reduceras till organisationsteori.

41 Diskutera Vilka av de tre perspektiven a) in-in, b) inut och c) ut-in appliceras i din organisation/ institution vid diskussion om uppföljning och/eller utvärdering? Exemplifiera.

42 Målformuleringars onda sida Kan alla politiska mål mätas, och i kvantifierbar form? Är alla definierade mål oberoende av varandras måluppfyllelse? Kan utvärderings-/uppföljningskraven medföra att bara mätbara mål räknas, dvs att måttens karaktär formar/styr verksamhetsprioriteringar och inriktningar oavsett problembild? Är orsakssambanden säkra? Dvs vet vi vad som orsakar en viss effekt? Hur stark är kausaliteten mellan inflöde- process- prestation och effekt? Hur utesluter vi slump.. Och borde vi göra det? Används kvalitets- och resultatmätningarna i verksamheterna? I annat fall styr KRM vilka mål som beslutas, vilka mått som används, vilka ljus som belyser verksamheten men till ingen användning.

43 KRM onda bieffekter Måtten blir mål (teaching to the test) Måtten försvagas och förlorar mening Innovation motverkas, verksamheten förstelnas Avprofessionalisering Uppföljning/utvärderingar ger negativ effekt på tillit och förtroende mellan människor i en organisation Lindgren 2008, s )

44 Hur? Det finns olika alternativ. (Kommande bilder hämtade från Svenska Kommunförbundet: Förvaltningsrevision )

45 Utvärderingsansats och teknik Metod Rationalism Systemanalys Aktörsanalys Teknik *Mål-medel *Mått, nyckeltal *Bristande överensstämmelse *Processanalys *Aktörsanalys

46 Mål-medel Mål Mål/ medel Mål/ medel

47 Mått, nyckeltal

48 Överensstämmelse

49 Processanalys

50 Aktörsansatsen

51 Diskutera Vem av de fem modellerna för utvärdering menar du vara mest anpassad till din organisation/institution? Varför? a) mål-medel b) mått, nyckeltal c) bristande överensstämmelse d) processanalys e) aktörsanalys

52 Vetenskaplig metodologi

53 Vad är metod? Ett systematiskt sätt att undersöka verkligheten Dvs hur man samlar in, organiserar, bearbetar, analyserar och tolkar fakta.

54 Viktiga utgångspunkter Problemformuleringsrätt (context of discovery) Strikta inomvetenskapliga förfaringsregler (context of justification) Intersubjektivitet Kontrollerbarhet

55 Centrala normer - Överensstämmelse med verkligheten som högsta sanningskriterium - Systematiskt urval av data - Mesta möjliga användning av data - Presentation av data som möjliggör kontroll, efterprövning och kritik - En ambition av kumulativitet i forskningsprocessen

56 Vetenskapsteori/ Ontologi Problemformulering/frågeställningar Strategi (induktion /deduktion/abduktion) Syfte/frågeställningar Ansats (fallstudie/komparation/ teoretisk studie) Princip (kvalitativ och/ eller kvantitativ) Teknik (text, inter-, vju, observation, enkät, källkritik)

57 Problemformuleringen Grunden för den vetenskapliga produkten

58 Problemställning/formulering Diskrepansen mellan ett angivet/ antaget/ önskat förhållande och ett faktiskt förhållande Något olöst, obesvarat eller ännu inte tillräckligt belyst

59 Problem problem utgör ett slags motsägelse till den kunskap man redan besitter, i förhållande till ens tidigare kunskap om, syn på och förklaring av världen (Adolphsen o Qvist, 1995 s 26)

60 Ambition med utvärdering Det kan vara av olika slag a) Att analytiskt beskriva något b) Att förklara c) Att förstå d) Att förutsäga e) Att utvärdera f) Att förändra (aktionsforskning) g) Att utveckla nya perspektiv eller metoder (explorativt)

61 Att tänka på Problemformuleringen skall vara spännande, fruktbar och enkel (Holme, Solvang 1986)

62 Spännande Kräver positiv hållning Förutsätter att man arbetar länge och intensivt med det Intresse skapar koncentration Ger insikt om att ny kunskap är både möjlig och önskvärd

63 Fruktbar All ny kunskap måste ses i förhållande till nuvarande kunskap Hvis et lys som er plassert på en stor slette, oker i styrke, vil området vi klart kan se, oke. Men vi vil også se et storre område av icke viten som vår viten grenser op til (Arne Naess 1978) Whoever said that a journey of a thousand miles begins with a single step was wrong. It begins with an itch to move (Hugh Heclo 1972)

64 Enkel Den måste avgränsas Alla organisationens frågor eller problem kan inte lösas på en gång

65 Hur? Hur nå spännande, fruktbar och enkel? Att utveckla ett problematiserande förhållningssätt och inte enbart befästa accepterade attityder.

66 Uppgift Formulera ett förslag till utvärdering av någon av er organisations viktigaste eller mest centrala verksamhetsprocesser/ uppdrag/ mål/ intresseområde. Förslaget skall innefatta formulering rörande Vad skall utvärderas Vems perspektiv skall användas som utgångspunkt När i tid skall uppdraget genomföras (tänk på er planeringscykel eller tidpunkt för måluppfyllelse) och om uppdraget avser tidpunkt eller process Var i organisationen och i verksamhetsfältet skall fokuseras Hur skall tillvägagångssättet vara