Utvärdering i kritisk belysning

Transkript

1 Utvärdering i kritisk belysning Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet lena.lindgren@spa.gu.se

2 Agenda Allmän kvalitets- och resultatorientering i den offentliga sektorn ställer stora krav på uppföljning/utvärdering. Kvalitet som måste mätas och jämföras, t ex i öppna jämförelser. Mysteriet med utvärderingsmonstret. Är det så självklart att all denna utvärdering bidrar till ökad kvalitet och effektivitet? Eller kan den påverka verksamheter på oönskat vis?

3 Utvärdering (eller granskning) som familjenamn En systematiskt genomförd undersökning för att få fram tillförlitlig och användbar kunskap om värdet av någonting. Flera olika aktiviteter har mer eller mindre av dessa egenskaper: - Utvärdering - Uppföljning - Kvalitetsmätning - Tillsyn/inspektion - Revision - Litteraturkritik, vinprovning.

4 Utvärderingens tidevarv Lagar och regler antas som ställer krav på evaluering. Utvärdering integreras i praxis nästan överallt, men undantag finns. Stark resultatorientering verkliga resultat efterfrågas. Ännu starkare kvalitetsorientering, men vad kvalitet är sägs inte. Evidensrörelsen Tillsyn/inspektion centraliseras och får en allt viktigare roll. Nationella kvalitetssystem som rankar + name and shame. Allt fler myndigheter etableras med utvärdering som huvuduppdrag Kommuner/kommunala verksamheter som skapar egna system och tävlar i kvalitet.

5 Utvärderingens tidevarv, forts För att kunna uppvisa kvalitet och resultat krävs uppföljning och utvärdering. Vilket i sin tur ställer krav på systematisk dokumentation. Jämförbarhet kräver standardisering av vad som följs upp och utvärderas samt gemensamt fackspråk.

6 Myndigheten för kulturanalys 2011 Med utgångspunkt i de nationella kulturpolitiska målen, utvärdera, analysera och redovisa effekter av förslag och genomförda åtgärder inom kulturområdet. Analysera utvecklingen inom kultursfären och inom andra samhällsområden som har betydelse för kulturlivet. Bistå regeringen med underlag och rekommendationer som kan ligga till grund för utveckling och omprövning av politiken.

7 Aktiekursen för utvärdering och utvärderare har aldrig varit högre än idag.

8 För tydlighets skull. Utvärdering är en systematiskt genomförd undersökning för att få fram tillförlitlig och användbar kunskap om värdet av någonting. Scriven (1991): "... the determination of the worth or value of something, judged according to appropriate criteria, with those criteria explicated and justified. Uppföljning är löpande insamling av huvudsakligen kvantitativ information i syfte att övervaka hur en verksamhet utvecklas i något eller några på förhand bestämda avseenden.

9 From studies to streams Evaluations no longer come anymore in single studies, but more often draw their material from a continuous flow of information that is nowadays faciliated by IT-technology. Streams = löpande insamling av kvantitativ information (statistik, indikatorer, nyckeltal, indikatorer) i syfte att övervaka hur en verksamhet utvecklas i på förhand bestämda avseenden.

10 En uppsättning centralt fastlagda indikatorer som årligen redovisas offentligt, och som på ett likartat och jämförbart sätt beskriver välfärds- tjänster med avseende på kvalitet och effektivitet. Hälso- och sjukvård (2006 ): Övergripande och områdesvisa indikatorer Socialtjänst - Vård och omsorg om äldre (2007) - Missbruks- och beroendevård, ekonomiskt bistånd, funktionshinder mm Senast år 2014., (Regeringsbeslut ). SKL: skola, folkhälsa mm

11 Öppna jämförelser för vården och omsorgen om äldre 2010 De äldres omdöme Hemtjänsten/boendet som helhet Bemötande; Inflytande, Maten, Social samvaro och aktiviteter. Tillgänglighet Väntetid till särskilt boende; Kommunens information. Stöd i livets slutskede Informerande samtal med döende; Smärtskattning sista levnadsveckan; Någon närvarande i dödsögonblicket; Efterlevandesamtal med närstående. Rehabilitering vid stroke Riskförebyggande arbete Riskfylld användning av läkemedel Hälsotillstånd/funktionsförmåga 3 månader efter stroke. Fallskador; Riskbedömning avseende fall, undernäring, utveckling av trycksår; Läkemedelsgenomgångar. Förskrivning av 10 eller fler läkemedel; Samtidig förskrivning av 3 eller fler psykofarmaka; Förskrivning av riskfyllda läkemedelskombinationer; Förskrivning av läkemedel med antikolinerga effekter. Personal och kompetens Personalkontinuitet i hemtjänsten; Personal med vård och omsorgsutbildning på gymnasienivå.

12 Datakällor som brukas Officiell befolkningsstatistik. Socialstyrelsens verksamhetsstatistik. SCB:s utbildningsregister och SKL:s personaluppgifter. Hälsodataregister; kvalitetsregister inom vården. Enkätundersökning till kommuner/stadsdelar/vårdcentraler. Nationell, årlig brukar/patientenkät. Granskning av kommunernas webbplatser. Prestationsrelaterade statliga stimulansmedel för registrering.

13 Flera tänkta användningar och användare Verksamhetsledare Områden i behov av förbättring kan identifieras och åtgärdas. Benchmarking, konkurrens främjar lärande och utveckling. Underlag för redovisning till huvudman. Beslutsfattare Lättare följa upp/utvärdera/jämföra. Mer informerad styrning. Brukare, patienter Underlag för att utöva valfrihet. Ökat inflytande. Medborgare och samhället i stort Ge relevant insyn i verksamheterna. Ansvarsutkrävande underlättas. Kvaliteten och effektiviteten i vård och omsorg ökar.

14 Öppna jämförelser Vissa skillnader i cancersjukvården är både anmärkningsvärda och oacceptabla. Nu krävs att landstingen går till botten med sina resultat och analyserar dem ordentligt. Lars-Erik Holm Generaldirektör, Totalstyrelsen Jämför landstingens kvalitet och effektivitet när det gäller cancersjukvården

15 Kvalitetsmätning i biblioteksvärlden Obligatorisk biblioteksstatistik Kulturen i siffror. Svensk biblioteksförening (2005) Handbok i utvärderingsarbete Prestationsindikatorer i biblioteksvärlden. VG-regionens projekt Mål och mått. Brukarundersökningar. LibQual inernationellt utbrett koncept. IFLA: Measuring Quality: Performance Measurement in Libraries.

16 Mysteriet med utvärderingsmonstret Det er som om, der ikke er nogen grænse for feedback-løkkerne, som om evalueringsmonstret kræver mere og mere mad hver dag (Dahler-Larsen 2000). Hur evaluering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Evaluering har inte bevisat sin egen affärsidé. En icke evidensbaserad praktik. Protected discourse. The performance paradox

17 En (ideal) programteori för öppna jämförelser Förutsättningar Valida indikatorer och statistik som mäter kvalitet. Aktiviteter Kvalitet mäts via enkät till kommuner, enheter, brukare. Resultat analyseras och presenteras öppet. Användning Resultat används för styrning, verksamhetsutveckling, val av utförare. Effekter What gets measured gets done Lättare följa upp/evaluera; bättre styrning. Benchmarking och konkurrens främjar produktivitet, effektivitet och likvärdig service. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Ökad välfärd, tillväxt, hållbar utveckling.. Saving the world with performance measures

18 Djävulen döljer sig i detaljerna

19 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

20 Oklara mål, målträngsel, validitetsproblematik Äldre ska åldras i trygghet med bibehållet oberoende... Håller en verksamhet hög kvalitet om brukarna är nöjda? Vissa indikatorer hämtas från befolkningsstatistik och befolkningsundersökningar, inte från vårdtagar/patientstatistik. Resultatet av mätningen behöver inte ha med äldreomsorgen/ sjukvården att göra.

21 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

22 Ex på vad som mäts i namn av kvalitet: Äldreguiden Förutsättningar Processer Personaltäthet; utbildning; sysselsättningsgrad; omsättning. Ej verkställda beslut. Delaktighet i planering. Hemtjänsttimmar. Eget rum; kokmöjlighet Gruppboende för dementa. Välja mat Nattfasta i äldreboende. Läkarmedverkan i äldreboende. Många/olämpliga läkemedel o psykofarmaka. Anställda per chef. Uppföljning av biståndsbeslut; Uppsökande verksamhet. Hitta på hemsida; Informationens kvalitet Effekter -----

23 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

24 Osäkra effektmått Rapport till SKL om bristen på korrelation mellan indikatorer i öppna jämförelser och försök att förklara vårdresultat. Det finns således en stark koppling mellan befolkningens sammansättning och utfallet mätt med medicinska systemmått. Detta är ett av de starkare samband som framkommer i undersökningen.

25 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

26 Skiftande tolkningar och kreativ bokföring i öppna jämförelser Vad är en patient? Funktionshindrade studiecirkeldeltagare i mängd. Kan man räknas som deltagare i en studiecirkel om man inte vet om att det var en studiecirkel? För att halvera sjukfrånvaron fram till år 2008 flyttade Försäkringskassan människor som varit sjuka mer än ett år från sjukskrivning till sjukersättning. Varierande tolkningar i öppna jämförelser, t ex kokmöjligheter.

27 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

28 Måtten i öppna jämförelser blir mål Flera underlag för förbättringsarbete (Lex-Sara, Lex-Maria, avvikelserapportering, egna medborgarenkäter mm, men ÖJ har fått en särställning. Indikatorer blir mål. Alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. ÖJ:s indikatorer har gjorts till krav inom LOV. Här ser man om man är röd, gul eller grön. Politikerna tycker det räcker att vara gul. Mål 2011: Äldreomsorgen ska hålla en kvalitet i nivå med genomsnittet i SKL:s öppna jämförelser. ÖJ gör det lättare för politikerna att styra, men.

29 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

30 Innovation motverkas Egna uppföljningssystem läggs ner eller görs om för att ligga i linje med ÖJ. Gosedjursprojektet på Tjörn, katten som känns som en riktig katt t ex. Men det går liksom inte ihop med de mätetal vi ska samla in till öppna jämförelser.

31 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

32 Hannahs individuella utvecklingsplan Ämnesområde Mål Utvärdering Matematik Svenska.. Värdegrunden

33 Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

34 Panopticon If you know that others are watching your silhouette, then you are highly likely to spend your time watching your shadow (Batterham). Auditee mentality (Pawson)

35 En modernare panopticon Hur nöjd är du med den tid det tog för dig att få betala dina varor i kassan? 1 = Mycket nöjd. 2 = Ganska nöjd. 3 = Inte nöjd. 4 = Missnöjd, kommer inte tillbaka till Coop.

36 Till sist, är det inte märkligt att. Eller finns det ett logiskt samband? Å ena sidan. Marknadisering Privatisering, mångfald Beställar-utförarmodeller Brukarens behov i centrum. Valfrihet och konkurrens Å andra sidan. Standardisering av kvalitet, effektivitet via neutrala, tekniskt överlägsna metoder Kontrol nye tsifry Nationella riktlinjer, terminologi IT-system för styrning och kontroll av tjänster