Utvärderingsmonstret Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet/ FoU i Väst-GR. lena.lindgren@spa.gu.se
Agenda Kvalitets- och resultatfokusering i den offentliga sektorn ställer mycket stora krav på uppföljning/utvärdering. Kvalitet som måste mätas och jämföras, t ex i öppna jämförelser. Mysteriet med utvärderingsmonstret. Är det så självklart att all denna utvärdering bidrar till ökad kvalitet och effektivitet? Eller kan den påverka verksamheter på oönskat vis?
Vi lever i utvärderingens tidevarv Offentliga verksamheter måste leverera, uppvisa kvalitet och resultat. Några undantag finns dock. Resultat är inte som förr mängden verksamhet, utan verkliga resultat. Kvalitet är centralt i svensk förvaltningsprosa, men vad det är sägs inte tydligt. GU och LiU som är bäst på att ha system för kvalitetsarbete. För att kunna uppvisa kvalitet och resultat krävs uppföljning och utvärdering.
Utvärderingens tidevarv, forts Myndigheter med särskilt utvärderingsuppdrag, och allt fler fristående utvärderingsmyndigheter ; IFAU, Sadev, Trafikanalys, Kulturanalys, m fl). Tillsyn inom allt fler områden tydliggörs och centraliseras. Kommuner/kommunala verksamheter som skapar egna system och tävlar i kvalitet. Nationella kvalitetssystem som rankar + naming and shaming. Regionala och kommunala analysenheter byggs upp för att hantera de nationella systemen.
Aktiekursen för utvärdering och utvärderare har aldrig varit högre än idag.
From studies to streams Evaluations no longer come anymore in single studies, but more often draw their material from a continuous flow of information that is nowadays faciliated by IT-technology. Streams = löpande insamling av kvantitativ information (statistik, indikatorer, nyckeltal, indikatorer) i syfte att övervaka hur en verksamhet utvecklas i på förhand bestämda avseenden. Rist RC & Stamme, N, red. (2006) From studies to streams. Managing evaluative systems. Transaction Publishers.
www.socialstyrelsen.se/oppnajamforelser En uppsättning centralt fastlagda indikatorer som årligen redovisas offentligt, och som på ett likartat och jämförbart sätt beskriver välfärdstjänster med avseende på kvalitet och effektivitet. Hälso- och sjukvård (2006 ): Övergripande och områdesvisa indikatorer Socialtjänst - Vård och omsorg om äldre (2007) - Missbruks- och beroendevård, ekonomiskt bistånd, funktionshinder mm Senast år 2014., (Regeringsbeslut 2009-06-25).
Öppna jämförelser för vården och omsorgen om äldre 2010 De äldres omdöme Hemtjänsten/boendet som helhet Bemötande; Inflytande, Maten, Social samvaro och aktiviteter. Tillgänglighet Väntetid till särskilt boende; Kommunens information. Stöd i livets slutskede Informerande samtal med döende; Smärtskattning sista levnadsveckan; Någon närvarande i dödsögonblicket; Efterlevandesamtal med närstående. Rehabilitering vid stroke Riskförebyggande arbete Riskfylld användning av läkemedel Hälsotillstånd/funktionsförmåga 3 månader efter stroke. Fallskador; Riskbedömning avseende fall, undernäring, utveckling av trycksår; Läkemedelsgenomgångar. Förskrivning av 10 eller fler läkemedel; Samtidig förskrivning av 3 eller fler psykofarmaka; Förskrivning av riskfyllda läkemedelskombinationer; Förskrivning av läkemedel med antikolinerga effekter. Personal och kompetens Personalkontinuitet i hemtjänsten; Personal med vård och omsorgsutbildning på gymnasienivå.
Datakällor som brukas Officiell befolkningsstatistik. Socialstyrelsens verksamhetsstatistik. SCB:s utbildningsregister och SKL:s personaluppgifter. Hälsodataregister; kvalitetsregister inom vården. Enkätundersökning till kommuner/stadsdelar/vårdcentraler. Nationell, årlig brukar/patientenkät. Granskning av kommunernas webbplatser.
Flera tänkta användningar och användare Verksamhetsledare Områden i behov av förbättring kan identifieras och åtgärdas. Benchmarking, konkurrens främjar lärande och utveckling. Underlag för redovisning till huvudman. Beslutsfattare Lättare följa upp/utvärdera/jämföra. Mer informerad styrning. Brukare, patienter Underlag för att utöva valfrihet. Ökat inflytande. Medborgare och samhället i stort Ge relevant insyn i verksamheterna. Ansvarsutkrävande underlättas. Kvaliteten och effektiviteten i vård och omsorg ökar.
Öppna jämförelser Vissa skillnader i cancersjukvården är både anmärkningsvärda och oacceptabla. Nu krävs att landstingen går till botten med sina resultat och analyserar dem ordentligt. Lars-Erik Holm, generaldirektör Jämför landstingens kvalitet och effektivitet när det gäller cancersjukvården
Ett mjukt styrmedel Reglering i form av riktlinjer, indikatorer, jämförelser, ranking. Den reglerade verksamheten åtar sig att följa vissa riktlinjer, redovisa enligt vissa principer samt bli föremål för jämförelser och bedömningar. Reglerna är frivilliga att följa, rättsliga sanktioner saknas, men Bygger på logiken om naming and shaming, dvs. att den reglerade verksamheten riskerar sitt anseende och rykte om jämförelserna inte utfaller positivt.
Mysteriet med utvärderingsmonstret Det er som om, der ikke er nogen grænse for feedback-løkkerne, som om evalueringsmonstret kræver mere og mere mad hver dag (Dahler-Larsen 2000). Hur evaluering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Evaluering har inte bevisat sin egen affärsidé. En icke evidensbaserad praktik. Protected discourse. The performance paradox Omfattande och gammal - litteratur om performance measures, dvs hårda uppföljningssystem (ex Ridgeway 1956 om Gosplan). How many times do we have to come back to this one before we give up (Mintzberg 1996).
En (ideal) programteori för t ex öppna jämförelser Förutsättningar Aktiviteter Användning Valida indikatorer och statistik som mäter kvalitet. Kvalitet mäts via enkät till kommuner, enheter, brukare. Resultat analyseras och presenteras öppet. Resultat används för styrning, verksamhetsutveckling, vårdval. Effekter What gets measured gets done Lättare följa upp/evaluera; bättre styrning. Benchmarking och konkurrens främjar produktivitet, effektivitet och likvärdig service. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Ökad välfärd, tillväxt, hållbar utveckling.. Saving the world with performance measures
Djävulen döljer sig i detaljerna
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Oklara mål, målträngsel, validitetsproblematik Äldre ska åldras i trygghet med bibehållet oberoende... Håller en verksamhet hög kvalitet om brukarna är nöjda? Primärvården kan ha hundratals diagnoser att handlägga och enskilda patienter kan ha många olika sjukdomar. Resultatet av vården går på tvären genom flera kvalitetsregister. Vissa indikatorer hämtas från befolkningsstatistik och befolkningsundersökningar, inte från patientstatistik och patientundersökningar. Resultatet behöver inte ha med sjukvården att göra.
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Ex på vad som mäts i namn av kvalitet: Äldreguiden Strukturkvalitet Processkvalitet Personaltäthet; utbildning; sysselsättningsgrad; omsättning. Ej verkställda beslut. Delaktighet i planering. Hemtjänsttimmar. Eget rum; kokmöjlighet Gruppboende för dementa. Välja mat Nattfasta i äldreboende. Läkarmedverkan i äldreboende. Många/olämpliga läkemedel o psykofarmaka. Anställda per chef. Uppföljning av biståndsbeslut; Uppsökande verksamhet. Hitta på hemsida; Informationens kvalitet Resultatkvalitet -----
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Osäkra effektmått Janlöv, Emtinger m fl: Rapport till SKL om korrelation mellan indikatorer i ÖJ och försök att förklara vårdresultat. Enkät till sjukvårdsansvariga politiker och tjänstemän om vad som skapar framgång: Systematisk uppföljning och ekonomi, politisk styrkraft, tydlighet om ledningens mandat i fht till politiken. Landsting som uppvisar högre standardkostnader, högre ohälsotal, fler äldre, sämre socioekonomiska förhållanden och lägre självskattad hälsa visar sämre utfall i de medicinska systemmåtten. Det finns således en stark koppling mellan befolkningens sammansättning och utfallet mätt med medicinska systemmått. Detta är ett av de starkare samband som framkommer i undersökningen.
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Skiftande tolkningar och kreativ bokföring i öppna jämförelser Har alla genomförandeplaner? Det är såna rent statistiska frågor tycker jag. De enkla färgkoderna är ett genialt system, men det säger ju ingenting om standarden egentligen, det är bara en jämförelse med andra. Man måste också förstå hur de olika indikatorerna hänger ihop för att veta vad som behöver förbättras. Gör de det förresten? slagsida mot sjukvård, att man fokuserar på det sjuka istället för naturligt åldrande.vi kanske vårdar så himla bra att det sociala kommer i andra hand. Brukarundersökningar är färskvara. Varierande tolkningar, t ex kokmöjligheter och valfrihet i mat.
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Måtten i öppna jämförelser blir mål Flera underlag för förbättringsarbete (Lex-Sara, Lex-Maria, avvikelserapportering, egna medborgarenkäter mm, men ÖJ har fått en särställning. Indikatorer blir mål. Från god vård och omsorg till alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. ÖJ:s indikatorer har gjorts till krav inom LOV. Här ser man om man är röd, gul eller grön. Politikerna tycker det räcker att vara gul. Mål 2011: Äldreomsorgen ska hålla en kvalitet i nivå med genomsnittet i SKL:s öppna jämförelser. ÖJ gör det lättare för politikerna att styra, men.
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Innovation motverkas Egna uppföljningssystem läggs ner eller görs om för att ligga i linje med ÖJ. Arbetssättet är väl uppdaterat här, man har tagit till sig råd och rön, farmakologisk behandling, miljö för dementa och olika hjälpmedel gosedjur som ser ut som riktiga djur, katten som känns som en riktig katt t ex. Men det går liksom inte ihop med de mätetal vi ska samla in.
Kvalitetsmätandets problematiska programteori Förutsättningar Genomförandeoch användningsproblem Perversa bieffekter Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
Panopticon If you know that others are watching your silhouette, then you are highly likely to spend your time watching your shadow (Batterham). Auditee mentality (Pawson)
En modernare panopticon Hur nöjd är du med den tid det tog för dig att få betala dina varor i kassan? 1 = Mycket nöjd. 2 = Ganska nöjd. 3 = Inte nöjd. 4 = Missnöjd, kommer inte tillbaka till Coop.
Till sist, är det inte märkligt att. Eller finns det ett logiskt samband? Åena sidan. Marknadisering Privatisering, mångfald Beställar-utförarmodeller Brukarens behov i centrum. Valfrihet och konkurrens Åandra sidan. Standardisering av kvalitet, effektivitet via neutrala, tekniskt överlägsna metoder Kontrol nye tsifry Nationella riktlinjer, terminologi IT-system för styrning och kontroll av tjänster