Utvärdering i kritisk belysning



Relevanta dokument
Utvärderingsmonstret. Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet/ FoU i Väst-GR. lena.lindgren@spa.gu.se

Öppna jämförelser: Ett styrmedel i tiden eller hur kunde det bli så här?

En kritisk betraktelse av öppna jämförelsers användning och nytta i äldreomsorgen

Kan kvalitet mätas? Lena Lindgren Förvaltningshögskolan, Göteborgs universitet

Utvärderingssamhället att granska och bli granskad

Utvärderingens institutionalisering och drivkrafter. Möjligheter och problem, inkl. mysteriet med utvärderingsmonstret.

Vård och omsorg om äldre Diagramrapport

Hur kan Öppna jämförelser tillgodose brukares behov av information? Joakim Ramsberg Myndigheten för Vårdanalys

Rapport och analys av resultatet av Socialstyrelsens Äldreguide En del av Öppna jämförelser - Äldreomsorg och hemsjukvård

Utvärderingsmonstret - nu lite tröttare, men fortfarande glupskt. Lena Lindgren 13 oktober 2015

Sammanställning av öppna jämförelser Vård och omsorg om äldre Dnr SN19/61-519

Öppna jämförelser Gävleborg. Vård och omsorg om äldre

Öppna jämförelser - vård och omsorg om äldre 2014

Öppna jämförelser ett verktyg i det strategiska utvecklingsarbetet

Öppna jämförelser äldre Indikatorer - urininkontinens

Öppna Jämförelser - Vård och omsorg om äldre 2009

Öppna jämförelser. din guide på nätet för snabba jämförelser inom socialtjänst och hemsjukvård

Öppna jämförelser för socialtjänst och hemsjukvård

GÖTEBORGSREGIONENS KOMMUNALFÖRBUND

KomUPP! En fördjupad uppföljning av KomHem

Kvalitetsdeklaration Särskilt boende äldreomsorg

Intern kvalitetsgranskning Särskilt boende 2012

Öppna Jämförelser av Vård och omsorg om äldre 2013

Box Stockholm Famnas kvalitetsrapport 2013

Öppna jämförelser Vård och omsorg om äldre 2016 Kommunresultat för Nybro

Det komplicerade och problematiska kvalitetsbegreppet Vad innebär r kvalitet? Lena Lindgren. Välkommen!

Evidensbaserad socialtjänst

Vilka resultat presterar Vetlanda kommun?

Öppna jämförelser 2015 vård och omsorg äldre. Fokus sammanhållen vård och omsorg i Sörmland

Öppna jämförelser 2018

Kommunens Kvalitet i Korthet 2015

Kvalitetsberättelse. Socialkontoret Iris Kjellander, medicinskt ansvarig sjuksköterska Ing-Marie Berglund, utredare

Uppdragsplan Vård- och omsorgsnämnden. Antagen av vård- och omsorgsnämnden 9 december 2015 VON 2015/

Jämförelse mellan kvalitet och kostnader för 11 kommuner ÖJ 2011_2 "kvalitet" = brukarnas synpunkter på hemtjänst och särskilt boende som helhet

Granskningssamhällets olika former en översikt och jämförelse

Systematiskt kvalitetsarbete i skolan. Analys av programteori

Öppna jämförelser 2018

Öppna jämförelser - Vård och omsorg om äldre 2012

Policys. Vård och omsorg

Öppnar jämförelser för ökad kvalitet i vård och omsorg om äldre? Bilaga Regressionsanalyser

Öppna jämförelser. Vård och omsorg om äldre 2014

ÄLDREGUIDEN En jämförelse mellan KKKVH kommunerna

Vilka resultat presterar Vetlanda kommun?

- stöd för analys och förbättring

Öppna jämförelser 2012

Extern kvalitetsgranskning

Grönt ljus för ÖJ? Vårdanalysutvärdering av Öppna jämförelser inom hälso- och sjukvården. 14 mars 2014

Uppdragsplan Vård- och omsorgsnämndens uppdragsplan för 2018 VON 2017/1008. Antagen av nämnden den 13 december norrkoping.

Uppdragsplan 2017 VÅRD- OCH OMSORGSNÄMNDENS UPPDRAG TILL VÅRD- OCH OMSORGSKONTORET

Monica Forsberg

Kvalitet inom äldreomsorgen

Invånarstyrd utveckling av kvalitet och värdeskapande på ett effektivt sätt

Antal % % % % % % Min-max Riket

Öppna Jämförelser (ÖJ) år 2012

Kommunens kvalitet i korthet - resultat 2010

Rött, gult eller grönt ljus

Jämförelser, omvärld, framtida utmaningar och utveckling

Jämställdhetsperspektivet i öppna jämförelser av socialtjänst och kommunal hälso- och sjukvård. Delredovisning av ett regeringsuppdrag

Öppna jämförelser Vård och omsorg om äldre Kommunresultat för

Intern kvalitetsgranskning Ordinärt boende 2012

Nämndsplan Socialnämnden

Registret ger stöd till ett standardiserat och evidensbaserat arbetssätt som kan

Hur används brukarundersökningar? En översikt av forskningen

Politiska inriktningsmål för vård och omsorg

Sydöstra sjukvårdsregionen i Öppna Jämförelser 2012

En länssammanställning av brukarinflytande inom socialtjänsten Vad säger resultaten i Öppna Jämförelser?

Kommentarer till Riksrevisionens Slutrapport om statens styrning av vården

En god vård? SoS 2018

Patient- och kvalitetsberättelse för socialnämnden

Brukarundersökningar 2009 äldreomsorg, bistånd och anhörigstöd

Attendo presenterar branschens första kvalitetsbokslut

Resultatredovisning av, de av VOHJS fastställda målen för 2012

Patientsäkerhetsberättelse för Sävsjö kommun 2011

Sammanställning av vård och omsorgsnämndens mål 1 och indikatorer för äldreomsorg, särskilt boende

Öppna Jämförelser inom äldreomsorgen 2009 en sammanställning av resultatet hos 11 jämförbara kommuner

Kvalitetsberättelse för 2017

Statistik och kvalitetsmätningskriterier

Utvärdering av välfärdsarbete - utmaningar och möjligheter. Lena Lindgren 28 augusti 2014

Kvalitetsindikatorer som underlag för val. Helsingfors 22 maj Emma Vintemon, Sveriges Kommuner och Landsting

Öppna jämförelser i socialtjänsten. Handlingsplan för ekonomiskt bistånd

Vilka resultat presterar Vetlanda kommun?

Öppna jämförelser inom socialtjänsten 2016 Stöd till personer med funktionsnedsättning

Öppna jämförelser i socialtjänsten

Överenskommelse mellan kommunerna i Jönköpings län och Region Jönköpings län om samarbete kring personer med psykisk funktionsnedsättning

Utvärdering av IBIC i Kungsbacka kommun fokus äldreomsorg

Granskning av kvalitetsarbete inom äldreomsorgen - förstudie Sölvesborgs kommun

Kvalitetsgranskning och verksamhetsuppföljning

Öppna jämförelser Vård och omsorg om äldre

Kvalitets- och patientsäkerhetsarbete i Landstinget i Kalmar Län

Hur bra är Ulricehamns kommun?

Hur bra är Ulricehamns kommun?

Famnas kvalitetsrapport 2013

Vård och omsorg om äldre

Förvaltningsberättelse. Alvesta kommun i jämförelse över tid och med andra kommuner - KKiK

Slutrapport Kvalitetsmål för sektorerna Arbetsliv och Stöd samt. Vård och Äldreomsorg (Dnr KS2010/1880)

Svensk standard. Kvalitetsstandard för: För äldre med omfattande biståndsbedömda behov i ordinärt och särskilt boende

Uppdraget. Mål. Syfte. Omfattning Dnr 7270/2009

Socialnämndens Verksamhetsplan 2014

Förvaltningsberättelse. Alvesta kommun i jämförelse över tid och med andra kommuner - KKiK

5.7 MÅLOMRÅDE TRYGGHET OCH SÄKERHET. Övergripande mål. 1. Växjö kommun ska upplevas som trygg och säker. Verksamhetsmål för god ekonomisk hushållning

Transkript:

Utvärdering i kritisk belysning Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet lena.lindgren@spa.gu.se

Agenda Allmän kvalitets- och resultatorientering i den offentliga sektorn ställer stora krav på uppföljning/utvärdering. Kvalitet som måste mätas och jämföras, t ex i öppna jämförelser. Mysteriet med utvärderingsmonstret. Är det så självklart att all denna utvärdering bidrar till ökad kvalitet och effektivitet? Eller kan den påverka verksamheter på oönskat vis?

Utvärdering (eller granskning) som familjenamn En systematiskt genomförd undersökning för att få fram tillförlitlig och användbar kunskap om värdet av någonting. Flera olika aktiviteter har mer eller mindre av dessa egenskaper: - Utvärdering - Uppföljning - Kvalitetsmätning - Tillsyn/inspektion - Revision - Litteraturkritik, vinprovning.

Utvärderingens tidevarv Lagar och regler antas som ställer krav på evaluering. Utvärdering integreras i praxis nästan överallt, men undantag finns. Stark resultatorientering verkliga resultat efterfrågas. Ännu starkare kvalitetsorientering, men vad kvalitet är sägs inte. Evidensrörelsen Tillsyn/inspektion centraliseras och får en allt viktigare roll. Nationella kvalitetssystem som rankar + name and shame. Allt fler myndigheter etableras med utvärdering som huvuduppdrag Kommuner/kommunala verksamheter som skapar egna system och tävlar i kvalitet.

Utvärderingens tidevarv, forts För att kunna uppvisa kvalitet och resultat krävs uppföljning och utvärdering. Vilket i sin tur ställer krav på systematisk dokumentation. Jämförbarhet kräver standardisering av vad som följs upp och utvärderas samt gemensamt fackspråk.

Myndigheten för kulturanalys 2011 Med utgångspunkt i de nationella kulturpolitiska målen, utvärdera, analysera och redovisa effekter av förslag och genomförda åtgärder inom kulturområdet. Analysera utvecklingen inom kultursfären och inom andra samhällsområden som har betydelse för kulturlivet. Bistå regeringen med underlag och rekommendationer som kan ligga till grund för utveckling och omprövning av politiken.

Aktiekursen för utvärdering och utvärderare har aldrig varit högre än idag.

För tydlighets skull. Utvärdering är en systematiskt genomförd undersökning för att få fram tillförlitlig och användbar kunskap om värdet av någonting. Scriven (1991): "... the determination of the worth or value of something, judged according to appropriate criteria, with those criteria explicated and justified. Uppföljning är löpande insamling av huvudsakligen kvantitativ information i syfte att övervaka hur en verksamhet utvecklas i något eller några på förhand bestämda avseenden.

From studies to streams Evaluations no longer come anymore in single studies, but more often draw their material from a continuous flow of information that is nowadays faciliated by IT-technology. Streams = löpande insamling av kvantitativ information (statistik, indikatorer, nyckeltal, indikatorer) i syfte att övervaka hur en verksamhet utvecklas i på förhand bestämda avseenden.

www.socialstyrelsen.se/oppnajamforelser En uppsättning centralt fastlagda indikatorer som årligen redovisas offentligt, och som på ett likartat och jämförbart sätt beskriver välfärds- tjänster med avseende på kvalitet och effektivitet. Hälso- och sjukvård (2006 ): Övergripande och områdesvisa indikatorer Socialtjänst - Vård och omsorg om äldre (2007) - Missbruks- och beroendevård, ekonomiskt bistånd, funktionshinder mm Senast år 2014., (Regeringsbeslut 2009-06-25). SKL: skola, folkhälsa mm

Öppna jämförelser för vården och omsorgen om äldre 2010 De äldres omdöme Hemtjänsten/boendet som helhet Bemötande; Inflytande, Maten, Social samvaro och aktiviteter. Tillgänglighet Väntetid till särskilt boende; Kommunens information. Stöd i livets slutskede Informerande samtal med döende; Smärtskattning sista levnadsveckan; Någon närvarande i dödsögonblicket; Efterlevandesamtal med närstående. Rehabilitering vid stroke Riskförebyggande arbete Riskfylld användning av läkemedel Hälsotillstånd/funktionsförmåga 3 månader efter stroke. Fallskador; Riskbedömning avseende fall, undernäring, utveckling av trycksår; Läkemedelsgenomgångar. Förskrivning av 10 eller fler läkemedel; Samtidig förskrivning av 3 eller fler psykofarmaka; Förskrivning av riskfyllda läkemedelskombinationer; Förskrivning av läkemedel med antikolinerga effekter. Personal och kompetens Personalkontinuitet i hemtjänsten; Personal med vård och omsorgsutbildning på gymnasienivå.

Datakällor som brukas Officiell befolkningsstatistik. Socialstyrelsens verksamhetsstatistik. SCB:s utbildningsregister och SKL:s personaluppgifter. Hälsodataregister; kvalitetsregister inom vården. Enkätundersökning till kommuner/stadsdelar/vårdcentraler. Nationell, årlig brukar/patientenkät. Granskning av kommunernas webbplatser. Prestationsrelaterade statliga stimulansmedel för registrering.

Flera tänkta användningar och användare Verksamhetsledare Områden i behov av förbättring kan identifieras och åtgärdas. Benchmarking, konkurrens främjar lärande och utveckling. Underlag för redovisning till huvudman. Beslutsfattare Lättare följa upp/utvärdera/jämföra. Mer informerad styrning. Brukare, patienter Underlag för att utöva valfrihet. Ökat inflytande. Medborgare och samhället i stort Ge relevant insyn i verksamheterna. Ansvarsutkrävande underlättas. Kvaliteten och effektiviteten i vård och omsorg ökar.

Öppna jämförelser Vissa skillnader i cancersjukvården är både anmärkningsvärda och oacceptabla. Nu krävs att landstingen går till botten med sina resultat och analyserar dem ordentligt. Lars-Erik Holm Generaldirektör, Totalstyrelsen Jämför landstingens kvalitet och effektivitet när det gäller cancersjukvården

Kvalitetsmätning i biblioteksvärlden Obligatorisk biblioteksstatistik Kulturen i siffror. Svensk biblioteksförening (2005) Handbok i utvärderingsarbete Prestationsindikatorer i biblioteksvärlden. VG-regionens projekt Mål och mått. Brukarundersökningar. LibQual inernationellt utbrett koncept. IFLA: Measuring Quality: Performance Measurement in Libraries.

Mysteriet med utvärderingsmonstret Det er som om, der ikke er nogen grænse for feedback-løkkerne, som om evalueringsmonstret kræver mere og mere mad hver dag (Dahler-Larsen 2000). Hur evaluering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Evaluering har inte bevisat sin egen affärsidé. En icke evidensbaserad praktik. Protected discourse. The performance paradox

En (ideal) programteori för öppna jämförelser Förutsättningar Valida indikatorer och statistik som mäter kvalitet. Aktiviteter Kvalitet mäts via enkät till kommuner, enheter, brukare. Resultat analyseras och presenteras öppet. Användning Resultat används för styrning, verksamhetsutveckling, val av utförare. Effekter What gets measured gets done Lättare följa upp/evaluera; bättre styrning. Benchmarking och konkurrens främjar produktivitet, effektivitet och likvärdig service. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Ökad välfärd, tillväxt, hållbar utveckling.. Saving the world with performance measures

Djävulen döljer sig i detaljerna

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Oklara mål, målträngsel, validitetsproblematik Äldre ska åldras i trygghet med bibehållet oberoende... Håller en verksamhet hög kvalitet om brukarna är nöjda? Vissa indikatorer hämtas från befolkningsstatistik och befolkningsundersökningar, inte från vårdtagar/patientstatistik. Resultatet av mätningen behöver inte ha med äldreomsorgen/ sjukvården att göra.

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Ex på vad som mäts i namn av kvalitet: Äldreguiden Förutsättningar Processer Personaltäthet; utbildning; sysselsättningsgrad; omsättning. Ej verkställda beslut. Delaktighet i planering. Hemtjänsttimmar. Eget rum; kokmöjlighet Gruppboende för dementa. Välja mat Nattfasta i äldreboende. Läkarmedverkan i äldreboende. Många/olämpliga läkemedel o psykofarmaka. Anställda per chef. Uppföljning av biståndsbeslut; Uppsökande verksamhet. Hitta på hemsida; Informationens kvalitet Effekter -----

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Osäkra effektmått Rapport till SKL om bristen på korrelation mellan indikatorer i öppna jämförelser och försök att förklara vårdresultat. Det finns således en stark koppling mellan befolkningens sammansättning och utfallet mätt med medicinska systemmått. Detta är ett av de starkare samband som framkommer i undersökningen.

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad- användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Skiftande tolkningar och kreativ bokföring i öppna jämförelser Vad är en patient? Funktionshindrade studiecirkeldeltagare i mängd. Kan man räknas som deltagare i en studiecirkel om man inte vet om att det var en studiecirkel? För att halvera sjukfrånvaron fram till år 2008 flyttade Försäkringskassan 75 000 människor som varit sjuka mer än ett år från sjukskrivning till sjukersättning. Varierande tolkningar i öppna jämförelser, t ex kokmöjligheter.

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Måtten i öppna jämförelser blir mål Flera underlag för förbättringsarbete (Lex-Sara, Lex-Maria, avvikelserapportering, egna medborgarenkäter mm, men ÖJ har fått en särställning. Indikatorer blir mål. Alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. ÖJ:s indikatorer har gjorts till krav inom LOV. Här ser man om man är röd, gul eller grön. Politikerna tycker det räcker att vara gul. Mål 2011: Äldreomsorgen ska hålla en kvalitet i nivå med genomsnittet i SKL:s öppna jämförelser. ÖJ gör det lättare för politikerna att styra, men.

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Innovation motverkas Egna uppföljningssystem läggs ner eller görs om för att ligga i linje med ÖJ. Gosedjursprojektet på Tjörn, katten som känns som en riktig katt t ex. Men det går liksom inte ihop med de mätetal vi ska samla in till öppna jämförelser.

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Hannahs individuella utvecklingsplan Ämnesområde Mål Utvärdering Matematik Svenska.. Värdegrunden

Kvalitetsmätandets problematiska programteori Förutsättningar Främmande diskurs Oklara mål, målträngsel, validitetsproblematik Genomförande- Bara det mätbara mäts och användnings- Osäkra effektmått problem Skiftande tolkningar, kreativ bokföring Oklar och komplicerad - användning Perversa bieffekter What gets measured is all that gets done Teaching to the test ; Creaming Måtten blir mål Innovation motverkas, Ossification, tunnelseende Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell

Panopticon If you know that others are watching your silhouette, then you are highly likely to spend your time watching your shadow (Batterham). Auditee mentality (Pawson)

En modernare panopticon Hur nöjd är du med den tid det tog för dig att få betala dina varor i kassan? 1 = Mycket nöjd. 2 = Ganska nöjd. 3 = Inte nöjd. 4 = Missnöjd, kommer inte tillbaka till Coop.

Till sist, är det inte märkligt att. Eller finns det ett logiskt samband? Å ena sidan. Marknadisering Privatisering, mångfald Beställar-utförarmodeller Brukarens behov i centrum. Valfrihet och konkurrens Å andra sidan. Standardisering av kvalitet, effektivitet via neutrala, tekniskt överlägsna metoder Kontrol nye tsifry Nationella riktlinjer, terminologi IT-system för styrning och kontroll av tjänster