Utvärderingssamhället att granska och bli granskad Hur och varför all denna granskning? Uppföljning, utvärdering, revision, tillsyn, kvalitetsmätning. Öppna jämförelser - ett hårt uppföljningssystem, men ett mjukt styrmedel. Öppna jämförelsers användning och betydelse för ledning och styrning av äldreomsorgen i tre kommuner. Brukartanken i öppna jämförelser. Vad gör FoU i Väst?
Granskning (eller utvärdering?) som familjenamn Granskningsaktiviteter: - Utvärdering - Uppföljning - Kvalitetsmätning - Tillsyn/inspektion - Revision - Litteraturkritik, vinprovning. Alla innebär systematisk beskrivning och värdering av en verksamhet för olika syften: - Kontroll och ansvarsutkrävande. - Främjande och positivt understödjande av verksamhetsutveckling.
Granskning, forts Granskningens syften och karaktär kan variera mellan och inom olika granskningsaktiviteter. Kan ske på olika initiativ och med eller utan den granskades samtycke. Kan ske regelbundet eller vid enstaka tillfällen. Kan utföras av olika interna och/externa aktörer. Kan avse olika aspekter av en verksamhet. Kan göras mer eller mindre standardiserad.
Granskningens institutionalisering Lagar och regler antas som ställer krav på granskning. Granskning integreras i praxis nästan överallt, men undantag finns Stark resultatorientering, som förstärks av evidensrörelsen. Ännu starkare kvalitetsorientering, men vad kvalitet är preciseras (ännu) inte. Kvalitetsparagrafen i SoL+ SOSFS 2011:9 om ledningssystem för systematiskt kvalitetsarbete. att en verksamhet uppfyller de krav och mål som gäller enligt lagar och andra föreskrifter och beslut som har meddelats med stöd av sådana föreskrifter. Den som bedriver verksamhet kan välja att ställa ytterligare krav genom att sätta egna mål eller följa krav i olika standarder förutsatt inte står i strid med författningar.
Granskningens institutionalisering, forts Allt fler myndigheter etableras med granskning som huvuduppdrag. Tillsyn/inspektion förstärks, centraliseras och får en allt viktigare roll. Nationella kvalitetssystem, ranking, name and shame. Nationella brukar/medborgar/företagsundersökningar. Nationell informationsstruktur för vård och omsorg. Nationellt fackspråk för systematiskt arbetssätt och strukturerad dokumentation. Privata aktörer, t ex Euro Health Consumer Index, Omvård.se, Doktorsguiden, Shanghai-listan, Financial Times.
Obsessive Measurement Disorder From studies to streams - internationell trend. Streams = löpande insamling av kvantitativ information (statistik, indikatorer, nyckeltal, indikatorer) i syfte att övervaka hur en verksamhet utvecklas i något eller några på förhand bestämda avseenden. USAID has become infected with a very bad case of Obsessive Measurement Disorder (OMD), an intellectual dysfunction rooted in the notion that counting everything in government progams will produce better policy choices and improved management.
Innehåll 1. Inledning 2. Nyckelbegrepp som används vid uppföljning och utvärdering 3. Vad är Öppna jämförelser? 4. Indikatorer, datakällor och datakvalitet? 5. Vilka relationer finns mellan indikatorerna? 6. Hur används Öppna jämförelser i äldreomsorgen? 7. Hur är det tänkt att brukare ska använda Öppna jämförelser? 8. Att leva med Öppna jämförelser.
Öppna jämförelser En uppsättning centralt fastlagda indikatorer som årligen redovisas offentligt, och som på ett likartat och jämförbart sätt beskriver verksamheter med avseende på deras kvalitet. Sammantaget utgör indikatorerna en standard för god kvalitet inom respektive område. Hälso- och sjukvård (2006 ), äldreomsorg (2007 ), missbruks- och beroendevård (2009 ), ekonomiskt bistånd mm (2011 ). Senast år 2014 ska det finnas öppna jämförelser som stödjer fria val, nationella och verksamhetsnära beslut, förbättringsarbete och granskning av socialtjänsten och hälso- och sjukvården (Regeringsbeslut 2009).
Kvalitetsaspekter i Äldreguiden 2011 Delaktighet Samverkan Personaltäthet Förskrivning av läkemedel, äldreboende Kompetens Förebyggande arbete Kontinuitet Uppföljning av biståndsbeslut Boendemiljö Information Mat Anhörigstöd
Kvalitetsaspekter i Öppna jämförelser 2011 Bemötande och inflytande Läkemedel Trygghet Mat och aktivitet De äldres bedömning av omsorgen i sin helhet Personalkontinuitet och utbildning Fall, undernäring och trycksår Kostnader (kostnad per brukare) Tillgänglighet Stöd i särskilda situationer
Indikatorerna i ÖJ beskriver sammantaget en standard Förutsättningar Personalkontinuitet och utbildning Tillgänglighet (väntetid, kommunens information) Processer/ Bemötande och inflytande prestationer Trygghet Mat och aktivitet R Riskbedömning fall, undernäring trycksår E Stöd i särskilda situationer S Läkemedel U L Effekter De äldres omdöme om omsorgen i sin helhet T???? A T
Datakällor som brukas Socialstyrelsens hälsodataregister; verksamhetsstatistik. SCB:s utbildningsregister. SKL:s kommundatabas; Vad kostar din verksamhet? Patientregistret. Kvalitetsregister inom vården Enkätundersökning till kommuner/stadsdelar/vårdcentraler. Nationell, årlig brukar/patientenkät. Webbgranskning.
Öppna jämförelsers verksamhetslogik Om det finns ett nationellt system för öppen redovisning av centralt definierade kvalitetsindikatorer som är lättillgängliga och tillförlitliga, och om det används av olika målgrupper för bl.a. vårdval/kundval, verksamhetsutveckling, beslutsfattande och styrning, så kommer konkurrensen mellan olika producenter att öka, och så kommer kvaliteten och effektiviteten i vården och omsorgen att öka.
Ett hårt uppföljningssystem, men ett mjukt styrmedel Regulativa, ekonomiska och informativa styrmedel som följer en skala av tvång där de styrandes makt att agera är fallande. Öppna jämförelser än så länge ett informativt och mjukt styrmedel som med hjälp av logiken naming & shaming vill få de vars verksamhet är föremål för mätning att bete sig på ett visst sätt. Den styrda verksamheten riskerar sitt rykte om den inte handlar på förväntat vis eller om jämförelser och bedömningar inte faller väl ut. Stimulansmedel för registrering i Senior Alert och Palliativregistret. LOV på sikt som tvingande lag?
Studie i tre GR-kommuner Alingsås, Lilla Edet och Tjörn. Intervjuer med nämndpolitiker, äldreomsorgschefer och enhetschefer i respektive kommun (totalt 30 personer). När så varit möjligt, dokumentanalys av fullmäktige- och nämndprotokoll och policydokument för att undersöka om det finns beslut som kan härledas till ÖJ. Resultat i Äldreguiden/öppna jämförelser 2007, 2009, 2010, 2011
Resultat I I alla kommunerna används flera olika kunskapsunderlag för ledning och styrning av äldreomsorgen. I Alingsås och Lilla Edet har ÖJ fått en särställning, men inte på Tjörn. I Alingsås och Lilla Edet har ÖJ integrerats i kommunernas ledning och styrning. Omfattande rutiner för inrapportering har byggts upp med tillhörande transaktionskostnader. ÖJ har avsatt tydliga spår i politiken. Befintliga mål har kompletterats med, eller ersatts av, mål med därtill hörande operationaliseringar och uppföljningsrutiner som är direkt härledda ur indikatorer som ingår i ÖJ.
Resultat II Målanpassningen i Alingsås och Lilla Edet innebär i vissa fall en anpassning till rikets genomsnittliga resultat, vilket i praktiken innebär en planerad kvalitetssänkning. Här ser man om man är röd, gul eller grön. Politikerna tycker det räcker att vara gul. Nivellering mot genomsnittet. Mål 2011: Äldreomsorgen ska hålla en kvalitet i nivå med genomsnittet i SKL:s öppna jämförelser. positivt i processen är att ÖJ leder till att man (politikerna) i varje fall diskuterar förbättringsarbetet. Det rör runt och tvingar fram en process som leder framåt.
Resultat III Trots användningen och anpassningen uttrycker i stort sett alla intervjuade starka tvivel om både datas validitet (indikatorerna fångar inte väsentliga aspekter av vården och omsorgen), och reliabilitet (fel i inrapportering, dålig täckningsgrad etc.). Indikatorerna förmår inte fånga upp äldreomsorgens mjukare aspekter, dessutom känsla för att de motverkar innovation i arbetsmetoder. Vissa data hämtas från källor som kommunen inte kan påverka utfallet av. Hur kunde det bli så här? Det kan inte stämma
Idén är nog bra, men Många av de problem som belysts i studien har stora likheter med eller är identiska med de problem som beskrivs i internationell forskning om kvalitetsmätningar (performance measures). Enighet bland forskarna om att detta slags mätande är förknippat med många problem, men oenighet om hur problemen kan lösas, och om de alls går att lösa. True believers Active doubters Pragmatic sceptics ser kvalitetsmätning som en internationell trend som är här för att stanna, och vi måste lära oss att leva med den. Måtten kan i vissa fall tjäna som underlag för styrning och ledning, men bör i huvudsak tas med en nya salt.
Ett pragmatiskt, skeptiskt förhållningssätt Underliggande maskinsynsätt på offentliga verksamheter som organisationer som har en viss produktion som kan kvantifieras, göras mätbar och jämförbar. Bara det mätbara kan mätas. Kravet på mätbarhet sätter gränser. De resultatindikatorer som ÖJ innefattar är ytterst osäkra mått. Den kvalitetsstandard som ÖJ föreskriver är inte huggen i sten. Vad slags äldreomsorg vill politiker ha? En total tillit och anpassning till ÖJ:s bild av god kvalitet är att fly sitt politiska ansvar. ÖJ får inte vara ett substitut för gott omdöme vad gäller ledning och styrning.