Agenda Öppna jämförelser en del av något mycket större. En programteoretisk analys av öppna jämförelser Att leda och leva med ÖJ - som sannolikt är här för att stanna.
Socialtjänstens granskningslandskap Kvalitetsparagrafer Förstärkt tillsyn Systematiskt kvalitetsarbete Utvärderingsmyndigheter Mål- och resultatstyrning New Public Management Bortom NPM Evidensrörelsen Öppna jämförelser Strukturerad dokumentation Nationella riktlinjer Nationellt fackspråk
men det hungrigaste monstret bor hos Jan Björklund Internationella system Nationella system för granskning av skolor och kommuner PISA, TIMMS, PIRLS, ICCS, ESLC Education at a Glance Nationellt uppföljningssystem, officiell statistik om skolan Jämförelsetal SIRIS (Skolverkets internetbaserade resultat- och kvalitetssystem) SALSA (Skolverketss arbetsverktyg för lokala sambandsanalyser) Öppna jämförelser, Kolada (SKL) Medborgarundersökningar (SCB) Tillsyn och kvalitetsgranskning (Skolinspektionen) Analyser, utvärderingar, lägesbedömningar (Skolverket) Nationella prov (Skolverket) BRUK (Skolverkets verktyg för självskattning) Individuella utvecklingsplaner (Skolverket) Kommunala system Systematiskt kvalitetsarbete Lokala brukarundersökningar Kommunal tillsyn Övriga offentliga granskande organ Kommunal revision IFAU (arbetsmarknadseffekter av åtgärder inom utbildningsväsendet) Riksrevisionen, Statskontoret, Utredningsväsendet ESO (Expertgruppen för studier i offentlig ekonomi)
Programteorianalys Programteori Alla verksamheter (program) även ÖJ vilar på en viss lokal logik (programteori) om hur den åstadkommer förväntade effekter. Om A, så B och därmed C och D. Programteorianalys Kritisk analys av tydlighet och validitet i de föreställningar om orsak och verkan som en verksamhet vilar på.
Frågor för programteorianalys av ÖJ Vad slags styrmedel är ÖJ - piska, morot eller predikan? Om ÖJ är lösningen, vad är problemet? Är de aspekter/indikatorer som ÖJ granskar representativa för den verksamhet som de avser att mäta? Är ÖJ en plausibel lösning på det problem som är motivet till dess existens?
En programteori för öppna jämförelser Om dessa förutsättningar finns och om dessa Ett nationellt system för öppen redovisning av kvalitetsindikatorer som är lättillgängliga, ändamålsenliga, valida och tillförlitliga. Verksamheter mäts, måtten registreras och rapporteras. aktiviteter genom- Data redovisas regelbundet i webbapplikationer och rapporter. förs så leder det till dessa effekter Ledare och personal får insikt om egna brister, kunskap om lärande. Benchmarking och konkurrens främjar lärande och utveckling. Politiker fattar mer informerade beslut, bättre styrning. Nationell granskning, analys och styrning underlättas. Brukare gör informerade val av vård/omsorgsgivare. Deras inflytande och delaktighet ökar. Medborgare och samhället i stort får underlag för valfrihet. Insyn i offentliga verksamheter, ansvarsutkrävande underlättas. Konkurrens ökad kvalitet likvärdiga resultat, etc.
Förvaltningspolitiska styrmedel Politikernas medvetna försök att påverka den offentliga förvaltningen, så att denna i sin tur kan påverka medborgarna och samhället i avsedd riktning. Piskor (regulativa styrmedel) som tvingar människor och organisationer att bete sig på ett visst sätt för att inte riskera negativa sanktioner. Morötter (ekonomiska styrmedel) vill genom att tillföra eller beröva materiella resurser få till stånd ett visst handlande. Predikningar (informativa styrmedel) vill genom upplysning och övertalning erbjuda kunskap så att människor frivilligt väljer ett visst beteende. Följer ofta en skala av tvång.
Öppna jämförelser: Ett mjukt predikande styrmedel Styrning i form av indikatorer, jämförelser, ranking. Verksamheter åtar sig att redovisa enligt vissa principer samt bli föremål för jämförelser och bedömningar. Styrningen är frivillig att följa, rättsliga sanktioner saknas. Men verksamheten riskerar sitt anseende och rykte om jämförelserna inte utfaller positivt. Name and shame.
men morötter har börjat delas ut, och snart tar Socialstyrelsen nog fram piskorna Prestationsbaserade statsbidrag för att stimulera registrering i Senior Alert och Palliativregistret som är kopplade till ÖJ. Sammantaget utgör Öjs indikatorer en nationell standard för god kvalitet inom äldreomsorgen och andra områden i socialtjänsten. Nationell modell för ett systematiskt arbetssätt och strukturerad dokumentation där behov och insatser speglar indikatorer i ÖJ. Används som utgångspunkt för ansökan, behovsbedömning och dokumentation av insatser som direkt inregistrerar i ÖJ. Tillsynsmyndigheten använder ÖJ som bedömningskriterier?
Om ÖJ är lösningen, vad är problemet? För dålig kvalitet effektivitet (produktivitet och måluppfyllelse) i vård och omsorg. För stora variationer, bristande likvärdighet mellan kommuner/enheter. Förutsättningar för styrning i denna riktning saknas, bl.a: - Brister i existerande datakällor (t.ex. avsaknad av jämförbara mått). - Brist på individbaserade data gör resultatmätningar svårt. - Befintliga data inte anpassade eller öppna för olika målgruppers behov. - Bristande koordination, flera aktörer tillhandahåller information. Brukare som behöver jämförbar information för att kunna välja. Kommuner som behöver information för att upprätthålla valfriheten.
Är ÖJ:s indikatorer representativa (valida) för den verksamhet de avser att mäta? En indikator är ett observerbart, indirekt mått som används för att referera till ett begrepp då inget direkt mått finns tillgängligt. Validitet hos enskilda indikatorer i systemet, t ex indikatorn delaktighet och inflytande i äldreomsorgen? (andel nöjda brukare med hänsyn till åsikter och önskemål, delaktighet utformningen av genomförandeplan). Validitet hos indikatorer i fht till nationella (och lokala) mål? Vad vill lokala politiker? Validitet hos ÖJ som system? Vad mäts, vad mäts inte? Enskilda indikatorer som tas ur sitt sammanhang och sätts i ett nytt. God datakvalitet handlar inte bara om måttens konstruktion, utan också om hur data registreras och samlas in (brukarenkät och kommunenkät).
Är ÖJ en plausibel lösning på de problem som är motivet till systemets existens? Kan ett uppföljningssystem som ÖJ bidra till att höja kvalitet och effektivitet i vård och omsorg samt öka likvärdighet mellan kommuner och enheter? Vad vet vi om denna fråga genom forskning och utvärdering? Frågor om performance measures och performance management har uppmärksammats sedan 1950-talet av forskare inom flera olika ämnen. Internationell litteraturen i ämnet är mycket omfattande, men uppvisar en sammansatt bild av mätandets möjligheter och problem. 3-4 studier om Öjs användning gjorda på uppdrag av SKL och Socialstyrelsen.
Några erfarenheter av ÖJ:s användning i tre västsvenska kommuner: I två kommuner har ÖJ fått en mycket stark ställning, i den tredje är ÖJ en kunskapskälla av många. Politikernas intresse för äldreomsorgens kvalitet har ökat, men intresset är på ett ytligt plan. Bryr sig om mätresultatet är rött, grönt eller gult inte vad en indikator mäter. Liten förståelse för datakällorna. Rutiner har etablerats för inregistrering av data och i viss mån för kommunicering av resultat. Befintliga mål har kompletterats eller ersatts av mål som är härledda ur ÖJ:s indikatorer. Målanpassningen innebär i vissa fall en nivellering mot genomsnittet. Ex: Personaltäteten ska hålla en kvalitet i nivå med genomsnittet i ÖJ. Påtagliga tvivel till datas kvalitet: Hur kunde det bli så här?
Förespråkare och kritiker i forskning om performance measures Enighet hos forskarna om svårigheter med att konstruera valida kvalitetsindikatorer och om stora risker för perversa bieffekter. Oenighet om huruvida svårigheterna och riskerna kan åtgärdas eller minskas. True believers förespråkare Active doubters kritiker Pragmatic sceptics Lena Lindgren, m.fl.
Att leda och leva med ÖJ, I som pragmatisk skeptiker ÖJ behövs i dagens välfärdsstat med NPM och ännu mer bortom NPM. Kvalitetsmätning en trend som är här för att stanna. Vi måste lära oss att leva med den. Indikatorerna kan i vissa fall tjäna som underlag för styrning och ledning, men bör i huvudsak tas med en (stor) nypa salt. Jfr Socialstyrelsen och SKL som betonar att ÖJ är ett uppföljningssystem under utveckling. Det är inte perfekt (men 2014 ska det vara det). Jfr SKL:s handbok som betonar att handboken är en ständigt pågående process, och att kvalitetssäkring av data alltid måste ske.
Att leda och leva med ÖJ, II Kvalitetssäkra data inför inrapportering (SKLs handbok). Då är det så dags. Vad är det för mening att kvalitetssäkra inför inrapportering om indikatorerna inte är eller uppfattas vara valida mått på kvalitet? Och om ingen annan kommun/enhet kvalitetssäkrar inför inrapportering? Kreativ bokföring mycket vanlig och mänsklig - företeelse. Det är oerhört viktigt att ha kunskap om den tekniska beskrivningen av en indikator, dess datakälla och felkällor. Läs noga Socialstyrelsens metodbilagor för ÖJ! Men om vi inte kan lita på ÖJ, är det värt allt det arbete som kommunerna lägger ner och den oro som såväl inregistrering som rapportering skapar?
Att leda och leva med ÖJ, III Jämför med rätt kommuner och med kommuner som har bäst resultat (SKL 2012) De gröna, gula och röda plupparna är förrädiska vid jämförelser. Någon är alltid grön då systemet är relativt. En kommun kan ha också förbättrat sig men får sänkt resultat därför att andra förbättrats mer. Borås bäst i landet på hjärtsjukvård?
Indikatorerna kan användas förnuftigt, bara man inser att: De är just indikatorer - något smått som mäter något stort. De beskriver ett uppnått tillstånd, men förklarar inte varför. Kommunen själv måste prioritera bland indikatorerna och bestämma deras standard (målvärde), Det är skillnad på kvalitetsindikatorer och kvalitetsstyrning, ÖJ kan vara en del av styrningen, men det krävs även annat underlag. Vad vill vi med äldreomsorgen, missbruksvården i vår kommun? Erka nn organisationens politiska dimension. ÖJ får inte vara ett saẗt att fly sitt ansvar!
http://www.youtube.com/watch?v=nixov9vhr HE Robert D. Behn, Professor vid J F Kennedy School of government (Harvard). Förmodligen världens mest kända forskare när det gäller ledning och styrning av offentliga verksamheter. Performance measures.
Forskning på gång även i Sverige Utvärderingars konsekvenser för grundskolans praktik (VR 2011-2014). Institutionen för tillämpad utbildningsvetenskap, Umeå universitet i samarbete med Förvaltningshögskolan, Göteborgs universitet. Granskningars (tillsyn och ÖJ) konsekvenser för äldreomsorgens praktik. (FAS 2013-2015). Institutionen för socialt arbete, Umeå universitet, i samarbete med Förvaltningshögskolan, Göteborgs universitet.