Utvärderingsmonstret - nu lite tröttare, men fortfarande glupskt. Lena Lindgren 13 oktober 2015

Transkript

1 Utvärderingsmonstret - nu lite tröttare, men fortfarande glupskt Lena Lindgren 13 oktober 2015

2 Agenda Granskningssamhället och utvärderingsmonstret Uppföljning, utvärdering, tillsyn och revision - likheter och skillnader Liten bensträckare Kvalitet ett ord vi inte tycks få nog av men vad är det? Kvalitetsmätandets ideala programteori Kvalitetsmätandets problematiska programteori En ny förvaltningspolitik i sikte?

3 I en bokhandel nära dig.

4 Utvärderingsmonstret och granskningssamhället är här. Hur märks det? Förstärkt tillsyn Systematiskt kvalitetsarbete Evidensrörelsen Utvärderingsmyndigheter Mål- och resultatstyrning New Public Management Öppna jämförelser Bortom NPM Kvalitetsparagrafer Nationellt fackspråk Nationella riktlinjer

5 Få kommer undan

6 ..och de granskade gör sig granskningsbara Att vara föremål för granskning innebär ett omfattande arbete. Läsa på, underlag, dokumentation, självvärdering, besöksplanering. Torrsim på Högskolan i Borås (och andra ställen). Michael Power: audit trails to facilitate audit Stephen Ball (2003) The teacher s soul and the terrors of performativity. Lärare organiserar sitt arbete i förhållande till riktlinjer, indikatorer och lämnar sina professionella övertygelser och engagemang därhän. och själva granskningen juridifieras.

7 Granskning som familjenamn Uppföljning, utvärdering, tillsyn, revision, etc. Ett kluster av närbesläktade aktiviteter som överlappar varandra utan att vara identiska. Alla handlar om att på ett strukturerat sätt beskriva och värdera en verksamhet för olika ändamål. Verksamhetsutveckling, kontroll/ansvarsutkrävande, evidens. Givet denna kärna varierar utvärderingens karaktär mellan, men också inom olika former av.

8 Granskningsformer: Uppföljning och utvärdering Löpande övervakning enligt fasta rutiner för att följa hur en verksamhet utvecklas i på förhand bestämda (viktiga) avseenden. Kvantitativ information i form av statistik, indikatorer. Befintliga databaser och/eller kontinuerliga enkätundersökningar till brukare, personal etc. Bedöma värdet och nyttan av någonting kräver kriterier för bedömning av vad som är bra. Systematisk (vetenskaplig) informationsinsamling, men olika uppfattning vad vetenskaplig innebär.

9 Granskningsformer: Revision och tillsyn Oberoende granskning att en organisations redovisning och förvaltning följer de normer som gäller för verksamheten. Oberoende granskning för att kontrollera om ett tillsynsobjekt lever upp till krav preciserade i lagar och regler. Redovisningsrevision Effektivitets- eller förvaltningsrevision Riksrevisionen, kommunrevision. Ibland ingår rådgivning för att främja följsamhet till lagstiftning. Leder fram till bedömningar som tillsynsobjekten är skyldiga att anpassa sig till. Formella befogenheter varierar.

10 Likheter och skillnader - facit Utvärdering Någons beslut om utvärdering. Varierande frihetsgrader. Deskription, preskription. Tillsyn Lagar, förordningar, föreskrifter, riktlinjer. Jfr Skolinspektionens kvalitetsgranskning. Revision God redovisningssed och effektivitet (dvs. produktivitet och måluppfyllelse). Kvalitetsmätning och ranking På förhand bestämda aspekter som definierats i mätbara termer.

11 Likheter och skillnader kunskap Utvärdering Från hotellenkäter till experimentella studier. Evidenshierarki. Logiken i politik/verksamheter kan ifrågasättas teorifel. Tillsyn Objektivitet förutsätts, men regler kräver tolkning. Jfr IVO:s policy om bedömningskriterier. Revision Oberoendet sägs ge objektivitet, men Någon har formulerat god redovisningssed och effektivitet kräver tolkning. Kvalitetsmätning och ranking Val av indikatorer/mått styr perspektiv. Någon bestämmer vad som mäts och hur. Beskriver vad som synes ske, men förklarar inte varför.

12 Likheter och skillnader - konsekvenser Utvärdering Lämnar förslag. Omfattande diskurs om användning. Tillsyn Bindande krav, men tillgängliga sanktionsmöjligheter påverkar vad som sker. Diskussion om effektiva tillsynsformer. Revision Kan rikta anmärkningar och föreslå i)att förändringar genomförs, och ii) att inte ansvarsfrihet beviljas. Sällan det sker. Kvalitetsmätning och ranking Användning är upp till de granskade organisationerna, men offentlig publicering genererar naming and shaming.

13 Likheter och skillnader - granskaren Utvärderaren Tillsynaren Kvalitetsstrategen Revisorn En mycket oansenlig man med revisorsutseende; komplett med stora glasögon, och mager hårväxt, klanglös röst och dryg uppsyn

14 Socialtjänst, en relativ nykomling på utvärderingsarenan Brukare Strukturerad dokumentation Systematiska bedömningsinstrument Individuella genomförandeplaner Kommun och enheter System Internationellt Systematiskt kvalitetsarbete Tillsyn (IVO) Kommunal revision Lokala/interkommunala FoU-enheter Lokala uppföljnings- och utvärderingssystem Nationell statistik om socialtjänsten Analyser, utvärderingar (SoS, Vårdanalys) Öppna jämförelser, brukarundersökningar (SoS, SKL) Kolada (SKL) Health Data (OECD) Social Indicators (OECD) Common Assessment Frameworks (EU)

15 Expertgruppen för kvalitet i välfärden Företagen inom vård, skola och omsorg bör arbeta för att sätta branschstandarder för god kvalitet, i samarbete med övriga aktörer där det är tillämpligt Särskild oberoende organisation utanför det egna företaget för att ta emot klagomål, etc. Kvalitetspremie till skolor baserad på nationella prov.

16 Några drivkrafter Från regelstyrning till resultatstyrning och återreglering i efterhand. Modern kvalitetsteknik inom industrin. IT-utveckling med gigantiska möjligheter att lagra och kommunicera ett ett ökat flöde av information. New Public Management-tänkande, inkl. mätsystem, kundorientering och kundval. Privata driftsformer kräver ökad granskning i en omfattning som inte förutsågs och som vi ännu inte sett slutet på. Misstroende institutionaliseras via NPM och granskningssamhället.

17

18 Alla pratar om kvalitet som om dess innebörd vore given Hur skulle någon kunna motsätta sig kvalitet? Det vore ju att visa sig dum eller olämplig för sitt ämbete (Lena Säll 2005)

19 Kvalitet - ett tomt begrepp som måste fyllas med innehåll (av någon) Någontings (verksamhetens) beskaffenhet, egenskaper. Strukturkvalitet = vad en verksamhet har (förutsättningar) Processkvalitet = vad en verksamhet gör (aktiviteter). Resultatkvalitet = vad brukaren får (prestationer, effekter). Att definiera kvalitet är ett värdemässigt ställningstagande. Vilka egenskaper ska mätas? Teoretisk definition? Operationalisering Datakälla

20 Kvalitetsmätandets ideala programteori Förutsättningar Valida indikatorer som mäter kvalitet. Aktiviteter Kvalitet mäts och registreras. Resultatet av mätningen kommuniceras och analyseras. Effekter What gets measured gets done. Bättre styrning. Benchmarking och konkurrens. Produktivitet, effektivitet, likvärdig service. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Saving the world with performance measures

21 Men djävulen döljer sig i detaljerna och det finns inga entydiga belägg för att kvalitetsmätning gör verksamheter bättre, men vi tror så. Jfr Skolinspektionen, IVO, m fl som inspekterar om vi har ett systematiskt kvalitetsarbete.

22 Kvalitetsmätandets problematiska programteori Förutsättningar En främmande diskurs Oklara mål och målträngsel Aktiviteter Bara det mätbara mäts Osäkra effektmått och samband Mått är politiska konstruktioner Skiftande tolkningar och kreativ bokföring Effekter Diffus eller ingen användning Indikatorfixering Tröskeleffekter och standardisering De-professionalisering Panopticon

23 Problematiskt redan från start En främmande management-diskurs Kvalitet hos tjänster är något annat än varor. Bilar av märket Toyota Yaris av en viss årsmodell är identiska, men inte behandlingar i vården eller morgonsamlingar i förskolan. Tjänster kan inte som varor produceras, kontrolleras, lagras och tas fram när en kund uppenbarar sig. Bilar och andra varor lider inte, känner ingen smärta, mår illa eller känner oro eller ångest. Tjänsters kvalitet påverkas i mycket högre grad än varors av hur man får den, inte bara vad man får.

24 Utformning av valida kvalitetsmått 1. Vilka mål ska följas upp/utvärderas? Ex. Äldre ska åldras i trygghet med bibehållet oberoende och med. 2. Hur kan trygghet definieras teoretiskt? Känsla av välmående och säkerhet. 3. Hur ska trygghet mätas? 4. Vilka data/dokumentation ska användas? Varje definition av kvalitetsmått innebär att man fokuserar på vissa saker och bortser från andra. Vilka mått väljer/väljer vi bort? Vem väljer vad som mäts? KKiK? Öppna jämförelser? Svenskt Näringsliv?

25 Kvalitet mäts och registreras Resultatet av mätningen kommuniceras och analyseras Bara det mätbara mäts, t.ex. andel äldre med genomförandeplaner, NKI. Osäkra resultatmått, samband mellan indikatorer tas för given. Ex. legitimerade lärare ökad utbildningskvalitet, fler godkända. Skiftande tolkningar och kreativ bokföring, t ex patienter på vårdcentralen, kokmöjligheter på demensboenden, ambulansköer utanför akuten. Analys kräver statistisk kompetens och insikt i verksamheters vardag, att bara bry sig om gröna, gula och röda pluppar räcker inte.

26 Resultatet av mätningen används Användning tas för given, men är det så i praktiken? The knowing-doing gap, skyltfönsterbeteende Verksamhetsutveckling? Kontroll, styrning, ansvarsutkrävande?

27 Användning hos 3:s mobilsupport

28 och på Coop i Skottland Hur nöjd är du med den tid det tog för dig att få betala dina varor i kassan? 1 = Mycket nöjd. 2 = Ganska nöjd. 3 = Inte nöjd. 4 = Missnöjd, kommer inte tillbaka till Coop.

29 Perversa bieffekter Måtten blir mål Ex. alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. Ex. PISA har blivit synonymt kvalitet i länders utbildningssystem. Standardisering, innovation och kreativitet hämmas Ex. gosedjursprojekt upphör. Ex. lärare inriktar sin undervisning på nationella prov på bekostnad av ämnesöverskridande studier och kreativitet som inte går att mäta. Nivellering mot genomsnittet Ex. Äldreomsorgen i kommun X ska hålla en kvalitet i nivå med genom snittet i Öppna jämförelser.

30 De-professionalisering Organisationsvärden prioriteras när kvalitet styrs utifrån och uppifrån. Professionsvärden tonas ner när kvalitet som bygger på fortlöpande intern kontroll och utgår från tillit till den professionella. När kvalitetssystem som utgår från organisationsvärden etableras och används kan professionella reagera med misstro och kanske börja tvivla på sin egen professionalitet. Kvalitetsmått kan m.a.o. hämma professionaliteten i en verksamhet.

31 Ny styrning av välfärden? De senaste decenniernas styrning, som inspirerats av New Public Management, har lett till en ökad administrativ börda och att yrkesprofessionernas roll försvagats. Denna utveckling vill regeringen vända. Målet är att välfärdsprofessionernas kunnande och yrkesetik ska bli mer vägledande, säger civilminister Ardalan Shekarabi.

32 Ta makten över ert eget kvalitetsarbete, annars gör någon annan det!