Utvärderingsmonstret - nu lite tröttare, men fortfarande glupskt. Lena Lindgren 13 oktober 2015

Relevanta dokument
Utvärdering av välfärdsarbete - utmaningar och möjligheter. Lena Lindgren 28 augusti 2014

Granskningssamhällets olika former en översikt och jämförelse

GÖTEBORGSREGIONENS KOMMUNALFÖRBUND

Kan kvalitet mätas? Lena Lindgren Förvaltningshögskolan, Göteborgs universitet

Kvalitetsarbete en nödvändig ritual? Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet

Utvärdering i kritisk belysning

Utvärderingsmonstret. Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet/ FoU i Väst-GR. lena.lindgren@spa.gu.se

Utvärderingens institutionalisering och drivkrafter. Möjligheter och problem, inkl. mysteriet med utvärderingsmonstret.

Utvärderingssamhället att granska och bli granskad

En kritisk betraktelse av öppna jämförelsers användning och nytta i äldreomsorgen

Granska. Det är en god vana att då och då ifrågasätta saker och ting som man i åratal har tagit för givna. (Tyskt ordspråk) Informera.

Ekonomichefer och styrning

Öppna Jämförelser - Hot eller möjlighet? Daniel Örnberg Utvecklingsledare, FoU Välfärd

Systematiskt kvalitetsarbete i skolan. Analys av programteori

Varför granskar och rapporterar vi så mycket? Om konsekvenser av New Public Management. Anders Ivarsson Westerberg, Docent, Förvaltningsakademin

Öppna jämförelser: Ett styrmedel i tiden eller hur kunde det bli så här?

Individuell prestationsbaserad lön inom det offentliga: Teori och Praktik. 24 april Teresia Stråberg IPF AB

Hur ska all denna utvärdering och analys (och forskning) kunna användas?


Intern kvalitetsgranskning Särskilt boende 2012

Kvalitet inom äldreomsorgen

Intern kvalitetsgranskning Ordinärt boende 2012

Riktlinjer för systematiskt kvalitetsarbete för Verksamhetsstöd vid Högskolan i Borås

UTVÄRDERING: TEORI, PRAKTIK OCH INSTITUTIONELLA FÖRUTSÄTTNINGAR. Det svenska politiska systemet Bo Persson

Kvalitet och verksamhetsutveckling

Ny styrning bortom New Public Management

ATT GÖRA RÄTT I SKOLAN CAROLINE RUNESDOTTER, INSTITUTIONEN FÖR PEDAGOGIK OCH SPECIALPEDAGOGIK GÖTEBORGS UNIVERSITET

Barn och unga i fokus i IVO:s tillsyn Personalen frågade mig vad jag behövde, vad jag mådde bra av och vad jag hade för drömmar.

Plan fö r systematisk uppfö ljning av va rd- öch ömsörgsverksamheter

Kvalitetsgranskning och verksamhetsuppföljning

Vilka resultat presterar Vetlanda kommun?

Kvalitetsrapport hemtja nst

Marknadisering i svensk äldreomsorg

Går det att bekämpa korruption med tillit?

Respekt för människors egen vilja och integritet. Se till individuella behov och önskemål. Delaktighet för brukare/vårdtagare och personal

Morten Sager Fil Dr och lektor i vetenskapsteori Koordinator för masterprogrammet i evidensbasering.

Kvalitetsarbete i förskolan

Det professionella perspektivet Dokumentation Uppföljning/utvärdering. - begrepp och möjliga tillvägagångssätt. Elisabeth Beijer

LEDARSKAP I KOMPLEXA ORGANISATIONER

Riktlinje. Våga vilja växa! Riktlinje för kommunövergripande styrdokument. Dokumentet gäller för samtliga förvaltningar DIARIENUMMER: KS 28/

Kvalitetsdeklaration Personlig Assistans

Vilka resultat presterar Vetlanda kommun?

Sammanfattning. intervjustudie om verksamhetsstyrning i den svenska äldreomsorgen

Samhällets legitima intressen vs. verksamhetens excellens Foto: Elisabet Ahlqvist, KB

Förtroendevald revisor i regionens stiftelser

Hur fångar man kvalitet i högre utbildning?

Kvalitetsledningssystem för Socialnämnden i Timrå kommun Utgångspunkter, ansvar och processer

Barn- och ungdomsförvaltningens resultatdialog

Extern kvalitetsgranskning

Kvalitetsberättelse för område Vård och omsorg

Vetenskaplig grund beprövad erfarenhet och evidens i praktiken

Kvalitetsgranskning vid besök i verksamhet

Chefens uppdrag. - att ha fokus på resultaten!

Myndigheters organisering för utvärdering inom vård och omsorg i en komplex värld. Vårdanalys Cecilia Stenbjörn, Stockholm, 20 oktober 2017

Blev grisen fetare? Informationsstyrning inom psykiatrisk vård: utvärdering, indikatorer & mätning.

Sammanställning av öppna jämförelser Vård och omsorg om äldre Dnr SN19/61-519

Anbud, privatisering, söka om sitt jobb, styckepris

Utmaningar frågeställningar 1. och 2. Små underlag/ kvalitet i data

Socialdepartementet. REMISSVAR Dnr / (5) Telefon

SKA-lyftet. Planering av systematiskt kvalitetsarbete i förskolor, skolor och fritidshem

Välkomna till Handleda vidare På uppdrag av Skolverket

Kvalitetsindikatorer som underlag för val. Helsingfors 22 maj Emma Vintemon, Sveriges Kommuner och Landsting

Är olikheter och variation inom äldreomsorgen ett problem?

Kvalitetsdeklaration Individ- och familjeomsorg

Hur bra är Ulricehamns kommun?

Skolverkets stöd för skolutveckling

- Förskolan skall, varhelst den anordnas, arbeta för att nå de mål som ställts upp för den pedagogiska verksamheten.

Strategisk inriktning

Målmedveten satsning på aktionsforskning i Varberg

Slutrapport Kvalitetsmål för sektorerna Arbetsliv och Stöd samt. Vård och Äldreomsorg (Dnr KS2010/1880)

Agneta Lantz

Rev. Revisionsplan Antagen av Solna stads revisorer

Att beskriva och bedöma behov med ICF inom äldreomsorgen

Ämne Kvalitetssäkrad välfärd Stockholm 22 januari Peder Ellison Omsorgsdirektör Linköping

Om vikten av att mäta rätt saker och sätta dem i sitt lokala sammanhang SKL 8.11

K v a l i t e t s p o l i c y Antagen av kommunfullmäktige

Attendo presenterar branschens första kvalitetsbokslut

Kvalitetssäkring. Annika Asplind och Lena Svensson

Ny skollag och reviderad läroplan VAD HAR HÄNT? Perspektiv på förskolans utveckling, uppdrag och förskollärarens utökade ansvar

Riktlinjer för tillsyn av fristående förskola, fritidshem och annan pedagogisk verksamhet

FORTE:s hearing. 3 oktober 2017

Bibliotekariens praktiska kunskap vägen dit. Kumla 4 oktober 2016

Revisor i samordningsförbund enligt lag om finansiell samordning av rehabiliteringsinsatser.

Ledning och styrning - Historisk resumé och trender. Sven Siverbo

Hur ligger Kungälv till i förhållande till 160 andra kommuner?

Regionfullmäktiges ansvarsprövning och Revisorskollegiets uppdrag

Certifiering är lösningen!

Det komplicerade och problematiska kvalitetsbegreppet Vad innebär r kvalitet? Lena Lindgren. Välkommen!

KOMMUNENS KVALITET I KORTHET 2018

Utveckling av livsmedelskontrollen - ett inspel från Swedac till regeringens arbete med att forma en livsmedelsstrategi.

Våldsutsatta kvinnor och barn som bevittnat våld. Nationell tillsyn Hur ser det ut?

SKI KDS (KunskapsDelningsSeminarium)

Ledningen i fokus - starkare styrning krävs för att utveckla statlig verksamhet med bra och säkra IT-/e-tjänster

Välkommen till Skolverkets konferens om. Vetenskaplig grund beprövad erfarenhet och evidens i praktiken

Öppna jämförelser äldre Indikatorer - urininkontinens

LEDARSKAP I KOMPLEXA ORGANISATIONER

Tillitsdelegationen. Tillit i styrningen

Trygg och säker vård i Östergötland Arbetet inom HVB-nätverket

Awiljas kvalitetsberättelse för personlig assistans för år 2017

Transkript:

Utvärderingsmonstret - nu lite tröttare, men fortfarande glupskt Lena Lindgren 13 oktober 2015

Agenda Granskningssamhället och utvärderingsmonstret Uppföljning, utvärdering, tillsyn och revision - likheter och skillnader Liten bensträckare Kvalitet ett ord vi inte tycks få nog av men vad är det? Kvalitetsmätandets ideala programteori Kvalitetsmätandets problematiska programteori En ny förvaltningspolitik i sikte?

I en bokhandel nära dig.

Utvärderingsmonstret och granskningssamhället är här. Hur märks det? Förstärkt tillsyn Systematiskt kvalitetsarbete Evidensrörelsen Utvärderingsmyndigheter Mål- och resultatstyrning New Public Management Öppna jämförelser Bortom NPM Kvalitetsparagrafer Nationellt fackspråk Nationella riktlinjer

Få kommer undan

..och de granskade gör sig granskningsbara Att vara föremål för granskning innebär ett omfattande arbete. Läsa på, underlag, dokumentation, självvärdering, besöksplanering. Torrsim på Högskolan i Borås (och andra ställen). Michael Power: audit trails to facilitate audit Stephen Ball (2003) The teacher s soul and the terrors of performativity. Lärare organiserar sitt arbete i förhållande till riktlinjer, indikatorer och lämnar sina professionella övertygelser och engagemang därhän. och själva granskningen juridifieras.

Granskning som familjenamn Uppföljning, utvärdering, tillsyn, revision, etc. Ett kluster av närbesläktade aktiviteter som överlappar varandra utan att vara identiska. Alla handlar om att på ett strukturerat sätt beskriva och värdera en verksamhet för olika ändamål. Verksamhetsutveckling, kontroll/ansvarsutkrävande, evidens. Givet denna kärna varierar utvärderingens karaktär mellan, men också inom olika former av.

Granskningsformer: Uppföljning och utvärdering Löpande övervakning enligt fasta rutiner för att följa hur en verksamhet utvecklas i på förhand bestämda (viktiga) avseenden. Kvantitativ information i form av statistik, indikatorer. Befintliga databaser och/eller kontinuerliga enkätundersökningar till brukare, personal etc. Bedöma värdet och nyttan av någonting kräver kriterier för bedömning av vad som är bra. Systematisk (vetenskaplig) informationsinsamling, men olika uppfattning vad vetenskaplig innebär.

Granskningsformer: Revision och tillsyn Oberoende granskning att en organisations redovisning och förvaltning följer de normer som gäller för verksamheten. Oberoende granskning för att kontrollera om ett tillsynsobjekt lever upp till krav preciserade i lagar och regler. Redovisningsrevision Effektivitets- eller förvaltningsrevision Riksrevisionen, kommunrevision. Ibland ingår rådgivning för att främja följsamhet till lagstiftning. Leder fram till bedömningar som tillsynsobjekten är skyldiga att anpassa sig till. Formella befogenheter varierar.

Likheter och skillnader - facit Utvärdering Någons beslut om utvärdering. Varierande frihetsgrader. Deskription, preskription. Tillsyn Lagar, förordningar, föreskrifter, riktlinjer. Jfr Skolinspektionens kvalitetsgranskning. Revision God redovisningssed och effektivitet (dvs. produktivitet och måluppfyllelse). Kvalitetsmätning och ranking På förhand bestämda aspekter som definierats i mätbara termer.

Likheter och skillnader kunskap Utvärdering Från hotellenkäter till experimentella studier. Evidenshierarki. Logiken i politik/verksamheter kan ifrågasättas teorifel. Tillsyn Objektivitet förutsätts, men regler kräver tolkning. Jfr IVO:s policy om bedömningskriterier. Revision Oberoendet sägs ge objektivitet, men Någon har formulerat god redovisningssed och effektivitet kräver tolkning. Kvalitetsmätning och ranking Val av indikatorer/mått styr perspektiv. Någon bestämmer vad som mäts och hur. Beskriver vad som synes ske, men förklarar inte varför.

Likheter och skillnader - konsekvenser Utvärdering Lämnar förslag. Omfattande diskurs om användning. Tillsyn Bindande krav, men tillgängliga sanktionsmöjligheter påverkar vad som sker. Diskussion om effektiva tillsynsformer. Revision Kan rikta anmärkningar och föreslå i)att förändringar genomförs, och ii) att inte ansvarsfrihet beviljas. Sällan det sker. Kvalitetsmätning och ranking Användning är upp till de granskade organisationerna, men offentlig publicering genererar naming and shaming.

Likheter och skillnader - granskaren Utvärderaren Tillsynaren http://www.ivo. Kvalitetsstrategen Revisorn En mycket oansenlig man med revisorsutseende; komplett med stora glasögon, och mager hårväxt, klanglös röst och dryg uppsyn

Socialtjänst, en relativ nykomling på utvärderingsarenan Brukare Strukturerad dokumentation Systematiska bedömningsinstrument Individuella genomförandeplaner Kommun och enheter System Internationellt Systematiskt kvalitetsarbete Tillsyn (IVO) Kommunal revision Lokala/interkommunala FoU-enheter Lokala uppföljnings- och utvärderingssystem Nationell statistik om socialtjänsten Analyser, utvärderingar (SoS, Vårdanalys) Öppna jämförelser, brukarundersökningar (SoS, SKL) Kolada (SKL) Health Data (OECD) Social Indicators (OECD) Common Assessment Frameworks (EU)

Expertgruppen för kvalitet i välfärden Företagen inom vård, skola och omsorg bör arbeta för att sätta branschstandarder för god kvalitet, i samarbete med övriga aktörer där det är tillämpligt Särskild oberoende organisation utanför det egna företaget för att ta emot klagomål, etc. Kvalitetspremie till skolor baserad på nationella prov.

Några drivkrafter Från regelstyrning till resultatstyrning och återreglering i efterhand. Modern kvalitetsteknik inom industrin. IT-utveckling med gigantiska möjligheter att lagra och kommunicera ett ett ökat flöde av information. New Public Management-tänkande, inkl. mätsystem, kundorientering och kundval. Privata driftsformer kräver ökad granskning i en omfattning som inte förutsågs och som vi ännu inte sett slutet på. Misstroende institutionaliseras via NPM och granskningssamhället.

Alla pratar om kvalitet som om dess innebörd vore given Hur skulle någon kunna motsätta sig kvalitet? Det vore ju att visa sig dum eller olämplig för sitt ämbete (Lena Säll 2005)

Kvalitet - ett tomt begrepp som måste fyllas med innehåll (av någon) Någontings (verksamhetens) beskaffenhet, egenskaper. Strukturkvalitet = vad en verksamhet har (förutsättningar) Processkvalitet = vad en verksamhet gör (aktiviteter). Resultatkvalitet = vad brukaren får (prestationer, effekter). Att definiera kvalitet är ett värdemässigt ställningstagande. Vilka egenskaper ska mätas? Teoretisk definition? Operationalisering Datakälla

Kvalitetsmätandets ideala programteori Förutsättningar Valida indikatorer som mäter kvalitet. Aktiviteter Kvalitet mäts och registreras. Resultatet av mätningen kommuniceras och analyseras. Effekter What gets measured gets done. Bättre styrning. Benchmarking och konkurrens. Produktivitet, effektivitet, likvärdig service. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Saving the world with performance measures

Men djävulen döljer sig i detaljerna och det finns inga entydiga belägg för att kvalitetsmätning gör verksamheter bättre, men vi tror så. Jfr Skolinspektionen, IVO, m fl som inspekterar om vi har ett systematiskt kvalitetsarbete.

Kvalitetsmätandets problematiska programteori Förutsättningar En främmande diskurs Oklara mål och målträngsel Aktiviteter Bara det mätbara mäts Osäkra effektmått och samband Mått är politiska konstruktioner Skiftande tolkningar och kreativ bokföring Effekter Diffus eller ingen användning Indikatorfixering Tröskeleffekter och standardisering De-professionalisering Panopticon

Problematiskt redan från start En främmande management-diskurs Kvalitet hos tjänster är något annat än varor. Bilar av märket Toyota Yaris av en viss årsmodell är identiska, men inte behandlingar i vården eller morgonsamlingar i förskolan. Tjänster kan inte som varor produceras, kontrolleras, lagras och tas fram när en kund uppenbarar sig. Bilar och andra varor lider inte, känner ingen smärta, mår illa eller känner oro eller ångest. Tjänsters kvalitet påverkas i mycket högre grad än varors av hur man får den, inte bara vad man får.

Utformning av valida kvalitetsmått 1. Vilka mål ska följas upp/utvärderas? Ex. Äldre ska åldras i trygghet med bibehållet oberoende och med. 2. Hur kan trygghet definieras teoretiskt? Känsla av välmående och säkerhet. 3. Hur ska trygghet mätas? 4. Vilka data/dokumentation ska användas? Varje definition av kvalitetsmått innebär att man fokuserar på vissa saker och bortser från andra. Vilka mått väljer/väljer vi bort? Vem väljer vad som mäts? KKiK? Öppna jämförelser? Svenskt Näringsliv?

Kvalitet mäts och registreras Resultatet av mätningen kommuniceras och analyseras Bara det mätbara mäts, t.ex. andel äldre med genomförandeplaner, NKI. Osäkra resultatmått, samband mellan indikatorer tas för given. Ex. legitimerade lärare ökad utbildningskvalitet, fler godkända. Skiftande tolkningar och kreativ bokföring, t ex patienter på vårdcentralen, kokmöjligheter på demensboenden, ambulansköer utanför akuten. Analys kräver statistisk kompetens och insikt i verksamheters vardag, att bara bry sig om gröna, gula och röda pluppar räcker inte.

Resultatet av mätningen används Användning tas för given, men är det så i praktiken? The knowing-doing gap, skyltfönsterbeteende Verksamhetsutveckling? Kontroll, styrning, ansvarsutkrävande?

Användning hos 3:s mobilsupport

och på Coop i Skottland Hur nöjd är du med den tid det tog för dig att få betala dina varor i kassan? 1 = Mycket nöjd. 2 = Ganska nöjd. 3 = Inte nöjd. 4 = Missnöjd, kommer inte tillbaka till Coop.

Perversa bieffekter Måtten blir mål Ex. alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. Ex. PISA har blivit synonymt kvalitet i länders utbildningssystem. Standardisering, innovation och kreativitet hämmas Ex. gosedjursprojekt upphör. Ex. lärare inriktar sin undervisning på nationella prov på bekostnad av ämnesöverskridande studier och kreativitet som inte går att mäta. Nivellering mot genomsnittet Ex. Äldreomsorgen i kommun X ska hålla en kvalitet i nivå med genom snittet i Öppna jämförelser.

De-professionalisering Organisationsvärden prioriteras när kvalitet styrs utifrån och uppifrån. Professionsvärden tonas ner när kvalitet som bygger på fortlöpande intern kontroll och utgår från tillit till den professionella. När kvalitetssystem som utgår från organisationsvärden etableras och används kan professionella reagera med misstro och kanske börja tvivla på sin egen professionalitet. Kvalitetsmått kan m.a.o. hämma professionaliteten i en verksamhet.

Ny styrning av välfärden? De senaste decenniernas styrning, som inspirerats av New Public Management, har lett till en ökad administrativ börda och att yrkesprofessionernas roll försvagats. Denna utveckling vill regeringen vända. Målet är att välfärdsprofessionernas kunnande och yrkesetik ska bli mer vägledande, säger civilminister Ardalan Shekarabi.

Ta makten över ert eget kvalitetsarbete, annars gör någon annan det!