Utvärdering av välfärdsarbete - utmaningar och möjligheter Lena Lindgren 28 augusti 2014
Agenda Utvärdering eller granskning som familjenamn. Likheter och skillnader. Trängsel på utvärderingsarenan? Exempel från socialtjänsten. Mera granskning verksamhetsutveckling, eller MAD? Möjlighet 1: Håll isär granskning för kontroll och utveckling. Möjlighet 2: Tänk mer före. Möjlighet 3: Ta bort skiten!
I en bokhandel nära dig.
Utvärdering eller granskning som familjenamn Uppföljning, programutvärdering, tillsyn, revision, kvalitetsmätning, etc. Ett kluster av närbesläktade aktiviteter som överlappar varandra utan att vara identiska. Alla handlar om att på ett strukturerat sätt beskriva och värdera en verksamhet för olika ändamål. Verksamhetsutveckling, kontroll/ansvarsutkrävande, evidens. Givet denna kärna varierar utvärderingens karaktär mellan, men också inom olika former av.
Likheter och skillnader - värderingsgrund Utvärdering Någons beslut om utvärdering. Varierande frihetsgrader. Deskription, preskription. Tillsyn Lagar, förordningar, föreskrifter, riktlinjer. Jfr Skolinspektionens kvalitetsgranskning. Revision God redovisningssed och effektivitet (dvs. produktivitet och måluppfyllelse). Kvalitetsmätning och ranking På förhand bestämda aspekter som definierats i mätbara termer.
Likheter och skillnader typ av kunskap Utvärdering Från hotellenkäter till experimentella studier. Evidenshierarki. Logiken i politik/verksamheter kan ifrågasättas teorifel. Tillsyn Objektivitet förutsätts, men regler kräver tolkning. Jfr IVO:s policy om bedömningskriterier. Revision Oberoendet sägs ge objektivitet, men Någon har formulerat god redovisningssed och effektivitet kräver tolkning. Kvalitetsmätning och ranking Val av indikatorer/mått styr perspektiv. Någon bestämmer vad som mäts och hur. Beskriver vad som synes ske, men förklarar inte varför.
Likheter och skillnader - konsekvenser Utvärdering Lämnar förslag. Omfattande diskurs om användning. Tillsyn Bindande krav, men tillgängliga sanktionsmöjligheter påverkar vad som sker. Diskussion om effektiva tillsynsformer. Revision Kan rikta anmärkningar och föreslå i)att förändringar genomförs, och ii) att inte ansvarsfrihet beviljas. Sällan det sker. Kvalitetsmätning och ranking Användning är upp till de granskade organisationerna, men offentlig publicering genererar naming and shaming.
Likheter och skillnader - granskaren Utvärderaren Tillsynaren Kvalitetsstrategen Revisorn En mycket oansenlig man med revisorsutseende; komplett med stora glasögon, och mager hårväxt, klanglös röst och dryg uppsyn
Trängsel på socialtjänstens utvärderingsarena? Brukare Strukturerad dokumentation Systematiska bedömningsinstrument Individuella genomförandeplaner Kommun och enheter System Internationellt Systematiskt kvalitetsarbete Tillsyn (IVO) Kommunal revision Lokala/interkommunala FoU-enheter Lokala uppföljnings- och utvärderingssystem Nationell statistik om socialtjänsten Analyser, utvärderingar (SoS, Vårdanalys) Öppna jämförelser, brukarundersökningar (SoS, SKL) Kolada Health Data (OECD) Social Indicators (OECD) Common Assessment Frameworks (EU)
Allra mest intressant är dock Expertgruppen för kvalitet i välfärden Företagen inom vård, skola och omsorg bör arbeta för att sätta branschstandarder för god kvalitet, i samarbete med övriga aktörer där det är tillämpligt Särskild oberoende organisation utanför det egna företaget för att ta emot klagomål, etc. Kvalitetspremie till skolor baserad på nationella prov.
Utvärderingsmonstrets drivkrafter Från styrning inriktad på regler och procedurer till fokus på resultat. Målstyrning, mål- och resultatstyrning, resultatstyrning. Modern kvalitetsteknik inom industrin uppmärksammas. IT-utveckling med gigantiska möjligheter att lagra och kommunicera ett ett ökat flöde av information. New Public Management-tänkande, inkl. mätsystem, kundorientering och kundval. Privata driftsformer kräver ökad granskning i en omfattning som inte förutsågs och som vi ännu inte sett slutet på. Socialtjänst är en relativ nykomling på utvärderingsarenan.
Mera granskning verksamhetsutveckling Allmänt vedertagen tilltro till granskning som nyckelinstrument för verksamhetsutveckling och kontroll. Vem har hört talas om en verksamhet som är too accountable? Om verksamheter granskas regelbundet, så produceras kunskap om kvalitet och effektivitet, och så används dkunskapen av politiker, ledare, medborgare, och så främjar kontroll, ansvarsutkrävande och kvalitetsförbättringar. Motkrafter har börjat skönjas, bl.a: Akademisk diskurs sedan 1950-talet OECD:s rekommendationer, SOU om förslag på ramverk RiR:s personaldag, debatt om professioner
Mera granskning MAD Motstridiga förväntningar gör det svårt för verksamheter att prioritera, och förutse bedömningar och konsekvenser MAD (Multiple Accountability Disorder), uppstår när verksamheter följer förväntningar utan att reflektera över dem, eller försöker vara alla till lags. Förlorar till sist kontrollen över den egna verksamheten. Negativistiskt arbetsklimat när många olika granskare ständigt är på spaning efter fel och brister. Avprofessionalisering när (byråkratiska) ideal som är formulerade uppifrån driver ut yrkesprofessionalism där styrning och kontroll sker internt och fortlöpande.
Möjlighet 1: Håll isär granskning för kontroll och verksamhetsutveckling Enligt forskning om granskningars funktioner och dysfunktioner: Granskning (ss i form av mätning) leder till utveckling i high-stake situationer där det finns en tydlig och känd koppling mellan resultat och konsekvenser. De granskade reagerar naturligt med följsamhet till de indikatorer som mäts ( single-loop learning ). Leder till standardisering och att det som mäts blir gjort. Men samtidigt främjas performativity (manualbaserat arbete) och double-loop learning (omprövning, nytänkande) drivs ut.
Möjlighet 2: Tänk efter mera före Policys (reformer, program, metoder) är lösningar på sociala problem som behöver lösas eller förbättras. Ett policyproblem är aldrig entydigt as if problems sit outside the policy process, waiting to be addressed and fixed. Hur ett policyproblem framställs får konsekvenser för hur man ser på dess lösning. Jfr Björklunds skolreformer. Tänk på utvärdering som en möjlig lösning på ett policyproblem. Vad ska utvärderingen lösa? Hur kan utvärderingen lösa policyproblemet? Kan utvärderingen lösa policyproblemet? Om så, hur bör utvärderingen genomföras för att lösa policyproblemet?
Möjlighet 3: Ta bort skiten! We must ask ourselves just how much evaluation is necessary to improve the performance of schools and other public services. The dense and aggressive accountability industry has contributed to the erosion of public support for public institutions. Professionalism nedvärderas i den marknadsstyrda staten med sina enorma redovisningskrav. Quality, the most meaningsless and abused word of the past decade. Även om vi beaktar alla framgångsfaktorer om hur utvärdering bör gå till, så kan vi ändå inte vara säkra på att utvärderandet gör att verksamheter utvecklas och politiker och ledare fattar bättre beslut.