Kan kvalitet mätas? Lena Lindgren Förvaltningshögskolan, Göteborgs universitet

Transkript

1 Kan kvalitet mätas? Lena Lindgren Förvaltningshögskolan, Göteborgs universitet

2

3 Dagordning Utvärderingsmonstret är här! Hur märks det? Mysteriet med utvärderingsmonstret: Saving the World, or Paving the Road to Hell? Hur ska vi handskas med monstret? Största möjliga hänsyn och anpassning, eller bättre kunskap och kritiskt förhållningssätt? Tillnärmelser vid kvalitetsmätning, exempel från svensk folkbildning.

4 Hur märks utvärderingens institutionalisering? Lagar, regler och praxis med krav på resultatorientering. Kvalitet ett begrepp vi inte tycks kunna få nog av. Krav på evidensbaserad praktik och policy. EU-projekt kräver utvärdering i alla led. Utvärderingsenheter inom myndigheter. Utvärderingsorgan inom sektorer. Tillsynsfunktionen ökar och skärps. Akademisk diskurs, föreningar och nätverk. Utvärdering en ny profession? Master of Program Evaluation Ramböll, Faugert & Co, Eurofutures, AB Konkludo

5 ..i skolan Skolplan ska finnas i alla kommuner Lokal arbetsplan för alla skolor Kvalitetsredovisning i varje skola och kommun Allmänna råd för kvalitetsindikatorer 500 variabler till SCB Många kommuner har egna kvalitetssystem Kvalitetsindikatorer som byggs in i kontrakt Skolinspektionen Individuella utvecklingsplaner????

6 Mysteriet med utvärderingsmonstret Information utan tydlig användning samlas in och rapporteras ritualmässigt. Hur utvärdering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Utvärdering har inte bevisat sin egen affärsidé. Utvärdering protected discourse. The performance paradox.

7 Från utvärdering till uppföljning och kvalitetsindikatorer Utvärdering skedde tidigare vid enstaka tillfällen, inför avgörande politiska beslut och utfördes som regel av externa experter. Idag har utvärdering allt mer blivit en regelbundet återkommande, intern aktivitet som utförs av tjänstemän inom berörda myndigheter. Hårda uppföljningssystem allt vanligare med föreskrivna nyckeltal och kvalitetsindikatorer som definierar vad som är viktigt att mäta.

8 Performance measures: kvalitetsindikatorer på svenska Mått/indikatorer på en verksamhets resultat (prestationer och/eller effekter) - resultatmått med andra ord. Svensk förvaltningsprosa - kvalitet och kvalitetsindikatorer. Kvalitet kan mätas i alla led i en verksamhet. Jfr NVL (och Skolverket): strukturkvalitet, processkvalitet och resultatkvalitet. Det finns ingen bra översättning - KRM.

9 Kvalitet, ett begrepp vi inte tycks få nog av. Men vad är egentligen kvalitet? Socialtjänst, skola, högskola, hälso- och sjukvård, FK, folkbildning. När jag läser en dikt och håret reser sig på mitt huvud, då vet jag att den dikten är bra (E Dickinson) Antal inslag/cm eller att tyget känns behagligt mot huden? (L Lindgren) Varför har man i så hög grad börjat använda sig av ordet kvalitet? Varför inte helt enkelt säga att något är bra? en rörelse mot ökade anspråk på objektivitet (B Brulde)..menar man verkligen att den service man erbjuder har kvalitet därför att kunderna är nöjda? (Brulde igen)

10 Terminologi Kvalitet önskvärda egenskaper hos en produkt eller tjänst. Kan avse alla led i verksamheten, men stark resultatorientering. Kvalitetsindikatorer - operationella definitioner som indirekt visar på förekomst eller tillstånd av önskvärda egenskaper. Något smått som representerar något stort. Kvalitetsegenskaper är ofta kopplade till verksamhetens mål, dvs hur något målobjekt (individ, organisation, samhälle) ska bli eller vara. Indikatorer kännetecken på måluppfyllelse. Objektiva och subjektiva indikatorer.

11 Metautvärdering utvärdering av utvärderingar För att skapa översikt över kunskap och sammanställa resultat För att bedöma utvärderingars kvalitet För att undersöka utvärderingars funktion och användning För att uppskatta utvärderingars nytta Metaanalyser och kunskapsöversikter Evidensrörelsens bidrag

12 Programteori utvärderingens nyckelinstrument Uppfattningarna av vad man vill uppnå med de åtgärder som vidtas, samt hur man tänker sig att med hjälp av åtgärderna kunna förverkliga detta. Hjälper utvärderare/ansvariga att skapa överblick och förståelse för något som ska utvärderas, eller när ett kvalitetssystem ska etableras/ förbättras. Också användbart i viktiga privata sammanhang..

13 En generell programteori Förutsättningar Processer Allt som går in i en verksamhet Vad som görs för att åtgärda ett givet problem R E Prestationer De direkta produkterna av processerna. S U L Effekter Den skillnad som processer/prestationer T gör för ett målobjekt (person, organisation A samhälle). T

14 Kvalitetsmätandets ideala programteori Förutsättningar Processer Effekter Mål och delmål formuleras i valida och mätbara termer. Kvalitet mäts, registreras och rapporteras. Måtten används för verksamhetsutveckling, kontroll och styrning. Ökad inre effektivitet (produktivtet, rätt sätt). Ökad yttre effektivitet (måluppfyllelse, rätt saker). Bättre beslutsunderlag. Ansvarsutkrävande underlättas. Ökad legitimitet från medborgarna. Saving the world

15 Kvalitetsmätandets problematiska programteori Förutsättningar Genomförande- och användningsproblem Perversa bieffekter Främmande diskurs OSMARTA mål och målträngsel Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar och kreativ bokföring Oklar användning "Teaching to the test, creaming, tunnel vision Måtten blir mål Innovation motverkas, verksamheter förstelnas Avprofessionalisering "Panopticon Minskad total effektivitet Paving the road to hell

16 If you know that others are constantly watching your silhouette, then you are highly likely to spend your time watching your shadow (Roy Batterham 1994)

17 Det finns anledning att vara skeptisk, men.. Hur kan vi försvara en verksamhet utan att ha tillförlitliga belägg för att den har förväntad kvalitet och leder till avsedda resultat? Hur kan vi fortsätta hävda att en verksamhet tillför eleverna/ brukarna, klienterna/patienterna/samhället någonting om vi inte kan visa att så sker och hur detta sker?

18 Problemens lösningar, enligt förespråkarna Problemen beror på konstruktions- och användningsfel Skapa konsensus kring mål och mått Utveckla mått med hjälp av programteori Försäkra sig om hög validitet i förhållande till mål som mäts Klart och entydigt formulerade mått Mått som täcker in olika intressenters perspektiv Få mått som täcker in nyckelaspekter av målen Begränsa användningen, kvalitetsmätning får inte vara ett substitut för gott omdöme Användningen av kvalitetsmått bör vara känd för alla medarbetare så att ingen osäkerhet finns.

19 Problemens lösningar, enligt kritikerna Problemen är systemiska, de är inneboende i själva mätandet. De perversa bieffekter som kvalitetsmätandet producerar är normala mänskliga beteenden och reaktioner på den övervakning som mätandet innebär. Därför: Sluta mata utvärderingsmonstret. Se i alla fall över dess diet. Öka kunskapen om kvalitetsmätandets effekter och nytta.

20 Tillnärmelser vid kvalitetsmätning Programteori för att skapa samsyn om verksamhetens logik och om vad som är viktiga kvalitetsegenskaper. Programteori för att analysera vilken information/data som redan finns och vilka nya data som bör samlas in. Programteori som grund för att vetenskapligt pröva om de antaganden om orsak och verkan som är för handen stämmer med verkligheten. Ger ett kunskapsbaserat kvalitetssystem.

21 Programteori för att skapa samsyn om verksamhetetens logik och lämpliga kvalitetsindikatorer Förutsättningar Processer Prestationer Deltagareffekter Samhällseffekter Stfb/fhs är fria och självständiga i fht. stat, kommuner och andra aktörer. Studierna är öppna för alla, men prioritet ges åt eftersatta grupper. Deltagandet är fritt och frivilligt, de väljer själva att delta samt innehåll/form. Ideologisk och/eller innehållsmässig profilering. Mångsidigt utbud, men av staten prioriterade områden uppmärksammas. Utgår från deltagarnas behov och erfarenheter. Vital interndemokrati råder. Antal aktiviteter av olika slag och antal deltagare. Deltagarnas uppfattning om verksamhetens genomförande. Riksomfattande, verksamhet bedrivs i alla kommuner. Ökade kunskaper och självförtroende. Ökade förutsättningar att påverka sin livssituation. Ökat intresse för delaktighet i kulturliv Ökat engagemang för att delta i samhällsutvecklingen. Minskade utbildningsklyftor. Höjd bildnings- och utbildningsnivå. Breddat kulturintresse- och delaktighet. Människor deltar i demokratin på så lika villkor som möjligt.

22 Grundstruktur för konstruktion av kvalitetsindikatorer Kvalitetsegenskaper Indikatorer Dataunderlag Förutsättningar Processer Prestationer Effekter Operationella indikatorer som är meningsfulla och praktiskt möjliga att använda som tecken på förekomst eller tillstånd av kvalitet. Empiriskt dataunderlag som behöver samlas in för att kunna registrera och (be-)visa förekomst eller tillstånd av kvalitet.

23 Förutsättning ar 1) Folkbildningskompetens 2) Jämställdhet & mångfald inom organisationen Andel utbildade cirkelledare/lärare Förekomst av individuell utvecklingsplan (fhs). Jämställdhets-/mångfaldsplan finns, används, ger resultat. Rapporteras årligen Rapporteras årligen Processer 3a) Interndemokrati för deltagare 3b) Interndemokrati i organisationen Andel deltagare som upplever att de har möjlighet att påverka. Planer och beskrivning för att säkerställa en fungerande interndemokrati finns, används, ger resultat. Deltagarundersökning, FBR? Årlig kvalitetsredovisning. Prestationer Verksamhetens omfattning & innehåll Befintlig statistik om arrangemangstyp, målgrupper, deltagare, ämnen etc (21/ 44 variabler rapporteras). Verksamhetsredovisning. Effekter 4a) Deltagaren som individ 4b) Deltagaren som medborgare Indikatorer formuleras utifrån: a) Folkbildniningens valideringskoncept; b) KASAM-begreppet Deltagarundersökning, FBR?; Utveckling av gemensam mall; Egna deltagarundersökningar

24 Programteori som grund för att vetenskapligt pröva hållbarheten i antaganden om orsak och verkan. Förutsättningar Om Processer Och om. Deltagareffekter Så.. Samhällseffekter Och så. Folkbildningskompetens Jämställdhet och mångfald i organisationen Interndemokrati för deltagare. Interndemokrati i organisationen Deltagaren utvecklas som individ Deltagaren utvecklas som medborgare Minskade utbildningsklyftor Höjd bildnings- och utbildningsnivå Breddat kulturintresse och deltagande Deltagande i demokratin sker på mer jämlik grund.

25 Men igen. Att utveckla kvalitetsindikatorer är en sak, att använda dem i praktisk verksamhet är en helt annan sak. Verksamhetsutveckling (egna behov, egna mål, god utveckling, bra process). Styrning och kontroll (enhetlighet, jämförbarhet, god kontroll, bra produkt). Kvalitetsindikatorer är sämre än ingenting om de inte kommer till användning, eftersom de tar tid och pengar från andra aktiviteter.