Utvärdering granskning Utvärderingens institutionalisering och drivkrafter Kvalitet ett lömskt men populärt begrepp Möjligheter och problem, inkl. mysteriet med utvärderingsmonstret. Idéer för utvecklingsarbete Diskussion
Utvärdering innebär att systematiskt beskriva och värdera en verksamhet. Många olika aktiviteter har utvärderande element, men varierande kontext. Utvärdering, uppföljning, kvalitetsarbete, tillsyn, revision mm. Granskning som ett paraplybegrepp. Granskning kan utföras av olika interna och/eller externa aktörer, genomföras regelbundet eller vid enstaka tillfällen och kan ske med eller utan den granskades samtycke.
Fokus i förvaltningspolitiken har de senaste 10-15 åren flyttat sig från politikens inflöde där planering spelar en betydelsefull roll, till politikens utflöde där uppföljning, utvärdering, tillsyn och revision är viktiga aktiviteter. Internationell trend from studies to streams. Quality assurance, evidence-based practice, what works, value for money, performance measures/management, accountability for results. Öppna jämförelser i Sverige.
Det räcker inte längre med bara goda avsikter och eggande visioner. Offentliga verksamheter måste leverera, uppvisa verkliga resultat. Resultat inte som förr bara prestationer utan även effekter. För att kunna visa resultat krävs uppföljning och utvärdering.
Mera marknad och valfrihet i offentliga sektorn. Konkurrens eftersträvas mellan privata och offentliga producenter och mellan olika offentliga producenter. Medborgare är kunder/brukare. För att vi ska kunna välja krävs information om kvalitet och resultat i tillgängligt format (databaser). I botten en liberal människo- och samhällssyn. Beslutsfattare/ledare behöver information som underlag för styrning och utveckling, och jämförelser nationellt och internationellt. Allmänt krav på mera granskning för att hantera misstroende, för att se om allt verkligen står rätt till i den offentliga sektorn. Det sista gäller dock inte hovet
Offentlighet, insyn, allmänna val. Statliga kontrollorgan (RiR, JO, JK, Statskontoret, ESV). 15 myndigheter har utvärdering som huvuduppdrag (BRÅ, Sadev, SBU, Skolverket/Skolinspektionen). 28 myndigheter har särskild organisatorisk enhet för utvärdering (Sida, MSB, Försäkringskassan, HSV, Folkbildningsrådet). Alla myndigheter har utvärdering i sitt uppdrag. Kommungranskande aktörer.
Målstyrning med (alltmer) utvärdering som kitt. Skolverket och Skolinspektionen (tillsyn och kvalitetsgranskning). Skolplan ska finnas i alla kommuner, lokal arbetsplan för alla skolor Kvalitetsredovisning i varje kommun och skola. IUP (med betygsliknande omdömen). Allmänna råd för kvalitetsindikatorer. 500 (?) variabler till Skolverket. Många kommuner har egna kvalitetssystem eller ingår i SKL:s olika nätverk. Kvalitetsindikatorer som byggs in i kontrakt i vuxenutbildning på entreprenad. Förslag inför valet 2010: Friskolor som inte har god kvalitet ska inte få dela ut vinst.
Standardisering av utvärdering Likriktning, normering, rutinisering Inrättande av utvärderings-, kvalitetssäkringssystem. Användning av särskilda utvärderingsmodeller (ex följeforskning, HSV) Utvärdering (uppföljning, granskning) - av kvalitet (t ex Skolinspektionen). Utvärdering för evidensbasering. Utvärderingskulturer/-policy som styrs via reglering, riktlinjer. Sätter gränser för: a) Vad som är meningsfull och legitim utvärderingsverksamhet; b) Vad som ska utvärderas och hur. Kvalitet ett begrepp som svenska politiker inte tycks få nog av (på engelska performance ).
Kvalitetsparagrafer har förts in i ramlagar. Föreskrifter och allmänna råd. Kvalitetsregister sedan länge inom hälso- och sjukvården. Nu även inom andra områden. Kvalitetsredovisningar där skolor kan jämföras har också funnits länge. Kvalitetssäkring som kan vara precis vad som helst. Aktörer på lokal, regional, nationell och internationell nivå utvecklar kvalitetsindikatorer. Obligatoriska och frivilliga system. Nationella kvalitetsindikatorer finns/håller på att utvecklas inom hälsooch sjukvård, äldreomsorg och övrig socialtjänst. På sikt ytterligare områden.
Kvalitet som kan mätas standardiserat i numerisk form är alltså viktigt. Men vad är kvalitet? Vad menar de som säger att kvaliteten ska öka? Vad exakt är det som ska öka, och vad ska minska? Hur ska t ex en skola vara beskaffad för att anses ha god/hög kvalitet?
Någontings beskaffenhet eller egenskaper, goda egenskaper. Någonting kan vara vad som helst - en produkt, tjänst/verksamhet. Kan i teorin avse alla verksamhetsled (förutsättningar, processer, resultat), men svårt i praktiken. Vilka goda egenskaper som ska räknas som kvalitet är inte givet, måste definieras och bestämmas från fall till fall. Kräver en värdegrund, t ex mål. Kvalitetsindikator. Mätbart indirekt tecken på förekomst och/eller tillståndet av en viss egenskap hos en verksamhet. Ex bemötande, rättssäker handläggning, resultat Resultatindikatorer i grundskolan: uppnått målen i alla ämnen, genomsnittligt meritvärde, behörighet till gymnasieskola, ämnesprov, DN:s nutidsorientering.
Värdegrund formuleras, eller en befintlig dito tas för given, ex HL. De egenskaper i värdegrunden som ska mätas avgränsas. Nyckelbegreppen i egenskaperna definieras teoretiskt. Ex: anställningsbara studenter. Varje nyckelbegrepp anges operationaliseras för att avgöra egenskapernas förekomst och tillstånd. Ex: Hur ser en anställningsbar student ut? Det krävs också ett empiriskt dataunderlag för att registrera och visa förekomst/tillstånd av kvalitet (statistik, dokumentation, survey, teknik etc).
Vem ska bestämma vilka egenskaper som är kvalitet och på vilka grunder? Mål, nationella kvalitetssystem, lokala mål, brukares behov, etc. Kan de egenskaper som definieras som kvalitet mätas med indikatorer som är valida i förhållande till det de avser att mäta? Är de indikatorer som valts likvärdiga, eller är några viktigare än andra? Hur ska viktningen gå till? Vilket värde på respektive indikator ska uppnås för att kvaliteten ska anses vara god eller tillräcklig? Varje steg i processen att formulera indikatorer innebär en värdering. En indikator kan aldrig vara ett objektivt mått på kvalitet i en verksamhet. Trots det talar många som om kvalitet har en given definition som alla kan stämma in i. Ex: debatten om friskolors vinst.
Att ha kvalitetsinformation är en sak, att använda informationen är en helt annan sak. Ex: Ett sparbeting på 6 miljoner kronor, hur det ska/bör det fördelas, givet information om olika enheters kvalitet? Att veta eller i alla fall noga diskutera - hur informationen ska användas är mycket viktigt. Varför ska X mätas? Vad tänker/vill/kan vi göra med information om X?
Förutsättningar Om Aktiviteter och om Effekter så och så Det finns ett nationellt system för redovisning av centralt definierade indikatorer Det finns teknisk infrastruktur och lagstiftning som stödjer systemet. Det går att jämföra mellan utförare inom och mellan olika driftsformer. Verksamheter mäts, måtten registreras och rapporteras. Data redovisas årligen för olika verksamhetsområden. Brukare gör informerade val av vård-/omsorgsgivare efter behov. Professionella får insikt om egna brister samt kunskap om lärande exempel. Stimuleras till delaktighet och verksamhetsutveckling. Lokala/regionala beslutsfattare fattar bättre beslut. Statlig granskning, analys och styrning underlättas och blir säkrare. Konkurrens mellan olika producenter. Ökad kvalitet och effektivitet i vård och omsorg. Likvärdiga resultat uppnås över hela landet. Ökad transparens, ansvarsutkrävande underlättas. Ökat förtroende från medborgarna. Stärkt internationell konkurrenskraft och nationell tillväxt. Saving the world
Förutsättningar Främmande diskurs OSMARTA mål och målträngsel Indikatorer kräver måltolkning Implementeringsoch användningsproblem Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar och kreativ bokföring Oklar användning Perversa bieffekter Teaching to the test, Creaming, Tunnel vision What gets measured is all that gets done Måtten blir mål, målförskjutning Innovation motverkas Avprofessionalisering Panopticon Paving the road to hell
Utvärdering ett monster som aldrig får nog med mat. Information utan tydlig användning samlas in ritualmässigt. Hur utvärdering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har är oklart. Utvärdering har inte bevisat sin affärsidé. Utvärdering är inte en evidensbaserad verksamhet. Utvärdering en helig diskurs. The performance paradox.
Hur kan vi försvara en verksamhet utan att ha tillförlitliga belägg för att den har förväntad kvalitet och leder till avsedda resultat? Hur kan vi fortsätta hävda att en verksamhet tillför brukarna, klienterna/patienterna/samhället någonting om vi inte kan visa att så sker och hur detta sker? Och helst också till vilken kostnad? Utvärderingsmonstret är här för att stanna. Det är ingen idé att hoppas det försvinner. Ta själv makten över utvärderandet och kvalitetsmätandet annars gör Jan Björklund det.
Vårstädning. Skapa överblick i vad som idag görs lokalt vad gäller kvalitetsarbete i skolan och hur detta förhåller sig till målen. Vädra, vårda och vid behov rensa ut eller komplettera med nya mått som passar bättre. Kolla bäst-före-datum, t ex på webbplatsen. Vilka kvalitetsindikatorer, nyckeltal etc. har vi idag? Vad mäter de? Vad mäter de inte? Om och hur används de för verksamhetsutveckling och styrning? Vilka utvecklingsbehov finns vad gäller indikatorer och nyckeltal? Hur kan GR-kommunerna samarbeta kring skolans kvalitetsutveckling?
Öka förmågan att använda kvalitetsinformation Låt inte kvalitetsarbetet ha karaktären av en ritual. Kompetensutveckling för bedömning och användning av kvalitetsinformationen, t ex för att: Göra jämförelser av den egna verksamheten över tid eller med andra verksamheter inom samma område. Främja en fördjupad diskussion om varför mätresultatet ser ut som det gör. Förståelse för komplexa samband. Återkoppla till och vägleda personal. Identifiera utbildningsbehov. Stödja strategisk och annan långsiktig planering. Tillhandahålla data för mer noggranna och djupgående utvärderingar.