Granskningssamhällets olika former en översikt och jämförelse

Transkript

1 Granskningssamhällets olika former en översikt och jämförelse Lena Lindgren Granskningssamhället är här hur märks det? Exempel - skolans granskningslandskap Fyra vanliga granskningsformer (och granskare) Likheter och skillnader Vart är vi på väg? Granskning som utbildningsoch forskningsinriktning Masterprogram i policyanalys och förvaltningsekonomi. Uppdragsutbildning i utvärdering, tillsyn, verksamhetsstyrning, mm. Forskningsprojekt om: - Utvärderingars konsekvenser för grundskola och äldreomsorg. - NPM, granskning och kommunala tjänstemäns professionalitet. - Tillsyn.

2 Granskningssamhället är här Ökad dokumentation och kontroll är standardlösning på alla samhälleliga problem. Uppföljning, utvärdering, tillsyn och revision institutionaliseras i praxis på alla nivåer genom lagar, föreskrifter, manualer etc. Allt fler organisationer granskar andra organisationer. De granskade gör sig granskningsbara. Inom vissa områden utgör granskningssystem en egen kontrollbyråkrati eller rentav ett utvärderingsmonster. Granskningssamhället är här, forts Granskning för kontroll och ansvarsutkrävande ökar. Granskning för främjande, för att få lärdomar som kan förbättra verksamheter minskar. Förvaltningsmyndigheters granskningsfunktioner separeras från uppgifter som handlar om normering, kunskapsutveckling och bidragsgivning. Tillsyn har blivit mer omfattande och fått starkare muskler, och inspekterar att verksamheter arbetar med uppföljning och utvärdering på ett tillfredsställande sätt. Fristående utvärderingsmyndigheter har etablerats.

3 Skolans granskningslandskap Internationella system PISA (international student assessment) TIMMS (mathematics and science) PIRLS (reading literacy) ICCS (civic and citizenship) ESLC (language competence) Education at a Glance Nationella system Nationellt uppföljningssystem, officiell statistik Jämförelsetal SIRIS (nationell statistik, SI:s rapporter etc) SALSA (verktyg för lokala analyser) Medborgarundersökningar (SCB) Tillsyn och kvalitetsgranskning (SI) Analyser, utvärderingar, etc (SV) Nationella prov (SV) BRUK (verktyg för självskattning) Skolans granskningslandskap, forts Lokala system obligatoriska och frivilliga Systematiskt kvalitetsarbete Individuella utvecklingsplaner Kommunal tillsyn Lokala brukarundersökningar mm Offentliga organ som bl a utvärderar skolan Privata aktörer SCB:s NKI IFAU Riksrevisionen, kommunal revision Statskontoret ESO Utredningsväsendet Öppna jämförelser (SKL) Kolada (SKL) Kvalitetsutmärkelsen Bättre skola (SIQ) Fackliga organisationer?

4 Nästan alla drabbas Granskning som familjenamn The audit society (Michael Power 1997) Engelskans audit som ett kluster av närbesläktade aktiviteter som överlappar varandra utan att vara identiska. På svenska granskning. Uppföljning, utvärdering, tillsyn och revision handlar alla om att på ett strukturerat sätt beskriva och värdera en verksamhet för olika ändamål. Givet denna kärna varierar granskningens karaktär mellan, men även inom olika former av granskning. Ackreditering, certifiering, vinprovning?

5 Uppföljning En aktivitet som görs löpande enligt fasta rutiner för att övervaka hur en verksamhet utvecklas i på förhand bestämda aspekter. Är vanligen en organisationsintern aktivitet, men nationella och internationella system allt vanligare. Innebär fortlöpande insamling av huvudsakligen kvantitativ information (statistik, nyckeltal, indikatorer) om vissa bestämda aspekter Informationen hämtas från befintliga databaser och/eller regelbundna enkätundersökningar. Kvalitetsmätning och rankingsystem är former av uppföljning. Utvärdering Mångtydig företeelse och semantisk magnet, men tre huvudelement: Bedöma eller värdera något på ett noggrant sätt. Fungerar ett åtgärdsprogram mot missbruk effektivt? Lever handläggningen av ekonomiskt bistånd upp till lagens krav? Arbetet sker systematiskt och använder vetenskapliga metoder. Olika uppfattning om vad som är vetenskapliga metoder, t ex evidens. Avses spela en roll i praktiska beslutssituationer. Bedöma värdet av en företeelse, genom att samla in relevant information om den på ett systematiskt sätt och göra jämförelser, i syfte att..!

6 Tillsyn Anor från talen men allt mer omfattande verksamhet som idag bedrivs vid ett 90-tal statliga myndigheter, men även i kommunerna. Går ut på att kontrollera om ett tillsynssobjekt lever upp till krav preciserade i lagar och regler. Ibland ingår också att genom rådgivning främja att lagens intentioner följs. Leder fram till bedömningar som tillsynsobjekten är skyldiga att anpassa sig till. Formella befogenheter varierar dock. Medborgaren som är den primära intressenten. Revision En oberoende part som i efterhand granskar att en organisations redovisning och förvaltning följer de normer eller standarder som gäller för verksamheten ifråga. I både företagsvärlden och offentliga sektorn bedrivs två former av revision: Redovisningsrevision granskar om räkenskaperna är rättvisande och överensstämmer med lag och god redovisningssed. Effektivitets- eller förvaltningsrevision granskar om verksamheten skötts ändamålsenligt och på ett ekonomiskt tillfredsställande sätt.

7 Likheter och skillnader - facit Alla utgår från en på förhand uppställd föreställning eller facit om hur det objekt som granskas bör vara beskaffat. Utvärdering. Stora frihetsgrader. Vanligt med officiella mål men kan också vara ekonomiska kriterier, brukares behov, professionella krav etc. Uppföljning. Övervakar på förhand bestämda aspekter (t.ex. kvalitet) som definierats i mätbara termer. Tillsyn. Utgår alltid från lagar och regler. Revision. God redovisningssed och effektivitet (dvs. produktivitet och måluppfyllelse). Likheter och skillnader - kunskap Alla granskningsformer genererar kunskap, om än med olika anspråk på objektivitet och tillförlitlighet. Uppföljning. Valet av indikatorer/mått styr perspektiv. Någon bestämmer vad som mäts och hur det ska mätas. Kausalitet tas ofta för given. Beskriver vad som sker i en verksamhet, men förklarar inte varför. Utvärdering. Från enkla utvärderingar (ex hotellenkäter, kursvärderingar) till experimentella studier. Evidenshierarki. Logiken i politik/verksamheter kan ifrågasättas teorifel. Tillsyn. Lätt att missledas tro att tillsyn är objektiv, men lagar och regler kräver tolkning. Jfr IVO:s bedömningskriterier. Revision. Oberoendet sägs ge objektivitet, men Effektivitet i form av måluppfyllelse kräver tolkning.

8 Likheter och skillnader - konsekvenser All granskning görs för att vara till nytta, inte för ros skull eller för något abstrakt mål om kunskapsutveckling (som forskning ). Uppföljning. Användning är upp till de granskade organisationerna, men jfr mekanismer som naming and shaming vid offentlig publicering. Utvärdering. Lämnar endast förslag. Omfattande litteratur om förklaringar till bristande användning, vad användning kan vara och hur det kan främjas. Jfr följeforskning i EU:s strukturfonder. Tillsyn. Bindande krav, men vilka sanktionsmöjligheter som finns att tillgå påverkar vad som sker. Diskussion om hur tillsynare kan arbeta för att uppnå maximal effekt av tillsynen. Hård och mjuk tillsyn. Revision. Kan rikta anmärkningar och föreslå i)att förändringar genomförs, och ii) att inte ansvarsfrihet beviljas. Sällan det sker. Likheter och skillnader - granskaren Kvalitetsstrategen (uppföljning) Utvärderaren Revisorn En mycket oansenlig man med revisorsutseende; komplett med stora glasögon, och mager hårväxt, klanglös röst och dryg uppsyn. Tillsynaren

9 Granskning som möjlighet Om vi granskar offentliga verksamheter på ett systematiskt sätt, så genereras tillförlitlig kunskap om dess värde och nytta, och så används kunskapen av tilltänkta användare (politiker, ledare, brukare, medborgare, etc), och så främjas ansvarsutkrävande och/eller leder till förbättring av verksamheterna. Stämmer det? Finns det skillnader mellan uppföljning, utvärdering, tillsyn och revision i detta avseende? Kan man kontrollera fram bättre studieresultat? Skolreformer de senaste fem åren Tydligare styrdokument (nya läroplaner, kunskapskrav mm). Stärkt uppföljning av elevernas kunskapsutveckling och skolans måluppfyllelse (nationella prov i fler ämnen och årskurser, betyg från årskurs). Stärkt lärarkompetens och pedagogiskt ledarskap (ny lärarutbildning, lärarlegitimation, ny rektorsutbildning, mm). Stöd till särskilda satsningar (matte, naturvetenskap, teknik). Ökad tillsyn och förstärkta sanktioner (Statens skolinspektion). Ökade krav på systematiskt kvalitetsarbete. Kommittédirektiv från Jan Björklund: När kan man se effekterna av vidtagna åtgärder?

10 Granskning som problem Problematiska förutsättningar för att granska resultat av välfärdstjänster - Vad är resultat? Vinst, måluppfyllelse som kan mätas, något som kan upplevas. - Formella målen långsiktiga, vittfamnande och många. - Vad slags måluppfyllelse är möjlig att granska? - Effektproblematik. Resultatparadox genom strategiskt beteende skapar perversa bieffekter - Creaming av brukare och ärenden - Teaching to the test, måtten blir mål. - Standardisering, innovation motverkas, verksamheter förstelnas. - Risk för avprofessionalisering. - Panopticonkänsla Creaming hos 3:s mobilsupport

11 Måtten i Öppna jämförelser blir mål för äldreomsorg i Alingsås och Lilla Edet Från god vård och omsorg till alla äldreboenden ska ha kokmöjligheter och genomförandeplaner. Här ser man om man är röd, gul eller grön. Politikerna tycker det räcker att vara gul. Mål 2011: Äldreomsorgen ska hålla en kvalitet i nivå med genomsnittet i SKL:s öppna jämförelser. Vart är vi på väg? Mot ett kontroll- och övervakningssamhälle där mänskligt konstruerade granskningssystem begränsar, likriktar och hämmar samhällets och individens utvecklingsmöjligheter och kreativitet? Eller är granskningssamhället inledningen av en ny tidsålder som genom öppenhet och transparens skapar förutsättningar för genuint demokratiska processer och ett aktivt deltagande i samhällsbygget?

12 Men på senare tid. Zarembas artikelserie i DN om sjukvården. FN:s beslut att performance measurement varit meningslöst. The crime numbers game inom New Yorkpolisen. SOU 2013:40 Att tänka nytt för att göra nytta Handlingsutrymmet och förtroendet för de anställda måste öka om de offentliga verksamheternas kvalitet och effektivitet ska kunna förbättras. Kontrollinriktningen är kontraproduktiv. Om vi bara blickar bakåt kan vi inte se framåt. Verklig kontroll grundas genom tillit till myndigheter och till medarbetare.