Möjligheter och begränsningar med olika metodval Pär Nyman par.nyman@statsvet.uu.se Statskontoret 5 maj 2014-1 -
Vi ska inte säga hur undersökningarna borde ha utförts. Har inte tillräcklig kännedom om Statskontorets uppdrag, ämnesområdena eller kunskapsläget. Inte heller vara stora realister. Bredda perspektiven och öppna diskussioner som kan appliceras även på andra rapporter. Tolkar uppdragen brett, tar lätt på budgeten och föreslår andra undersökningsupplägg även när det faktiska upplägget var bra. - 2 -
Svårt att mäta diskriminering Risk att personer medvetet eller omedvetet säger vad som förväntas av dem snarare än hur myndigheten faktiskt arbetar. Om analysobjekten vet att de observeras kommer deras agerande att påverkas. Diskriminering är sällan så uppenbar att den syns i ett enskilt rekryteringsärende. Genom att studera många ärenden kan vi säga något om dem i genomsnitt. Myndigheter skiljer sig åt i många avseenden vi inte kan kontrollera för. Hur stor andel av medarbetarna skulle ha utländsk bakgrund om det inte förekom diskriminering? - 3 -
Ställer mig ofta frågan: vad hade IFAU gjort? Dessa problem kan hanteras genom experiment. Ofta inte möjligt (inte förenligt med uppdraget, för dyrt, etiska och juridiska betänkligheter) och begränsade frågeställningar. Men ibland? I detta fall hade man kunnat skicka fingerade jobbansökningar där endast namnet varierade. Inte möjligt att uttala sig om enskilda myndigheter, bara om genomsnittliga skillnader beroende på exempelvis arbetssätt, ändamål och storlek. - 4 -
Rätt men ändå fel en granskning av CSNs arbete för att förhindra felaktiga utbetalningar - 5 -
I uppdraget ingick två huvudfrågor Uppfyller CSN de formella krav som ställs på en myndighets interna styrning och kontroll? Arbetar CSN med intern styrning och kontroll på ett sådant sätt att risken för felaktiga utbetalningar minskar eller elimineras? - 6 -
Frågorna besvarades på följande vis En granskning av huruvida CSNs verksamhet följer Förordningen om styrning och kontroll (riskanalyser genomförs och åtgärder vidtas). En granskning av utbildningsanordnares (gymnasieskolor, komvux och högskolor) inrapportering av skolk och studieavbrott. - 7 -
Statskontorets slutsatser CSN uppfyller till stora delar de formella kraven på myndighetens interna styrning och kontroll. Väl utfört arbete med att kartlägga och motverka interna risker, men brister i arbetet med externa risker såsom ofullständig eller försenad inrapportering från utbildningsanordnare. Rapporttiteln syftar på att det inte är tillräckligt att uppfylla de formella kraven på intern styrning och kontroll för att förhindra felaktiga utbetalningar. - 8 -
Problemen i skolornas rapportering Sannolikt att omfattningen av skolk, bristande studieaktivitet och kursavbrott underrapporteras och att variationen är stor mellan skolor. Rapporteringen går ofta långsammare än önskvärt (en eller två månaders felaktiga utbetalningar). - 9 -
En fråga man alltid bör ställa sig Hade man kunnat nå andra slutsatser? - 10 -
Hur många felaktiga utbetalningar är lagom? Krav på styrning och kontroll anses ofta orimligt hårda. Orimligt att eliminera felaktiga utbetalningar. Hur många är rimligt? Vilka felaktiga utbetalningar bör åtgärdas? Är inte de flesta oproblematiska? - 11 -
- 12 -
Ökad kontroll och inrapportering har kostnader Kostnader för administrativt merarbete. Likriktning och styrning av pedagogiskt innehåll och utbildningsplanering. Förtroende mellan lärare och elever. Förordningen: myndighetens arbete ska bedrivas effektivt och myndigheten ska hushålla väl med statens medel. - 13 -
Val av fall och jämförelsepunkter Inte intressant att generalisera till andra myndigheter. Rapportförfattarna valde ett most likely -fall för att påvisa problem. Användbart för CSN, men inte generaliserbart till övriga områden. Jämförelser över tid, mellan myndigheter eller med andra länder. - 14 -
Svårt att göra en kvantitativ studie Processorienterad frågeställning. Vanligt i Statskontorets uppdrag? Bara ett analysobjekt och små ambitioner till generalisering. - 15 -
Två typer av felaktiga utbetalningar De som aldrig upptäcks är svårbeforskade. De som upptäcks och leder till återkrav finns det statistik på. - 16 -
Jag skulle utgå från statistiken på återkrav Hur omfattande är de i förhållande till alla utbetalningar? Hur stor del av fordringarna kan inte regleras inom ett år? Hur väl överensstämmer orsakerna till återkraven med den riskanalys CSN har gjort? Hade det varit möjligt (rimligt) att stoppa utbetalningen? - 17 -