UTVÄRDERING: TEORI, PRAKTIK OCH INSTITUTIONELLA FÖRUTSÄTTNINGAR Det svenska politiska systemet Bo Persson
UPPLÄGGNING Utvärderings som en del av policyprocessen Vad är utvärdering? Olika typer av utvärdering Utvärdering problematiserad: metod och användning Utvärdering institutionaliserad: revisionsorgan och utvärderingsinstitut
VAD ÄR POLICY? Policy i dagligt tal : programförklaring, riktlinje för verksamhet Offentlig (public) policy som den oftast används i statsvetenskapen: inte bara begränsade åtgärder och beslut utan kedjor av åtgärder och beslut (Premfors) action, objectives, and pronouncements of government on particular matters, the steps they take (or fail to take) to implement them, and the explanations they give for what happens (or does not happen) (Wilson)
POLICYPROCESSENS FASER Identifiera problem och dagordning (agendasetting, problem-identifiering) Identifiera alternativ/lösningar Beslutsfattande (Analysera alternativ, beslut) Implementering (genomförande) Utvärdering
UTVÄRDERING: DEFINITIONER Utvärdera: fastställa eller bedöma värdet av eller resultatet av (försök mm) (SAO) avser en systematisk undersökning av en aktivitets värde och betydelse (Sandberg & Faugert 2007) noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning i offentlig verksamhet, vilken avses spela en roll i praktiska beslutssituationer (Vedung 1998)
VARFÖR GÖRS UTVÄRDERINGAR? Kontroll Politiker Myndighetsledningar Medborgare Brukare Främjande och lärande Potemkinkuliss? Grundkunskap
VIKTIGA FRÅGOR VID TILLSÄTTNING AV UTVÄRDERING Varför? Vem? Vad? Kriterier? Metod? Resultat? Kontroll, främjande, upplysning, Potemkinkuliss Extern intern, konsult, institut etc. Program, organisation Mål, professionella, intressen, brukare Experiment, enkät, intervjuer etc. Rapport, muntlig presentation etc.
DEN KLASSISKA UTVÄRDERINGSMODELLEN: MÅLINRIKTAD MODELL Inriktning på att mäta måluppfyllelse: resultat i form av prestationer och/eller effekter Från enkla uppföljningar (tex. resultatanalys) till experiment eller kvasiexperiment Vikten av additionalitet Effekt på kort eller lång sikt?
ATT FÖRKLARA UTFALL: PROCESSINRIKTAD UTVÄRDERING Avsikten inte bara att mäta och värdera utan även att förklara och förstå Rekonstruktion av programteorin: Hur tänkte man egentligen? Att förklara utfall möjliga förklaringsfaktorer: Oklara mål Förvaltningen kan inte, vill inte eller förstår inte Adressaterna Omgivningsfaktorer Etc.
EXPERTUTVÄRDERINGAR Utgår från vissa givna kriterier, tex. inom profession Vanlig inom tex. forskningspolitik och utbildningspolitik, frågor som rör medicin och juridik Fördel: hög legitimitet inom vissa områden (politiker kan inte bedöma vetenskaplig kvalitet) Nackdel: tas hänsyn till kontexten, risk för subjektivitet, konservatism? Kombineras ofta med självvärdering
INTRESSENT- OCH BRUKARINRIKTADE UTVÄRDERINGAR Intressenternas eller brukarnas upplevelse av aktiviteten i fokus Marknadsmässig eller förhandlingsinriktning Intervjuer eller enkäter Fördel: De som faktiskt berörs gör bedömningen Nackdel: finns förståelse för kontext och förutsättningar
BENCH MARKING (BÄNKMÄRKESUNDERSÖKNI NG) Populär utvärderingsmetod Jämför med referens: ett bästa läge Vanligt vid tex. jämförelse av produktivitet (jämförelse mellan länder) och forskning (produktion av vetenskapliga artiklar) Fördel: tydlighet Nackdel: uppfattningen om vad som är bäst varierar kraftigt
ANVÄNDNING AV UTVÄRDERING Instrumentell Upplysande Legitimerande Interaktiv Taktisk Rituell
UTVÄRDERINGSTORGANISATI ONERS RELATION TILL POLITIKEN: NÅGRA HYPOTESER Utvärderingsorganisationer tenderar att utvecklas i riktning mot ökad politisering över tid (infångningstesen) Politiseringen beror i hög grad på aktörernas inställning, professionella normer Graden av politisering beror i hög grad på den institutionella faktorer (tex formella utaonomi), men också... Resurser och......organisationens (och dess medlemmars) professionella normer och inställning
SVENSKA GRANSKNINGSORGAN TOM 2003 Riksrevisionsverket (RRV): lydde under regeringen, stor organisation svag autonomi (Beroende av resurser från regeringen, Anpassade sig ofta till regeringens uppfattning? (anticipering) Riksdagens revisorer (RR): lydde under riksdagen, lite organisation stark formella autonomi, men små resurser Granskningar neutrala men ej så inflyteslerika
RIKSREVISIONEN Ersatte RRV och RR 2003 Granska den statliga resursanvändningen (förvaltningsrevision, ekonomisk revision) Lyder under riksdagen, åtnjuter skydd i Regeringsformen Leds av tre riksrevisorer som var och en självständigt beslutar om vad som ska granskas Styrelsen: beslutar om budget samt om vilka granskningar som riksdagen ska ta ställning till