Utveckling av uppföljning, utvärdering, effektbedömningar och effektsamband - Förstudie Eva Ericsson Jenny Källström Anna Vindelman Nina Waara 2010-02-09
Vägverkets sektorsarbete Vägverket har ett sektorsansvar för hela vägtransportsystemets miljöpåverkan, trafiksäkerhet och tillgänglighet. Har strukturer för expertstöd, kunskapsutveckling och forskning Samverkan med andra aktörer som påverkar mängden transporter och hur de bedrivs Syfte och mål: Att samla, stödja och driva på utvecklingen i en riktning som främjar transportpolitiska mål 2
Hur kan man utveckla uppföljning och utvärdering inom sektorsverksamheten? - Förstudie Ökade krav på att kunna rapportera resultat av sektorsarbetet mot uppsatta mål. Nystartat flerårigt utvecklingsprojekt. Omfattande utvecklingsarbete av modeller, metoder och verktyg för att bättre kunna följa upp och utvärdera effekter av sektorsarbetet Förstudie från augusti 2009 till mars 2010. Syfte: Kartlägga hur utvärdering och uppföljning för ett urval av åtgärder görs idag och vilka behov som finns att utveckla metoderna. Utarbeta ett förslag för fortsatt utveckling för utvärdering och uppföljning av sektorsverksamheten 3
Projektets uppläggning Vägverkets sektorsverksamhet mål och krav på uppföljning Teori kring utvärdering/uppföljning Kartläggning av utvärdering och uppföljning idag, nedslag i sex områden: FUD Tre kunskapsområden: Fordon Hastighet Kollektivtrafik Två områden för samverkan: med näringslivet i tidiga skeden Breddad analys med utblickar Inriktningsförslag 4
Skillnaden mellan utvärdering och uppföljning Utvärdering Syfte: att undersöka och värdera på vilket sätt en åtgärd fungerar och vilket resultat den ger t ex för säkerhet, miljö och tillgänglighet Är en tillfällig aktivitet i samband med genomförande av en förändring eller åtgärd för att kunna värdera effekterna av dessa. Utvärdering kan ha kvantitativt eller kvalitativt fokus eller både och. Kan avse mål-resultat, processer och/eller interaktiva utvärderingar Går på djupet öka kunskap om hur det fungerar och varför. Bidrar till att skapa: Effektsamband Indikatorer för löpande uppföljning Uppföljning Syfte: Insamling av information för att kontrollera genomförandet av en verksamhet. Är en regelmässig och fortlöpande aktivitet (t ex årlig) Underlaget hämtas från fastställda informationsflöden/rutiner för att samla in data om vissa förutbestämda nyckeltal, indikatorer, typer av data. 5
Olika typer av utvärdering Mål-resultat utvärdering (resultatutvärdering): Hur väl uppfylls målen? Processutvärdering: På vilket sätt genomfördes åtgärden/insatsen? Var det en god process med tanke på projektets mål och målgrupper? Interaktiv utvärdering: Hur kan arbetet förbättras kontinuerligt (ur användarnas perspektiv)? 6
Mål-resultat utvärdering Frågeställning: Uppfylls målen? Hur kan det mätas? Utprövande och mätande utvärdering: Vad fungerar bäst? Vilken lösning är bäst i test. Förklaringsinriktad utvärdering: Vad fungerar och varför? Svårigheter Utvärdering = experiment under kontrollerade förhållanden? Förändringar inte enbart resultat av åtgärden/insatsen Mål är ofta vaga. Idealt sett bör mål vara: tydliga och mätbara utmanande och realistiska nedbrytbara (och nedbrutna) i delmål både kortsiktiga och långsiktiga etappindelade kopplade till incitament för måluppfyllelse I praktiken är mål ofta resultat av kompromisser = vagt formulerade OCH det är vanligt att ansvaret för att tolka och precisera målen delegeras till de som utför verksamheten 7
Processutvärdering Frågeställning: Hur har projektet genomförts? Har det varit en god process med tanke på projektets mål och målgrupper? (Processen har betydelse för genomslaget för åtgärden och engagemanget) Förändring måste ses i sitt sammanhang enbart bästa lösning räcker inte. Objektiv processutvärdering: Syftar till övergripande kunskap. Varför fungerar en åtgärd/ insats i en viss situation och inte i en annan? Utvärderare med kunskap om det som utvärderas och om social förändring. Ej fokus på detaljerade förhållanden i praktisk verksamhet. Situationsanpassad (subjektiv) processutvärdering: Hur tolkar de berörda intressenterna att verksamheten fungerar? Reflekterande praktiker gör självvärdering. 8
Interaktiv utvärdering Frågeställning: Motsvarar arbetssättet/åtgärden/förändringen användarnas behov? Kontinuerlig information för att användas i beslut kring vägval under genomförandet. Situationsbunden utvärdering om vad som gäller för den aktuella verksamheten. Hur kan man samarbeta med användarna att genomföra utvärderingen? Aktörerna ska ha inflytande över frågeställningarna och värderingskriterier för att säkerställa 1) relevans för dem och 2) att de använder resultaten Svårigheter Betoning på samverkan med berörda innebära ett begränsat kunskapsperspektiv Svårt att få alla att bli engagerade medutvärderare 9
Kartläggning av utvärdering och uppföljning inom Vägverkets sektorsverksamhet Intervjuat 3-6 personer per område plus målombuden och personer med övergripande uppgifter inom sektorsarbetet. Inom områden kombination av personer som arbetar centralt och regionalt. Exempel på frågor: Vilka krav finns på uppföljning? Hur sker uppföljning och utvärdering? Dagens metoder, verktyg och effektsamband? Hinder och svårigheter för utvärdering och uppföljning? Hur sker spridning och implementering av resultat? Nedslag i några av sektorsverksamhetens områden. 10
Mål och styrning för VV generellt MEDELSTILLDELNING V Ä G H Å L L N I N G & M Y N D I G H E T SEKTORSVERKSAMHET FUD Kunskapsgenerering Legitimitet Kompetensförsörjning Samverkan med aktörer Näringsliv Offentliga Föreningar Aktörer genomför åtgärder/förändringar Effekt/er på trafiken: Trafikarbete Fördelning på transportslag Fordonspark Fordonens utrustning Hastighet Körsätt Kunskapsområden Tar fram kunskapsbas Effektsamband Förvaltar kunskap Expertfunktion. Övergripande statistik Utredningar Effekt/er på målvariabler: CO2 NOx PM Olyckor Buller Tillgänglighet Jämställdhet Stödja & driva på utbud och regeländringar Departement/ EU Branschorg. Förändringar i: Lagstiftning Beskattning Avgifter Bidrag/subventioner Utbud t ex fordon Effekter på övergripande transportpolitiska mål: Funktionsmål Hänsynsmål = uppföljning/ utvärdering/ effektsamband? Blått=Vägverket Gult=Andra aktörer Grönt=Effekter 11
Luckor hinder och svårigheter för bättre utvärdering och uppföljning Behov av utveckling av arbetet i kopplingarna mellan stegen i effektkedjan Metodutveckling för utvärdering och/eller nyttobeskrivning Ensning av metoder Tydligare styrning och ledning av uppföljning och utvärdering Kompetenshöjning 12
Mål och styrning för VV generellt MEDELSTILLDELNING V Ä G H Å L L N I N G & M Y N D I G H E T SEKTORSVERKSAMHET FUD Kunskapsgenerering Legitimitet Kompetensförsörjning Samverkan med aktörer (efterfrågan) Näringsliv Offentliga Föreningar Aktörer genomför åtgärder/förändringar Effekt/er på trafiken: Trafikarbete Fördelning på transportslag Fordonspark Fordonens utrustning Hastighet Körsätt Kunskapsområden Tar fram kunskapsbas Effektsamband Förvaltar kunskap Expertfunktion. Övergripande statistik Utredningar Effekt/er på målvariabler: CO2 NOx PM Olyckor Buller Tillgänglighet Jämställdhet Stödja & driva på utbud och regeländringar Departement/ EU Branschorg. Förändringar i: Lagstiftning Beskattning Avgifter Bidrag/subventioner Utbud t ex fordon Effekter på övergripande transportpolitiska mål: Funktionsmål Hänsynsmål Ingen utvärdering idag Utvärdering behöver stärkas Inte kartlagt här Blått=Vägverket Gult=Andra aktörer Grönt=Effekter 13
Naturvårdsverkets arbete med uppföljning och utvärdering Uppföljningar om tillståndet i miljön- artantal, föroreningar mm. Utvärdering av insatser ett verktyg för ökad effektivitet och kvalitet i miljöarbetet Verksövergripande strategi för utvärdering som prioriterar vilka insatser som ska utvärderas Påverkan på miljöarbetet I samhället Kostnad för samhällsaktörer Strategiskt viktig fråga för Naturvårdsverket Utvärdering en uppgift för alla verksamhetsområden, men.. Enheten för strategier och utvärdering Utveckla utvärderingmetodik Genomföra övergripande utvärderingar Stödja enheterna genomföra utvärderingar eller metodstöd Tydliggjord och transparent utvärderingsprocess 14
Analys Vad är sektorsverksamhetens effekt? Sektorsverksamheten är en del av VV hela verksamhet. Förtydliga hur sektorsverksamheten kopplar till verksamheten i stort. Det saknas metoder för att beskriva/utvärdera hur man samverkar (samla, stödja och driva på) med andra. Dialog vertikalt: Vilka är parallellerna/olikheterna mellan samverkansinsatser och arbetssätt på nationellt plan och på regionalt plan? Dialog horisontellt: Hur gör man inom olika samverkansinsatser? Utvecklingsarbete kring hur man ska utvärdera nyttan och effektiviteten Osäkert och oklart vad som ska utväderas och hur Effektsamband för enskilda åtgärder, för paket eller för systemeffekter? Analyser kring samspel mellan åtgärder Ambitionsnivån för effektsamband? Allmän och specifik utvärderingskompetens efterfrågas. 15
Inriktningsförslag som just nu bearbetas med beställaren Organisatoriska och strukturella beslut och satsningar Metodmässiga satsningar 16
Organisatoriska och strukturella beslut och satsningar Utveckla tydligare ledningsstruktur för utvärdering och uppföljning generellt Höjning av utvärderingsfrågors status och prioritet Driva på dialog mellan verksamheter, professioner och organisationsnivåer ang mål, prioriteringar, uppföljningsmetodik och mått Större tydlighet kring vad som är styrande dokument Inventering av styrande dokument kring sektorsverksamhetens mål och hur det ska utvärderas Större tydlighet för hur dessa är nedbrutna eller stöd för hur de ska brytas ner på respektive verksamhet utse kontaktperson Överväg en oberoende utvärderingsverksamhet (avdelning eller råd) på VV bestående av utvärderingsexperter, sektorsfolk, modellfolk. Kompetenshöjning om utvärdering och uppföljning. Konkretisering för olika åtgärdstyper och målområden. Synliggöra sektorsverksamhetens resultat och kompetenser internt och externt Informatörer för strategiska kommunikation Projektportal 17
Metodmässiga satsningar Strukturera effektkedjor för olika verksamheter t ex kunskapsområden, åtgärdstyper eller målgrupper Ta fram mål/effektmått för olika delar av verksamheten. Allt kan inte relateras direkt till målvariablerna men det bör finnas en logisk kedja för hur en insats/satsning kopplar till framtida måluppfyllelse. Metodutveckling för att kunna utvärdera eller följa upp mot mått som speglar delmålen för verksamhetsnivån Metodutveckling för att kunna utvärdera Vägverkets samverkansinsatser aktörerna tar steg i utvecklingstrappan. Möjliggöra analys av olika insatsers effektivitet gentemot olika typer av aktörer. Utvärdera aktörernas åtgärder men tydliggör syftet med utvärderingen. Klargör beroende på syftet behov av : olika utvärderingsformer engagemang/styrning/stöd från VV 18
Inriktningsförslag forts Utvärdera vad som behöver utvecklas för bredare användning av SUMO och SARA: Verktygen i sig Kunskapen om verktygen Incitament för användning Omhändertagande av resultaten som samlas in Besluta kring utveckling av metoden Pilotsatsningar för att få fram bra effektsamband för ett antal åtgärder Skilj på pilotprojekt och produktion Inventering av behov av att fylla principiella kunskapsluckor om kausala samband med hjälp av datainsamling eller forskning. Överväga riktade satsningar för utpekade behov. Avsätt resurser för att ta hand om FUD-resultat och konkretisera dem 19