Åtgärd 8. Vetenskaplig utvärdering Sammanfattning Den vetenskapliga utvärderingen av Halmstads kommuns Klimp-program kommer att genomföras av högskolan i Halmstad, som också utvärderar kommunens Lokala investeringsprogram (Lip). Utvärderingen kommer att följa programmet under programperioden och ska beskriva och bedöma åtgärderna utifrån dess måluppfyllelse och söka en förståelse till utfallets orsaker. Utvärderingen ska även göra en bedömning av hur programmet som helhet har nått upp till sina mål. Klimp-åtgärderna ska också relateras till annat arbete inom en åtgärds område i kommunen och utvärderingen har även ambitionen att identifiera åtgärder med potential att utvecklas ytterligare, främst i ett ekonomiskt tillväxtperspektiv. Utvärderingen kommer regelbundet att presenteras på en hemsida med likvärdigt upplägg som för utvärderingen av Lip, som idag finns på www.lip.halmstad.se. 1. Bakgrund Utvärderingen av Halmstads kommuns Klimp-program kommer att vara både ett komplement till åtgärdernas egna uppföljningar och ett stöd för kommunens styrning och kontroll av hur programmet fortlöper. Förutom att följa programmet under programperioden kommer utvärderingen också att innehålla en summering av alla resultat efter att åtgärderna har avslutats, och som presenteras i en avslutande och sammanfattande utvärderingsrapport 1. Denna rapport kan sedan vara ett underlag för kommunen vid skrivande av programmets slutrapport till Naturvårdsverket. Rapporten skulle också kunna användas som ett underlag för utveckling av nya klimatsatsningar. Den oberoende utvärderingen kompletterar således åtgärdernas egna uppföljningar. I dessa kommer det främst att svaras på frågor som: Vad har hänt? Uppnår vi målen? Löper arbetet enligt planerna? Utvärderingen kompletterar arbetet med uppföljning på ett sätt som gör att kommunen både breddar och fördjupar kunskapen om åtgärderna och kan sedan relatera detta till annat utvecklingsarbete som sker inom området i kommunen. Exempelvis gällande insatser kring utveckling av avfallshantering och användning av ny teknik för biogas. Utvärderingen svarar på frågor som: Varför har åtgärden utvecklats dit den är nu? Vilka är orsakerna till resultatet? Når åtgärden sina mål? Om de är på väg att nå målen, eller inte, vad kan detta bero på? Beror utfallet på insatsen eller på andra faktorer? 1 I teori om utvärdering brukar den utvärdering som kan vara med och påverka ett projekts utfall benämnas en formativ utvärdering. Denna form blir allt vanligare, då det ofta anses vara värdefullt att använda utvärderingen för projektutveckling, inte enbart en bedömning vid projektslut när möjligheterna att påverka det pågående projektet har försvunnit. Den utvärdering som bedömer vad som har hänt efter avslutat projekt brukar benämnas summativ utvärdering. För litteratur om utvärderingsmetoder, se t ex Ove Karlsson (1999) "Utvärdering - mer än metod", eller Evert Vedung (1991) "Utvärdering i politik och förvaltning". 1
Utvärderingen av Klimp kommer också att bedöma de effekter programmet som helhet kommer att bidra till, inte bara de enskilda åtgärderna. Det kan gälla de totala koldioxidutsläppen i programmet, men också till andra miljöeffekter som reducering av kväve och förbättrad avfallshantering. För att utvärderingen ska kunna användas på ett konstruktivt sätt är det viktigt att den genomförs av personer med gedigen kompetens inom området. Utvärderingen kommer därför att vara vetenskaplig och genomföras av högskolan i Halmstad. Ett viktigt skäl till att använda sig av en vetenskaplig utvärdering är att den genomförs på ett systematiskt sätt och ger ett trovärdigt underlag som kan användas till fortsatt utveckling av kommunens klimatarbete. Erfarenheter från Lip-utvärdering tillvaratas Utvärderingen av Halmstad kommuns Lokala investeringsprogram (Lip), som också genomfördes av högskolan i Halmstad, hade ett upplägg som fungerade på ett bra sätt, och som kommunen önskar använda för att utvärdera kommande Klimp-program. Lip-utvärderingen följde programmet under hela programperioden och utvärderade regelbundet åtgärderna. Nya resultat presenterades på en hemsida, där också hela åtgärden och mål för denna beskrevs och även hela programmet bedömdes. Att följa åtgärderna under programtiden har gjort att kommunen har haft kontroll över vad som går bra och vad som går mindre bra. Hemsidan har också blivit ett sätt att sprida information om Lip till andra, som till exempel en intresserad allmänhet eller media. Utvärderingen av Klimp kommer därför att byggas upp på samma sätt som i Lip. Hemsidan finns på www.lip.halmstad.se. Utvärderingen som en integrerad del i annat utvecklingsarbete Utvärderingen kommer också att försöka identifiera och lyfta fram intressanta åtgärder så att de kan föras in i andra sammanhang där de kan utvecklas ytterligare. Det kan till exempel vara så att den nya tekniken vid Renhållningsbolaget har stor utvecklingspotential sett ur ett ekonomiskt tillväxtperspektiv. Detta är ett något annorlunda sätt att förhålla sig till en utvärdering, men det öppnar upp intressanta perspektiv när kunskap från ett område kan föras över till ett annat som gynnar samhällsutvecklingen. Några exempel på forum där intressanta åtgärder kan utvecklas vidare är samarbete med Miljöforum Halland 2, att via Region Halland bli en del av det regionala tillväxtarbetet och att 2 MiljöForum Halland skriver på sin hemsida (21/10 2006) att de samlar länets miljökompetens och verkar för att sprida och fördjupa kunskapen om miljön. Detta sker genom seminarier, nyhetsbrev, informationsmaterial, studiebesök, bildande och underhållande av nätverk, opinionsbildning etc. Som medlemmar i MiljöForum Halland välkomnas företag, organisationer, föreningar, offentliga förvaltningar och privatpersoner. MiljöForum Halland är en partipolitiskt obunden ideell förening. Tyngden och drivkraften inom MiljöForum Halland bygger på det engagemang som finns bland existerande organisationer och enskilda personer. När det gäller möjligheterna till tillväxt inom energiområdet skriver MiljöForum Hallands följande på sin hemsida (21/10 2006) : "Tillväxtmöjligheter för Halländska energiaktörer. I hela världen ökar intresset för kommersiella produkter och tjänster inom energiområdet och tillväxtmöjligheterna bedöms som mycket goda av bl. a. OECD. Redan idag är energifrågorna viktiga för Halland och MiljöForum Halland anser att en kraftsamling inom energiområdet kommer att ge ett mycket positivt resultat. I det nu gällande tillväxtprogrammet nämns miljö- och energiområdet som ett framtida möjligt tillväxtområde. Det finns stora möjligheter för både näringsliv och samhälle att utveckla energifrågorna". 2
via kommunens internationella samordnare ta del av de stora möjligheter det skulle innebära att samarbeta med andra aktörer i Europa (exempelvis regioner, kommuner, företag, forskare) i ett EU-projekt. En av utvärderingens uppgifter är därför att identifiera åtgärder med utvecklingspotential så att dessa kan bli en integrerad del av annat utvecklingsarbete lokalt och regionalt, men även nationellt och internationellt. Klimp i förhållande till annat klimatarbete Utvärderingen kommer att bedöma åtgärderna, men även förhålla sig till annat klimatarbete som bedrivs inom kommunen. Detta har till viss del beskrivits ovan, men utvecklas här. Ambitionen med detta angreppssätt är att inte utvärderingen ska betrakta Klimp-åtgärderna som isolerade öar utan att åtgärderna även betraktas och bedöms utifrån annat klimatarbete i kommunen. Denna tanke bygger på utvärderingen av Lip, där det ibland saknades ett perspektiv som relaterade resultat till kommunen som helhet. Ett exempel är kring våtmarker. Om målet med antalet våtmarker i Lip har uppnåtts, är detta naturligtvis bra. Men den mängd kväve som där reduceras är det tillräckligt? Eller är Lip-våtmarkerna bara en liten del av det som behövs? Detta är ett exempel på hur resultatet från en åtgärd kan sättas i relation till situationen som helhet. Angreppssättet innebär också att utvärderingen blir än mer omfattande, vilket gör att en belysning av annat arbete inom ett visst område enbart kan göras på ett övergripande sätt, inte i detalj. Men vi tror att denna beskrivning kan bli ett, av många, bidrag för att kunna vidareutveckla kommunens klimatarbete. 1.1 Utvärderingens syfte och frågor Utvärderingen kommer att följa programmet under programperioden och har flera syften. Den ska beskriva och bedöma åtgärderna utifrån dess måluppfyllelse och söka en förståelse till utfallets orsaker. Utvärderingen ska även göra en bedömning av hur programmet som helhet har nått upp till sina mål. Klimp-åtgärderna ska också relateras till annat arbete inom området i kommunen och en ambition är även att identifiera åtgärder som har potential att utvecklas ytterligare, främst i ett ekonomiskt tillväxtperspektiv. Utvärderingen ska presenteras på en hemsida med likvärdigt upplägg som för utvärderingen av Lip. De frågor utvärderingen ska svara på är: Har åtgärdens mål uppnåtts? Vad är orsakerna till att åtgärdernas mål uppnåtts eller inte? Har hela programmets mål uppnåtts? Vad är orsakerna till att programmets mål uppnåtts eller inte? Vad görs mer inom kommunen inom det aktuella området för åtgärden? Finns det åtgärder som kan utvecklas ytterligare i ett ekonomiskt tillväxtperspektiv? 3
2. Utvärderingens metod Kontinuerlig utvärdering via en hemsida Det upplägg som här presenteras används, som tidigare nämnts, för närvarande inom kommunens Lokala investeringsprogram och har fungerat på ett bra sätt, både som presentation av utvärderingen och som ett sätt att lätt hitta information om åtgärderna och programmet som helhet. Detta upplägg har även fungerat bra som en hjälp vid styrningen av åtgärderna. Det vore därför bra att fortsätta med samma upplägg.. Utvärderingen kommer således att löpande under programperioden presentera resultaten från respektive åtgärd och Klimp-programmet i sin helhet. Det kan handla om reducering av exempelvis koldioxid, men också om organisationsfrågor och teknikutveckling. Flera åtgärder syftar till innovationer eller till att förbättra våra kunskaper inom olika områden. Utöver andra mål är det därför angeläget att lyfta fram på vad sätt både program och åtgärder bidrar till att skapa ny kunskap. Utvärderingen kommer vidare att baseras på såväl kvantitativa som kvalitativa data. Måluppfyllelse Varje åtgärd liksom programmet i sin helhet har angett en rad mål som skall uppnås. Det kan gälla i vilken omfattning en åtgärd bidrar till att skapa ny teknik, lyckas genomföra en systemförändring eller andra önskvärda tillstånd som ska uppnås. Utvärderingen utgår ifrån de mål som har uppgetts i ansökan. Blir det till exempel lika mycket reduktion av koldioxid som åtgärden anger har målsättningen infriats till 100 %. Når man bara halvvägs har denna infriats till 50 %. För att illustrera graden av måluppfyllelse används en "termometer". På denna kan det avläsas graden av måluppfyllelse i procent (%). Har de infriats till 50 % eller 100 % framgår detta av termometern. Måluppfyllelsen kompletteras med andra mer kvalitativa bedömningar av respektive åtgärd. Efterhand som programmet fortskrider tillkommer kommentarer som belyser processen och resultaten av åtgärden. Reducering av miljöproblem som mål Det är inte alltid som miljömål anges som tillstånd som skall uppnås utan som problem som skall reduceras. Målen har då inte angetts utifrån vad som vore acceptabla förhållanden, utan i vilken grad åtgärden har lyckats reducera exempelvis koldioxidutsläppen. Lyckas åtgärden med att reducera utsläppen med 1 800 ton koldioxid/år jämförs detta med vad man har angett i ansökan. Åtgärden har lyckats till 100 % om en reduktion om 1 800 ton koldioxid/år har angetts som mål. Var målet istället en reducering om 3 600 ton koldioxid per år blev måluppfyllelsen endast 50 %. 4
Kvalitativa kommentarer En alltför långt driven förenkling av redovisningen av utfallet av de olika åtgärderna och av programmet i sin helhet riskerar att trivialisera miljöåtgärderna. För att motverka detta kompletteras de kvantitativa måtten med kommentarer som lyfter fram olika aspekter på åtgärden. En strävan kommer här att vara att låta de intressenter som är närmast berörda komma till tals. Målsättningen är inte att göra några avvägningar mellan olika intressen, utan enbart att redovisa vilka synpunkter som kommit fram genom intervjuer, enkäter eller på annat sätt. Intervjuer kommer också att genomföras med ansvariga på stadskontoret för kommunens ekohandlingsplan, för att erhålla aktuell kunskap om annat som görs inom en åtgärds område. 2.1 Tidsplan och organisation Det kommer kontinuerligt att presenteras nya resultat av utvärderingen under hela programtiden. Vid några tillfällen kommer kommentarerna att bli mer omfattande. Tidsplanen och kostnader är följande: 2007 Utvärderingens struktur och hemsida skapas och den första undersökningen av åtgärderna genomförs. 80 kkr. 2008 Det görs en mindre omfattande avstämning av hur arbetet med åtgärderna i förhållande till målen fortlöper. 40 kkr 2009 Det görs en likadan utvärdering som under 2008. 40 kkr. 2010 Det görs en likadan utvärdering som under 2008 och 2009. 40 kkr. 2011 Vid programmets slut genomförs en mer omfattande utvärdering där allt som har genomförts summeras och bedöms och det skrivs en avslutande utvärderingsrapport. 100 kkr. Organisation Högskolan i Halmstad kommer att genomföra åtgärden och kontakter tas med högskolan av kommunens Klimp-samordnare. Samordnaren kommer också att vara behjälplig med viss administration av utvärderingens hemsida. Den som från högskolans sida var ansvarig vid utvärderingen av Lip, var Ove Svensson vid sektionen för hälsa- och samhälle (HOS). Total investering: 300 000 kronor Sökt bidrag: 150 000 kronor (50 %). 5
Kontaktuppgifter Bidragsmottagare: Halmstads kommun Organ.nr: 212000-1215 Kontaktperson: Karin Larsson Adress: Stadskontoret, Box 153, 301 05 Halmstads Kommun Tel: 035-13 73 39 Litteratur i denna beskrivning Ove Karlsson (1999) "Utvärdering - mer än metod", Svenska kommunförbundet, Kommentus förlag, Stockholm Evert Vedung (1991) "Utvärdering i politik och förvaltning", Studentlitteratur, lund 6
7