Handledning för uppföljning och utvärdering inom Socialfondsprojekt. Starkare fokus på uppföljning och utvärdering

Transkript

1 1(13) Promemoria GDbeslutnummer Sven Jansson Handledning för uppföljning och utvärdering inom Socialfondsprojekt Denna handledning är tänkt att vara ett stöd för dig som ska söka eller har beviljats projektmedel. Handledningen tydliggör de förväntningar om uppföljning och utvärdering som ESF-rådet har på ett Socialfondsprojekt. Samtidigt ges tankar och idéer om hur ni i uppföljning och utvärdering kan arbeta med en lärandeansats för att höja kvaliteten i projektet och få bättre genomslagskraft för de resultat som ni uppnår. Handledningen går bl.a. igenom hur den egna uppföljningen av projektets aktiviteter kan samspela med utvärderingen, vad som menas med en lärande utvärdering och vem det egentligen är som ska lära av den. Du får också tips om vad som är viktigt att tänka på i ansökningsfasen och hur ni kan planera er utvärdering så att den blir till nytta för projektet och andra mottagare. Starkare fokus på uppföljning och utvärdering Uppföljning och utvärdering har fått en starkare och mer strategisk roll i EU:s strukturfonder under programperioden EU-kommissionen rekommenderar medlemsländerna en ansats med On-going evaluation. Inom Socialfonden används begreppet lärande utvärdering. Avsikten är att projekten ska bli bättre och att deras resultat och erfarenheter lättare ska kunna förändra policy och system, samt bidra till en offentlig debatt. Svenska ESF-rådet har i samarbete med Tillväxtverket, som förvaltar medlen i den regionala fonden, gjort flera insatser för att stärka projektens arbete med uppföljning och utvärdering. En bok har tagits fram 1, en högskoleutbildning har utvecklats 2, nätverk för projektledare och utvärderare har bildats och flera seminarier och konferenser har genomförts. Till Socialfondsprogrammet finns fyra processtöd som kan stödja projekten i att forma sin projektidé, att planera för jämställdhet respektive tillgänglighet, samt organisera för lärande och strategisk påverkan. Dessutom finns fem temagrupper som ska fånga upp och analysera projektens resultat samt sprida dem vidare till strategiska aktörer. 1 Lärande utvärdering genom följeforskning. Svensson L, Brulin G, Jansson S, Sjöberg K, Studentlitteratur Kursen Lärande utvärdering/följeforskning (motsvarande 7,5 högskolepoäng) ges på flera högskolor/universitet. Under läsåret 2010/11 ges kursen av Luleå tekniska universitet, Malmö högskola, Mittuniversitetet, samt Mälardalens högskola. Svenska ESF-rådet, Huvudkontoret Besöksadress: Liljeholmsvägen 30 B, 3 tr Postadress: Box , Stockholm Telefon: Fax: Webbplats:

2 2(13) Alla Socialfondsprojekt behöver följas upp och utvärderas Alla projekt behöver utvärderas för att bättre kunna Socialfonden ger möjligheter att prova nya arbetssätt som kan komplettera och utveckla den nationella påverka arbetsmarknads-, arbetslivs- och socialpolitiken. Några projekt lyckas väl medan andra försök faller. Arbetet med uppföljning och utvärdering är centralt för att kunna svara på vilka projekt som får bra resultat, men också för att tränga djupare i och synliggöra vad det är som har lett till resultaten. Omvänt kan det vara värdefullt att få veta vad som har hindrat vissa projekt från att uppnå bättre resultat. Men att bara få svar på dessa viktiga frågor när projektet är slut är inte till så stor nytta. Därför rekommenderas lärande utvärdering för att under projekttiden fånga upp resultat och lärdomar för att förbättra genomförandet samt underlätta spridning och påverkan. Mer om vad lärande utvärdering innebär kommer på sidan 5 och framåt. Men för att en ny metod ska kunna spridas räcker det inte med att utvärderingen synliggjort resultaten och svarat på varför de har uppstått. För att ha ett värde i ett påverkansarbete behöver utvärderingen också titta utanför projektet: Vilka metoder har varit framgångsrika? Vilka är metodens för- respektive nackdelar jämfört med reguljär verksamhet och eventuella andra metoder? Vilka av projektets lärdomar är generella slutsatser? I vilken mån har projektet bidragit med mervärden (se nedan). Varför har de lyckats/misslyckats med det? Hur ser förutsättningarna för spridning ut? Är projektets resultat starkt beroende av den organisation projektet bedrivs i och kompetensen hos de människor som utvecklat projektet? Eller är det ett arbetssätt som enkelt kan tillämpas av andra med liknande resultat? Hur ser den samhällsekonomiska kalkylen ut för projektets resultat? En utvärdering kan skilja sig åt beroende på om projektet handlar om kompetensförsörjning (programområde 1) eller ökat arbetskraftsutbud (programområde 2). Värdet av att sprida programområde 2-projekt är enkelt att se då mycket av arbetet handlar om samverkanslösningar, metodutveckling, matchning och liknande. Men även programområde 1-projekt bör innehålla så mycket mer än bara kurser och Lärande uppföljning av dem. Exempel på intressanta lärdomar i sådana projekt kan gälla nyskapande samarbetslösningar mellan utbildningsanordnare och utvärdering arbetsplatser, arbetsplatslärande på nya sätt som kopplar samman stödjer projekt att individens utveckling med verksamhetens, eller kompetensutvecklingens inverkan på personalens hälsa. stärka individer, En utvärdering ska därför se till projektets intressen, men också det ansvar inarbeta rutiner som alla projekt i programmet har att bidra med mervärden. Socialfondsprogrammet anger att projekt kan skapa mervärde genom att för att kunna göra påverka och förbättra: 1. Individers och gruppers situation i arbetslivet så även efter projektslut, samt 2. Företagens strategier, produktivitet och tillväxt med sina lärdomar 3. Arbetsplatsernas formella och informella rutiner påverka andra

3 3(13) 4. Policy- och idéutveckling inom politikområden, strukturer och institutioner Punkterna 2 4 tydliggör vad som menas med strategisk nivå. Det är de aktörer som på företaget/arbetsplatsen har mandat att förändra. På samma sätt finns det på regional och nationell nivå politiker, branschorganisationer, myndigheter, mm som har makt att möjliggöra större spridning för goda arbetssätt. På detta sätt kan Socialfondsprojekten bidra till att stärka regional tillväxt och sysselsättning. Varje projekt behöver tänka igenom hur de ska bidra med mervärden, hur utvärderingen ska bedöma projektets bidrag, samt hur det kan underlätta lärande i regionerna. Uppföljning och utvärdering olika funktioner i samspel Det kan vara svårt att skilja på uppföljning och utvärdering eftersom båda har kopplingar till projektets mål. Men de båda funktionerna svarar på olika frågor och kompletterar varandra. Enkelt uttryckt svarar uppföljningen på frågan: Hur går det? Det handlar alltså om att undersöka om projektet är på rätt väg utifrån genomförandeplanens olika steg. Utvärdering är något annat. Om uppföljningen svarar på hur det går, så ska utvärderingen svara på varför det går som det gör. Det innebär att kritiskt granska och värdera det som hänt i ett projekt, ofta i relation till den problembeskrivning och de mål som finns för projektet. Leder t.ex. projektets aktiviteter till resultat som gör att individer får kunskaper, utvecklas och blir anställningsbara? Leder projektinsatserna till att nya rutiner inarbetas och ger effekter i organisationen? En beståndsdel av en lärande utvärdering är måluppfyllelsen. I ansökan ska såväl mätbara projektmål som förväntade effekter på sikt beskrivas. Men för att kunna utvärdera måluppfyllelsen på ett meningsfullt sätt är det viktigt att målen är tydliga. Att skilja på målnivåer och se till att de har ett logiskt samband bidrar till tydlighet: Övergripande och långsiktiga (effekt)mål: Ligger tidsmässigt bortom projekttiden. Oftast krävs det att organisatoriska mål uppfylls inom projekttiden, såsom att en ny samverkansform etableras för att långsiktiga effekter ska uppnås. Huvudmål för projektet: Ett övergripande (resultat)mål för vad som ska ha uppnåtts vid projekttidens slut. Delmål: Oftast finns flera delmål som bidrar till att huvudmålet uppfylls. Till respektive delmål kopplas aktiviteter. Indikatorer talar om hur man ska ta reda på om målen uppfylls (tabell 1). Indikatorer kan vara kvantitativa (mätbara) eller kvalitativa.

4 4(13) Tabell 1. Skillnaden mellan uppföljning och utvärdering och kopplingen till mål i ett exempelprojekt inom programområde 2. Bedömningsnivå Mål Uppföljning av indikatorer Långsiktiga mål Minskad arbetslöshet Andel arbetslösa bland ungdomar kvinnor och män i år åldern år Huvudmål Minst 90 % av deltagarna får en anställning på minst 6 månader Andel kvinnor och män som inom projekttiden får en anställning på minst 6 månader Utvärdering av orsaker Vad för arbete får deltagarna. Vad är orsakerna? Varför är det fler män än kvinnor som får en anställning genom projektet? Delmål 1 Delmål 2 Kommunen och Företagscentrum etablerar en långsiktigt finansierad funktion för praktiksamordning Minst 70 % av företagen upplever att ungdomarna är anställningsbara efter fortbildningen Finansieringsform beslutad innan projektslut Andel företagare som upplevere att ungdomarna har tillräcklig kompetens för anställning hos dem. Varför är företagen motvilliga att skjuta till pengar? Varför anställer inte företag ungdomarna trots att de upplever dem anställningsbara? När det gäller måluppfyllelse ska fokus i en utvärdering ligga på resultat och effekter, inte på aktiviteter och utfallet av dessa. Utvärderingen måste alltid identifiera processer som förväntas leda till att målen uppfylls. För delmål 1 i tabell 1 kan utvärderingen t.ex. undersöka om projektet utreder olika finansieringslösningar och om det pågår en diskussion med styrelser. Utöver måluppfyllelse ska utvärderingen granska processen och lärandet från den. Detta utvecklas på sidan 5 och framåt. Uppföljning och utvärdering kan på ett naturligt sätt kopplas samman i projektet. Uppföljningens resultat kan vara en värdefull utgångspunkt för utvärderingen. Den kan ta vid och ställa de frågor som ger en fördjupad bild, synliggör orsaker till framgångar eller svårigheter som kan vara svåra att få grepp om i en uppföljning. Omvänt kan en utvärderare vara ett stöd i det interna arbetet genom att ta fram mallar och föreslå metoder för hur uppföljningen kan genomföras. Ansvaret för uppföljningen är däremot projektets eget. Idealt sett skapas en växelverkan mellan uppföljning och utvärdering i projektet. En extern utvärderare kan ge andra perspektiv Det är ofta en fördel att själv göra det man kan i ett projekt. Det ger en större inblick i och lärande av arbetet och är samtidigt kostnadseffektivt. Projektets egna indikatorer såväl som

5 5(13) de programindikatorer som varje projekt ska rapportera till SCB 3 är något som ska följas upp av projektet. Projektet kan också jobba med egen utvärdering inom områden där det inte är avgörande med en utomståendes blick. Exempel kan vara om man har anlitat en utbildare för att genomföra en kurs och följer upp deltagarnas upplevelser genom en enkät. Om enkäten visar på dåligt utfall så vill man ta reda på varför. Då kan t.ex. projektledaren eller någon annan i projektorganisationen göra några intervjuer med deltagare. Huvudsaken är att deltagarna vågar tala fritt. I andra utvärderingssammanhang kan det vara nödvändigt med god kännedom om organisationen som projektet verkar i. I de fallen är egen utvärdering också en fördel. Men i en utvärdering ska också de kritiska frågorna ställas frågor som ibland kan vara svåra att formulera och besvara när man är involverad i ett projekt. Man blir lätt hemmablind och det är svårt att utmana sitt projekt och granska sitt eget arbete kritiskt. Detta kan vara särskilt svårt i lägen då man tvingas ompröva ursprungliga idéer, planerade insatser och valda metoder, eller då man ska granska och värdera projektets organisation och dess möjligheter att nå resultat och effekter. Jämställdhet är ett bra exempel på fråga där projekten själva har svårt att se att de kan utvecklas och på vilket sätt det kan förbättra projektet. Många Socialfondsprojekt är stora satsningar med flera samarbetspartner involverade som bedriver nyskapande verksamhet. Vägen till projektmålen är sällan rak och därmed svår att staka ut på förhand. Man ställs inför nya val och viktiga beslut som ska fattas under projekttiden. Då är det en fördel att ha en extern, fristående utvärderare som, förutom utvärderingskompetensen, kan tillföra nya perspektiv på de frågor som man brottas med i projektet. Det finns även andra typer av kompletterande utvärdering som projektet kan använda sig av, t.ex. peer reviews. Det innebär att likar, t.ex. projektledare i samma situation som man själv, bedömer varandras insatser. De kan ge viktig feed-back utifrån sina praktiska erfarenheter. Lärande utvärdering utvecklar projektet Ett vanligt sätt att arbeta med utvärdering är att i slutet av projektet bedöma om man har följt projektplanen och vad de planerade aktiviteterna har resulterat i. En lärande utvärdering ska göra något ytterligare. Den ska bedöma och värdera om projektet är på rätt väg när det gäller att uppnå de resultat som krävs för att uppfylla projektets syfte. En lärande utvärdering går inte att göra i slutet av projektet. Den ska komma in tidigt och följa hela processen i ett projekt. Men det räcker alltså inte med att bara följa processen och visa hur den utvecklas projektets resultat och måluppfyllelse ska också ingå i en lärande utvärdering. Utöver att studera måluppfyllelse och process ska utvärderingen vara lärande. Det bygger mycket på delaktighet från projektorganisationen i planering och analys. Utvärderingen kan t.ex. bestå av: Dokumentstudier. Finns det t.ex. i projektplanen en logik så att de aktiviteter som planeras verkligen leder till de mål man har satt upp? Enkäter. Hur upplever t.ex. deltagarna projektet och projektidén? 3 Du hittar dessa fysiska och finansiella programindikatorer i nationella Socialfondsprogrammet på Indikatorerna rapporteras till SCB som sammanställer rapporter på programnivå, men projektet kan själv dra nytta av dessa indikatorer i sitt utvärderingsarbete.

6 6(13) Intervjuer. Vilken syn har t.ex. styrgruppen på sin och andras roll i projektet? Har de en samsyn kring vad som ska uppnås? Vilken typ av frågor anser de att de ska hantera? Möten. Utvärderaren kan delta på t.ex. styrgruppsmöten och Utvärderaren är observera. Men utvärderaren ska också presentera preliminära medarbetaren resultat och lyfta viktiga frågor för analys, lärande och utveckling tillsammans med projektorganisationen. som hittar vad ni Omvärldsanalys. Vilka trender och förändringar som påverkar projektet är på gång? Vilken betydelse kan projektet ha för behöver omvärlden? förbättra och Lärandet sker genom att det som synliggörs under utvärderingen hjälper er att återkopplas till projektet och att en dialog förs med ansvariga och berörda om vad som kommit fram. På det sättet kan man i projektet ta ställning till komma på hur hur processen utvecklas och om det finns förutsättningar att uppnå projektets mål och syfte. Om förutsättningarna bedöms dåliga, behöver orsaker analyseras och åtgärder planeras. En gemensam analys mellan utvärderare och ansvariga för projektet ger förutsättningar för genomtänkta förslag om hur saker och ting kan göras annorlunda. Utvärderaren kan föreslå förändringar, men har inget ansvar för att de genomförs. I nästa steg kan utvärderaren följa upp dessa förändringar och vad de leder till. Lärandet ska alltså vara ett stöd för utvecklingsarbetet här och nu, inte något som kommer efteråt. Men rollerna kan också variera under projektets olika faser (tabell 2). Kännetecken på en lärande utvärdering: Utvärderaren är med från början av projektet Den har ett syfte att studera metoder, process och resultat, samt att värdera dessa delar i förhållande till projektidén och Socialfondsprogrammets intentioner. Ett kritiskt förhållningssätt, men också konstruktivt Den ger kontinuerligt snabb återföring till berörda på olika nivåer i projektorganisationen för ett gemensamt lärande och möjlighet att styra projektet rätt och utveckla det löpande Att olika metoder och former för gemensamt lärande kan användas Då utvärderaren är med genom hela projektet och har gemensamma analystillfällen med projektorganisationen kräver den i regel mer resurser än traditionell utvärdering som görs i slutet av ett projekt där utvärderaren själv drar alla slutsatser.

7 7(13) Tabell 2. Exempel på projektets respektive utvärderarens roll i projektets olika faser. Observera att detta inte är någon fullständig redovisning. Projektfas Projektets roll Utvärderarens roll Ansökan Formulera en utvärderingsplan - (se s. 9) Förprojektering/Mobilisering (om projektet har en sådan fas) Få en utvärderare på plats snarast. Konkretisera utvärderingsplanen. Delta i konkretiseringen av utvärderingsplanen. Utvärdera projektets organisatoriska förutsättningar att kunna genomföra projektet, samt dess Genomförande Genomförande: Resultatspridning för påverkan Få ett fungerande samspel mellan egen uppföljning/utvärdering och extern utvärdering. Löpande använda utvärderarens återföring för att utveckla projektet och Socialfondsprogrammet. Kontinuerligt öka kunskapen om hur hela eller delar av projektet kan implementeras i reguljär verksamhet. Sprida resultat och lärdomar till nyckelaktörer. projektlogik. Granska såväl måluppfyllelse som projektets organisatoriska förutsättningar att nå projektets slutmål. Återföra till och analysera med hela projektorganisationen. I rapporter tydliggöra vad som är generella lärdomar av projektet och vilka som kan lära av dem. Analysera nyckelaktörer att sprida till. Delta i spridningsaktiviteter. Lärande utvärdering bidrar till långsiktiga effekter En utvärdering ska inte bara vara stödjande, utan också "störande". Den ska ifrågasätta och kritisera, men också peka framåt och synliggöra vad som kan förbättras. Ett viktigt fokus är på hållbarheten i ett projekt, dvs. vad som kan vidareutvecklas och leva kvar. Ofta kan det vara svårt för dem som ansvarar för och arbetar med projektet att själva se det. En utvärderare behöver ställa obekväma och uppfordrande frågor i stil med: Finns det aktiva ägare i projektet, dvs. är de som äger problemet och har möjligheter att lösa det engagerade? Har ägarna identifierat mottagare av projektens resultat såväl internt som externt? Har dessa mottagare en aktiv roll i projektets lärprocess så att de själva kan bedöma vad som kan leva vidare och spridas? Hur kopplar projektet till tidigare eller pågående utvecklingsarbete? Finns det en kontinuitet och en samverkan i organisationen som ger långsiktighet? Finns det en koppling mellan projektet och reguljär verksamhet där lärande kan ske kontinuerligt, eller är projektet något "vid sidan av"? Hur ska projektets löpande resultat och erfarenheter användas för att förändra arbetet i organisationen? Går det att påvisa samhällsekonomiska värden av projektet?

8 8(13) Dessa frågor är givetvis aktuella redan i planeringen av projektet, men utvärderaren påminner om dessa avgörande perspektiv och kan ifrågasätta om arbetet i praktiken verkligen lever upp till ansökan, Socialfondsprogrammets krav, samt de förutsättningar som krävs för långsiktiga effekter. Utvärderaren ska inte ensam ge svar på dessa svåra frågor, men däremot understödja en gemensam lärprocess med projektorganisationen (se nedan), där man tillsammans försöker hitta svaren och "lösningarna". Vem ska lära av utvärderingen? En viktig fråga att ställa sig är för vem utvärderingen ska göras? Det generella svaret är att en lärande utvärdering vänder sig till hela projektorganisationen, dvs. den som äger projektet, samverkanspartners, styrgrupp, projektledning och deltagare, men även externa mottagare. Vissa delar av en utvärdering kan specifikt vända sig till en viss nivå i projektorganisationen. Det är dock avgörande att de som har beslutsmandat och de som styr projektet får ett meningsfullt deltagande i utvärderingens återkopplingar. Dessa personer sitter på möjligheter att bidra till lösningar som är hållbara på sikt. På detta sätt görs de delaktiga på ett tidigt stadium, vilket underlättar beslut om nya arbetssätt i reguljär verksamhet eller spridning till andra organisationer. Observera att olika funktioner i projektorganisationen inte behöver delta på samma sätt eller samma omfattning (tabell 3).

9 9(13) Tabell 3. Exempel på vilket lärbehov olika nivåer i projektorganisationen kan ha. Med lärbehov menas vad personer på respektive nivå behöver veta för att kunna nyttiggöra projektet. Tabellen är inte uttömmande utan ska visa vilken roll aktörerna kan ha. Nästa steg är att tydliggöra hur lärbehovet ska tillgodogöras respektive grupp och vilken roll utvärderingen har i det. Nivå Exempel på lärbehov/roll Externa mottagare Lärdomar kring vilka metoder som fungerar bra och hur väl de kan tillämpas av andra Projektägare Hur projektets fördelar/nackdelar förhåller sig till reguljär verksamhet som underlag för beslut Styrgrupp Positiva och negativa resultat och erfarenheter som underlag för styrning av projektet mot uppsatta mål. Extern och internt sprida resultat. Projektledning Erfarenheter från medarbetare och deltagare som underlag för organisering Projektmedarbetare Erfarenheter från likar som underlag för att utveckla metodiken i projektet Projektdeltagare Lärdomar om vilka insatser som fungerar för att stärka individer i deras situation En förutsättning för en lärande utvärdering är att organisationen som man verkar i fungerar som en lärande miljö med bl.a. dialog, delaktighet och kritisk reflektion. Man kan inte se utvärderingen som en isolerad lärmöjlighet. Det är snarare så att hela projektet behöver organiseras för lärande och där utgör utvärderingen ett stöd i processen. Formerna för återföringen och det gemensamma lärandet kan variera. Det kan ske genom korta och löpande återkopplingar till projektledning och styrgrupp. En möjlighet är att utvärderaren adjungeras till styrgruppsmötena. Mer organiserade lärtillfällen kan ske i form av seminarier. Då presenteras resultat som tagits fram av utvärderaren och de tolkas gemensamt av deltagare, projektledning, styrgruppsrepresentanter, samordnare m.fl. Resultatet av analysen sammanfattas i en rapport som snabbt tas fram och återförs till deltagarna från analysseminariet. I den ska det även ingå förslag på hur projektet kan förbättras. Mellan återföringarna bör aktiviteter pågå för att synliggöra utvärderingen för fler, samt aktivera och motivera dem till nödvändiga förändringar. Utvärderingens rapporter bör utöver projektorganisationen ha externa mottagare i åtanke. Framförallt den slutliga utvärderingen av projektet bör läggas ut på Projektbanken på

10 10(13) och ska kunna användas av andra projekt, organisationer, eller av temagrupper. Se s. 2 om vilka perspektiv som kan vara relevanta. I påverkansarbete har utvärderingsrapporter ett stort värde. De ökar trovärdigheten och belyser de kritiska frågorna i projektet. Av samma anledning kan det vara bra om utvärderaren själv kan medverka i spridningsaktiviteter. Tänk på att budgetera för sådana insatser. Om utvärderingen dessutom bedömer det ekonomiska värdet av projektet i ett samhällsperspektiv kan rapporten bli använd i fler sammanhang. Behöver en samhällsekonomisk värdering göras? Såväl implementering som spridning underlättas av trovärdiga värderingar av projektets resultat ur olika aspekter. En samhällsekonomisk värdering 4 av programområde 2-projekt 5 kan visa vilka intäkter som en person i arbete kan ge och vilka kostnadsminskningar som följer av t.ex. minskade vård-, rehabiliterings- eller polisinsatser. Denna kalkyl kan vägas mot projektets kostnader för att få en bild av om arbetssättet kan räknas hem. Vinsterna av t.ex. kommunens insatser fördelas ofta En mellan olika samhällsaktörer, t.ex. kommunen, Försäkringskassan och rättsväsendet. Därför är det viktigt samhällsekonomisk att få hela bilden och engagera berörda aktörer i arbetet. värdering av Vid planering av ert projekt behöver ni bedöma om projektet har den karaktären att en samhällsekonomisk projektet kan värdering kan underlätta er implementering och spridning. underlätta Enkelt uttryckt blir en sådan värdering mer relevant ju fler insatser från olika samhällsaktörer som era deltagare implementering och möter och ju längre ifrån arbetsmarknaden de står. spridning 4 Det finns olika begrepp för detta beroende på metod, men i grunden handlar allt om en typ av utvärdering som kallas cost-benefit-analys. Exempel är Socioekonomiska bokslut, Samhällsekonomisk utvärdering eller Social Return on Investments. 5 Liknande värderingar kan göras inom programområde 1, t.ex. i projekt som har för avsikt att förbättra arbetsorganisationen, hindra långtidssjukskrivningar etc. men det är mindre vanligt.

11 11(13) En utvärderingsplan förenklar arbetet Lärande utvärdering är en stor uppgift som kräver en egen planering. Det är viktigt att först skapa en struktur som ger förutsättningar för lärande. Tydliggör vad som är nytt med projektet och hur sambandet ser ut mellan aktiviteter, resultat- och effektmål, t.ex. med hjälp av ett projektstyrningsverktyg. Därefter gäller det att avgränsa frågeställningarna för utvärderingen och hitta effektiva former för återföringen och det gemensamma lärandet. De grundläggande frågor som behöver ställas i en utvärderingsplan är: Varför ska utvärderingen göras? Ska den kontrollera att målen uppfylls, stimulera utveckling av verksamheten, eller utveckla mer vetenskaplig kunskap? Vad ska utvärderas? Vilka kunskaper söks? Vilka bedömningskriterier ska användas? Hur ska utvärderingen genomföras? Vad görs internt respektive externt? Hur ser kopplingen mellan uppföljning och utvärdering ut? Vilka metoder ska användas? Hur ska utvärderingen användas? Hur och när sker återföring och till vem? Hur kan utvärderingen användas för spridning av projektets resultat och erfarenheter? Det är viktigt att i planeringen avgöra vilka som berörs av utvärderingen och diskutera upplägget med dem. Det är en förutsättning för att få ett engagemang som skapar tid för återföring och ett gemensamt lärande. När utvärderaren är på plats bör en förnyad genomgång och konkretisering av utvärderingsplanen göras. Att hitta rätt utvärderare Utvärderaren kan vara från den egna organisationen så länge den inte är involverad i projektarbetet. Viktiga egenskaper för utvärderaren är att den har kompetens om utvärdering och projektarbete, att den kan se på projektet med andra ögon och fritt kan framföra kritiska frågor och synpunkter utan oro för att personliga relationer ska skadas. Se till att få en kompetent utvärderare gärna med erfarenhet av att utvärdera Socialfondsprojekt. Då lärande utvärdering är en ny utvärderingsansats är det en fördel om personen har kompletterat med den högskoleutbildning som finns. När ni upphandlar utvärderingen, var noga med att tydligt formulera de krav som ni tycker är viktiga i underlaget. Låt styrgruppen ta en aktiv roll i valet av utvärderare. För att underlätta valet kan ni intervjua och ta referenser på de tilltänkta utvärderarna eller ta kontakt med andra projekt i regionen och lyssna till deras erfarenheter. Det är ännu relativt få som utför samhällsekonomiska värderingar och de är ofta specialiserade inom detta. Det innebär att det kan vara svårt att hitta en extern utvärderare som genomför såväl den lärande utvärderingen i stort som den samhällsekonomiska kalkylen. Det är viktigt se till att projektet kompletteras med denna kompetens.

12 12(13) Att tänka på vid ansökan Om du arbetar med din ansökan, tänk på följande: Processtöden kan kostnadsfritt ge dig hjälp i planeringen av ert projekt och er utvärdering. I ansökningsfas är Processtödet för projektutveckling er första ingång. De ger stöd i att identifiera det problem som projektet vill lösa och vilka intressenter som då är relevanta. De kan också hjälpa till med att strukturera mål och indikatorer samt organisera projektets helhet. Vid frågeställningar om hur utvärderingen kan organiseras och återkopplas för lärande och strategisk påverkan, kontakta processtödet för Strategisk påverkan och lärande (SPeL). Hur man följer upp och utvärderar Jämställdhetsintegrering och Tillgänglighet besvaras bäst av dessa respektive processtöd. Se för mer information om vad de kan hjälpa dig med och hur du når dem. Du är också alltid välkommen att kontakta ditt regionala ESF-kontor. Ta redan nu fram en preliminär utvärderingsplan. Planen kan i ansökan vara kortfattad, men ni behöver svara på de fyra frågorna varför ni ska utvärdera, vad ni ska utvärdera, hur utvärderingen ska genomföras och hur resultaten ska återföras och spridas. Budgetera tillräckligt. En lärande utvärdering är resurskrävande oavsett om den görs internt i projektet eller av en extern utvärderare. Den förutsätter närhet och kontinuitet. Det är svårt att ange en exakt procentsats eller en viss summa, utan det kan variera mellan olika projekt och skilda ambitionsnivåer. Kostnaden beror bl.a. på hur mycket ni själva är beredda att göra i form av uppföljning och egenutvärdering. Har ni en utvärderingsplan förenklar den er bedömning av hur mycket tid som behövs för olika delar av utvärderingen. Ta ställning till om det finns ett värde för projektet med att projektledare och/eller utvärderare ges möjlighet att delta i något av de nätverk som finns i regionen. Kostnader för arbetstid och resor behöver i så fall också tas upp i budgeten. Genom att träffa andra för utbyte av erfarenheter och diskussioner kring kritiska faktorer, kan man spegla sitt eget projekt och få stöd i såväl kvalitetsarbetet som insatser för spridning och påverkan. Ta ställning till om projektet behöver en samhällsekonomisk utvärdering och hur omfattande den behöver vara (se s. 8). Dessa genomförs ofta av en särskild utvärderare, specialiserad på området.

13 13(13) Fördjupning om lärande utvärdering Några möjligheter som står till buds är: Läs boken Lärande utvärdering genom följeforskning, Svensson L, Brulin G, Jansson S, Sjöberg K, Studentlitteratur Kontakta processtödet SPeL (Strategisk påverkan och lärande). Kontaktuppgifter på Gå med i något av SPeL:s nätverk som organiseras för projektledare och utvärderare i Socialfondsprojekt Gå högskolekursen Lärande utvärdering/följeforskning (se fotnot 2) Gå in på och Projektbanken. Leta efter projekt som har lagt ut sina utvärderingsrapporter.