Projekt L4U Lean Life Long Learning Ungdom Enköping Kommun

Transkript

1 Projekt: L4U Lean Life Long Learning Ungdom ESF Diarie.Nr: VOK AB Förhandsutvärdering & Utvärderingsupplägg ESF-Socialfonden, programområde 2 Ökat arbetskraftutbud Projekt L4U Lean Life Long Learning Ungdom Enköping Kommun Juli 2010 VOK AB Nygatan Ulricehamn Tel: peter.johansson@vok.se

2 Innehållsförteckning Sammanfattning...3 Bakgrund...4 Metodval för förutvärdering och utvärdering av fokusområden...4 Metodval Förutvärdering...4 Metodval Utvärdering av fokusområden...5 Förhandsutvärderingens rekommendationer...6 Programteori L4U Lean Life Long Learning Ungdom...6 Beskrivning av modellen...6 Rekommendationer...8 Förhandsutvärdering av valda programkriterier Främja Samverkan & Strategiskt Påverkan...10 Utvärdering av fokusområden...10 Rådgivare till projektledningen och bidra till att projektet styrs mot sina mål Utvärdera och följa upp de kvantitativa målen Fokusera och utvärdera samverkan och strategiskt påverkan Strategisk påverkan...12 Samverkan...13 Utvärdera projektets arbetsinsats vad gäller jämställdhetsintegrering Utvärderaren ska utvärdera projektets hinders- och framgångsfaktorer Tidsplan...14

3 Sammanfattning Förhandsutvärderingen och upplägget för kommande utvärderingsinsatser bygger på ett introduktionsmöte och ett uppstartsmötet mellan projektledaren och den externe utvärderaren. Dessa ägde rum den 20 april 2010 respektive 16 juni Rapporten består av två delar. Den är dels en förhandsutvärdering vilken ger synpunkter och förslag på vad som redan nu inför uppstart av utvärderingstjänsten bör tas i beaktande och dels en beskrivning av hur den externe utvärderaren planerar att hantera de beslutade primära utvärderingsområden. Rapporten baseras på nämnda möten, samtal och dokumentation som erhållit från projektledningen. Rapporten ger förslag på i nuläget primära förbättringsrekommendationer i syfte att kvalitetssäkra projektet/projektplanen samt hur fortsatta utvärderingsaktiviteter dvs. de primära milstolparna ska genomföras och dess innehåll. Utgångspunkten för introduktionsmötet var att den externa utvärderaren skulle få information om hur uppdraget konkret ska tolkas medan uppstartsmötet var att fastställa projektets programteori. Programteorimodellen sätter fokus på att analysera sambandet mellan projektets resurser, aktiviteter, effekter och hur dessa tre delar leder fram till projektets mål och på sikt stegen mot visionerna. Den röda tråden för att arbeta fram programteorin är de i projektansökan angivna målen samt de som projektägaren önskar att den externe utvärderaren lägger fokus på. Resultatet är att förhandsutvärderingen visar på ett antal i nuläget förbättringsförslag inom såväl projektets resurser, aktiviteter och effekter. För att kunna hantera de primära utvärderingsområdena framöver förespråkas såväl en kvalitativ- som en kvantitativ ansats. 3

4 Bakgrund Projekt L4U Lean Life Long Learning Ungdom är ett ESF-projekt inom programområde 2 Ökat arbetskraftsutbud och syftar till att minska arbetslösheten bland ungdomar år, genom att använda en flexibel och individanpassad modell för coachning och aktiviteter i kombination med praktikplatser på företag som anmält intresse till att vilja delta i projektet och därmed ta emot praktikanter. Projektet ska nyttja en extern utvärderare som med stöd av en lärande utvärderings ansats fokuserar på följande områden: Projektets måluppfyllelse Samverkan mellan projektteam, samverkanspartners och deltagande företag Jämställdhetsintegrering Uppfyllelse av valda programkriterierna: Samverkan och Strategiskt Påverkan Hinders- & Framgångsfaktorer Hur dessa punkter angrips beskrivs under avsnittet utvärdering av fokusområden. Innan uppdraget startas upp har den externe utvärderaren genomfört en förhandsutvärdering som lyfter fram riktade förslag om insatser som projektledningen i nuläget bör ta i beaktande i kvalitetssäkringssyfte. Metodval för förutvärdering och utvärdering av fokusområden Avsnittet är uppdelat i två delar där respektive del beskriver hur tillvägagångssättet har varit för att nå fram till förutvärderingens resultat och kommande planerade insatser. Metodval Förutvärdering Representant från VOK AB har under juni 2010 genomfört en förhandsbedömning av ESFprojektet L4U Lean Life Long Learning Ungdom för perioden till Metodvalet har varit ett projektmöte mellan projektledarna och externe utvärderaren där 4

5 projektets programteori fastställdes. Med stöd av denna och den tillhörande diskussionen som följdes under mötet har förhandsutvärderingen resultat arbetats fram. Metodval Utvärdering av fokusområden På mötet den 20 april 2010 gjordes en genomgång och tolkning av projektet, vilket ledde till ett förtydligande av utvärderingens omfattning och genomförande. Tillsammans med resultatet från uppstartsmötet har ett program för utvärdering gällande fokusområdena arbetas fram. 5

6 Förhandsutvärderingens rekommendationer Med hjälp av projektledarna arbetade den externe utvärderaren fram projektets programteori och utifrån de diskussioner som sedan fördes om hur projektets resurser, aktiviteter och effekter samspelar med varandra har analys genomförts. Modellen nyttjas för att kunna kvalitetssäkra projektplanen och lyfta fram åtgärder som i nuläget är aktuell att börja bearbeta för att säkerställa projektplanen. Programteori L4U Lean Life Long Learning Ungdom Projektets programteori är som följer nedan (storskalig figur presenteras under avsnittet bilaga). Beskrivning av modellen Programteorimodellen nyttjas för att klargöra sambandet mellan projektets resurser, aktiviteter och effekter för att därigenom nå målen, och på sikt visionerna. Resurser Resurser är de inom projektets ramar tillgängliga hjälpmedel som finns till hand för att kunna driva projektet. Aktiviteter Aktiviteter är de inom projektet beslutade insatserna som ska utföras och på sikt ge resultat i form av effekter. Effekter Effekter är det tänkta resultatet av projektets aktiviteter. 6

7 Samspelet med stöd av sifferkombination För att tydliggöra vilka av ovanstående tre kategorier som samspelar i högre grad med varandra används ett siffersystem. Varje siffra har en högre påverkan på projektets resurser, aktiviteter och effekter, t.ex. samtliga 1 i figuren har en högre samverkan med varandra. Figur 1: Programteori Projekt L4U Lean Life Long Ungdom Visionen är att projektet på sikt ska skapa en etablerad modell som kan nyttjas nationellt för att få ungdomar snabbt in i arbetslivet och därmed minska ungdomsarbetslösheten i Sverige. Projektets övergripande mål är tre stycken, vilka är: lägre ungdomsarbetslöshet inom Enköpings kommun, förbättrad kompetens hos ungdomar/matchning gentemot arbetsmarknaden samt att ungdomar får ett förbättrat kontaktnät inom näringslivet. För att kunna nå dessa mål sker det ett samspel mellan projektets resurser, aktiviteter och effekter. 7

8 I samråd med projektledningen fördes diskussion kring hur dessa tre delar i nuläget samspelar och det gick att utröna att det finns ett par behov att redan nu ta i beaktande. Samspelet sker över gränserna mellan varje avsnitt men för att förtydliga vilka delar som har ett starkare samband dvs. ett högre beroende mellan varandra till att nå projektets mål länkas de samman med ett siffersystem. Med stöd av ovanstående figur och samspelskartläggning rekommenderar den externe utvärderaren att följande behov och åtgärder i nuläget tas i beaktande för att bättre säkerställa att projektets effekter och därmed mål uppnås: Rekommendationer Följande rekommendationer är att ta i beaktande ur ett förhandsutvärderingsperspektiv och för att kvalitetssäkra projektet. Styrgruppen-Samverkan-Ökad Samverkan Ett av effektmålen är samverkan mellan olika instanser så som kommun, myndigheter och förvaltningar. Projektets styrgrupp är också dess samverkanspartners och för att lägga grunden till förmånliga samverkansmöjligheter krävs det en hög delaktighet. För att stärka styrgruppen delaktighet är det att föredra att tydligare direktiv arbetas fram där det framgår styrgruppens roll och funktion för samverkan. Visserligen har projektledarna framhävt att gruppen växer sig in mer och mer i rollen, men en tydligare ansvarsfördelning kan vara aktuellt för att kunna öppna upp för möjligheterna att bättre uppnå projektets valda programkriterier samverkan och strategiskt påverkansarbete. Projektledningen bör även påbörja arbetet med att skapa underlag till att kunna skapa samverkansmöjligheten, vilket innebär att aktiviteten uppföljning (se kommande punkt) är därtill aktuell att ta i beaktande. Åtgärder för att även inkludera en representant för näringslivet dvs. för deltagande företag är en viktig insats att bearbeta för att få representanter från samtliga berörda. Intervjuer för samverkan I syfte att uppnå en gemensam syn på samverkan och att stärka förutsättningarna 8

9 föreslås djupintervjuer med respektive person ur styrgruppen då dessa representerar de deltagande aktörerna. Målsättningen är att analysera den gemensamma bilden på samverkan, både ur ett kortsiktligt och långsiktligt perspektiv och att få insikt i hur samverkansbilden förändras över projektperioden. I nuläget saknas tydliga insatser för hur samverkansaktiviteter ska genomföras (se vidare under avsnitt utvärdering av fokusområden). Samverkanspartner AF kontra deltagare Utvärderaren vill påpeka att det är viktigt att informera Arbetsförmedlingen om vilka urvalskriterierna vad gäller projektdeltagare som är aktuella, med syftet att projektet får de deltagare som projektet också är ämnat för. Ur samtal med projektledarna framkom att det inte alltid är rätt sorts målgrupp för projektets syfte, vilket kan bero på att det ännu inte har arbetats fram dokument rörande projektet och dess syften. Genom att ha sådana dokument kan AF bättre matcha målgruppen. Uppföljning Företagskontakter Under arbetet med projektets programteori arbetades en åtgärdspunkt fram angående kopplingen mellan hur de företag, som har haft praktikanter, har upplevt den perioden vad som har varit bra och mindre bra. Det är en viktig aspekt som saknas för att löpande säkerställa att deltagande verksamheter upplever att det har varit positivt och för att kunna dra slutsatser kring eventuella behov av förändringar. Vald metod är nyttjandet av enkäter där företagsledaren får svara på ett antal påståenden som sedan sammanställs för analys. Projektets mål Uppföljning av hur deltagaren upplever sitt deltagande i projektet bör tas i beaktande. Förslaget är att använda sig av enhetliga enkäter. Dessa arbetas fram i samråd mellan projektledarna och extern utvärderare. Tillgänglighetsbeaktande Bör tas i beaktandet för att säkerställa att samtliga behov tillgodoses. 9

10 Förhandsutvärdering av valda programkriterier Främja Samverkan & Strategiskt Påverkan Projektet har valt att fokusera på kriterium Främja Samverkan och Strategiskt Påverkansarbete. Utvärderingsinsatserna för att lyfta fram dessa kommer att vara en röd tråd i hela utvärderingsuppdraget. De planerade insatserna för att främja samverkan bygger på att genom intervjuer kunna analysera synen på samverkan och vilka behov som kan tänkas uppstå. För det strategiska påverkansarbetet syftar det till att styrgruppens tar ett ansvar för att sprida projektidén och dess resultat. För att nå ett framgångsrikt resultat rekommenderar utvärderaren att, som tidigare beskrivits, projektledningen börjar arbetet med uppföljningsunderlaget för att därigenom tillgodose styrgruppen med material att använda i påverkanssyfte. Med uppföljningsunderlag syftas det på uppföljning företagskontakter och deltagareresultat efter genomfört projektdeltagande. Utvärderaren föreslår även djupintervjuer med styrgruppen för att kunna belysa och analysera hur den gemensamma synen på samverkan fungerar inom projektet och hur det förändras över projektperioden. Strategisk påverkan Det tidigare nämnda statistiska underlaget är en viktig del för projektledningen i strategiskt påverkanssyfte. Gentemot styrgruppen skapas ett underlag som visar på hur projektets utvecklas, ett underlag som senare kan nyttjas i påverkanssyfte. Det strategiska påverkansarbetet kan syfta till hur projektet kommunicerar ut sitt budskap till extern part. Den externe utvärderaren bistår med stöd och underlag för att lyckas med detta. Utvärdering av fokusområden Den 20 april 2010 gjordes en genomgång och tolkning av projektet mellan utvärderare och projektledningen, vilket resulterade i ett förtydligande av utvärderingens omfattning och genomförande. Utifrån underlaget och påföljande diskussioner har nedanstående insatser beslutats att utvärderaren ska genomföra. Insatserna beskriv utifrån primära fokusområden. 10

11 Rådgivare till projektledningen och bidra till att projektet styrs mot sina mål Utvärderaren håller kontinuerlig kontakt med projektledningen via telefon och e-post, och finns under hela projekttiden tillgänglig för rådfrågning och diskussion angående projektets utveckling. Regelbundna möten med projektledningen genomförs löpande och vid behov, alltid när projektledningen upplever att det skulle vara aktuellt. Projektets huvudsakliga mål Att 70 % av projektdeltagarna skall ha ett arbete eller påbörjat någon form av studier efter avslutat projektdeltagande. o Uppföljning efter 90 dagar genom telefonkontakt är preliminära metodval. Ansvarsfördelning: Projektledare Uppföljning, Extern utvärderare Utarbetning av MS Excel mall. o Målgruppen är ungdomar i åldern år, som kommer att delta i såväl teoretiska och praktiska aktiviteter. Ansvarsfördelning: AF väljer ut deltagare. För att mäta ovanstående insats kommer korta intervjuer till deltagarna att användas. Intervjuunderlaget arbetas fram i samråd med projektledningen. Projektets långsiktiga mål/övergripande vision Projektet ska hitta effektiva och snabba vägar till kompetensutveckling och arbete genom en god samverkan mellan organisationer, privata företag, utbildningsansvarig och offentliga arbetsgivare. Modellen lägger fokus på den enskildes och arbetsgivares behov. o Metodval att föra dialog omkring är bl.a. seminarier och riktade events till intressenter. En satsning på strategisk påverkan är också att föredra. Ansvarsfördelning: Projektledarna & Extern utvärderare o Kontinuerlig dialog och vid behov skriftlig återkoppling gällande hinders- och framgångsfaktorer för att kunna bibehålla projektmetoden, efter att projekttiden har löpt ut. Ansvarsfördelning: Projektledarna & utvärderare. 11

12 Allt resultat ska återkopplas till såväl projektledningen och styrgruppen. Utvärdera och följa upp de kvantitativa målen Projektets långsiktliga effekter kopplas samman med indikatorerna för programområde 2 1. För projektets räkning kommer fokus att ligga på följande tre punkter: 1. Antal deltagare som 90 dagar efter avslutat projekt är i arbete. 2. Antal deltagare som 90 dagar efter avslutat projekt är i reguljär utbildning. 3. Antal deltagare som 90 dagar efter avslutat projekt har gått till annan arbetsmarknadspolitisk aktivitet. För att genomföra detta kommer en statistik uppföljning att genomföras (vilket också har lyfts fram som en rekommenderad åtgärd ur förhandsutvärderingen) 90 dagar efter att varje inskriven grupp har avslutat sitt deltagande. Ansvarsfördelning: Projektledare Uppföljning, Extern utvärderare Utarbetning av MS Excel mall. Fokusera och utvärdera samverkan och strategiskt påverkan (kommun, styrgrupp, projektgrupp och parter) Som ett led i den kontinuerliga utvärderingen ingår att regelbundet återkoppla och genomföra utvärdering på insatser som berör Strategiskt Påverkan och Samverkan. Strategisk påverkan Utvärderaren ska bistå, ge förslag och respons på föreslagna insatser som syftar till att bidra till den strategiska påverkan. Målsättningen är att projektidén ska leva vidare efter att projekttiden har löpt ut. Planerade insatser är webbsida, informationsmaterial, seminarier, slutkonferens m.m. Ansvarsfördelning: Hur de konkreta insatserna genomförs planeras i samråd mellan projektledarna och utvärderaren och är ett återkommande arbete

13 Samverkan Utvärderingsresultatet bör löpande spridas till styrgruppen och projektledningen och som ett led i den kontinuerliga utvärderingen ingår att regelbundet återkoppla utvärderingsresultat till styrgruppen och projektledningen. För att kartlägga samverkansmöjligheterna förespråkas användandet av djupintervjuer med styrgruppen. Planerat är tre möten under projektperioden med styrgruppen för att därigenom kunna mäta attityder och eventuella förändringar på synen av samverkan. Dessa möten kommer att ske enskilt med respektive ledamot, antingen på plats eller per telefon. Konkret beslut tas närmare intervjusammankomsterna. Resultatet bearbetas och analyseras för att sedan presenteras gentemot projektledarna (se avsnitt tidsplan för när insatserna ska genomföras). Ansvarsfördelning: Genomförande av intervju Extern utvärderare, frågeguide Extern utvärderare i samråd med projektledarna. Vidare ska utvärderaren kartlägga vilka möjligheter som finns för att projektledningen ska kunna samarbeta och utbyta erfarenheter med andra aktörer som arbetar med liknande problematik. Utvärdering av målsättningen för att projektet ska leva vidare efter projektavslut kommer dock att översiktligt belysas. Ansvarsfördelning: Extern utvärderare och projektledare Alla former av samverkan ska dokumenteras för att alltid kunna finnas tillgängligt. Dokumentationen ska även ingå i de skriftliga rapporterna. Samverkan Företagskontakter Under arbetet med projektets programteori arbetades en åtgärdspunkt fram angående kopplingen mellan de företag, som har haft praktikanter, har upplevt den perioden vad som har varit bra och mindre bra. Syftet är att löpande säkerställa att deltagande verksamheter upplever att det har varit positivt och för att kunna dra slutsatser kring eventuella behov av förändringar. Företagskontakter: Att föra dialog och uppföljning av företag om hur deltagares praktik har genomförts Hinder och framgångsfaktorer. Vald metod är nyttjandet av enkäter där företagsledaren får svara på ett antal påståenden som 13

14 sedan sammanställs för analys. Ansvarsfördelning: Enkät görs via telefon och på plats hos företagen, sammanställning i MS Excel Extern utvärderare. Utvärdera projektets arbetsinsats vad gäller jämställdhetsintegrering Utvärdering kommer att mäta på vilka sätt projektet arbetar med jämställdhetsintegrering. Ur projektansökan ges beskrivningen om att projektet ska aktivt verka för att erbjuda och att få deltagarna att söka praktikplatser på arbetsplatser som traditionellt domineras av det ena könet. Utvärderingen kommer att fokusera på valda metoder och kvalitativt mäta hur projektledningen arbetar för att belysa jämställdhet. Tillvägagångssättet är att genomföra intervjuer i samband med eventuella jämställdhetsintegreringsutbildningsinsatser. Målsättningen är att kunna lyfta fram förändringar som goda exempel. Vidare kan enkäter i form av självuppskattningar komma att bli aktuella ifall det finns tendenser på att det är ett behov. Ansvarsfördelning: Projektledarna och Extern utvärderare Utvärderaren ska utvärdera projektets hinders- och framgångsfaktorer Att utvärdera projektets hinders- och framgångsfaktorer ligger i linje med första punkten där det framhävs att utvärderaren ska fungera som rådgivare till projektledningen. I takt med att projektet fortlöper kommer eventuella hinders- och framgångsfaktorer lyftas fram. Utvärderaren granskar och kommenterar löpande all dokumentation för att säkerställa att projektet inte stöter på några eventuella hindersfaktorer. Framgångsfaktorer lyfts fram i skriftlig form, i kommande delrapporter. Tidsplan Den i nuläget preliminära tidsplanen är som följer: 14

15 April 2010 Juni 2010 Aug/Sept 2010 November 2010 December 2010 Introduktionsmöte/tolkning av uppdraget Konkretisering av utvärderingsupplägg, genomförande av programteori, gemensam analys/diskussion kring projektets samhörighet mellan resurser, aktiviteter, effekter och visioner. Resultat: Förhandsutvärderingsrapport inkl. milstolpar Möte: Genomgång av material för sammanställning, enkäter m.m. Milstolpe: Intervjuomgång 1/3 Samverkan/Jämställdhet med styrgruppen. Skriftlig rapport: Presentation av intervjuresultat + diskussion med projektledningen Projektledarna Utvärderaren Projektledarna Utvärderaren Utvärderaren Projektledarna Utvärderarna Styrgruppen Projektledaren Utvärderaren Jan/Feb 2011 Lägesrapport 1 Extern utvärderare Augusti 2011 September 2011 Milstolpe: Intervjuomgång 2/3 Samverkan/Strategiskt påverkan Skriftlig rapport: Presentation av intervjuresultat + diskussion med projektledningen Utvärderarna Styrgruppen Projektledaren Utvärderaren Dec 2011/Jan 2012 Lägesrapport 2 Extern utvärderare Augusti 2012 September 2012 Milstolpe: Intervjuomgång 3/3 Samverkan/Strategiskt påverkan Skriftlig rapport: Presentation av intervjuresultat + diskussion med projektledningen Utvärderarna Styrgruppen Projektledaren Utvärderaren Januari 2013 Slutrapport Utvärderare Ovanstående tidsplan betonas att den är preliminär och ska ses mer som ett riktmärke på när och vilka uppgifter som ska genomföras. Uppgifter som inte härledas till någon form av sammankomst inkluderas inte i tidsplanen. Kontakt VOK i Västsverige AB Nygatan Ulricehamn Tel: Utvärderare: Peter Johansson Tel: peter.johansson@vok.se 15

16