Avsedd för Arbetsmarknadsförvaltningen, Stockholms stad Dokumenttyp Slututvärdering Datum Augusti 2013 FILUR SLUTUTVÄRDERING
FILUR SLUTUTVÄRDERING Datum 2013/06/18 Utfört av Olov Wolf-Watz, Henrik Wiréhn, Åsa Karlsson, Anna- Belle Ericsson Beskrivning Slututvärdering av Filur Ramböll Krukmakargatan 21 Box 17009 SE-104 62 Stockholm T +46 (0) 8 568 494 40 F +46 (0) 10 615 20 00 www.ramboll-management.se
SLUTUTVÄRDERING INNEHÅLLSFÖRTECKNING 1. Inledning 1 1.1 Bakgrund till Filur 1 1.2 Utgångspunkter och metod för utvärderingen 3 1.3 Sammanfattning av resultat och förklaringsfaktorer 4 1.4 Disposition 5 2. Resultat 6 2.1 Värdering av genomförande och antal deltagare 6 2.2 Deltagarnas självstärkande och arbets- och studierelaterade utveckling 7 2.3 Filur leder i hög grad till arbete, studier eller ungdomsanställning 8 2.4 De goda effekterna från Filur håller lika bra som Jobbtorgs övriga verksamhet 8 2.5 Sammanfattning 9 3. Förklaringsfaktorer 11 3.1 Självstärkande utveckling har starkt bidragit till självförsörjning 11 3.2 Deltagarna har utvecklats av att bli sedda och arbeta självstärkande 12 3.3 Verksamma metoder, engagemang och tid har varit centrala förutsättningar för att lyckas 13 3.4 Faktorer som har försvårat måluppfyllelsen 14 BILAGOR BILAGA 1: FÖRTECKNING ÖVER INTERVJUPERSONER BILAGA 2: METODNOTAT
1. INLEDNING 1.1 Bakgrund till Filur I januari 2008 inrättade Stockholms stad Jobbtorg Stockholm som en samlad ingång till stadens arbetsmarknadsåtgärder. Jobbtorg Stockholm fungerar som en extra resurs vid sidan av Arbetsförmedlingen för de invånare som är berättigade till försörjningsstöd. På de 6 lokala Jobbtorgen arbetar bland andra coacher, matchare och studie- och yrkesvägledare med uppdraget att stödja och underlätta aspiranternas (inskriven på lokalt Jobbtorg benämns aspirant) väg in på arbetsmarknaden eller in i studier. De lokala Jobbtorgen erbjuder aspiranterna stöd och insatser genom exempelvis rådgivning, arbetsträning, praktik, kortare yrkeskurser och matchning mot arbete. Sedan starten har man på Jobbtorg Stockholm sett att det finns en grupp ungdomar mellan 16 och 24 år som trots ordinarie insatser inte lyckas etablera sig på arbetsmarknaden. Projektidén bakom Filur grundar sig på antagandet att förstärkande och kompletterande insatser till det som erbjuds på de lokala Jobbtorgen skulle förkorta bidragstiden och underlätta en varaktig etablering på arbetsmarknaden för denna målgrupp. Om projektet Filur i relation till Jobbtorg Stockholm Filur är ett projekt inom Jobbtorg Stockholm som finansieras av Stockholms stad och Europeiska socialfonden (ESF). Beslut finns från Stockholms stad om att implementera projektet. De flesta deltagarna kommer till projektet från de lokala Jobbtorgen och från Arbetsförmedlingens ungdomsgaranti. Filur erbjuder en förberedande insats inför arbete eller studier. Inom Jobbtorg Stockholms utbud finns det andra insatser som även de är av förberedande karaktär. De lokala Jobbtorgens förberedande insatser består exempelvis i enskilda samtal och gruppövningar tillsammans med jobbcoacher. Det som främst särskiljer Filur från de lokala Jobbtorgens övriga insatser är att insatsen är mer resursintensiv, exempelvis är ingen förberedande insats i ordinarie verksamhet så lång. Beskrivning av Filurs verksamhet Filur fördjupade insatser som leder unga rätt är ett projekt som pågår från första februari 2010 till sista juni 2013. Samverkanspartners i projektet är Stockholms stad (Jobbtorg Stockholm, Socialtjänsten, Utbildningsförvaltningen/Gymnasieslussen), Arbetsförmedlingen, Försäkringskassan Söderort, Stockholms Stadsmission, CSR Sweden och Skandia. Syftet med projektet är att minska andelen långtidsarbetslösa ungdomar genom att ge intensifierat stöd till de ungdomar som har svårast att etablera sig på arbetsmarknaden och som därför riskerar permanent utanförskap, samt att skapa en bättre bild av brister och tillkortakommanden i de system som omger dessa ungdomar och arbeta för att lyfta och åtgärda dessa brister. Insatserna i projektet skall leda till en stärkt självkänsla, en positiv självbild och förmåga att skriva om sitt livsmanus så att ungdomar som riskerar långvarig arbetslöshet och permanent utanförskap kommer vidare i arbete eller studier. Målgruppen för projektet är ungdomar i åldern 16-24 år som behöver mer stöd att hitta vägar till arbete och studier än vad Jobbtorg kan erbjuda genom ordinarie insatser. 1 Filur riktas således till en målgrupp som behöver mer stöd att hitta vägar till arbete och studier än vad Jobbtorg kan erbjuda genom ordinarie insatser. De som ingår i målgruppen saknar ofta de grundläggande sociala och praktiska färdigheter som krävs för att bedömas som anställningsbara av arbetsgivare. Mycket troligt är därför att de som deltar i Filur står längre ifrån arbetsmarknaden än de som endast genomgår Jobbtorgs verksamhet. Ett syfte med insatsen är att den ska fungera förberedande för de som tidigare inte har kunnat fullfölja en annan insats eller praktik, som en språngbräda som ger dem det som krävs för att kunna ta vägar som de tidigare inte har kunnat gå. 1 Filurs projektplan 2011-03-24
Insatsen i projektet består av ett tre månader långt program som är uppdelat i två större moment: självstärkande kurs under åtta veckor och praktik under fyra veckor. Den självstärkande kursen genomförs såväl i grupp som individuellt. I den självstärkande kursen ingår följande aktiviteter: Fördjupad kartläggning Gruppaktiviteter utifrån 7-TJUGO-metodik Individuella samtal Arbetsmarknadskunskap Studie- och yrkesvägledning Studiebesök och inspirationsföreläsningar Vid behov skrivande av CV och personligt brev Metodiken som används och genomsyrar hela kursen heter 7-TJUGO och syftar till att ge ungdomarna bättre kunskap om sig själva, sin förmåga och sitt samspel med sin omgivning samt att öka sin tilltro till den egna förmågan att skapa förändring. Genom olika pedagogiska övningar ska deltagarna få ökad självinsikt om sina möjligheter och det egna ansvaret och därigenom få förutsättningar att påverka sin situation och göra aktiva val som leder vidare. Efter den självstärkande kursen följer praktik. Yrkesområdet är tänkt att kopplas samman med intresse och mål som uppkommit under tiden i Filur. Inom projektet ska även mentorskap och jobbskuggning erbjudas deltagarna. Syftet med att erbjuda ett mentorskapsprogram var att främja ungdomarnas kontakter med arbetsmarknaden och ge ungdomarna goda vuxna förebilder. Dessa aktiviteter har enbart genomförts i mycket begränsad respektive ingen omfattning, detta diskuteras vidare i avsnittet kring resultat och effekt. Förenklad förändringsteori och projektmål Figuren nedan är en förenklad bild av projektets verksamhet och förändringsteori. En förändringsteori söker illustrera de antaganden och den logik som finns bakom en insats. Teorin visar kopplingen mellan aktivitet och uppsatta mål. Syftet med att här beskriva förändringsteorin är att besvara frågan om varför projektet tror sig kunna vara till nytta för deltagarna. Diagram 1. Förenklad förändringsteori för Filur Aktivitet Utfall Resultat Effekt Självstärkande kurs och individuellt stöd Praktik 500 ungdomar deltar i Filur Självstärkande utveckling Självledarskap Självkännedom Självförtroende Motivation Arbets- och studierelaterad utveckling Kunskap om arbetsmarknad och studier Referens Erfarenhet av arbetsmarknad 50 % av deltagarna arbetar/studerar 6 månader efter projektet
Ett grundläggande antagande som projektet utgår från är att en god självkännedom, självförtroende och tydliga mål ökar chanserna för en arbetslös person att få en anställning på arbetsmarknaden. Vidare så ökar även kunskap om samt erfarenhet av arbetsmarknaden chanserna. Projektet beskriver att målgruppen saknar dessa förstnämnda egenskaper, de har en låg självkänsla och avsaknad av tilltro till sina egna möjligheter. Många saknar vidare en gymnasieutbildning, andra har avslutat gymnasiet men saknar betyg i ett eller flera ämnen, och har liten arbetslivserfarenhet. Utifrån detta söker projektet därför erbjuda möjlighet till självstärkande utveckling samt arbetsoch studierelaterad utveckling genom aktiviteterna självstärkande kurs och praktik. Antagandet är att dessa aktiviteter kommer att bidra till att självkänslan och tilltron hos deltagarna ökar. Vidare så antas arbetsmarknadskunskap samt praktik öka deltagarens kunskap om, samt erfarenhet av arbetsmarknaden. Ett första utfall av att dessa aktiviteter har genomförts är att ett visst antal deltagare har deltagit i projektet (projektets utfallsmål). Aktiviteterna förväntas leda till resultat: självstärkande utveckling och arbets- o studierelaterad utveckling hos deltagarna. Resultaten förväntas ge en effekt enligt ovan beskrivna logik, nämligen att deltagarna efter de genomförda aktiviteterna kommer närmare arbetsmarknaden/i anställning (projektets effektmål). Projektets huvudsakliga mål beskrivs närmare i tabell 1 nedan. Tabell 1: Mål för Filur Utfallsmål Resultatmål Effektmål Minst 500 ungdomar deltar i projektet Minst 400 ungdomar genomgår hela programmet Minst 200 ungdomar deltar i mentorsprogrammet 80 % av de ungdomar som genomgår och fullföljer programmet skall ha upplevt ett ökat stöd och ha fått redskap som stärker självbilden och det egna ansvaret 50 % av de ungdomar som genomgår programmet har arbete/studier efter 6 månader Minst 100 mentorer från privat- och offentlig sektor har varit engagerade i mentorsprogrammet och eller som inspiratörer från såväl privat som offentlig sektor 1.2 Utgångspunkter och metod för utvärderingen Ramböll har genomfört en lärande utvärdering av projektet Filur, vilket innebär att utvärderingen har följt projektet under dess genomförande, från projektstart till en avslutande fas. Lärande utvärdering av ESF-projekt har två huvudsakliga syften: Att bidra till ett effektivare genomförande av enskilda projekt samt att öka möjligheterna till ett lärande inom programmet. Utvärderingen har utgått från en teoribaserad ansats, det vill säga att den har testat projektets förändringsteori. Syftet med teoribaserade utvärderingar är inte enbart att beskriva vilka resultat och effekter som ett projekt har bidragit till, utan de försöker även förklara varför dessa resultat och effekter har uppstått. En teoribaserad ansats ger möjligheter att visa på såväl starka som svaga samband i den logiska kedja som förändringsteorin syftar till att vara.
Utvärderingen har bestått i följande delar: Stöd vid projektstart Löpande nedslag Summativ slututvärdering Stödet vid projektstart bestod i en nulägesanalys av verksamheten och dess mål samt att tillsammans med projektet ta fram en förändringsteori. Två löpande nedslag har genomförts där projektets uppnådda resultat och effekter har redovisats och sökt förklaras. Nedslagen har vidare legat till grund för förslag på hur arbetet kan utvecklas för att skapa goda förutsättningar för måluppfyllelse. Slututvärderingen redovisar en samlad bild av projektets resultat och effekter för deltagarna, samt orsaker till dessa. Slututvärderingen fungerar också som en dokumentation av projektets arbete och ska vara en del i ett lärande för fortsatt implementering av lyckade arbetssätt och vid initiering av nya projekt. Genomgående har slututvärderingen fokuserat på projektets måluppfyllelse, utifrån resultat och effekt för deltagarna, samt orsaker bakom. En avgränsning är att slututvärderingen inte har fokuserat på övriga målsättningar som ligger utanför målgruppen, exempelvis för det interna arbetet eller arbetet mot samverkansparter eller andra utvärderingskriterier. Följande datainsamlingsmetoder har använts för utvärderingen: Intervjuer Enkäter Fokusgrupper Workshops Dokumentstudier Studier av projektets internt framtagna data Studier av registerdata, bl.a. för att genomföra en tvillinganalys Ramböll har genomfört ett stort antal intervjuer med projektdeltagare, personal, projektledare, styrgrupp och ledning för projektet samt med samarbetspartners. Workshops har anordnats för projektmedarbetare, styrgrupp och ledning. Vidare har Ramböll tagit del av dokument som projektansökan, projektplan och projektets rapporteringar till ESF. Studier av projektets internt framtagna data, såsom enkäter av självskattande karaktär, har även legat till grund för utvärderingen. Med utgångspunkt i tillgänglig statistik har en kvantitativ studie genomförts med hjälp av en så kallad tvillinganalys. Tvillinganalysen har använts för att värdera om projektets deltagarresultat är hållbart, i förhållande till Jobbtorg Stockholms ordinarie verksamhet, kontrollerat för relevanta bakgrundsfaktorer. Tvillinganalyser medför en hög träffsäkerhet i värderingar av projektresultat och resultatens hållbarhet. Metoden kräver dock att registerdata finns tillgängligt på individnivå. Eftersom Ramböll endast har fått tillgång till sådant datamaterial för deltagare som är inskrivna i Jobbtorg Stockholm till och med mars 2013 inkluderas inte deltagare från övriga samverkanspartners eller deltagare som har påbörjat projektet efter mars 2013 i denna analys. För mer information om tvillinganalysen hänvisas läsaren till kapitel 2 och bilaga 2. För att besvara huruvida Filur uppnår sina utfallsmål har Ramböll dessutom genomfört deskriptiv statistisk analys av datamaterialet. 1.3 Sammanfattning av resultat och förklaringsfaktorer Filur har ökat chanserna för deltagarna att börja arbeta eller studera på både kort och lång sikt. 57 procent av projektdeltagarna har hittills avslutats från Jobbtorg inom sex månader på grund av arbete, studier eller ungdomsanställning. Projektet har därmed överträffat sitt effektmål om att 50 procent av ungdomarna som genomgår projektet ska arbeta eller studera inom sex månader. När en filurdeltagare börjar studera, arbeta eller motsvarande, avslutas den från Jobbtorg Stockholm. För att mäta hur långsiktig effekten är av Filur, har Ramböll undersökt om dessa
ungdomar fortsätter att vara självförsörjande på längre sikt. Detta har undersökts genom att analysera hur stor andel av dem som efter ett år inte är inskrivna på Jobbtorg. 90 % av dessa filurdeltagare var självförsörjande efter ett år, vilket kan jämföras med 92 % för Jobbtorg Stockholms övriga ungdomar. Filurdeltagarna stod generellt längre ifrån arbetsmarknaden innan projektet än övriga jobbtorgsungdomar. Ramböll bedömer att det ska betraktas som en framgång att Filur har fått deltagarna att närma sig arbetsmarknaden så att de långsiktigt står ungefär lika nära arbetsmarknaden som Jobbtorg Stockholms övriga ungdomar. Det finns tre typer av orsaker till projektets resultat: insatsens design, insatsens genomförande och kontexten projektet verkar i. Alla tre orsaker har bidragit till Filurs goda resultat. Insatsens design möter målgruppens behov och insatsen har i hög grad genomförts enligt dess design. Utöver det har kontexten i hög grad varit gynnsam. Två viktiga gynnande faktorer i kontexten är att det har funnits ett inflöde av lämpliga deltagare och en tillgång på ungdomsanställningar, så att många deltagare har blivit självförsörjande via ungdomsanställningar. I följande stycke beskrivs mer konkret vad som har bidragit till att så många deltagare blev självförsörjande. En viktig övergripande förklaring till att så många av deltagarna i Filur har blivit självförsörjande är att de genom Filur har genomgått en självstärkande utveckling. Med detta menas att deltagarna har utvecklat sitt självledarskap, sin självkännedom, sitt självförtroende och sin motivation. Den självstärkande utvecklingen har i sin tur uppnåtts genom att deltagarna har blivit sedda och genom att arbeta självstärkande. För att lyckas så väl med detta har personalens tid, engagemang och verksamma metoder som 7TJUGO varit centrala förutsättningar. 1.4 Disposition Den fortsatta rapporten disponeras enligt följande. Först värderas i vilken mån Filur har genomfört de avsedda aktiviteterna och uppnått projektets mål (kapitel 2). Därefter beskrivs förklaringsfaktorerna för varför projektet gav dessa resultat (kapitel 3). Till utvärderingen hör följande bilagor: Bilaga 1: Förteckning över intervjupersoner Bilaga 2: Metodnotat
2. RESULTAT 2.1 Värdering av genomförande och antal deltagare Detta avsnitt beskriver i vilken mån projektet har genomförts enligt plan och haft det antal deltagare som planerats. Ett viktigt perspektiv är att en förändring som innebär att projektet inte genomförs enligt plan i sig inte behöver vara något negativt. En förändring kan även vara något positivt om den är en anpassning till exempelvis förändrade behov eller förutsättningar. Det centrala är om konsekvenserna av förändringarna är negativa eller positiva för projektet. Mentorsprogrammet har genomförts i lägre utsträckning än planerat Projektet har i hög grad genomförts enligt plan. En förändring som har gjorts är att det planerade mentorskapet har genomförts i liten utsträckning och inte under hela projekttiden. Därmed har utfallsmålet om att 200 deltagare ska delta i mentorprogrammet inte uppnåtts. Planen var att de deltagare som så önskade skulle erbjudas mentorskap av en person inom arbetslivet under 12 månader efter avslutad kurs. Orsaken till att mentorskapet inte har genomförts är brist på tid, personalgruppen i projektet har varit för liten för att hinna organisera och följa upp ett mentorskapsprogram. Istället har projektet erbjudit praktikhandledarna motsvarande utbildning som mentorerna har fått. Deltagarna har även haft möjlighet att behålla kontakten med sin coach inom Filur och med sin coach på det lokala Jobbtorget. Konsekvensen av förändringen är att kopplingen mot arbetslivet kan ha försvagats något. En annan förändring har varit att praktiken för ett flertal deltagare har genomförts i kombination med en ungdomsanställning. Deltagarna har i de fallen direkt gjort praktik på den arbetsplats som erbjuder en sådan anställning. En del deltagare har inte varit redo för att göra praktik. I de fallen har projektet utformat individuellt anpassade lösningar. Jobbskuggning, som komplement eller alternativ till praktik, har inte genomförts. Utfallsmålet om antal deltagare uppnås inte Utfallet av antalet deltagare i Filur har varit något lägre än planerat. Projektets mål var att 500 ungdomar skulle delta i projektet. Som visas i diagrammet nedan deltog cirka 400 ungdomar i projektet. Filurs deltagarstatistik, som uppgifterna om antal deltagare baseras på inkluderar dock inte deltagare som har hoppat av projektet inom en vecka. Diagram 2. Antal deltagare som har påbörjat Filur under hela projekttiden 2010-2013 En annan källa till deltagarstatistik är Jobbtorg Stockholms data. Jobbtorg Stockholm registrerar samtliga deltagare som har genomgått projektet minst en dag. Statistiken inkluderar dock endast deltagare som är inskrivna i Jobbtorg Stockholm och därför inte deltagare från övriga samverkanspartners. I Jobbtorg Stockholms register redovisas även om deltagaren fullföljer hela projektet eller om deltagaren hoppar av projektet i förtid. Enligt denna statistik har 40 procent, eller drygt 150 deltagare, hoppat av projektet innan planerat avslutsdatum. Drygt 40 procent av dessa avhopp beror på att deltagaren har fått arbete eller ungdomsanställning eller påbörjat studier och 10 procent beror på föräldraledighet, sjukdom eller flytt. Nära 50 procent av avhoppen beror på andra orsaker. Dessa andra orsaker kan till exempel vara att en ny planering har genomförts som bättre motsvarar deltagarens aktuella
behov eller att orsaken är okänd. Avhopp ska alltså inte per automatik betraktas som ett misslyckande för projektet. 2.2 Deltagarnas självstärkande och arbets- och studierelaterade utveckling Det ursprungliga övergripande resultatmålet är att 80 procent av de ungdomar som genomgår och fullföljer programmet ska ha upplevt ett ökat stöd och ha fått redskap som stärker självbilden och det egna ansvaret. Att 80 procent av ungdomarna har uppnått målet har inte kunnat kontrolleras men ett stort antal indikatorer, som beskrivs här nedan, pekar på en god måluppfyllelse. I projektets förändringsteori har det övergripande målet delats upp i ett antal resultatmål som aktiviteterna i projektet ska uppnå. Resultatmålen kan delas in i två kategorier: Mål som rör självstärkande utveckling Mål som rör arbets- och studierelaterad utveckling Mål kopplade till självstärkande utveckling rör följande områden: o Självledarskap o Självkännedom o Självförtroende o Motivation Mål kopplade till arbets- och studierelaterad utveckling rör följande områden: o Kunskap om arbetsmarknaden eller studier o Arbetsplatserfarenhet och en referens o Förebilder i arbetslivet Utvärderingen visar att många av de deltagare som har genomgått insatsen har uppnått resultatmålen som rör den självstärkande utvecklingen. Denna slutsats stöds av deltagarnas egna berättelser och omdömen samt av coacher i projektet och på Jobbtorg. Intervjuerna med deltagare och coacher beskriver hur deltagare har byggt upp en självkänsla och en självkännedom, utvecklat ett bättre självförtroende och en tro på att kunna få ett jobb eller på att klara av att studera. Genomgående i självskattningsenkäter uppger deltagarna att deras självbild har påverkats, de har en större tillit till sig själva. De har även en större förståelse och lyhördhet för hur de själva och deras sociala omgivning fungerar. Vidare uppger många deltagare att de har en klarare bild av vad de vill göra i framtiden och att de har sett vad de vill förändra i livet. Coacher på Jobbtorg säger att ungdomarna är mer positiva, tar mer ansvar efter insatsen och är motiverade, vilket gör det lättare för Jobbtorg att arbeta vidare med dem. Filur passar dock inte lika bra för alla deltagare. Gemensamt för de deltagare som inte ger ovanstående positiva bild är att de upplevde ett behov av mer konkret information om studier och arbete än vad Filur ger. De upplevde inte ett behov av stöd för att utveckla självkännedom och självförtroende. Resultatmålen rörande arbets- och studierelaterad utveckling har uppnåtts i hög grad, detta enligt deltagarnas självskattningar och egna omdömen samt projektpersonalen bedömning. Filur erbjuder praktik, i vissa fall även i kombination med ungdomsanställningar, vilket gör att deltagarna får arbetsplatserfarenhet. Målet gällande förebilder i arbetslivet har inte uppnåtts som planerat eftersom få av deltagarna har fått mentorer i arbetslivet. Enligt projektpersonalen har deltagarna fått mer kunskap om arbetsmarknaden och studier. Anledningen är att det finns ett ständigt studie- och arbetsmarknadsperspektiv under den självstärkande kursen. En studie- och yrkesvägledare arbetar i projektet och deltagarna tränas exempelvis i intervjuteknik. Vid behov har deltagarna även fått stöd vid skrivning av ansökningshandlingar som CV och personligt brev. Sammantaget bedömer Ramböll att de deltagare som har genomgått insatsen har uppnått resultatmålen i hög grad, särskilt avseende målen kopplade till självstärkande utveckling.
2.3 Filur leder i hög grad till arbete, studier eller ungdomsanställning Filur har i projektplanen och under projektperioden även satt upp effektmål. Filur har som mål att 50 procent av de ungdomar som genomgår och fullföljer programmet ska ha arbete eller studier 6 månader efter projektavslut. Analysen av huruvida Filur uppnår sina mål baseras på de deltagare som har genomgått minst en månad av projektet och som är inskrivna i Jobbtorg Stockholm. Deltagare som har hoppat av projektet efter en månad inkluderas således i resultatanalysen som presenteras nedan. De inkluderas i resultaten eftersom insatsen kan antas ha påverkat deltagare som har varit med i minst en månad. Resultatanalysen visar att nära 25 procent av deltagarna avslutas från Jobbtorg Stockholm inom 6 månader på grund av arbete eller studier. Relativt många (35 procent) av deltagare avslutas från Jobbtorg Stockholm inom 6 månader på grund av ungdomsanställning. Att deltagarna får en ungdomsanställning bör, enligt Ramböll tolkas som ett positivt resultat då ett syfte med insatsen är att den ska fungera förberedande för de som tidigare inte har kunnat fullfölja en annan insats eller praktik. Ramböll bedömer således att Filur har varit ett lyckat projekt som i hög grad leder till arbete, studier eller ungdomsanställning. 2 Diagram 3. Andel deltagare som avslutas från Jobbtorg inom 6 månader från projektavslut på grund av arbete, studier eller ungdomsanställning Filur har fungerat olika bra under olika förutsättningar. Resultaten har till exempel varierat över tid. Bland deltagarna som påbörjade sina insatser under 2012 var drygt 65 procent i arbete, studier eller ungdomsanställning 6 månader efter insatsen jämfört med 60 respektive 50 procent av de som påbörjade projektet 2011 eller 2010. Projektet har alltså förbättrat sitt resultat påtagligt under projekttiden. Projektet har även fungerat olika bra för olika åldersgrupper. Drygt 70 procent av deltagarna som var 23 år eller äldre avslutades från Jobbtorg på grund av arbete, studier eller ungdomsanställning inom 6 månader från projektavslut. Detta kan jämföras med 50 procent av deltagarna mellan 15 och 18 år och 60 procent av deltagarna mellan 19 och 22 år. Projektet har fungerat ungefär lika bra för kvinnor och män samt för deltagare med erfarenhet av anställning/praktik eller utan registerad erfarenhet. 2.4 De goda effekterna från Filur håller lika bra som Jobbtorgs övriga verksamhet I tidigare avsnitt redovisas hur stor andel av Filurs deltagare som har avslutats från Jobbtorg Stockholm på grund av arbete, studier eller ungdomsanställning 6 månader efter projektslut. Filur har även satt upp ett effektmål om att 75 procent av dessa ungdomar ska vara kvar i arbete eller studier vid projekttidens avslut, det vill säga att resultaten är hållbara över tid. Eftersom Ramböll inte har tillgång till statistik som gör det möjligt att analysera huruvida deltagarna har arbete eller studier vid projekttidens avslut besvaras frågan om resultatens hållbarhet genom analyser av om deltagarna är självförsörjande 3, 6 respektive 12 månader efter avslutad insats. 2 Resultaten baseras på statistik från Jobbtorgens uppföljningssystem FLAI från 18 mars 2013. Detta inkluderar de unika deltagare som har skrivits in av Jobbtorgen och deltagit minst en månad i Filur.
I tabellen nedan redovisas hur stor andel av deltagarna i Filur och Jobbtorg Stockholms ordinarie verksamhet som inte är i behov av försörjningsstöd, det vill säga är självförsörjande 3, 6 respektive 12 månader efter avslut i Jobbtorg Stockholm. Som framgår av tabellen är andelen ungdomar som är självförsörjande 3, 6 respektive 12 månader efter avslut från Jobbtorg Stockholm ungefär lika för filurdeltagare som för deltagare i Jobbtorg Stockholms övriga verksamhet. För både Filur och Jobbtorg Stockholm förbättras resultaten över tid, så att en större andel är självförsörjande efter ett år än efter 3 månader. Tabell 2. Andel av ungdomar som har avslutat Jobbtorg och som är självförsörjande efter 3, 6 respektive 12 månader (inom parentes anges antal personer resultatet baseras på) Mätpunkt (månader efter Filur Jobbtorg avslut från Jobbtorg) 3 månader 81 % (N=188) 85 % (N=4777) 6 månader 80 % (N=156) 88 % (N=3572) 12 månader 90 % (N=71) 92 % (N=2180) Denna analys tar dock inte hänsyn till eventuella skillnader mellan de båda målgrupperna. För att värdera resultatens hållbarhet i relation till Jobbtorg Stockholm är det således värdefullt att genomföra jämförelser för likartade målgrupper, det vill säga att kontrollera resultatet för relevanta bakgrundsvariabler. I utvärderingen har detta gjorts genom en tvillinganalys, vilken beskrivs närmare i metodkapitlet (kapitel 1.2) och metodbilagan (bilaga 2). I bilaga 2 beskrivs även vilka bakgrundsvariabler som tvillinganalysen har kontrollerat för. Inom ramen för tvillinganalysen har Ramböll genomfört tre körningar med syfte att analysera sannolikheten att två individer med samma bakgrundsvariabel (t ex ålder, kön, utbildningsnivå) är i behov av försörjningsstöd 3, 6 och 12 månader från avslut i Jobbtorg. Resultaten från tvillinganalysen redovisas i tabellen nedan. Tabell 3. Resultat från tvillinganalysen Behov av försörjningsstöd Tidpunkt 3 månader efter avslut i Jobbtorg 6 månader efter avslut i Jobbtorg 12 månader efter avslut i Jobbtorg Filur jämfört med Jobbtorg 4 procentenheters högre sannolikhet att filurdeltagare är i behov av försörjningsstöd 14 procentenheter högre sannolikhet att filurdeltagare är i behov av försörjningsstöd 2 procentenheter lägre sannolikhet att filurdeltagare är i behov av försörjningsstöd Resultaten visar att de goda effekterna av Filur är lika hållbara som effekterna av Jobbtorg Stockholms ordinarie verksamhet på ett års sikt. Detta trots att Filur har en målgrupp som i utgångsläget står längre ifrån arbetsmarknaden. 3 På kortare sikt från avslut i Jobbtorg Stockholm visar dock deltagarna som har gått Jobbtorgs ordinarie verksamhet på något bättre resultat. Att effekterna av Filur håller lika bra som Jobbtorg Stockholms ordinarie verksamhet på längre sikt indikerar att Filur har förflyttat deltagarna närmare arbetsmarknaden. 2.5 Sammanfattning Rambölls samlade bedömning är att Filur generellt har varit ett framgångsrikt projekt när det gäller deltagarnas resultat. Projektet har i hög grad resulterat i att deltagarna får arbete, studier eller ungdomsanställning efter avslutad insats. Resultatet visar även att de goda effekterna från Filur håller lika bra som Jobbtorg Stockholms övriga verksamhet på lång sikt. Resultatet indikerar således att Filur har förflyttat deltagarna närmare arbetsmarknaden. 3 Se bilaga 2: Metodnotat
Projektet har även uppvisat ett positivt resultat när det gäller deltagarnas arbets- och studierelaterad utveckling. Enligt projektpersonalen har deltagarna fått mer kunskap om arbetsmarknaden och studier. Vid behov har deltagarna även fått stöd vid skrivning av ansökningshandlingar som CV och personligt brev. Deltagarna har även i hög grad byggt upp en självkänsla och en självkännedom, utvecklat ett bättre självförtroende och en tro på att kunna få ett jobb eller på att klara av att studera.
3. FÖRKLARINGSFAKTORER I föregående kapitel visades att många deltagare har utvecklats mycket i Filur och att många har blivit självförsörjande på både kort och lång sikt. Följande kapitel beskriver vad som har inverkat på att en stor del av deltagarna har blivit självförsörjande efter projektet. Kapitlet beskriver även vad som har inverkat på att inte ännu fler deltagare har blivit självförsörjande. Det finns tre typer av orsaker till projektets resultat: insatsens design, insatsens genomförande och kontexten projektet verkar i. Alla tre orsaker har bidragit till Filurs goda resultat. Insatsens design möter målgruppens behov och insatsen har i hög grad genomförts enligt dess design. Utöver det har kontexten i hög grad varit gynnsam. Två viktiga gynnande faktorer i kontexten är att det har funnits ett inflöde av lämpliga deltagare och en tillgång på ungdomsanställningar, så att många deltagare har blivit självförsörjande via ungdomsanställningar. Vid upprättande och genomförande av ett projekt har de inblandade inflytande över insatsens design och genomförande. Kontextfaktorer, såsom exempelvis regionens ungdomsarbetslöshet, står bortom de inblandades kontroll. Detta kapitel fördjupar därför analysen av vad i insatsens design och genomförande som bidrog till Filurs resultat. En viktig övergripande förklaring till att så många av deltagarna i Filur har blivit självförsörjande är att de genom Filur har genomgått en självstärkande utveckling. Denna har i sin tur uppnåtts genom att deltagarna har blivit sedda och genom att arbeta självstärkande. För att lyckas så väl med detta har tid, engagemang och verksamma metoder varit centrala förutsättningar. Följande tre delkapitel kommer därför att gå djupare in på: Självstärkande utveckling har starkt bidragit till självförsörjning Deltagarnas har utvecklats av att bli sedda och arbeta självstärkande Verksamma metoder, engagemang och tid har varit centrala förutsättningar Delkapitlen följer den kausala kedjan för hur insatsen är avsedd att fungera enligt den förenklade förändringsteorin i diagram 1. I delkapitlen redogörs för vilka mekanismer som har varit verksamma för att bidra till ett senare steg i kedjan. Första delkapitlet beskriver således vilken förändring hos deltagarna (resultat i förändringsteorin) som har varit viktigast för att så många deltagare har blivit självförsörjande efter Filur. Andra delkapitlet beskriver hur aktiviteterna har bidragit till deltagarnas utveckling. Tredje delkapitlet beskriver vilka förutsättningar som har varit centrala för att kunna genomföra aktiviteterna med så gott resultat. Avslutningsvis ges i fjärde delkapitlet en beskrivning av faktorer som har försvårat måluppfyllelsen. 3.1 Självstärkande utveckling har starkt bidragit till självförsörjning Följande delkapitel beskriver vilken förändring som har bidragit till att så många av deltagarna har blivit självförsörjande. Projektet har på förhand beskrivit resultatmål som antas leda till att deltagarna i längden blir självförsörjande. Resultatmålen kan enligt tidigare diskussion i kapitel 2.2 delas in i mål som rör självstärkande utveckling respektive arbets-/studierelaterad utveckling. Ramböll bedömer att en utveckling inom båda dessa områden har varit viktig för att deltagarna skulle bli självförsörjande. Den självstärkande utvecklingen har förbättrat deltagarnas möjligheter att hantera utmaningar som uppkommer på väg mot och under praktik, studier och arbete. Den arbets- och studierelaterade utvecklingen hos deltagarna har gett praktiska möjligheter att närma sig studier eller arbete. Det kan handla om att praktiktiden har gett en erfarenhet och referens som gör att praktiken kan övergå i en anställning. Den sammanhållna kedjan av de olika momenten inom Filur har således varit av värde för att deltagarna skulle bli självförsörjande. Vid en jämförelse mellan de båda kategorierna självstärkande utveckling och arbets- /studierelaterad utveckling, bedömer Ramböll att den självstärkande utvecklingen har varit starkast och att den har haft störst betydelse för att deltagarna skulle bli självförsörjande. Detta betonas både av deltagare och personal och ligger också i linje med en generell konsensus kring
hur målgruppen kan hjälpas närmare arbetsmarknaden 4. För många deltagare som står långt ifrån arbetsmarknaden finns det praktiska svårigheter att övervinna innan det går att fungera långsiktigt på en arbetsplats. Det kan vara utmaningar som rör alltifrån bristande rutiner i vardagen till sociala svårigheter. Den självstärkande utvecklingen stärker deltagaren så att den kommer runt dessa problem och kan ta nästa steg mot arbetsmarknaden. Målgrupper som står långt ifrån arbetsmarknaden har annars ofta svårt för att fullfölja en insats, praktikanställning eller behålla en anställning. Genom den självstärkande utvecklingen har den här möjligheten förbättrats för filurdeltagarna. 3.2 Deltagarna har utvecklats av att bli sedda och arbeta självstärkande I förra delkapitlet konstaterades att deltagarnas självstärkande utveckling har varit central för att så många skulle bli självförsörjande. I detta avsnitt förklaras vad som gjordes i Filur för att bidra till denna förändring hos deltagarna. Deltagarnas självstärkande utveckling har bestått i förbättrat självförtroende, motivation och självkännedom. Utvecklingen har även bestått i att deltagarna i högre grad har gjort aktiva val och påverkat sin situation i riktning mot arbete eller studier, vilket vi kortfattat benämner självledarskap. Flera av egenskaperna hänger ihop så att de ingår som delar i varandra eller orsakar varandra. Om man tillåter sig att förenkla kan man se att förmågan att leda sig själv är beroende av att känna till sina egna preferenser och kompetenser (självkännedom), vilka valmöjligheter som finns, samt att ha självförtroende och motivation att agera i enlighet med detta. Då kan deltagaren utarbeta en väg framåt utifrån vad han/hon skulle tycka om och lyckas med samt följa denna väg. Som konstaterats i avsnitt 2.2 har deltagare, projektpersonal och coacher på Jobbtorg vittnat om olika aspekter av denna utveckling för många deltagare. En faktor som många deltagare lyfter som viktig för utvecklingen av självförtroende och motivation är att de har blivit sedda och respekterade som personer i Filur. De har känt sig sedda och tagna på allvar både i gruppen av deltagare och individuellt i relation till projektpersonalen. Gemenskapen i gruppen har betytt mycket för många deltagare. De har uppskattat att träffa andra personer i samma situation och att skapa ett konstruktivt socialt nätverk av nya vänner genom Filur. När några personer i gruppen har utvecklats, har andra dragits med i den utvecklingen eftersom de också har velat vara del i den positiva utvecklingen. Deltagarna har också uppmuntrat varandra. Grupperna har generellt haft en positiv och tillåtande atmosfär, vilket har bidragit till att deltagarna har velat närvara, engagera sig och öppna sig. Det har varit av vikt för att deltagarna skulle vidareutveckla självförtroende och motivation i gruppen. Den individuella coachningen har fungerat väl för att ge deltagarna individanpassat stöd. Det har också gjort att grupperna har kunnat fungera bättre eftersom många individuella problem har kunnat hanteras utan att inverka negativt på gruppen. Genomgripande har personalens respektfulla bemötande lyfts av många deltagare. Deltagarna har upplevt att personalen har brytt sig om dem, varit intresserad av dem och verkligen har velat att de ska närvara. Vidare har deltagarna uppskattat att coacherna har lyft fram deras positiva sidor. Sammantaget har ovanstående bidragit till deltagarnas självförtroende och motivation. Deltagarnas självkännedom har också utvecklats av Filur. Självkännedom har för många deltagare varit beroende av självförtroende eftersom ett gott självförtroende har gjort det enklare att visa vilka de är och våga lära känna sig själva. Självkännedom och självförtroende har också bildat en positiv spiral då många deltagare har fått bättre självförtroende av att ha lärt känna sig själva bättre. Många deltagare lyfter hur viktigt Filur har varit för deras självkännedom och självförtroende genom att det har gett stöd att fokusera på det de är bra på, stöd i att se, skratta åt och arbeta med sina brister, stöd i att arbeta med blyghet och osäkerhet i gruppövningar samt gett utrymme för deltagarna att prata om sig själva. Deltagarnas självledarskap har också utvecklats av Filur; de gör i högre grad aktiva val och påverkar sin situation. Detta beskrivs översiktligt i kapitel 2.2. Många deltagare har haft tydliga mål framåt och planer för hur de skulle uppnå målen. Många har också genom aktiva val 4 Se exempelvis SOU 2007:018 Arbetsmarknadsutbildning för bristyrken och insatser för arbetslösa ungdomar s. 227f. och Statskontorets Har insatserna någon effekt på arbete eller studier? En utvärdering av folkhögskoleinsatserna för arbetslösa (2007) s. 136f.
tagit sig till en anställning eller studier. Detta självledarskap beror i hög grad på Filur. Deltagarna lyfter att ett ökat självförtroende har gjort att de har vågat sätta mål för framtiden. Deltagarnas självledarskap är också en följd av att deltagarna har fått stöd och vägledning i att tydliggöra de egna målsättningarna. Inte minst har det hjälpt att deltagarna genom Filur har fått utarbeta en konkret plan för att nå sina mål. Deltagarna har också haft nytta av koncept som spelplanen inom 7-TJUGO för att relatera till omvärlden och leda sig själva. Sammanfattningsvis bedömer Ramböll att många deltagare har haft en stark positiv självstärkande utveckling till följd av att de har blivit sedda individuellt och i grupp. Det är även en följd av att deltagarna har arbetat självstärkande inom ramen för den självstärkande kursen och den individuella coachningen. 3.3 Verksamma metoder, engagemang och tid har varit centrala förutsättningar för att lyckas Många deltagare har alltså blivit självförsörjande med hjälp av att de har vidareutvecklat sina personliga egenskaper. Deltagarnas starka självstärkande utveckling har i sin tur underlättats av att deltagarna har blivit uppmärksammade och har arbetat självstärkande. För att möjliggöra detta har Filur behövt lämpliga metoder, engagerad och kunnig personal samt tid. Dessa förutsättningar beskrivs närmare i följande delkapitel. Metoderna som har använts har inte bara varit inriktade på att bygga strikt arbets-/studierelaterad utveckling, utan den självstärkande utvecklingen har stått i fokus. Tre centrala metoder/arbetssätt har varit den fördjupade kartläggningen, 7-TJUGO och det kontinuerliga stödet. Den fördjupade kartläggningen har gett både personal och deltagare en första bild av deltagarens styrkor, svårigheter och behov. Den initiala kontakten med deltagaren och fördjupade kartläggingen har underlättats av samverkan med aktörer som deltagaren tidigare haft kontakt med, som exempelvis Jobbtorg. Detta har sammantaget varit en bra grund för att anpassa insatsen efter individens behov. Samtidigt har det hjälpt för att veta vad som kan åtgärdas inom ramen för Filur och vad som behöver stöd i andra forum. Genom hela programmet har metoden 7-TJUGO använts. 7-TJUGO har bidragit till att ge deltagarna verktyg och insikt i att de kan påverka sitt eget liv, ge deltagarna självkännedom och självförtroende samt skapa gruppgemenskap. I synnerhet har metaforen spelplan inom 7-TJUGO varit framgångsrik för att ge deltagarna perspektiv på sin tillvaro. Efter den självstärkande kursen har projektpersonal behållit kontakt med deltagarna och gett fortsatt stöd, vilket har varit av värde för både deltagare och arbetsgivare. Värdet av metoderna styrks av såväl projektpersonal som jobbcoacher och deltagare. Ramböll bedömer att metoderna har varit centrala för projektets framgång eftersom de har bidragit till de aspekter som i längden har gjort deltagarna självförsörjande. Samtidigt utesluter analysen inte att det finns andra metoder som hade kunnat ge likartade resultat. För att metoderna ska göra nytta krävs även engagerad och kunnig personal, vilket Filur har haft. Flera av de framgångsfaktorer som tidigare nämnts för deltagarnas självstärkande utveckling är helt beroende av engagerad personal. Personalens engagemang är centralt för bemötandet av deltagarna, så att de känner sig sedda och respekterade. Deltagarna har uppskattat detta och att personalen tror på deltagarna, så att de tillsammans ser möjligheter och utmaningar snarare än problem. Personalen har både varit kunnig i hur de ska bemöta deltagare och i hur de ska använda metoden 7-TJUGO. Att personalgruppen har varit en framgångsfaktor intygas av både deltagare och projektledare. Det styrks även av de goda deltagarresultaten. En förklaring till den starka personalgruppen är att den har stärkts av att själv ha arbetat med spelplanen inom 7-TJUGO-metoden, vilket har skapat ett gemensamt ramverk för hur personalen arbetar ihop. Detta har bidragit till att alla drar åt samma håll och ställer upp för varandra. Ramböll bedömer att Filurs engagerade och kunniga personal har varit en nödvändig förutsättning för att projektet lyckades så väl. För att kunna genomföra metoderna med intensivt stöd under lång tid har det krävts mycket tid från personalen. Detta har varit en nödvändig förutsättning för att kunna ha små grupper, individuellt stöd och kontinuerligt stöd efter de första åtta veckorna. Dessa former av stöd har varit viktiga komponenter för deltagarnas starka utveckling. Ramböll bedömer således att omfattande personaltid har varit en viktig förutsättning för deltagarnas starka utveckling.
För ett lyckat resultat krävs både en design som möter deltagarnas behov och ett gott genomförande i linje med detta. I Filurs fall har metoderna mött deltagarnas behov och projektpersonalen har genomfört metoderna väl, i enlighet med avsikten. För detta har det krävts tid, engagemang och kompetens från personalen. Ramböll bedömer således att Filurs metoder, engagerade och kunniga personal samt omfattande personaltid är centrala förutsättningar för Filurs goda resultat. 3.4 Faktorer som har försvårat måluppfyllelsen Även om Filur har gett goda resultat, så finns det faktorer som har försvårat måluppfyllelsen för andelen deltagare som har blivit självförsörjande. Några av dessa ligger inom ramen för vad som kan hanteras vid en framtida implementering. De viktigaste utmaningarna beskrivs nedan. Filur riktas mot en målgrupp som står relativt långt från arbetsmarknaden. Detta innebär att det blir svårare att nå målet att deltagarna ska bli självförsörjande genom arbete. Det inverkar också på antalet deltagare som hoppar av Filur i förtid. Projektet har haft många avhopp, men har parerat detta genom att ta in fler ungdomar så att deltagarantalet inte skulle drabbas onödigt hårt av avhoppen. Det finns flera orsaker till att deltagare har hoppat av Filur. En vanlig orsak till avhopp är att deltagaren har gått till en annan insats. En annan vanlig orsak till avhopp är personliga omständigheter, vilka kan handla om alltifrån graviditet till nedstämdhet. Några avhopp beror på att deltagaren har börjat arbeta eller studera. En negativ faktor för flera deltagare är att de bor långt ifrån Filurs lokaler och själva har varit tvungna att bekosta kollektivtrafikresor för att medverka. Filurs metod är i stora delar inriktad på utveckling av personliga egenskaper. Detta har inte passat alla. En orsak till att det inte passar somliga deltagare är att deltagaren mår för dåligt eller har andra överskuggande problem som gör att han/hon inte är mottaglig för Filurs stöd. I flera fall har Filurs personal bedömt att det skulle behövas psykologstöd. En annan orsak till att Filur inte passar vissa deltagare är att deltagaren inte ser något behov av att förbättra sitt självförtroende, sin självkännedom samt förmåga att leda sig själv och därför uppfattar Filurs övningar som slöseri med tid. Dessa deltagare efterfrågar istället konkret stöd som mer direkt leder till anställning eller studier. Andra deltagare har ogillat processen att arbeta med självstärkande utveckling, oberoende av om de har behov av det eller inte. Bland de skeptiska deltagare som har gått kvar, har många ändrat uppfattning till att istället uppskatta Filurs arbetssätt. Personalen har haft mycket tid till deltagarna, men eftersom det är relativt få deltagare i Filur, har personalgruppen också varit liten. Detta har gjort att personalgruppen har varit sårbar för frånvaro, exempelvis om någon i personalen är sjuk. Projektmedarbetare och projektledare har minskat de negativa konsekvenserna genom att tillfälligt ta över varandras arbetsuppgifter. Det har ändå gjort att det i dessa fall har blivit svårare att knyta an till tidigare diskussioner i gruppen och behålla gruppdynamiken. Det har också gjort att det har blivit mindre tid för personalen till andra uppgifter. Sammanfattningsvis bedömer Ramböll att måluppfyllelsen har försvårats av att arbetsmarknaden är svårtillgänglig för målgruppen, flera faktorer bidrar till avhopp, flera deltagare upplever att självstärkande arbetssätt inte passar dem och av att personalgruppen har varit liten.
BILAGA 1: FÖRTECKNING ÖVER INTERVJUPERSONER Intervjuperson Helén Starkman Håkan Tofftèn Karolina Rönngren Anki Garcés Helene Bengtson Karin Eriksson-Bech Ingrid Florin Marie Magnusson Tina Wolfgang Claudia Khamis Linda Truvered Henrik Hägglund Yvonne Bygdemo Elisabeth Jonsson Lisa Törnqvist Fariba O Ronaghi Nejad Tobias Kemppi Julia Björklund Organisation och roll Filur. Projektledare Filur. Coach Filur. Coach Stockholms stad, Jobbtorg Stockholm Fokus unga. Styrgruppsordförande Stockholms stad. Projektägare Jobbtorg Stockholms stad. Projektägare Jobbtorg Stockholms stad, Gymnasieslussen. Rektor Försäkringskassan. Samordnare Arbetsförmedlingen. Arbetsförmedlare Stockholms stad, Rosenlundsgatans Jobbtorg. Coach Stockholms stad, Rosenlundsgatans Jobbtorg. Coach Stockholms stad, Farsta Jobbtorg. Coach Stockholms stad, Farsta Jobbtorg. Coach Stockholms stad, Jobbtorg Kista Fokus Unga. Coach Stockholms stad, Jobbtorg Kista Fokus Unga. Coach Stockholms stad, Skärholmen Jobbtorg. Coach Stockholms stad, Vällingby Jobbtorg. Coach Stockholms stad, Vällingby Jobbtorg. Coach
BILAGA 2: METODNOTAT Inom ramen för slututvärderingen av Filur har Ramböll genomfört en effektutvärdering genom en så kallad tvillinganalys. I följande metodnotat beskriver Ramböll genomförandet av denna analys. Syftet med den kontrafaktiska analysen som har genomförts inom ramen för utvärderingen av Filur är att analysera om resultatet av projektet är hållbart över tid. Deltagare som har genomgått Jobbtorgs ordinarie verksamhet men inte Filur eller Merit har använts som kontrollgrupp. I metodbilagan nedan beskrivs genomförandet av denna analys. Om datamaterialet Datamaterialet består av totalt 379 unika deltagare som har registrats i projektet från Jobbtorg. Deltagare som har påbörjat projektet efter 18 mars 2013 ingår inte i datamaterialet. Deltagare från samverkansparter som Arbetsförmedlingen ingår inte heller i datamaterialet. Vissa deltagare har registrerats flera gånger i Filur. I dessa fall har den dubblett som har senaste avslutsdatumet kvarhållits i datamaterialet och den andra dubbletten har tagits bort. Av de 379 unika deltagarna har 175 individer tagits bort inför tvillinganalysen på grund av att: deltagaren har varit inskriven i projektet mindre än en månad starttid i projektet saknas slutdag i projekt saknas datum är felregisterat deltagaren har avbrutit insatsen på grund av att ny planering har genomförts, att individen inte har blivit antagen eller aktiviteten har ställts in deltagaren fortfarande är inskriven i projektet Tvillinganalysen har således utgått från ett dataunderlag bestående av 204 individer som har genomgått Filur och som har avslutats från Jobbtorg. Inom ramen för tvillinganalysen har Ramböll genomfört tre körningar med syfte att analysera sannolikheten att två individer med samma bakgrundsvariabel är i behov av försörjningsstöd 3, 6 respektive 12 månader efter avslut från Jobbtorg. Ramböll kontrollerade om filurdeltagarna och jobbtorgsdeltagarna var i behov av försörjningsstöd inom Stockholms stad (vi beställde körning mot paraplyregistret) efter 3, 6 och 12 månader efter avslut från Jobbtorg. För att skära ner antal körningar mot registret som behövde genomföras beställdes uppgifter om behov av försörjningsstöd per kvartal. Alternativet hade varit att för varje enskild deltagare göra en körning vid 3, 6 och 12 månader efter individens avslutsdatum. Detta alternativ avfärdades alltså som för tidsödande. För en ungdom som avslutats från Jobbtorg 2010-08-03 beställdes körningar mot paraplyregisterat vid tre datum: 2010-10-01, 2011-01-01 och 2011-10-01. I tabellen nedan redovisas vilka datum som kontroll av försörjningsstöd genomfördes.
Tabell 4. Körning mot paraplyregistret. Avslut från Jobbtorg Datum som kontroll av försörjningsstöd genomförs År Månad 3 månader 6 månader 12 månader 2010 jan - mar 2010-04-01 2010-07-01 2011-04-01 apr maj 2010-07-01 2010-10-01 2011-07-01 jul sep 2010-10-01 2011-01-01 2011-10-01 okt - dec 2011-01-01 2011-04-01 2012-01-01 2011 jan - mar 2011-04-01 2011-07-01 2012-04-01 apr maj 2011-07-01 2011-10-01 2012-07-01 jul sep 2011-10-01 2012-01-01 2012-10-01 okt - dec 2012-01-01 2012-04-01 2013-01-01 2012 jan - mar 2012-04-01 2012-07-01 apr maj 2012-07-01 2012-10-01 jul sep 2013-10-01 2013-01-01 okt - dec 2013-01-01 Test av resultatens hållbarhet med tvillinganalys I utvärderingar som har en experimentell design väljs deltagare i experimentgruppen (deltagare i ett projekt) och kontrollgruppen (deltagare som ej genomgår projektet) slumpmässigt. Genom att slumpmässigt välja ut vilka deltagare som deltar i ett projekt säkerställs att inga bakomliggande faktorer påverkar om individen deltar i projektet eller ej. Det är således möjligt att härleda effekten till projektet snarare än till de bakomliggande faktorerna. I många utvärderingar är det dock inte möjligt att använda slumpen som en urvalsstrategi. Urvalsprocessen till Filur har generellt gemomförts så att aspiranten själv har valt om denne ville delta i insatsen Filur eller inte. Det har inte varit jobbcoachen på jobbtorg som har anvisat. Urvalet, eller fördelningen mellan gruppen i Filur och kontrollgrupp, är således inte slumpmässigt. Jobbcoacherna på de olika Jobbtorgen använder olika metoder i samtalen med aspiranten. De flesta coacher informerar denne om insatsutbudet, däribland om insatsen Filur. Något som kan påverka individernas val är att en del jobbcoacher enbart informerar de aspiranter som de anser kan vara i behov av Filur. Dock får aspiranterna information om insatsen via andra kanaler än via sin coach, exempelvis vid informationsmöten på Jobbtorg eller från broschyrer som finns på jobbtorgen. Andra coacher informerar inte enbart utan rekommenderar även Filur till de aspiranter som de bedömer att insatsen skulle passa för. Aspiranter som bedöms ha behov av Filur kännetecknas av exempelvis dålig självkännedom, dåligt självförtroende och att de inte vet vad de vill. Genom att kontrollera för bakgrundsvariabler kan effekten isoleras För att analysera effekten från Filur är det således viktigt att man tar hänsyn till bakgrundsvariabler som kan påverka att en individ väljer att delta i projektet eller ej. Detta genomförs genom att säkerställa att de observerade bakgrundsvariablerna är lika i de båda grupperna innan analyserna genomförs. Genom att hittar tvillingar i kontrollgruppen och exkludera de övriga observationerna i analysen är det möjligt att i högre grad isolera effekten av projektet och således göra kontrafaktiska jämförelser. Matchning är en metod för att genomföra detta. Matchningen bygger på antagandet om att effekten från ett projekt kan skattas om man kontrollerar för bakgrundsvariabler som kan påverka sammansättningen av individer i de båda grupperna. Syftet med matchningen är att reducera bias eller felet som beror på att vissa individer deltar i projektet i högre utsträckning än andra. Detta gör man genom att jämföra deltagare i experimentgruppen med deltagare i kontrollgruppen som har samma bakgrundsvariabler.