Avsedd för Arbetsförmedlingen Dokumenttyp Rapport Datum Januari, 2018 SLUTUTVÄRDERING UNG KOMP
INNEHÅLLSFÖRTECKNING 1. INLEDNING 1 1.1 Bakgrund till projektet 1 1.2 Om Ramböll Management Consulting 1 1.3 Utvärderingsuppdraget 1 1.4 Rapportens disposition 3 2. UNG KOMPS GENOMFÖRANDE 4 2.1 Beskrivning av Ung komp 4 2.2 Variationer i projektets genomförande 6 2.3 Projektets styrning 8 3. RESULTAT 9 3.1 Resultat på individnivå 9 3.2 Resultat på organisationsnivå 18 4. EFFEKTUTVÄRDERING 22 4.1 Selektion 22 4.2 Dataunderlag 24 4.3 Positivt utfall 24 4.4 Etablering av kontrollgrupp 25 4.5 Effektresultat 26 4.6 Subgruppsanalys personer med funktionsnedsättning 28 5. SLUTSATSER 29 5.1 Måluppfyllelse 29 5.2 Effektivitet 30 5.3 Hållbarhet 32 5.4 Sammanfattande slutsatser 32 5.5 Rekommendationer 33 BILAGOR Bilaga 1 Effektutvärdering av Ung komp Bilaga 2 Samhällsekonomisk analys Bilaga 3 Progressionsrapport Bilaga 4 Styrdokument Ung komp Bilaga 5 Nulägesanalys Nov 2015 Bilaga 6 Delrapport II Maj 2016 Bilaga 7 Delrapport III April 2017
Ung KOMP 1 av 35 1. INLEDNING Ramböll Management Consulting (Ramböll) har sedan sommaren 2015 haft i uppdrag att utvärdera Arbetsförmedlingens projekt Ung komp. Projektet avslutades den sista juni 2017 1 och denna rapport utgör Rambölls slututvärdering av projektet. 1.1 Bakgrund till projektet Den 13 januari 2015 fattade Arbetsförmedlingens generaldirektör beslut om att genomföra projektet Ung komp och projektet startades formellt den 1 juni 2015. Projektet finansieras av Arbetsförmedlingen och involverade kommuner samt med medel från Europeiska socialfonden (ESF). Ung komp är en förlängning och uppskalning av det tidigare ESF-finansierade projektet Unga in, som bedrevs åren 2012 2014. Under Ung komps första halvår genomfördes projektet på de fem orter där projektet Unga in tidigare hade bedrivit verksamhet: i Stockholm, Göteborg, Malmö, Gävle och Skellefteå. Därefter skalades Ung komp successivt upp och utökades till 16 delprojekt. En avgörande skillnad mellan projekten Unga in och Ung komp var att målgruppen i Ung komp ändrades, från unga som varken arbetar eller studerar och som inte var i kontakt med någon myndighet till unga som är inskrivna vid Arbetsförmedlingen. En väsentlig skillnad mellan projekten blev därför att Ung komp inte har någon uppsökande verksamhet, vilket var kännetecknande för Unga in. Arbetsmetoden i Ung komp bygger i övrigt på den metod som utvecklades under Unga in, men den vidareutvecklades under projektperioden. Ung komp ägs av Arbetsförmedlingen och finansieras huvudsakligen av myndigheten och ESF. Projektet bedrivs i samverkan med de kommuner som verksamheten finns i. Dessa kommuner bidrar även ekonomiskt genom att finansiera den kommunalanställda personalen som finns i respektive delprojekt. Syftet med Ung komp är att förstärka Arbetsförmedlingens arbetssätt genom ett koncept som ska förhindra och bryta långvarig arbetslöshet bland ungdomar (16 24 år) som behöver ett sammanhållet stöd från flera parter i det offentliga samhället. Ung komp har även som målsättning att höja förtroendet för Arbetsförmedlingen hos de deltagande ungdomarna samt att utveckla metoder för hur Arbetsförmedlingen kan sprida och implementera projektresultat i sin verksamhet. 1.2 Om Ramböll Management Consulting Ramböll Management Consulting är ett företag som utför analys- och verksamhetsutvecklingstjänster åt offentlig sektor. Vi är ett nordiskt företag med kontor i Sverige, Danmark, Finland, Norge och Tyskland samt i Bryssel (EU). Bland våra kunder finns en rad kommuner, regionförbund, myndigheter, departement och fackliga och ideella organisationer. För Arbetsförmedlingen utvärderar Ramböll för närvarande även Kompetenslyftet och projekten Mirjam, Systematiserad kompetensförsörjning och Jobskills. 1.3 Utvärderingsuppdraget Utvärderingsuppdraget utlystes våren 2015 och efter upphandling tilldelades Ramböll uppdraget. Uppdraget är att genomföra en lärande utvärdering av projektet. Lärande utvärdering är standard för projekt som är finansierade av ESF-rådet och innebär att utvärderaren har två uppdrag. För det första ska utvärderaren följa projektet genom dess genomförande, och genom en processutvärdering ge löpande processtöd för att bidra till att projektet genomförs så väl som möjligt och kvaliteten på genomförandet blir så hög som möjligt. För det andra ska utvärderaren mäta, bedöma och förklara projektets resultat och om möjligt även dess effekter på olika nivåer. 1 Ung komp har bedrivits vidare under en övergångsperiod (170701-180331) med finansiering från ESF-rådet och Arbetsförmedlingen genom att uppgå i projektet Ung framtid.
Ung KOMP 2 av 35 I uppdraget ingick även att genomföra en effektutvärdering av Ung komp. I en effektutvärdering jämförts en insats resultat med det kontrafaktiska scenariot vad som hade hänt om inte insatsen genomförts vilket ofta sker genom att resultaten jämfört med en kontrollgrupp. På så sätt kan effekten av insatsen skattas. I uppdraget ingick slutligen att genomföra en samhällsekonomisk analys. I en sådan beräknas effekten i monetära termer, och en analys görs sedan av om insatsen är samhällsekonomiskt lönsam och i så fall för vem. Uppdraget har som sagt pågått under större delen av Ung komps genomförande. Under genomförandefasen var utvärderingen processtödjande, men i denna rapport är syftet summativt att bedöma och förklara uppnådda resultat och effekter. Under uppdraget har Ramböll presenterat ett antal delrapporter där vi sammanfattat vår analys och gett projektet rekommendationer för det fortsatta arbetet. Dessa sammanfattas nedan, och återfinns också som bilagor till rapporten. 1.3.1 Tidigare genomförd utvärdering Nulägesanalys (delrapport I) Hösten 2015 genomförde Ramböll en nulägesanalys som rapporterades i november (se bilaga 5). I denna bedömdes projektet ha god relevans, både genom att det riktas mot en viktig samhällsutmaning och genom att det låg i linje med den verksamhetsutveckling som sker inom Arbetsförmedlingen. Vi bedömde även förutsättningarna för att effektutvärdera projektet och gav rekommendationer för hur detta kunde underlättas. Huvudsakligen analyserade vi hur projektets design och styrning utformats, och rekommenderade att tydligare fastställa hur styrningen skulle ske inom projektet, sätta upp en tydligare design för målgrupp, aktiviteter och arbetssätt samt slå fast vad projektets syfte och mål är. Efter nulägesanalysen tog Ung komps styrgrupp fram ett styrdokument som till stor del åtgärdade dessa punkter (se bilaga 4). Delrapport II Våren 2016 analyserade Ramböll projektet och tog fram en andra delrapport (se bilaga 6). Den behandlade projektets tidiga resultat där fokus lades på projektets volym (antalet deltagare) som var väsentligt mindre än planerat. Rapporten innehöll även en första bedömning av hur förtroendet för Arbetsförmedlingen påverkades av deltagande samt hur de multikompetenta teamen och spridningen av konceptet till nya orter fungerade. Till sist behandlades projektets styrning som inte fungerade optimalt, och vi gav ett antal rekommendationer om hur denna kunde utvecklas. Delrapport III Våren 2017 togs en ny delrapport fram (se bilaga 7), som i mycket var en uppföljning av den tidigare vad gäller resultat, volym och genomförande. Vid denna tidpunkt hade projektets genomförande satt sig; alla delprojekt hade lämnat uppstartsfasen och det gick att se förbättringar vad gällde uppnådd deltagarvolym, metodtrogenhet och resultat. Rapporten tog upp likvärdigheten i genomförandet, och vi diskuterade huruvida detta var tillräckligt samstämmigt. Pilotstudie av effektutvärderingen Under vintern 2016/2017 genomförde Ramböll en pilotstudie av effektutvärderingen av Ung komp. Syftet var att i god tid testa design, datatillgång och process för effektstudien, för att säkerställa att leverans kunde ske i slututvärderingen. Ett annat syfte var att få en indikation om projektets effekt jämfört med ordinarie verksamhet, men framförallt få möjlighet att förbättra designen och metoden i utvärderingen. I bilaga 1, Effektutvärdering av Ung komp, finns effektutvärderingen i sin helhet. Pilotversionen finns inte som bilaga eftersom effektutvärderingen i bilaga 1 till stor del är en upprepning av pilotstudien, och för att vi vill undvika misstag som kan komma med två versioner.
Ung KOMP 3 av 35 1.4 Rapportens disposition I denna inledning beskriver vi utvärderingsuppdraget. Kapitel 2 ger inledningsvis en beskrivning av Ung komps verksamhet och särdrag, och därefter analyserar vi om projektet genomförts likvärdigt mellan delprojekten och i enlighet med styrdokumentet. Kapitlet avslutas med analys av projektets styrning och dess inverkan på genomförandet. I kapitel 3 beskriver och analyseras projektets resultat. Först kommer resultat på individnivå, inklusive volymer och genusanalys. Därefter återges projektets resultat på organisationsnivå. De består av resultat som rör implementeringsmetoden, kundresursernas 2 funktion och värde samt resultat när det gäller deltagarnas förtroende för Arbetsförmedlingen. Kapitel 4 sammanfattar effektutvärderingen av Ung komp. I kapitel 5 presenteras slutsatser och rekommendationer. Inledningsvis sammanfattar vi projektets måluppfyllelse, effektivitet och hållbarhet i resultat, och därefter beskriver vi vad Arbetsförmedlingen kan lära av Ung komp. Vi avslutar med övergripande slutsatser från projektet och möjligheter att effektutvärdera ESF-projekt. 2 Kundresurser är en funktion som används inom Ung komp. De beskrivs i kapitel 3.2.2.
Ung KOMP 4 av 35 2. UNG KOMPS GENOMFÖRANDE Detta kapitel innehåller en kort beskrivning av Ung komps arbetssätt och särdrag för att ge läsaren förståelse för projektet. Därefter följer en diskussion om likvärdigheten i genomförandet, dvs. vilka skillnader som finns mellan delprojekten när det gäller metoder, arbetssätt och personalsammansättning. 2.1 Beskrivning av Ung komp Konceptet Ung komp har tre huvudsakliga delar Ung komp är ett implementeringsprojekt för att tillvarata och sprida det koncept som utvecklades inom ramen för arbetet med projektet Unga in och som sedan anpassats och vidareutvecklats under Ung komp. Med koncept menas projektets design, arbetssätt och metod. Konceptet bygger i huvudsak på tre grundpelare: en uttalad och avgränsad målgrupp bestående av unga vuxna i åldrarna 16 24 år ett multikompetent team med olika funktioner från Arbetsförmedlingen och kommunen som arbetar samlokaliserat ett holistiskt förhållningssätt där teamet verkar runt och för den enskilda individen för att stödja, uppmuntra och hjälpa denna. Projektets koncept finns beskrivet i styrdokumentet, där en så kallad basnivå som alla delprojekt ska arbeta efter presenteras. 2.1.1 Målgruppen är unga som är, eller riskerar att bli, långtidsarbetslösa Målgruppen för Ung komp är ungdomar som enligt kommunen eller Arbetsförmedlingen behöver ett sammanhållet stöd från flera myndighetsaktörer för att etablera sig på arbetsmarknaden. I styrdokumentet definieras tre målgrupper: Målgrupp 1: Unga 16 24 år som varit inskrivna vid Arbetsförmedlingen eller kommunen i 6 månader eller längre Målgrupp 2: Unga 16 24 år som varit inskrivna vid Arbetsförmedlingen eller kommunen minst två gånger under de senaste 6 månaderna Målgrupp 3: Unga 16 24 år som är inskrivna vid Arbetsförmedlingen eller kommunen och som har svårt att etablera sig på arbetsmarknaden Målgrupp 1 och 2 går att observera i data och ingår därmed i effektutvärderingen. Övriga inskrivna exkluderas från effektutvärderingen då det inte går att konstruera en kontrollgrupp av kvalitet för denna grupp. Detta framgår av styrdokumentet. 2.1.2 Ett multikompetent team ska erbjuda målgruppen ett effektivt, flexibelt och individanpassat stöd Projektets design utgörs av en samverkan mellan Arbetsförmedlingen och kommuner genom samlokalisering av multikompetenta team. Teamet samarbetar även med andra aktörer runt individen såsom skola och frivilligorganisationer. Syftet är att erbjuda individen ett sammanhållet och individanpassat stöd. Det multikompetenta teamet vid respektive verksamhet består av delprojektledare eller sektionschef med operativt ansvar för respektive verksamhet arbetsförmedlare SIUS, alternativt arbetsförmedlare med kompetens i supported employment Arbetspsykolog, socialkonsulent och/eller arbetsterapeut kundstödjare/kundresurser företrädare från kommunen, exempelvis studie- och yrkesvägledare eller socialsekreterare.
Ung KOMP 5 av 35 Vilken personal som kommunen tillhandahåller till Ung komp varierar, och bestäms av kommunen. Ett multikompetent team är kärnan i projektets modell eftersom man effektivt kan ge deltagaren rätt stöd samt förstärka och förenkla samarbetet mellan Arbetsförmedlingen och kommunen. Arbetet i multikompetenta team ska också bidra till ökad samsyn mellan stat och kommun. Det multikompetenta teamet ska vidare bidra till ökat förtroende för myndighetsaktörerna, ökad tillgänglighet och flexibilitet för deltagaren samtidigt som det byggs upp en fortlöpande kompetensöverföring, laganda och prestigelöshet bland professionerna i teamet. Det nära teamarbetet ska leda till kortare ledtider genom att fler professioner är inblandade i parallella insatser till deltagaren. Teamet ska ha ett nära samarbete med deltagaren i fokus och på så vis påskynda deltagarnas etablering på arbetsmarknaden. 3 2.1.3 Samlokaliseringen ökar tillgängligheten för deltagarna En annan viktig grundpelare i projektet är att professionerna i det multikompetenta teamet är samlokaliserade. Med detta menas att det multikompetenta teamet i respektive delprojekt har en gemensam arbetsplats och en gemensam kundyta för deltagarna, och att den utgör ingången för ungdomarna i målgruppen. Oberoende av arbetsgivare, profession eller funktion sitter teamet tillsammans i en gemensam lokal. Lokalen ska enligt projektet vara en nedtonad myndighetsmiljö som ger ett välkomnande intryck. Lokalerna inreds även ofta med en så kallad lounge som bemannas varje dag av delprojektens kundresurser. Arbetssättet erbjuder en hög tillgänglighet och engagemang som ska bidra till att sänka trösklarna mellan ungdomarna och myndighetsaktörerna. Samlokaliseringen ska även skapa möjligheter för kompetensöverföring, kreativa lösningar och kortare ledtider. 4 2.1.4 Vissa moment i Ung komp genomförs av alla delprojekt Det holistiska förhållningssättet innebär framförallt att teamets stöd till målgruppen anpassas efter varje individs behov. Dock är det vissa moment i arbetssättet som är mer eller mindre obligatoriska och som samtliga delprojekt genomför. Enligt projektets egen flödesbeskrivning ser processen för deltagare i Ung komp ut som i bilden nedan. Figur 1. Projektets flödesbeskrivning för Ung komp Inskrivning Innan inskrivning hålls ett informationsmöte om Ung komp, och syftet är att beskriva för potentiella deltagare vad projektet innebär och vad som förväntas av dem. Formerna för dessa informationsmöten skiljer sig åt mellan delprojekten, och de har också ändrats över tid i delprojekten. I enstaka fall sker mötena i form av individuella samtal, och i andra fall hålls de i grupp. Kartläggningssamtal När deltagaren tilldelats en arbetsförmedlare genomförs ett eller flera kartläggningssamtal med ett metodstöd som utvecklats av projektet. Det fungerar som en checklista över vilka ämnen som bör tas upp men det är inte bindande. Syftet med kartläggningssamtalet är att ge personalen en god bild av deltagaren och hans eller hennes behov. Det är också ett viktigt steg för att skapa en relation mellan deltagare och personal samt för att börja bygga förtroende mellan deltagaren och Ung komp. 3 Styrdokument för Ung komp 2015-12-01, s. 3 4. 4 Ibid. s. 4.
Ung KOMP 6 av 35 Kartläggningssamtalen ska enligt styrdokumentet 5 alltid genomföras av en arbetsförmedlare och en specialist. Detta görs dock i varierad grad i de olika delprojekten. Våra fallstudier visar bland annat att samtliga delprojekt inte arbetar enligt denna metod och att samtalen också genomförs av endast arbetsförmedlare eller med andra funktioner. Det är dock alltid två personer som genomför kartläggningssamtal med nyinskrivna individer. Det finns i nuläget inget stöd för att kartläggningssamtalets kvalitet påverkas av huruvida en specialist deltar eller inte, och datainsamlingen visar att det finns för- och nackdelar med båda tillvägagångssätten. Specialisten har en fördel av att snabbt se om individen behöver specialiststöd, medan studie- och yrkesvägledaren kan se om deltagaren är intresserad av studier. Den främsta orsaken till att fördela kartläggningssamtalet mellan flera kompetenser än specialisten uppges vara av effektivitetsskäl. Delprojekten har arbetat hårt med att komma upp i planerad deltagarvolym vilket medfört perioder med hög inskrivningstakt. För att inte tappa kontinuiteten med ungdomen har man därför valt att låta fler funktioner delta i kartläggningen. 2.1.5 Projektets holistiska förhållningssätt gör metoden mer flexibel De steg som följer efter kartläggningssamtalet har varit mycket svåra för delprojekten att beskriva. Det framgår dock att de skiljer sig väsentligt mellan deltagare och styrs fullkomligt efter de behov som projektet identifierat hos deltagarna. Skillnaderna mellan deltagare och delprojekt beskrivs som en del av projektets holistiska förhållningssätt. Projektpersonalen bedömer att det bidrar till en flexibel process för varje deltagare och en möjlighet att relativt snabbt forma insatser beroende på vad deltagaren behöver. Flexibiliteten beskrivs alltså som en framgångsfaktor i projektet. Dock har det också medfört att personalen under fallstudierna haft svårt att beskriva och förklara vad konceptet Ung komp bygger på utöver de delar och steg som beskrivits hittills, samt hur det är tänkt att fungera i förhållande till exempelvis övrigt ungdomsarbete vid Arbetsförmedlingen. I fallstudierna har vi undersökt i vilken utsträckning som personalen i delprojekten kunnat ange hur Ung komp skiljer sig från ordinarie arbetsförmedling för målgruppen på Arbetsförmedlingen. Resultatet har varit svårbedömt; respondenterna har uttryckt att arbetssättet med multikompetenta team och samlokalisering varit framgångskoncept, och förklarat hur, men samtidigt har de haft svårt att beskriva innehållet i delprojekten. En förklaring till detta är att projektet ska utgå från ungdomens behov, och insatserna ska därför anpassas. För att identifiera behovet används inskrivningssamtal, kartläggningssamtal och vägledningsmöten samt verktyg i form av E-guide och olika kompetenser genom det multikompetenta teamet. Det varierar mycket mellan delprojekten hur dessa metoder och verktyg används, samt när i ungdomens resa genom Ung komp, men framförallt mellan deltagarna i projektet. Exempelvis finns en variation i hur samverkan och samarbetet med den kommunala sektorn praktiseras. 2.2 Variationer i projektets genomförande I delrapport III (april 2017) analyserade Ramböll Ung komps metodtrogenhet, i vilken mån projektet genomfördes i enlighet med styrdokumentets instruktion och hur likvärdigt genomförandet var mellan delprojekten. Vi fann att projektet i huvudsak arbetade efter styrdokumentets basvärden, med vissa undantag såsom att planerade kompetenser fattades i vissa delprojekt. Vid sidan om basvärdena varierade genomförandet. Huvudsakligen förklaras variationen av att insatserna inom Ung komp ska vara individanpassade och bedrivas med ett holistiskt perspektiv, och att det därmed är naturligt med en stor variation i vilka insatser som erbjuds till deltagarna. Genomförandet varierar även i vissa projektspecifika insatser eller arbetssätt såsom Ung komp-veckan, kartläggningssamtalen och användandet av en lounge. Denna variation förklaras av att dessa insatser inte styrts till en liknande form av projektledning eller styrgrupp, utan delprojekten har fått lägga upp dessa efter vad de anser vara bäst. 5 Ibid. s. 4.
Ung KOMP 7 av 35 Arbetssätten inom Ung komp har också till stor del utvecklats lokalt i delprojekten, så att varje delprojekt efter introduktionen av metodstödsteamen fått bygga upp sina egna rutiner och tillvägagångssätt utifrån en löst beskriven instruktion. Delprojekten hade också lite kontakt med varandra under projektets inledande skede, med undantag för delprojektledarna/sektionscheferna som träffats regelbundet. Det har inte funnits en dokumentation som i detalj beskriver hur Ung komp-verksamheten ska bedrivas, utan det har det lokala teamet fått avgöra. Avslutningsvis förklaras Ung komps skiftande arbetssätt av styrningen inom projektet, och i någon mån inom Arbetsförmedlingen, under perioden. Detta beskrivs närmare i avsnitt 2.3 om projektets styrning. I korthet har dock huvudkontoret, som äger projektet, inte kunnat eller velat styra delprojekten operativt i någon större utsträckning. Styrningen har istället till stor del släppts till regionerna och det lokala delprojektet, och det har bidragit till att arbetssätten utvecklats olika inom projektet. 2.2.1 Multikompetenta team har saknat vissa kompetenser I styrdokumentet framgår att varje Ung komp-team ska bestå av en viss uppsättning kompetenser. Samtliga kompetenser har dock inte varit representerade i alla delprojekt under hela genomförandeperioden. Framförallt är det kommunal personal och specialister som fattats, och då främst under projektets första verksamhetsår. Antalet personal har också varit mindre än planerat under perioden, med lokal variation. Teamen kompletterades dock under projektperioden och under 2017 fanns exempelvis specialister i samtliga team. I fallstudierna har det multikompetenta teamet lyfts fram som något positivt och som en av Ung komps stora styrkor. Det handlar framför allt om att Arbetsförmedlingens personal har olika kompetenser och tillgång till helt andra kompetenser hos den kommunala personalen. Det samlokaliserade multikompetenta teamet bidrar till effektivitet inom Ung komp, främst genom att ledtiderna kortas för deltagarna när samtliga personalkategorier finns tillgängliga. Ett arbetssätt som används inom Ung komp är Ungdomsforum, som beskrivs enligt nedan: I mötet ungdomsforum medverkar all personal i det multikompetenta teamet. De för en dialog om kundernas aktuella situation. Varje medarbetare bidrar med förslag till hur ungdomens väg framåt kan stödjas. Syftet med ungdomsforum är att tillsammans hitta lösningar för att deltagarna ska komma närmare ett arbete eller en utbildning. 6 Ungdomsforum fungerar som ett arbetssätt där det multikompetenta teamets styrkor accentueras. Genom att teamet tillsammans diskuterar deltagarnas situation och lösningar på denna så används all kompetens på ett effektivt sätt. Ungdomsforum beskrivs i fallstudierna som ett smörjmedel och som ett arbetssätt som gör att det multikompetenta teamet kommer till sin rätt. Ramböll bedömer det som ett viktigt arbetssätt för att få ut effekt av det multikompetenta teamet. 2.2.2 Samlokaliseringen har varierat Även samlokaliseringen har varierat mellan delprojekten. De flesta har haft en gemensam arbetsyta för all personal, men några delprojekt haft en lägre grad av samlokalisering. Det har primärt handlat om att de kommunala medarbetarna inte arbetat i Ung komps lokal mer än några timmar i veckan. På andra ställen har den enda gemensamma ytan varit loungen, alltså den plats dit ungdomarna kunnat komma för möten och dylikt, och i övrigt har personalen suttit på sina ordinarie arbetsplatser. 6 Metodstödsmaterial Ungdomsforum
Ung KOMP 8 av 35 2.3 Projektets styrning Projektets styrning fungerade inte optimalt under det första verksamhetsåret. Projektägare och projektledning hade olika åsikter om hur styrningen skulle gå till, eller snarare hur arbetet skulle styras av det nationella projektet. Det bidrog till att projektet tappade fart under det första verksamhetsåret. Inledningsvis saknades styrning av projektets verksamhet i väsentliga delar; exempelvis fanns inte målsättningar och syfte tydligt beskrivet, ledningsstrukturen var otydlig och det saknades ramar för målgrupp och arbetssätt. Följden blev att delprojekten hade möjlighet att utveckla sin verksamhet fritt utan sammanhållna kärnvärden. Detta behandlade vi i den nulägesanalys som presenterades i november 2015. Styrgruppen beslutade i december 2015 om ett styrdokument som till stor del behandlade dessa frågor, exempelvis genom att tydligt definiera målgrupp och personalsammansättning och genom att presentera de basvärden för verksamheten som tidigare beskrivits. Denna styrning gjorde projektets verksamhet tydligare för personalen. Efter ett knappt år av projektet slutade projektledaren och en ny rekryterades. I anslutning till detta fick den nya projektledaren också ett tydligare mandat, och styrningen blev mer välfungerande. Den nationella projektledningen var också inledningsvis underbemannad i förhållande till sina arbetsuppgifter, något som Ramböll konstaterade i delrapport II (maj 2016). Hösten 2016 korrigerades detta och den nationella delen av projektet byggdes successivt ut. Att styrningen inte fungerade väl under inledningsfasen kan till stor del förklaras av att Arbetsförmedlingen som helhet förändrade sin styrning. Under tidigare GD var myndigheten tydligt centralstyrd från huvudkontoret, men sedan flyttades mer makt och mandat till de tre regionerna inom Arbetsförmedlingen. Ung komp startade mitt i denna process, och fick i någon mån känna sig fram i ett nytt landskap. I detta skede var det inte självklart att det nationella projektet på huvudkontoret skulle styra lokala delprojekt i regionerna på samma sätt som tidigare. Ung komp hamnade på detta sätt i ett otydligt styrningslandskap, och mycket energi gick åt till att känna sig fram och etablera en ny styrningsmodell. Med tiden utvecklades detta och Ramböll har inte sett några tecken på att styrningen var komplicerad under projektets senare skede. Det är dock tydligt att styrningen inverkade negativt på processen under projektets första verksamhetsår. Exempelvis kunde arbetet med att nå upp i planerad deltagarvolym ha styrts tydligare från början, och det var länge svårt att tillsätta personal med flera vakanser inom specialistkompetens som följd i olika delprojekt. Dessutom fanns inte tydlig styrning av det sammanhållna arbetssättet i projektets inledning, vilket beskrivits ovan. Det är Rambölls bedömning att med en tydligare sammanhållen styrning från projektledningen hade Ung komp bedrivits mer enhetligt över landet. Framförallt borde styrdokumentet ha beslutats innan delprojekten inledde sin verksamhet, i projektets analys- och planeringsfas. Det hade troligen medfört färre vakanser av viktiga kompetenser i delprojekten och gjort metodtrogenheten mer likvärdig under projektets första verksamhetsår. Att inleda ett projekt utan den typen av övergripande styrning är inte effektivt.
Ung KOMP 9 av 35 3. RESULTAT I detta kapitel redovisas Ung komps resultat. Kapitlet är delat i två delar, resultat på individnivå respektive resultat på organisationsnivå. Men individnivå menas resultat för deltagande individer. Med organisationsnivå menas andra resultat som rör Arbetsförmedlingen som organisation. 3.1 Resultat på individnivå 3.1.1 Projektets volym och genomsnittlig inskrivningstid Volym Ung komp har under projektperioden haft utmaningar när det gäller att nå det planerade antalet inskrivna deltagare. Utmaningarna identifierades bl.a. i delrapport II (maj 2016) och bestod av: Svårigheter att rekrytera deltagare från ordinarie verksamhet. Personalomsättning ger lägre kapacitet. Inskrivningsprocessen är personalintensiv och kräver systematik. Till dessa utmaningar kan läggas den konkurrenssituation uppstått när ett stort antal projekt bedrivits samtidigt för ungdomar. På vissa orter har flera projekt varit verksamma med liknande målgrupp, vilket gjort att det varit svårt att rekrytera rätt deltagare. Ramböll framförde i delrapporten att endast två delprojekt (av de då åtta aktiva delprojekten) var uppe i godtagbar volym, baserat på styrdokumentets formulering att det bör vara minst 40 deltagare per arbetsförmedlare. När frågan blev mer prioriterad började också antalet deltagare öka snabbare, vilket illustreras i figur 2 nedan. Projektet började i större utsträckning skriva in deltagare som inte uppfyller målgruppsdefinitionens kategorier 1 eller 2. Således började andelen individer som tillhör definition 3 att öka, och steg över det tak om 30 procent som angivits i styrdokumentet. I delrapport III, april 2017, konstaterades att volymfrågan fortfarande var en utmaning för några av de delprojekt som startat under 2016 men att problemet nu var betydligt mindre då majoriteten av delprojekten hade godtagbara volymnivåer. Projektet hade dock fortfarande fler deltagare från målgruppsdefinition 3 än planerat. En viktig förklaring är att Ung komp styrdes mot att öka denna målgrupp för att bidra till Arbetsförmedlingens generella arbete med att nå 90-dagarsgarantin. Projektet styrdes alltså mot att öka antalet unga som inte varit inskrivna 90 dagar då detta mål bedömdes som överordnat projektets egna målsättningar. Figur 2: Inskrivna deltagare per månad och målgruppskategori, augusti 2015 juni 2017 4 000 3 500 3 000 2 500 2 000 1 500 1 000 500 0 Kat 1 - mer än 6 månader Kat 2 - mer än två inskrivningar Ej kat 1 eller 2
Ung KOMP 10 av 35 I ESF-ansökan för Ung komps period 29 februari 2016 30 juni 2017 anges den planerade volymen till 5 000 individer. Vid projektperiodens slut hade 6 867 personer skrivits in i Ung komp, och den planerade volymen har således överskridits med 1 867 individer. De inledande utmaningarna hanterades med andra ord väl och sammantaget överträffade Ung komp sitt mål när det gäller antalet deltagare. Deltagarnas könsfördelning Vid projektets slut hade 2 484 kvinnor och 4 383 män skrivits in i Ung komp. Även dessa resultat överträffar målet i ESF-ansökan, som var satt till 2 000 kvinnor och 3 000 män. Ansökan angav vidare att könsfördelningen ska motsvara målgruppen, nationellt och lokalt. Fördelningen var 36 procent kvinnor och 64 procent män. Ramböll har analyserat hur utfallet för projektets deltagare motsvarar målgruppens sammansättning lokalt. Detta har gjorts genom en jämförelse, per delprojekt, mellan andelen kvinnor respektive män som är inskrivna i projektet och andelen kvinnor respektive män som vid tidpunkten (juni 2017) var arbetslösa och sökande i program med aktivitetsstöd sedan minst sex månader. Jämförelsen visas i figuren nedan. Figur 3: Andel män och kvinnor som var inskrivna i Ung komp juni 2017 och andel män och kvinnor 18 24 år som varit arbetslösa i mer än 6 månader i kommunen Landskrona kommun Landskrona UNGKOMP Växjö kommun Växjö UNGKOMP Örebro kommun Örebro UNGKOMOP Eskilstuna kommun Eskilstuna UNGKOMP Stockholm kummun Stockholm UNGKOMP Uppsala kommun Uppsala UNGKOMP Gotlands kommun Visby UNGKOMP Motala kommun Motala UNGKOMP Trollhättan kommun Trollhättan UNGKOMP Skellefteå kommun Skellefteå UNGKOMP Gävle kommun Gävle UNGKOMP Helsingborg kommun Helsingborg UNGKOMP Göteborg kommun Göteborg UNGKOMP Malmö kommun Malmö UNGKOMP Norrköping kommun Norrköping UNGKOMP Järfälla kommun Järfälla UNGKOMP 39% 42% 38% 41% 34% 38% 38% 41% 37% 39% 32% 38% 36% 39% 29% 38% 40% 41% 35% 37% 30% 38% 42% 44% 43% 42% 35% 38% 44% 45% 41% 43% 62% 59% 66% 62% 62% 59% 63% 61% 68% 62% 64% 61% 71% 62% 65% 61% 58% 60% 59% 70% 62% 58% 56% 57% 58% 65% 62% 56% 55% 59% 57% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Andel kvinnor Andel män I de flesta fallen speglar andelen kvinnor respektive män fördelningen i kommunen, men vissa delprojekt avviker. Av totalt 16 delprojekt har 13 en avvikelse jämfört med målgruppen i kommunen som understiger 5 procentenheter. De som överstiger 5 procentenheter är Malmö, Skellefteå och Uppsala. Ramböll har tidigare analyserat detta i delrapport II (maj 2016) och Delrapport III (april 2017). Resultaten såg då liknande ut, men det har varierat vilka delprojekt som haft större avvikelse än 5 procentenheter endast Malmö har konsekvent avvikit mer än 5 pro-
Ung KOMP 11 av 35 centenheter. Denna jämförelse är dock inte en exakt beskrivning av under- eller överrepresentation av något kön då den exakta målgruppsdefinitionen inte använts när kommundata hämtats 7. Sammantaget bedömer Ramböll att könsfördelningen ligger inom ramen för att motsvara målgruppen, även om andelarna inte matchar exakt. Inskrivningstid Individer som avslutats ur projektet vid dess avslutningsdatum, den 30 juni 2016, hade i snitt varit inskrivna i 216 dagar. De som fortfarande var inskrivna i projektet hade i snitt varit inskrivna i 220 dagar. Inskrivningstiden ökade först under projektperioden för att stagnera och stabiliseras under 2017. I styrdokumentet anges att genomsnittstiden för övergång till arbete, utbildning eller annan känd orsak inte ska överstiga 8 månader. Projektets resultat uppfyller målen då den genomsnittliga inskrivningstiden var drygt 7 månader. 3.1.2 Resultat för individer I detta kapitel redovisas resultat för deltagande individer, där utfallet övergång till arbete eller studier klassas som positiva resultat. Vi redovisar detta på två sätt. Det första gäller hur projektets målsättning är formulerad i styrdokumentet, där resultat mäts som andel som går vidare till arbete eller studier av de som avslutas ur projektet. Det andra redovisningssättet gäller resultat över tid, där hållbarheten i uppnådda resultat analyseras. Där mäts resultat som andelen som går vidare till arbete eller studier av samtliga inskrivna i målgrupp 1 och 2, eftersom dessa data kommer från effektutvärderingen. För en mer fullständig redovisning av resultat på individnivå hänvisar vi till bilaga 1 Effektutvärdering, där kontext kring målgruppen i stort även redovisas. Resultat jämfört med projektets målsättning I styrdokumentet beskrivs målet enligt följande: Av samtliga som avslutat deltagande i projektet ska minst 65 procent vara i arbete och utbildning 90 dagar efter avslutat deltagande i projektet. Av de deltagare som lämnade projektet var det 61,5 procent som gick vidare till arbete eller studier, sett till hela projektperioden. Av dessa hade 56 procent fått ett arbete och 15,5 procent började studera. Målsättningen är därmed inte uppnådd. Resultaten varierar mellan delprojekten, vilket synliggörs i figuren nedan: 7 Data är hämtad från Arbetsförmedlingens webbstatistik som inte tillhandahåller data enligt den exakta målgruppsdefinitionen, då den endast innehåller data för målgruppsdefinition 1.
Region Norr Region Mitt Region Syd Tot alt Ung KOMP 12 av 35 Figur 4: Ackumulerat resultat Ung komp juni 2015-juni 2017 1956 664 1291 349 Landskrona 43 12 61 11 Helsingborg 249 75 146 42 Malmö 181 56 149 57 Växjö 33 1 21 2 Trollhättan 60 28 63 4 Göteborg 180 62 144 49 Örebro 46 3 15 7 Motala 120 32 33 0 Eskilstuna 56 5 15 3 Norrköping 119 50 90 20 Uppsala 119 29 79 21 Järfälla Upplands Bro 157 74 104 48 Visby 57 13 31 10 Stockholm 245 90 66 15 Skellefteå 203 74 168 38 Gävle 88 60 106 22 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Arbete Studier Avakt känd orsak Avakt okänd orsak Källa: AIS, via projektets bearbetade uppföljning. Dessa data kan överskatta antalet deltagare något då samma individ kan ingå flera gånger. Skillnader i resultat mellan delprojekten kan bero på skillnader i den lokala arbetsmarknadens behov, i vilka individer som skrivits in i delprojekten och i hur de bedrivit arbetet. Skillnaderna kan också bero på att projekten varit verksamma olika länge, då de startat i fyra omgångar mellan sommaren 2015 och hösten 2016. Då alla projekt har en uppstartssträcka kan det medföra att de nått lägre resultat under sin första verksamhetstid, och därmed haft olika förutsättningar. I utvärderingen bedöms de dock på samma sätt, och Ung komps måluppfyllelse bedöms samlad för hela projektet. Resultatens hållbarhet Resultatet mäts även som andel som gått vidare till arbete eller studier av samtliga deltagare i målgrupp 1 och 2, 8 och då når 53 procent positivt utfall som är ihållande i 30 dagar. Resultaten för arbete sjunker sedan till 30 procent efter 90 dagar, och har mer än halverats efter sex månader. Studieresultaten ser dock mer stabilt ut, och har endast sjunkit marginellt efter 180 dagar. Figur 5. Andel deltagare med positivt utfall 9, efter olika tidsintervall 30 dagar 60 dagar 90 dagar 180 dagar 360 dagar Arbete 45% 34% 30% 21% 9% Studier 8% 8% 8% 7% 5% Total 53% 42% 38% 28% 14% 8 Eftersom denna analys är hämtad från effektutvärderingen omfattas inte målgrupp 3, då dessa inte ingår i effektutvärderingen. 9 För förklaring av hur positivt utfall definieras, se kapitel 4.3.
-12-11 -10-9 -8-7 -6-5 -4-3 -2-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Ung KOMP 13 av 35 Efter ett år är det bara 9 procent som fortfarande har ett arbete, och studieresultaten har också sjunkit. Det är dock färre personer som haft möjlighet att nå resultat efter 360 dagar eftersom alla deltagare inte varit inskrivna tillräckligt länge. I bilaga 1 finns en liknande tabell, som även inkluderar kontrollgruppen. 3.1.2.1 Könsuppdelade resultat En undersökning av resultaten uppdelat på killar och tjejer i projektet visar att det finns en viss diskrepans i såväl vilka utfall som nås som vilka insatser ungdomarna deltar i. Snedvridningen är tillsynes till killarnas fördel. Denna bild bekräftas dock inte av utvärderingens kvalitativa moment där intervjuer med manliga och kvinnliga deltagare genomförts och ingen upplevd snedfördelning av resurser eller resultat visat sig. Denna analys baseras på de data som använts till effektutvärderingen, och därmed är deltagare som tillhör målgrupp 3 exkluderade. De tre definitionerna av arbete som används i figurerna beskrivs ingående i kapitel 4.3. Figur 6. Andel deltagare med positivt utfall, utfallsdefinition 1 uppdelat på kön 30% 25% 20% 15% 10% 5% 0% -12-11-10-9 -8-7 -6-5 -4-3 -2-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Tjejer Killar Det finns ingen skillnad mellan killar och tjejer i andelen av Ung komp-deltagare som lämnar projektet för arbete på den reguljära arbetsmarknaden, vilket visas i figuren ovan. Från det att de skrivs in lämnar lika stora andelar projektet såväl som Arbetsförmedlingen över en tvåårsperiod. Figur 7. Andel deltagare med positivt utfall, utfallsdefinition 2 uppdelat på kön 50% 45% 40% 35% 30% 25% 20% 15% 10% 5% 0% Tjejer Killar Vad gäller projektets definition av arbete och studier finns en skillnad till killars fördel. Figuren ovan visar att efter tre månader i Ung komp sker en viss divergens mellan grupperna där manliga deltagare når positiva utfall i större utsträckning.
-12-11 -10-9 -8-7 -6-5 -4-3 -2-1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24-12 -11-10 -9-8 -7-6 -5-4 -3-2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Ung KOMP 14 av 35 Figur 8. Andel deltagare med positivt utfall, utfallsdefinition 3 uppdelat på kön 60% 50% 40% 30% 20% 10% 0% Tjejer Killar När även aktiviteter inom Jobb- och utvecklingsgarantin och Jobbgarantin för ungdomar som innebär arbete inkluderas i figuren ovan går det endast att urskilja någon procentenhets skillnad mellan killar och tjejer över tid. Figur 9. Andel deltagare med positivt utfall, utbildning uppdelat på kön 16% 14% 12% 10% 8% 6% 4% 2% 0% Tjejer - behandling Killar - behandling Inom Ung komp går män och kvinnor till utbildning i snarlik utsträckning, vilket visas i figuren ovan. Det går dock att urskilja en viss diskrepans till killars fördel fram till den 8:e månaden i projektet där det vänder, och efter 15 månader har kvinnor som grupp högre andel som går vidare till utbildning.
Ung KOMP 15 av 35 Könsuppdelat utfall till program För att undersöka om killar tar del av mer insatser inom Ung komp har vi sammanställt utfallet av ett antal program och insatser. Detta visas i tabellen nedan. Figur 10. Könsuppdelat utfall till program, andelar Grupp Tjejer Killar Program Nystartsjobb 9 % 12 % Arbetspraktik 2 % 3 % Lönebidrag 0 % 0 % Utvecklingsanställning 0 % 0 % Särskilt anställningsstöd 2 % 3 % Instegsjobb 0 % 0 % Trygghetsanställning 0 % 0 % Yrkesintroduktion 0 % 0 % Skyddat arbete 0 % 0 % Förstärkt särskilt anställningsstöd 0 % 1 % Traineejobb 2 % 1 % Arbetslivsintroduktion 0 % 0 % Särskilt nystartsjobb 0 % 0 % Extratjänst 0 % 0 % Förberedande utbildning 8 % 7 % Arbetsmarknadsutbildning 5 % 6 % Utbildningskontrakt 7 % 7 % Arbetslivsinriktad rehabilitering 4 % 4 % Aktiviteter inom vägledning och platsförmedling 5 % 4 % Fördjupad kartläggning och vägledning 1 % 1 % Projekt 1 % 0 % N 1 523 2 522 Tabellen visar att det finns skillnader mellan vilka insatser som tjejer och killar tar del av inom Ung komp, men att de i allmänhet är små. Vad gäller Nystartsjobb finns en större skillnad om tre procentenheter. 3.1.2.2 Funktionsnedsatta Figur 11 nedan visar andelen deltagare med funktionsnedsättning vid inskrivning och i juni 2017 per delprojekt. Det framgår tydligt att många individer får en funktionsnedsättningskod under tiden för deltagande i Ung komp. I genomsnitt (icke-viktat) ökade andelen med funktionsnedsättningskod med 10 procentenheter under denna period. Det finns dock stora skillnader mellan delprojekten, vilket kan bero på att det finns systematiska skillnader i arbetssätt alternativt att delprojekten har olika målgrupper.
Ung KOMP 16 av 35 Figur 11: Andelen med funktionsnedsättning per delprojekt vid inskrivning och i juni 2017 Uppsala Gävle Skellefteå Växjö Visby Helsingborg Stockholm Norrköping Trollhättan Malmö Järfälla Motala Landskrona Eskilstuna Göteborg Örebro 8% 10% 10% 18% 15% 18% 16% 16% 17% 19% 19% 19% 24% 24% 23% 24% 0% 10% 20% 30% 40% 50% Efter Innan 25% 25% 27% 28% 29% 28% 30% 30% 31% 33% 36% 35% 37% 40% 42% 45% Källa: AIS, via projektets bearbetade uppföljning. Observera att figuren inkluderar samtliga deltagare, till skillnad från effektutvärderingen. Det förklarar att andelen med funktionsnedsättning är mycket högre vid Ung komp-inträdet än i effektutvärderingens population. Resultatet tyder på att det finns en stor grupp personer vid Arbetsförmedlingen som har funktionsnedsättningar som inte identifieras. Det kan tyda på att kartläggningen inom Arbetsförmedlingens ordinarie verksamhet inte fungerar tillräckligt bra, något som bland annat Riksrevisionen uppmärksammat nyligen. 3.1.3 Resultat progression I detta avsnitt presenteras de huvudsakliga resultaten av den progressionsmätning som skett i Ung komp. En mer fullständig rapportering finns i bilaga 3 Progressionsrapport, där resultaten analyseras bredare. I avsnitt 3.2.3 finns en analys av de frågor som ställts om deltagarnas förtroende för Arbetsförmedlingen. I oktober 2016 initierade Ramböll ett system för att följa deltagarnas progression under deltagandet i Ung komp. Med progression menas utvecklingen mot arbete eller studier. Progressionsmätningen gick ut på att ställa frågor till deltagarna vid olika tidpunkter vid inskrivning, 3 månader efter inskrivning och 6 månader efter inskrivning. Frågorna, som illustreras i figur 12 nedan, bygger på validerade skalor, vilka visat sig fungera som indikatorer för förutsättningarna för att kunna skaffa sig ett arbete. Figuren nedan illustrerar det samlade resultatet från progressionsmätningen för deltagare i Ung komp. Inom samtliga områden sker en ökning mellan insamling 1 och insamling 2. Genomsnittet skiljer sig dock mellan frågorna och det gör också utvecklingen. Generellt är utvecklingen mellan insamling 1 och 2 störst inom de områden där utgångsläget är lågt, till exempel fråga två och sex i figuren nedan. Samtidigt utmärker sig fråga fyra, som rör individers inställning till att ta kontakt med personer de inte känner, på så sätt att utvecklingen är relativt liten.
Ung KOMP 17 av 35 Figur 12: Utfall av progressionsmätning, genomsnitt insamling 1 och ökning under insamling 2 och 3 0 1 2 3 4 5 Vet du vilket eller vilken typ av arbete eller studier du helst skulle vilja ha? Vet du vad du behöver göra för att förbättra dina chanser att få ett jobb/börja studera? Tror du att det du kan d.v.s. dina kompetenser och färdigheter kan användas på en arbetsplats? Hur känner du för att ta kontakt med personer du inte känner på ett företag, myndighet eller skola? Har du lätt eller svårt för att samarbeta med andra? (i tex en arbetsgrupp, ett samtal eller liknande) Hur stort är ditt förtroende för Arbetsförmedlingen idag? 3,48 3,29 3,88 3,34 4,05 3,18 0,26 0,46 0,21 0,07 0,13 0,39 Insamling 1 Insamling 2 Insamling 3 Denna progression för deltagarna var inte förvånande med tanke på de intervjuer som Ramböll genomfört med deltagare i projektet under våra fallstudier av delprojekten, där merparten av de intervjuade beskrivit att de utvecklats under tiden för deltagande. Progressionsmätningens resultat stämmer alltså överens med de data vi samlat in kvalitativt, och det kan tilläggas att även projektpersonalen pekat på detta. Progressionen är störst för de individer som börjar med ett lågt ingångsvärde, se figur 13 nedan. Figuren visar de individer som vid första mättillfället hade värden som i genomsnitt var 3 eller lägre. Här sker en större progression fram till uppföljningarna, både 3 månader efter inskrivning och 6 månader efter inskrivning. Figur 13: Utfall av progressionsmätning, genomsnitt insamling 1 och ökning insamling 2 och 3, individer med lågt utgångsläge (mindre än 3 i genomsnitt) 0 1 2 3 4 5 Vet du vilket eller vilken typ av arbete eller studier du helst skulle vilja ha? 2,17 0,87 0,30 Vet du vad du behöver göra för att förbättra dina chanser att få ett jobb/börja studera? 2,15 1,17 0,64 Tror du att det du kan d.v.s. dina kompetenser och färdigheter kan användas på en arbetsplats? 2,78 0,86 Hur känner du för att ta kontakt med personer du inte känner på ett företag, myndighet eller skola? 2,01 0,56 0,61 Har du lätt eller svårt för att samarbeta med andra? (i tex en arbetsgrupp, ett samtal eller 2,84 0,72 0,23 Hur stort är ditt förtroende för Arbetsförmedlingen idag? 2,92 0,410,40 Insamling 1 Insamling 2 Insamling 3 Progressionsmätningens resultat visar att de deltagande individerna stärks under deltagandet i Ung komp och att de som inte fått ett positivt utfall under projektperioden troligen har bättre förutsättningar även efter projektets slut. Betydande progression sker på de två första frågorna som handlar om vilket arbete deltagaren vill söka samt hur han eller hon ska gå till väga för att nå dit. Detta tyder på att Ung komps vägledande insatser ger resultat.
Ung KOMP 18 av 35 3.2 Resultat på organisationsnivå Ung komp har även haft som syfte att påverka Arbetsförmedlingen som organisation, vilket vi kategoriserar som resultat på organisationsnivå. Projektet har två målsättningar som faller inom denna kategori: att utveckla en modell för hur Arbetsförmedlingen kan skala upp och sprida nya metoder och arbetssätt, och att öka förtroendet för myndigheten bland deltagarna. Vi ser även att kundresurser har använts på ett nytt sätt inom projektet, och därmed inkluderas också detta i resultat på organisationsnivå. 3.2.1 Ung komps modell för att sprida och skala upp projektet har genomförts väl Projektet Ung komp utmärks av modellen för att sprida projektets koncept och arbetssätt, metodstödsteamen. Att utveckla Arbetsförmedlingens metoder för spridning och implementering av lyckade projektsatsningar var också ett skäl till att projektet beviljades medel från ESF. Ett metodstödsteam bestående av 4 5 personer som inkluderar arbetsförmedlare, SIUS, specialist vid Arbetsförmedlingen, kommunal personal och kundresurs ger stöd till ett nytt delprojekt i uppstartsfasen. Programmet för metodstöd vid nyetablering av en Ung komp-enhet följer dessa processteg 10 : 1. Förankringsmöte med nationella projektledningen 2. Mentorort och auskultation enligt lokal överenskommelse 3. Workshops 2 x 2 dagar inom en 14-dagars period innan projektdeltagarna startar 4. Side by side 5 dagar, oftast sammanhängande (handledning med deltagare på plats) 5. Uppföljning, enligt lokal överenskommelse På detta sätt får varje nystartat delprojekt stöd i att implementera konceptet, både innan verksamheten kommit igång med deltagare och efter starten. Metodstödsteamen har fungerat väl och bidragit till att de nya delprojekten kunnat starta sin verksamhet på ett effektivare sätt. De har varit nödvändiga för att sprida Ung komps koncept och särart, och denna överföring blir särskilt viktig eftersom projektet inte varit fullständigt dokumenterat. Oavsett detaljeringsgraden i dokumentationen är det dock troligt att ett praktiskt komplement likt metodstödsteamen skulle höja effektivitet och kvaliteten i spridningen av konceptet. Ramböll har tidigare, i slututvärderingen av projektet Jobbgarage, hänvisat till det forskningsstöd som finns för att använda så kallade implementeringsagenter och som metodstödsteamen är ett exempel på. I denna del har Ung komp haft god evidens att luta sig på i sin design. Metodstödsteamen i sig har uppfattats som en god energigivare till de nya projekten; de har förtydligat oklarheter, svarat på frågor och visat vilka alternativ som finns inom Ung komp. Medverkan i metodstödsteamen har även varit värdefull för den erfarna personal som ingått i teamen, då dessa fått nya utmaningar och möjlighet att diskutera och vidareutveckla projektet och sin egen kompetens. Ramböll har i tidigare delrapporter konstaterat att uppskalningsteamets arbete varit centralt för uppstarten av nya delprojekt. Dessa metodstödsteam har tillfört kunskap och erfarenhet som gett trygghet och struktur. Enligt intervjuerna har flera medarbetare upplevt att de fått mycket lite information om Ung komp och dess arbetssätt och form innan metodstödsteamets medverkan. Däremot kan vi konstatera att metodstödsteamets syfte i första hand varit att lära ut Ung komps kärnvärden, snarare än att ge tydliga instruktioner om hur arbetet ska läggas upp. Vi förstår att detta varit ett medvetet val, för att arbetet ska utformas med hög förankring bland medarbetarna utifrån lokala förutsättningar. Detta var också viktigt för att skapa ett effektivt och välfungerande arbete. Däremot har det i intervjuerna påtalats att uppskalningsteamets stöd efterfrågades även efter de planerade besöken. 10 ESF-ansökan, sid. 7.
Ung KOMP 19 av 35 Representanter för nystartade delprojekt har också påtalat att metodstödsteamet hade behövts under en längre tid efter uppstarten. De hade vidare gärna sett att metodstödsteamens funktion i högre grad varit instruerande snarare än lärande. De har alltså efterfrågat ett tydligare stöd i vad de ska göra inom ramen för Ung komp, och hur det skiljer sig från ordinarie verksamhet. Konsekvensen har blivit att delprojekten utformat arbetet utifrån ett relativt otydligt ramverk. Det förklarar också att delprojekten arbetar olika när det gäller olika detaljer och enskilda moment. Sammantaget ser Ramböll att detta arbete har bedrivits effektivt och med lyckade resultat. Det finns skäl för att ta denna spridningsmodell vidare inom Arbetsförmedlingen och använda liknande design vid kommande spridning av nyutvecklade koncept. 3.2.2 Kundresurser Ung komps kundresurser och deras arbetssätt är ett av projektets särdrag, och särskilt i projektets tidiga fas var det ovanligt med kundresurser enligt Ung komps modell inom Arbetsförmedlingen. Vår övergripande bedömning är att kundresurserna fungerar väl i Ung komp och att de tillför flera värden som vi beskriver närmare nedan. I Ung komps dokument Yrkesroller 2.0 beskrivs kundresursernas så här: Kundresurserna arbetar med jobbsökaraktiviteter, arbetsgivarkontakter, ansökningshandlingar och ger stöd vid information om kommunen och Arbetsförmedlingens insatser. Kundresurserna speglar målgruppens erfarenheter och bidrar till att motivera ungdomarna att öka sitt engagemang i olika aktiviteter inom UngKOMP. De erbjuder även personlig support exempelvis vid arbetsplatsbesök, rekryteringsträffar och besök på skolor. Eftersom kundresurser i UngKOMP är anställda unga med liknande bakgrund som målgruppen ses de ofta som förebilder för att det är möjligt att komma in på arbetsmarknaden. När en deltagare plötsligt inte sköter kontakten har kundresurserna ofta möjlighet att leta upp dem så att kontakten med projektet kan återupptas. Kundresurserna har ofta lätt för att få kontakt med deltagarna, särskilt initialt när en deltagare är nyinskriven. De bidrar till det holistiska arbetssättet genom att vara en del i den löpande kontakt med deltagarna som mycket av projektets arbetssätt kretsar kring. En förklaring till kundresursernas kommunikativa framgång är just att de inte är handläggare de fattar inte beslut och förknippas inte lika starkt med Arbetsförmedlingen. Det gör att deltagarna uppfattar det som enklare att ta kontakt med denna personalkategori. Kundresurserna effektiviserar teamen. De kompletterar övriga personalkategorier utan att ha specifika expertfunktioner, och därmed kan de komplettera och stödja övrig personal i arbetet. Framförallt kan de avlasta arbetsförmedlarna med en mängd uppgifter för att effektivera förmedlarnas arbete, till exempel hjälpa deltagare med CV-skrivning och arbetsgivarkontakter samt bemanna loungen. Kundresursernas möjlighet att flexibelt komplettera övriga i teamet är en förutsättning för att kunna nå den fastställa volymen om 40 50 deltagare per förmedlare. Vid sidan om dessa framgångsfaktorer finns ett fåtal utmaningar som rör att kundresurserna är en ny roll som inte är lika självklar som övriga. Under Ung komps inledande period var kundresursernas uppdrag heller inte alltid tydligt eftersom de användes på ett nytt sätt inom projektet. I och med den oklara uppdragsbeskrivningen har det inte varit självklart vilka arbetsuppgifter de ska utföra, och det har i vissa delprojekt inneburit en del diskussioner om vad kundresurserna ska göra och vilket ansvar de har. Personalomsättningen var också stor under projektets första period då omkring en tredjedel av kundresurserna ersattes under projektets första åtta månader.
Ung KOMP 20 av 35 En förklaring till det är att rekryteringen var en utmaning. För det första var kundresursens ansvar inte helt tydligt för alla inblandade, i och med att de användes på ett nytt sätt inom Ung komp. För det andra gjordes en del rekryteringar utan stöd från den personal som har erfarenhet av att arbeta som, eller med, kundresurser. Sammantaget ser Ramböll att kundresurserna varit en viktig funktion i det multikompetenta teamet, och inte minst har de genom sin flexibilitet varit en effektivitetshöjande kraft. De har också bidragit till det goda bemötande som deltagarna har upplevt inom Ung komp, något som ökat förtroendet för verksamheten. Hur förtroendet utvecklats beskrivs i nästa avsnitt nedan. 3.2.3 Förtroende för Arbetsförmedlingen En av målsättningarna för Ung komp är att öka förtroendet för Arbetsförmedlingen genom projektet. Målsättningen är, enligt styrdokumentet, att minst 90 procent av de inskrivna efter sex månader (alternativt vid avslut för de inskrivna som lämnar projektet innan sex månader gått) ska ha ökat sitt förtroende 11 eller känna ett högt förtroende för Arbetsförmedlingen. Detta har vi tidigare följt upp kvalitativt i delrapport II från våren 2016. I den beskrevs att samtliga intervjuade deltagare hade ett högt förtroende för Ung komp, men att detta höga förtroende inte alltid omfattade Arbetsförmedlingen generellt. Deltagarna upplevde projektet som något delvis annat än den ordinarie verksamheten, och upplevde bland annat att de fick ett bättre bemötande och mer hjälp i Ung komp. Mellan oktober 2016 och juni 2017 följdes deltagarnas förtroende upp kvantitativt. Detta gjorde vi genom en progressionsmätning med nyinskrivna deltagare: de fick svara på en enkät vid inskrivningen, och detta upprepades var tredje månad om deltagaren var kvar i projektet. De deltagare som lämnade projektet har inte fått fler enkäter då de inte gått att nå. Det är möjligt att de som lämnat till arbete eller studier fått ett ökat förtroende på grund av detta positiva utfall, men det har inte gått att undersöka. Direktivet var att samtliga deltagare som skrevs in från och med oktober 2016 skulle ingå i progressionsmätningen. Utfallet är dock väsentligt lägre än så. Totalt registrerades 997 deltagares svar i insamling 1 mellan oktober och april, vilket utgjorde 46 procent av alla som skrevs in i projektet under denna period. Svarsfrekvensen skiljer sig väsentligt mellan delprojekten. Se bilaga 3 Progressionsrapport för mer information om metod och utfall. I figuren nedan presenteras hur deltagarnas förtroende för Arbetsförmedlingen utvecklats över tid. Figur 14: Hur stort är ditt förtroende för Arbetsförmedlingen idag? 0% 20% 40% 60% 80% 100% Insamling 1 1. Jag har mycket litet förtroende för Arbetsförmedlingen 2 Insamling 2 3 4 Insamling 3 5. Jag har mycket stort förtroende för Arbetsförmedlingen Antal svar: Insamling 1, 997 st. Insamling 2, 572 st. Insamling 3, 163 st. 11 Gått upp minst ett steg på mätskalan.
Ung KOMP 21 av 35 Figuren visar att förtroendet i genomsnitt ökar över tid. Andelen som anger ett högt förtroende, dvs. 4 eller 5 på skalan, steg från 40 till 61 procent mellan insamling 1 och 3. Det är dock inte alla deltagare som har en positiv förändring över tid, vilket visas i tabellen nedan. Figur 15: Förändring mellan insamling 1 och insamling 2/3 på frågan Hur stort är ditt förtroende för Arbetsförmedlingen idag? Typ av förändring Antal Andel Oförändrade 194 36 % Positiv förändring 240 44 % Negativ förändring 112 21 % Ramböll kan inte via progressionsmätningen exakt undersöka huruvida man nått målet att 90 procent ska känna ett högt förtroende för Arbetsförmedlingen, bland annat för att samtliga deltagare inte tillfrågats. Vi kan dock tolka resultatet genom att klassa nivå 4 och 5 som hög i mätskalan och studera individer som varit med vid senare insamlingar. Om man studerar individer som deltagit vid minst två insamlingstillfällen hade 44 procent ett ökat förtroende för Arbetsförmedlingen, och av de som är oförändrade hade 19 procent ett högt förtroende. Vidare hade 17 procent ett oförändrat men lågt förtroende och 21 procent angav att förtroendet blev sämre under mätperioden. Totalt har 63 procent fått ett högre förtroende för myndigheten, alternativt haft ett högt förtroende från början, och målet uppnåddes således troligen inte. Sammanfattningsvis leder deltagande i Ung komp till ett högre förtroende för Arbetsförmedlingen, och en majoritet av de deltagare som följts upp över tre månader har ett högt förtroende för myndigheten. Målsättningen uppnås dock inte.
Ung KOMP 22 av 35 4. EFFEKTUTVÄRDERING Effektutvärderingen genomförs för att skatta effekten av Ung komp. Med andra ord ska effektutvärderingen visa hur deltagarna har påverkats av att ha deltagit i Ung komp, jämfört med om de hade varit kvar i någon annan verksamhet vid Arbetsförmedlingen. Effektutvärderingen omfattar individer som var inskrivna i Ung komp någon gång sedan starten i augusti 2015 till och med Ung komps slutdatum, sista juni 2017, och som hör till målgrupp 1 eller 2. 12 Totalt utgörs denna grupp av 4 045 individer varav de flesta enbart var inskrivna i Ung komp en gång. När vi diskuterar behandlingsgruppen avses alltså dessa individer, om inget annat anges. Figur 16: Antal deltagare i Ung komp, inskrivna per målgruppskategori Effektutvärderingen fokuserar på individers första positiva sökandekategoriförändring (SKAT) efter inskrivning i Ung komp. Med andra ord studeras individerna från det att de blivit inskrivna i Ung komp för att se om de någon gång under mätperioden hör till en sökandekategori som innebär arbete. För att analysera hållbarheten i utfallen sätts löpande restriktioner på 30, 60, 90, 180 och 360 dagar för den tid som en deltagare ska ha en positiv sökandekategori för att det ska räknas som ett positivt utfall. I detta kapitel sammanfattas Rambölls effektutvärdering av Ung komp. Effektutvärderingen i sin helhet finns i bilaga 1 Effektutvärdering. Vi genomförde en pilotundersökning till denna effektstudie i början av 2017 för att få en första bild av effekten av att delta i Ung komp samt samla erfarenheter och lärdomar inför slututvärderingen. Den sammanfattning som ges här är inte heltäckande, utan läsaren bör läsa den fullständiga versionen i bilaga 1 för att få full förståelse och för att ta del av samtliga resultat i effektutvärderingen. 4.1 Selektion När Ung komp startades fanns inte projektets styrdokument och således inte någon tydlig målgruppsdefinition, vilket är nödvändigt för att göra en effektutvärdering. Ramböll poängterade i nulägesanalysen (bilaga 5) behovet av ett styrdokument, bl.a. för att tydliggöra vilken målgrupp som projektet skulle rikta sig mot. När styrdokumentet antogs i december 2015 fastslogs målgruppsdefinitionen, och vår bedömning var att den skulle skapa tillräckliga förutsättningar för att genomföra en effektstudie. 12 Kategori 1= Inskriven på AF i mer än 180 dagar och 16 24 år gamla. Kategori 2 = Inskriven på AF 2 gånger under de senaste 180 dagarna och 16 24 år gamla. Kategori 3 effektutvärderas ej då denna grupp inte har någon tydlig målgruppsdefinition, vilket också är befäst i styrdokument.