UTVÄRDERING AV UNGA IN BILAGERAPPORT

Transkript

1 UTVÄRDERING AV UNGA IN BILAGERAPPORT

2 BILAGA 1. UTVECKLINGSOMRÅDEN I UNGA IN:S VERKSAMHET Denna slutrapport har syftat till att ge ett strategiskt beslutsunderlag som belyser Unga in:s övergripande värde och relevans. Utvärderingen har med andra ord inte haft ett operativt fokus med målet att stödja utveckling av enskilda aktiviteter och arbetssätt i projektet. Under slututvärderingen har ett antal utvecklingsområden dock kommit upp som rör arbetet i Unga in. Dessa utvecklingsområden, jämte rekommendationer redovisas i följande bilaga. Utveckla Unga in:s funktion för att främja geografisk rörlighet För att maximera möjligheterna att få ett arbete är det viktigt att den sökande kan och vill flytta till andra platser som erbjuder jobb eller studier. För en ungdom som bott på en plats hela sitt liv och som dessutom tillbringat en stor del av tiden inom hemmets fyra väggar kan dock detta steg upplevas som alltför stort för att vara möjligt att ta på egen hand. Unga in har inte haft ett specifikt uppdrag att främja den geografiska rörligheten. Ramböll menar dock att en eventuell fortsättning av Unga in med fördel skulle kunna ha ett tydligare fokus på detta. Dels genom att verksamheter på olika orter på ett mer strukturerat sätt delar information med varandra om vilka studie- och arbetstillfällen som finns på orten, dels genom att i ökad grad fungera som en initial mottagarhamn för ungdomar som vill flytta från en ort till en annan för att studera eller arbeta. Utveckla uppföljningen av Unga in Ramböll rekommenderar att ett eventuellt Unga in 2.0 i den mån det är möjligt samlar in fördjupad bakgrundsdata för ungdomarna som deltar i projektet som är möjlig att sammanställa på aggregerad nivå. Denna typ av bakgrundsdata är viktig för att kunna få en bättre bild av vilka ungdomar som idag deltar i Unga in samt om det finns några gemensamma kännetecken i gruppen av ungdomar som exempelvis avaktualiseras med okänd orsak. Bakgrundsdatan är även central för att kunna göra mer avancerade effektmätningar. Möjligheten att samla in denna typ av data begränsas delvis av sekretesslagstiftning och PuL. Det är dock sannolikt möjligt att sammanställa viss avanonymiserad bakgrundsdata genom befintliga registerdatabaser såsom utländsk/svensk bakgrund, ålder, kön, utbildningsnivå, samt komplettera med exempelvis registrerad inkomst och föräldrarnas sysselsättning. Dessa bakgrundsvariabler har bland annat Temagruppen Unga i arbetslivet utgått från i sin analys av unga utanför som publicerades i rapporten Bakom siffrorna år Vid sidan av bakgrundsdata, menar Ramböll att uppföljningen av deltagarnas resultat med fördel kan vidareutvecklas. Dels med avseende på deltagarnas sysselsättningsstatus några månader efter projektslut, dels med avseende på mer kvalitativa resultat som rör deltagarnas utveckling i termer av hälsa, egenmakt och kunskaper. Ett sätt att mer systematiskt mäta detta är att låta deltagarna fylla i självskattningsformulär vid projektstart respektive projektavslut. För att minska kostnaderna för administration bör formuläret vara webbaserat. Det kan också finnas ett värde i att via mail skicka ut en länk till formuläret en tid efter avslut för att få en bild av i vilken utsträckning dessa resultat är varaktiga över tid. Tydliggör marknadsförarnas funktion samt vidareutveckla stödet till dem Marknadsförarna fyller en viktig funktion i det uppsökandet arbetet i Unga in, men har också en kundstödjande roll. I Rambölls halvtidsutvärdering konstaterats att marknadsförarna varit som mest effektiva i det uppsökande arbetet i början av sin anställning, vilket sannolikt kan förklaras med att de arbetar med sina privata nätverk som medel och att arbetet av förklarliga skäl saktar ner något när nätverken har uttömts. Utvärderingen visar också att marknadsförarna i första hand är en viktig rekryteringskanal i större städer där ungdomarna i högre grad rör sig ute på stan.

3 För att marknadsförarnas roll ska kunna realiseras fullt ut menar Ramböll att det kan finnas ett värde i att analysera och tydliggöra hur mycket tid som marknadsförarna ska lägga på respektive moment för att få en fungerande balans mellan inflöde och utflöde av deltagare, samt hur marknadsförarnas funktion bör anpassas till de lokala förhållandena. Denna diskussion är särskilt viktig att föra vid en eventuell målgruppsutvidgning i Unga in 2.0. Vad skulle ett ökat inflöde av deltagare som redan är inskrivna på Arbetsförmedlingen betyda för det uppsökande arbetet och hur kan marknadsförarna kundstödjande roll utvecklas? Utifrån genomförd datainsamling uppfattar Ramböll att det även finns ett behov av att strukturera upp det interna stödet till marknadsförarna. För att marknadsförarnas kompetens och erfarenhet ska kunna tillvaratas fullt ut och för att minska risken för att stress är det viktigt att de får stöd i att arbeta uppsökande och kundstödjande. Här kan det vara en god idé att samla in erfarenheter och synpunkter från de fem delprojekten med fokus på marknadsförarnas roll och förutsättningar specifikt. Vid en uppskalning av Unga in uppfattar Ramböll att det även finns behov av att se över rekryteringen av marknadsförare. Vid sidan av nätverk och förmåga att möta ungdomarna på ett förtroendeskapande sätt, är det också viktigt att de personer som rekryteras som marknadsförare också har förutsättningar att ta till sig Arbetsförmedlingens övergripande regelverk samt att de med rätt stöd kan agera professionellt inom ramen för detta. Vidare pekar utvärderingen på att gruppen av marknadsförare med fördel skulle kunna breddas, exempelvis genom att anställa fler personer som kan nå och appellera till hemmasittande ungdomar.

4 BILAGA 2. DATAINSAMLING I denna bilaga ges en samlad beskrivning av den datainsamling som ligger till grund för slutsatser och rekommendationer som presenteras i slututvärderingen. Intervjuer med deltagare, projektmedarbetare och samverkansaktörer Ramböll har inom ramen för halvtidsutvärderingen genomfört fallstudier av respektive delprojekt inom Unga in. I samband med fallstudierna intervjuades ungdomar som deltagit i projektet, projektmedarbetare samt samverkansaktörer. Intervjuerna har givit Ramböll en fördjupad bild av hur Unga in arbetat samt vilka kvalitativa resultat projektet genererat. Vid sidan av fallstudieintervjuerna, har Ramböll även haft ett flertal arbetsmöten/intervjuer med den nationella projektledningen för Unga in samt med representanter för Arbetsförmedlingens huvudkontor i egenskap av projektägare. Workshop Inför slututvärderingen genomförde Ramböll en workshop med Unga in:s delprojektledare. Syftet med workshopen var att skapa en bättre bild av arbetssätten i respektive delprojekt samt av vilka faktorer som drivit projektets resultat. Workshop som datainsamlingsmetod lämpar sig väl för denna typ av analys eftersom interaktionen mellan flera deltagare öppnar upp för fler perspektiv. I jämförelse med enskilda intervjuer eller strukturerade gruppintervjuer tillåter workshopen en öppnare ansats där deltagarna i högre grad styr samtalets inriktning. Enkätundersökning Under maj 2014 genomförde Ramböll en enkätundersökning till samtliga medarbetare i Unga in. Frågorna utformades utifrån den kunskap som genererats från genomförda intervjuer och workshop. Enkätundersökningen genomfördes i två steg där den första enkäten fokuserade på arbetssätt inom delprojekten och den andra på medarbetarnas värdering av de kvalitativa resultaten av projektet i termer av exempelvis förtroende och motivation hos ungdomarna. Den totala svarsfrekvensen på enkäten uppgick till 91 procent. Resultaten av enkäten låg till grund för en strukturell ekvationsmodellering (SEM). SEM är en statistisk analysmodell som Ramböll tillämpar för att förstärka sina utvärderingar. Metoden används för att testa hypoteser om samband mellan olika variabler i en på förhand bestämd modell samt sambandens riktning och styrka. Analysen har givit en god indikator på vilka faktorer inom Unga in som främst bidragit till uppnådda resultat. En mer utförlig beskrivning av SEM-analysens genomförande redovisas i bilaga 3. Dokumentstudier Som komplement till intervjuer och enkät har Ramböll genomfört en dokumentstudie. Dokumentstudien har syftat till att ge en ökad förståelse för hur Unga in har arbetat samt för hur projektets kontext ser ut med avseende på både Arbetsförmedlingens ordinarie verksamsamhet samt samhället i stort. I dokumentstudien har rapporter från Arbetsförmedlingen, Riksrevisionen, interna styrdokument och verksamhetsplaner för Unga in samt relevant forskning på området ingått. Analys av statistik Ramböll har genomfört en statistisk analys av projektets kostnader, genomförandedata samt resultat på individnivå. Resultatet har sedan legat till grund för en enklare socioekonomisk analys i syfte att belysa samhällsvinsterna med att unga hjälps till sysselsättning. För en mer utförlig beskrivning av resultaten och analysen, se bilaga 4.

5 BILAGA 3. SEM-ANALYS AV ENKÄTDATA I följande bilaga ges en mer utförlig beskrivning av hur Ramböll genomfört och analyserat enkätundersökningen utifrån strukturell ekvationsmodellering (SEM). Strukturell ekvationsmodellering Strukturell ekvationsmodellering (SEM) är ett kraftfullt statistiskt verktyg som har kommit att bli alltmer tillämpat inom samhällsvetenskaplig forskning. Metoden används ofta för att testa hypoteser om samband mellan olika variabler i en på förhand bestämd kausal modell. Resultatet av analysen ger en bild av vilka delar av en verksamhet som särskilt haft betydelse för uppnådda resultat. I slututvärderingen av Unga in har Ramböll genomfört en SEM-analys på basis av de data som samlades in i enkätundersökningen bland medarbetare. Nedan ges en övergripande beskrivning av genomförandet av analysen. Formulering av målvariabler Med målvariabler menas de önskade effekter som Unga in vill uppnå bland ungdomarna som deltar. Ramböll har formulerat målvariabler på både kort och lång sikt. Exempel på en målvariabel på lång sikt är att ungdomen börjar arbeta eller studera. För att uppnå detta måste Unga in rusta och motivera de deltagande ungdomarna. Det är exempelvis viktigt att ungdomen har efterfrågad kompetens, att ungdomen och potentiella arbetsgivare har kontakt med varandra samt att ungdomen har en tillräckligt stabil livssituation i stort för att kunna fokusera på arbete eller studier. Dessa resultat är exempel på målvariabler på kortare sikt. Formulering av påverkansfaktorer (latenta variabler) I nästa steg identifierades ett antal faktorer som kan antas påverka de formulerade målvariablerna. Faktorerna är kopplade till Unga in:s arbetssätt. Exempel på en sådan faktor är de multikompetenta teamen samt det holistiska perspektivet som utgår från ungdomens hela livssituation. Operationalisering av målvariabler samt påverkansfaktorer genom enkätfrågor För varje målvariabel och påverkansfaktor formulerades tre till fem stycken enkätfrågor. För att få en bild av i vilken utsträckning som Unga in arbetat holistiskt ställdes exempelvis följande frågor: I vilken utsträckning uppmuntrar du aktivt ungdomen att ställa frågor? uppmuntrar du aktivt ungdomen att berätta om sina egna önskemål och tankar? uppmuntrar du aktivt ungdomen att berätta om hela sin livssituation, inte bara de delar som rör arbete och studier? Utskick av enkät till personal som arbetar med ungdomarna i delprojekten Enkäten skickades ut via Rambölls webbaserade enkäthanteringsverktyg. I enkäten lades även bakgrundsinformation om respondenterna in, exempelvis region och yrkesroll. Analys av enkätdata Samtliga respondenter har fått betygsätta frågorna (hypoteserna) på en skala från 1 till 10, där 1 är det lägsta och sämsta värdet och 10 det högsta och bästa. De frågor som ingår i respektive faktor får efter avslutad datainsamling olika vikter utifrån partiell minsta kvadratmetoden (PLS). Metoden innebär att respektive fråga får en vikt som kan ses som en regressionskoefficient. Utifrån dessa vikter byggs därefter ett betygsindex upp som ett vägt medelvärde för respektive faktor.

6 Därefter testas på statistisk väg hur respektive faktor korrelerar med målvariabeln. Genom determinationskoefficienten r 2 mäts hur stor del av variationen i målvariabeln som kan förklaras av respektive faktor. Genom dessa analyser kan till exempel analyser genomföras av vilka faktorer som påverkar målvariabeln mest. Om det visar sig att enkäten innehåller för många faktorer kan dock multikollinearitet uppstå, det vill säga att någon av faktorerna korrelerar med varandra. Om de tester som Ramböll genomför visar att det finns multikollineraritet slås olika faktorer samman eller tillåts påverka varandra i en sekventiell modell. Med SEM-analysen mäts den effekt som en förändring av respektive faktor förväntas ha på målvariabeln. Detta innebär således att vi för varje faktor dels vet vilket betygsindex den fått av respondenterna, dels vet vilken effekt en förändring av dess betygsindex bör medföra för målvariabelns helhetsbetyg. Detta effektmått erhålls via modellberäkningarna utan att vi ställer någon fråga om de olika faktorernas betydelse eller effekt i enkäten.

7 BILAGA 4. SOCIOEKONOMISK ANALYS AV UNGA IN Ramböll har fått i uppdrag att som en del av slututvärderingen av Unga in göra en socioekonomisk analys av projektet för att belysa hur kostnadseffektiv åtgärden är från ett samhällsperspektiv. I följande bilaga redovisas resultat och tillvägagångssätt för analysen. Analysens genomförande I en socioekonomisk analys ställs kostnaden för en insats mot värdet av insatsens effekter. En effekt kan definieras som den förändring som ägt rum till följd av en vidtagen åtgärd och som annars inte skulle ha inträffat. För att kunna beräkna Unga in:s effekter från ett kvantitativt perspektiv krävs en kontrollgrupp. I Unga in saknas dock en sådan kontrollgrupp. Projektets målgrupp består av ungdomar utanför och har således per definition inte en motsvarighet bland de ungdomar som redan är inskrivna hos Arbetsförmedlingen. Dessutom saknas i viss mån bakgrundsdata för de deltagande ungdomarna. Det begränsar möjligheterna till kontrollgrupp genom en så kallad tvillinganalys. Enheten för Forskning och utvärdering vid Arbetsförmedlingen har också i dialog med Ramböll tydligt avrått från en tvillingstudie. Ramböll har därför valt att göra en så kallad break even-analys. Analysen beskriver hur mycket Unga in måste förkorta arbetsmarknadsinträdet för de deltagare som går vidare i arbete för att projektet ska vara lönsamt från ett samhällsperspektiv respektive ett offentligt sektorsperspektiv. Analysen beskriver även hur mycket Unga in måste förkorta återinträdet till studier för de deltagare som börjar studera för att projektet ska vara samhällsekonomiskt lönsamt, givet att en viss andel slutför studierna. Kostnaden för insatsen är baserad på uppgifter från Unga in per Total projektkostnad fram till är kronor varav cirka 23 miljoner kommer från socialfonden, 22 miljoner från Arbetsförmedlingen och 5 miljoner från kommunal och landstingskommunal medfinansiering. Kostnaden per individ skattas på följande sätt: =( ( ) Antal inskrivna dagar baseras på inskrivningsdatum och avbrottsdatum. Om en individ var inskriven vid utdragsdatum ( ) så har detta datum använts som avbrottsdatum. Totalt har 1091 individer 2 varit inskrivna i Unga In i dagar. Kostnaden per dag blir således: = 218 /dag (7 dagars vecka) En individ som är inskriven i tre månader kostar således kronor. Analysen tar inte hänsyn till att kostnaderna troligtvis inte är desamma för de inskrivna individerna över tid eller beroende på den insats som individen fått ta del av (intensiteten i interaktionen med Unga in kan i verkligheten skilja sig mellan individer). Kostnaderna är därmed med all sannolikhet högre för de individer som behöver mycket stöd samt i början av inskrivningsperioden då en plan läggs upp för individen. Då Ramböll inte har möjlighet att särskilja kostnaderna på individbasis används 218 kr/dag som en schablon för kostnaden per dag. En genomsnittlig deltagare är inskriven i programmet i 186 dagar och kostar kronor. 1 Ansvarige för budgetuppföljning för Unga in har bett Ramböll att vara tydliga med att dessa siffror inte är exakta då det i viss mån finns dolda kostnader för t.ex. lokaler som inte fångas upp i uppföljningen. 2 Av dessa har ett fåtal återvänt till insatsen.

8 Resultat Om Unga in tidigarelägger ungdomars inträde på arbetsmarknaden med 11,5 månader lönar sig insatsen för samhället Break even-analysen baseras på att individen producerar värde genom sin lön och därför kan lönesumman användas som en proxy för det värde individen tillför samhället. Figuren nedan illustrerar hur den aggregerade inkomsten per genomsnittsdeltagare i arbete förhåller sig till genomsnittskostnaden för deltagare som finns kvar i insatsen samt när (i tid) som kurvorna möts (break even). Figur 1. Förhållandet mellan kostnaden respektive värdet av deltagarnas övergång till arbete över tid från ett samhällsperspektiv (månader) Källa: Unga in och SCB Not: Intäkten består av lön och arbetsgivaravgift; SEK *131%. 3 För varje månad beräknas andel som är i arbete och multipliceras med intäkten per månad och individ. Denna summa summeras över tid. Kostnaden baseras på den andel individer som är kvar i insatsen en viss månad. Denna andel viktas sedan ned baserat på andelen som går till arbete jämfört med studier för att inte dubbelräkna kostnaden. Den viktade andelen multipliceras med kostnaden för insatsen per månad. Denna summa summeras över tid. Om Unga in tidigarelägger ungdomars inträde på arbetsmarknaden med 13,5 månader lönar sig insatsen för offentlig sektor Det offentliga utgiftsperspektivet baseras på antagandet att individer som kommer i arbete upphör att försörjas med offentliga medel. Genom minskade transfereringar, till exempel genom minskat försörjningsstöd, realiseras en besparing för det offentliga. 4 Samtidigt ökar intäkterna för den offentliga sektorn för varje person som arbetar genom skatteintäkter och arbetsgivaravgifter. Genom att jämföra den genomsnittliga kostnaden per individ i insatsen med den nytta som varje deltagare som gått till arbete genererar i termer av ökade skatteintäkter och minskade transfereringar ser vi att break even-punkten för när insatsen lönar sig för det offentliga är i genomsnitt 13,5 månader. 3 31,42% arbetsgivaravgift 2014 för förvärvsarbetare under 26 år (Ekonomifakta.se) och SEK är minimilönen för anslutna arbetare till HRF utan yrkesvana vilket används som proxy för genomsnittslön för de individer som lämnar Unga In för arbete. 4 Ungdomarna i Unga in har i regel inte försörjningsstöd vid inskrivning, men ett rimligt antagande är att de kommer behöva försörjningsstöd under sin livstid om inte utanförskapet bryts.

9 Figur 2. Förhållandet mellan kostnaden respektive värdet av deltagarnas övergång till arbete över tid från ett offentligt sektorsperspektiv (månader) Källa: Unga in, SCB Not: Intäkten består av inkomstskatt (28 %), arbetsgivaravgift (31 %), och minskade transfereringar(5 989). 5 För varje månad beräknas andelen som är i arbete och multipliceras med intäkten per månad och individ. Denna summa summeras över tid. Kostnaden baseras på den andel individer som är kvar i insatsen en viss månad. Denna andel viktas sedan ned baserat på andelen som går till arbete jämfört med studier för att inte dubbelräkna kostnaden. Den viktade andelen multipliceras med kostnaden för insatsen per månad. Denna summa summeras över tid. Om åtta procent av deltagarna som går vidare till studier slutför studierna, lönar sig insatsen för samhället Värdet av att en individ övergår till studier medföljer en högre sannolikhet till sysselsättning på lång sikt. 6 Analysen visar att om åtta procent av deltagarna som går vidare till studier också slutför studierna, lönar sig insatsen för samhället givet antagandet att inga deltagare skulle ha övergått till sina studier eller slutfört dessa utan Unga in. Den samhällsekonomiska intäkten av att en individ återupptar sina studier baseras på estimerad livsinkomst för en gymnasieutbildad förvärvsarbetare. Denna estimeras utifrån den genomsnittliga månadsinkomsten för en förvärvsarbetare ( SEK 7 ) med antagande om ett yrkesverksamt liv i 45 år och en diskonteringsfaktor om 5 procent, en nominell lönetillväxt på 3,6 procent 8 och en inflation på 2 procent (inflationsmålet 9 ) vilket motsvarar en real lönetillväxt på 1,6 procent per år. Nuvärdet av livsinkomsten blir då ca: 9,6 miljoner SEK. Vi antar vidare att 51 procent fler än de som får arbete via Unga in får arbete efter sina studier vilket är baserat på skillnaden i arbetslöshet i populationen år mellan förgymnasialt och gymnasialt utbildade individer. 10 Antagandet innebär att 27 procent (18 procent * 1.51) av de som slutför gymnasiestudier får arbete. Kostnaden baseras på kostnaden för Unga in på samma sätt som för arbete, dvs. andelen som är kvar i insatsen viktat mot andelen som går till studier jämfört med arbete, samt kostnaden för två års studier på gymnasial nivå, SEK Lönen baseras som tidigare på SEK /månad. Transfereringssummen, SEK baseras på genomsnittligt viktat bidrag i Stockholm 2013 (statistikomstockholm.se) 6 Enligt statistik från Panican A. et al. LiU. har individer som slutför sina gymnasiala studier 50 % högre chans att komma i arbete. 7 SCB 8 Genomsnittlig lönetillväxt, , SCB 9 Riksbanken Inflationsmålet 10 Panican A. et al. 11 SCB, 2013

10 Figur 3. Förhållande mellan kostnaden respektive värdet av deltagarnas övergång till studier vid antagandet att 5, 10 respektive 20 procent av ungdomarna fullföljer studierna. Källa: Unga in, SCB Not: Intäkten till följd av studier baseras på livsinkomst för gymnasieutbildad förvärvsarbetare och att 27 procent av de som slutför sina studier får arbete efter dessa. Kostnad består av kostnad för insats samt kostnad för två års gymnasiestudier. Referenser Larsson L. (2000): Evaluation of Swedish youth labour market programmes, Working Paper 2000:1 (IFAU, Uppsala). Sherman, L. W., & Eck, J. E. (2002): Policing for crime prevention. In L. W. Sherman, D. P. Farrington, B. C. Welsh, & D. L. MacKenzie (Eds.), Evidence-based crime prevention (pp ). New York: Routledge. Payoff (2012): Det lönar sig II En analys av arbetsmarknadsprojekts samhällsekonomiska lönsamhet: Skrift från Temagruppen Unga i arbetslivet 2012:7 Ingvar Nilsson (2010): Unga som är utanför arbetsmarknaden - En socioekonomisk diskussion: Skrifter från Temagruppen Unga i arbetslivet 2010:3 Panican A., Olofsson, J., (2013): Unga och utanförskap i Sverige, Norden., Nordens välfärdcenter, 2013, pp