Reflektioner från Enheten Forskning och utvärdering. - Angående Rambölls slututvärdering av Ung komp.

Storlek: px

Starta visningen från sidan:

Download "Reflektioner från Enheten Forskning och utvärdering. - Angående Rambölls slututvärdering av Ung komp."

Emilia Lundgren
för 5 år sedan
Visningar:

1 Reflektioner från Enheten Forskning och - Angående Rambölls slut av Ung komp.

2 Af 00009_2.0_( , AF5000) Arbetsförmedlingen Författare: Johan Egebark och Gülay Özcan Datum: Diarienummer:

3 Innehåll Innehåll 1 Reflektioner från Enheten Forskning och Övergripande synpunkter Synpunkter om skattade effekter Synpunkter om kostnadseffektivitet Övriga kommentarer...6 3

4 Reflektioner från Enheten Forskning och 1 Reflektioner från Enheten Forskning och 1.1 Övergripande synpunkter Överlag anser vi att slutrapporten ger en bra beskrivning av implementeringen av Ung komp och dess olika insatser. Vi bedömer vidare att den effekt som inkluderas i rapporten har en godtagbar kvalitet, både vad gäller nivå på analysen och vad gäller de slutsatser som dras. Eftersom en endast omfattar en delmängd av samtliga deltagare i projektet är det viktigt att i viss mån vara försiktig med vilka slutsatser som dras. Med detta sagt är de resultat som presenteras fortfarande värdefulla för bedömningen av projektets effekter. Följande kommentarer berör främst bilagorna Effekt, Samhällsekonomisk analys och Progressionsrapport. 1.2 Synpunkter om skattade effekter Det är sällan eller aldrig förutsättningarna är sådana att de tillåter en i alla avseenden perfekt. Begränsningar i olika praktiska förhållanden till exempel tillgången till data eller oförutsedda förändringar i implementeringen leder i stort sett alltid till anpassningar och begränsningar. Den enskilt största begränsningen i en av Ung komp är att endast 30 procent av samtliga deltagare ingår i analysen. Denna begränsning försvårar till viss del möjligheten att dra slutsatser om effekterna av projektet i sin helhet. Eftersom endast en delmängd av deltagarna ingår i en är det helt nödvändigt att förstå vilka dessa är. Enligt den bortfallsanalys Ramböll presenterar inkluderas i huvudsak ungdomar som står något närmare arbetsmarknaden. Sett till samtliga deltagare är den grupp som ingår i en alltså deltagare som har bäst förutsättningar. När det gäller övergångar till arbete visar en att effekterna är negativa (vid en jämförelse med annan verksamhet vid AF). Den första viktiga insikten är således att insatserna i Ung komp tycks mindre lämpade för ungdomar med närmare anknytning till arbetsmarknaden om målsättningen är att öka övergångar till arbete. Av detta kan vi dra slutsatsen att insatserna i projektet i möjligaste mån bör riktas bort från ungdomar som står nära arbetsmarknaden. En möjlig tolkning är att det finns inlåsningar i projektet som försenar övergångar till arbete för ungdomar som annars relativt snabbt kunnat få ett jobb. För övergångar till studier visar en att effekten istället är positiv. Det i sin tur indikerar att insatserna är verkningsfulla om målsättningen är att öka övergångar till studier. Sammanfattningsvis kan sägas att för gruppen unga som står närmare arbetsmarknaden verkar projektets insatser ha varit mindre ändamålsenliga 4

5 Reflektioner från Enheten Forskning och när det gäller övergångar till arbete, och mer ändamålsenliga när det gäller övergångar till studier. Det hade varit värdefullt att försöka reda ut orsakerna till att så är fallet; beror denna skillnad till exempel på hur insatserna i projektet är utformade, eller beror den på egenskaper hos deltagarna? Vidare anser vi att det hade det varit önskvärt att få en mer fullständig presentation och diskussion om hur pass varaktiga övergångarna till studier är. I många fall kan studier, om de fullföljs, vara ett mer långsiktigt lyckat utfall än övergångar till olika former av arbete eftersom utbildning många gånger utgör ett bättre skydd mot framtida arbetslöshet. Att Ung komp lyckats bra när det gäller studier kan alltså på längre sikt visa sig vara ett mycket positivt resultat. Vi anser det också viktigt att poängtera att Ramböll försökt hantera problemet med det begränsade urvalet i en. Detta har man gjort genom att använda en alternativ metod (s.k. PSM), som är mindre restriktiv (med avseende på kontrollgruppens egenskaper), men som tillåter att flera av deltagarna (ca 60 procent) ingår i effekten. Vi håller till viss del med om bedömningen som Ramböll gör att denna metod förmodligen innebär att effekterna underskattas, eftersom problemen med negativ selektion (i behandlingsgruppen) är större än för den metod som huvudsakligen används (s.k. CEM). Trots detta anser vi att resultaten från denna analys kan lyftas fram mer. Som framgår av en ger denna metod liknande resultat som den huvudsakliga metoden. Det kan därför inte uteslutas att de slutsatser som presenteras i en även kan gälla för en större grupp deltagare. För att bättre förstå vilka slutsatser som kan dras hade det varit värdefullt med en redovisning av hur kontrollgruppen i det här fallet skiljer sig från deltagarna. I effekten görs en separat studie av ungdomar med funktionshinderkod. (Endast ungdomar som fått denna kod innan inträde i projektet inkluderas för att undvika problem med snedvridning.) Således ger en även en mätning för ungdomar som står långt ifrån arbetsmarknaden. Det som är intressant att konstatera är att för denna delgrupp är effekterna istället positiva, och relativt stora sett till magnitud. Trots att endast ett fåtal ungdomar inkluderas och man således bör vara försiktig med att dra för starka slutsatser ger detta resultat tydliga indikationer om att insatserna i Ung komp bör riktas mot ungdomar som står längre ifrån arbetsmarknaden. Detta resultat kan också vara en indikation på att projektet haft positiva effekter på för många ungdomar i målgruppen som inte ingick i effekten (se målgruppsdefinition 3). Sammanfattningsvis anser vi att Rambölls rekommendation om att projektets målgrupp bör ses över är rimlig. I de fall en fortsättning är aktuell bör projektets insatser så långt det är möjligt riktas till grupper som står längre ifrån arbetsmarknaden. 5

6 Reflektioner från Enheten Forskning och 1.3 Synpunkter om kostnadseffektivitet Slutens samhällsekonomiska analys belyser på ett bra sätt de olika svårigheterna med att göra denna typ av beräkningar. Ramböll gör bedömningen att insatserna i Ung Komp kostar 3 4 gånger mer än ordinarie verksamhet. Även om det är svårt att uppskatta kostnaden för den ordinarie verksamheten låter denna bedömning inte helt orimlig. Om vi antar att bedömningen är korrekt kan vi konstatera att projektet inte är kostnadseffektivt om vi enbart fokuserar på övergångar till arbete och gruppen unga som står något närmare arbetsmarknaden (eftersom effekterna är negativa för något som kostar mer). Huruvida de positiva effekterna för studier innebär att det skulle vara kostnadseffektivt att bedriva Ung komp för att öka övergångar till studier framgår inte av slutrapporten. Här hade det varit intressant med en diskussion och, om möjligt, en presentation av någon form av enkel uppskattning. En viktig fråga i sammanhanget är vad som egentligen ska definieras som ordinarie verksamhet. Det är inte osannolikt att kontrollgruppen tar del av projekt med insatser som även de kostar mer än ordinarie verksamhet. Således är det särskilt svårt att göra korrekta bedömningar om kostnadseffektivitet i det aktuella fallet. Med tanke på att det finns tydliga indikationer på positiva effekter för ungdomar som står långt ifrån arbetsmarknaden hade det varit värdefullt med en separat beräkning av kostnadseffektiviteten för denna grupp. Eftersom unga med funktionshinder generellt sett har mycket svårt att etablera sig på arbetsmarknaden är det inte osannolikt att de insatser som erbjuds inom Ung komp är motiverade för denna grupp. 1.4 Övriga kommentarer Vi delar Rambölls uppfattning om värdet av att göra en med längre uppföljningsperiod. Som beskrivs i slutrapporten är det sannolikt att denna typ av insatser ger större positiva effekter på något längre sikt. Med tanke på att det finns positiva effekter för övergångar till studier är en som belyser effekterna på längre sikt än mer motiverad. Det är möjligt att den ordinarie verksamheten fått avlastning på de kontor där Ung komp har varit verksamt. Detta kan ha lett till att ordinarie verksamhet nått bättre resultat än vad som skulle ha varit fallet i frånvaro av Ung komp. Det innebär i sin tur att effekterna av projektet kan ha underskattats. För att få en uppfattning om så är fallet kan kontrollgruppen delas i två, en där Ung komp är verksamt och en där Ung komp inte är verksamt. I det andra fallet möter givetvis de arbetssökande en annan arbetsmarknad, men en kombination av dessa jämförelser kan ändå ge en indikation på om effekterna kan ha underskattats på grund av avlastning för den ordinarie verksamheten. Den progressionsmätning som ingår i sluten (och som visar deltagarnas utveckling under tiden de är inskrivna i projektet) bedöms vara relevant då Ung 6

7 komp i första hand är tänkt för ungdomar med svagare anknytning till arbetsmarknaden. Vi tycker dock att resultaten från denna del är svårtolkade eftersom mätningarna baseras på olika urval vid olika insamlingstillfällen. De individer som svarar frågorna vid det första insamlingstillfället kan följaktligen vara olika de individer som svarar vid det andra och det tredje insamlingstillfället. Att basera beräkningarna på ett delurval av deltagare som svarat vid minst två (alternativt tre) insamlingstillfällen bör ange en mer korrekt mätning av utvecklingen. Antalet individer som ligger till grund för undersökningen borde räcka till för att kunna dra slutsatser åtminstone för de individer som svarat vid två olika tillfällen. 7

Relevanta dokument

UNGKOMP MÄTNING AV DELTAGARNAS PROGRESSION

UNGKOMP MÄTNING AV DELTAGARNAS PROGRESSION Mätning av deltagarnas progression 1 av 13 INNEHÅLLSFÖRTECKNING 1. Resultat progressionsmätning 1 1.1 Inledning 1 1. Resultat per frågeställning 5 1.3 Skillnader