Utvärderingsrapport Ungdomskraft

Transkript

1 Utvärderingsrapport Ungdomskraft Utvärderare Mikael Håkansson, European Minds SIDA Utvärderingsansats i projektet Ungdomskraft European Minds ansvarar för den lärande utvärderingsprocessen i enlighet med Gråträskmodellen SIDA 7 3. Samverkan i Sverige och Europa Tillsammans med andra svenska ungdomsprojekt skapar Ungdomskraft ett nationellt lärandenätverk. Delar av det svenska nätverket inleder också ett samarbete med ESFprojekt i Polen, Tyskland och Tjeckien SIDA Nöjda deltagare och nyskapande metoder SIDA Regionalt nätverk tar helhetsgrepp ESF-projektet Ungdomskraft kan bli utgångspunkt för ett nytt helhetsgrepp på målgruppen ungdomar i utanförskap inom region Gotland. Tanken är att fler ESF-projekt ska föras samman under en övergripande styrgrupp SIDA 8 4. Engagemang, resultat men sviktande styrning Ungdomskraft har under sitt första år vidareutvecklat arbetsmetoderna och utökat projektgruppen. Styrgruppens arbete har dock haltat och nu testas att dela en gemensam styrgrupp med tre andra projekt. Deltagare och deras föräldrar rosade Ungdomskraft för de goda resultaten. Projektet har också rönt framgång för sin uppföljningsmodell och utvecklar nu fler innovativa metoder.

2 Utvärderingsansats i projektet Ungdomskraft 1. Utvärderingsansats i projektet Ungdomskraft LFA som utgångspunkt European Minds ambition är att använda metoden Logiskt ramverk (LFA, Logical Framework Approach) för att säkerställa god uppföljning och att kombinera denna med relevanta riktlinjer för lärande utvärdering när det gäller projektets utvärdering. Vår erfarenhet visar att tillsammans utgör detta ett bra system för kontinuerligt lärande och strategisk påverkan genom hela projektet och under hela projekttiden. Genom att använda oss av LFA i uppdraget så tydliggörs relationer och eventuella brister i kopplingen mellan mål, syften/effekter. Genom att nyckelelementen klargörs tidigt kan man om så behövs utveckla projektplan och aktiviteter. Kombinerat med löpande intressentbevakning samt överenskommelser om rutiner för information, kommunikation och dokumentation erhålls ett bra system för god uppföljning av projektet. Ett kontinuerligt lärande skapas i projektet genom att återföring sker från uppföljningsprocessen till berörda aktörer och intressenter. Utvärderingsinsatsen avser i allt väsentligt följa de riktlinjer för lärande utvärdering/följeforskning som bl a anges i Tillväxtverkets vägledning Nytta med följeforskning (NUTEK 2008) och rekommendationerna i Handledning för uppföljning och utvärdering inom Socialfonden utgiven av Svenska ESF-rådet 2008/2009. I korthet innebär förhållningssättet som utvärderingen anslår att man bygger på en kontinuerlig, nära relation mellan utvärderaren/följeforskaren och projektledningen. Utvärderarens uppgift blir därför att leverera kunskap som bidrar till handling och strate giska val, vilket sker kontinuerligt inom ramen för projektgenomförandet. Delaktighet European Minds utgår i allt utvecklingsarbete dels från ett inkluderande arbetssätt att deltagare, ansvariga samt mottagare ska vara så delaktiga som möjligt i projektets olika delar - dels från ett visionsorienterat arbetssätt. Det betyder att utvärderingen tar fasta på att stödja projektledning, deltagare och andra projektaktörer och beskriva möjligheter framåt än problem bakåt i tid. Dessutom vill vi skapa en accepterad bild över projektet som system, med klarlagda processer, roller och ansvar. Fokus är främst på kvalitativa metoder, med kvantitativa inslag när uppdraget bedöms kräva detta. 2

3 1. Utvärderingsansats i projektet Ungdomskraft Metod European Minds egen utvärderingsmodell, 3U, bygger på en ambition att kombinera kvalitativa och kvantitativa insatser på tre nivåer; UPPFÖLJNING en modell för uppföljning och självutvärdering för god uppföljning och styrning. Detta innebär att utvärderaren tillsammans med projektledningen upprättat en struktur för projektets löpande uppföljning och utvärdering på olika nivåer. UTVÄRDERING en resultat- och processutvärdering med utgångspunkt i syfte, mål, delmål och indikatorer. Här följer utvärderaren upp hur väl de angivna målen nåtts utifrån angivna indikatorer och aktiviteter. Målgrupper för denna del blir dels målgruppen själv, dels de aktörer som bidrar direkt och indirekt till projektets framgång. Resultatutvärderingen ska svara på frågan om VAD projektet levererar, medan det kontinuerliga deltagandet ska ge svar på frågan om HUR dessa leveranser kommer till stånd, det vill säga vilka processer som genererar att saker händer eller inte händer. UTVECKLING en utvecklings- och lärandeinsats med syfte att bidra till projektets lärande och kontinuerliga utveckling. Utvärderaren deltar här aktivt under projektets genomförandefas. Deltagandet omfattar samtliga nivåer och delprojekt. Konkret innebär detta att utvärderaren genom sitt deltagande bidrar till lärandet och utvecklingen via möten och seminarier. Förhållningssättet är delvis betraktande, delvis ifrågasättande och delvis stöttande. Denna löpande insats handlar om att spåra, analysera samt lyfta fram signaler och tendenser till relevanta projektaktörer i en form som gör kollektivt lärande, samverkan och utveckling både enkelt och möjligt. Nivåerna kompletterar varandra och måste för att kunna fungera fullt ut, d v s för att kunna bidra till analys, beslutsfattande, till lärande och till utveckling, finnas på plats under så stor del av projektet som möjligt. Det är också vår absoluta erfarenhet att de utvärderingsinsatser vi genomför bidrar till att stärka projektets kvalitet, till goda resultat och till hållbara effekter. I vår utvärderingsmodell inkluderas även en utvärdering av, för projektet, relevanta horisontella kriterier och mål samt på vilket sätt Socialfondens programkriterier genomsyrat projektet med tillhörande resultat och effekter. Förutom beskrivningen ovan anser vi att det finns ytterligare viktigt fokus för utvärderingen. Det är att identifiera möjligheter och hinder för att projektets resultat skall kunna tas tillvara och vara långsiktigt hållbara. Utvärderingsaktiviteterna Mot bakgrund av vår metod samt för att kunna utvärdera projektet i sin helhet kommer i huvudsak fyra utvärderingsinsatser genomföras: 1. Stötta projektgruppens arbete med uppföljningsprocesser i enlighet med projektlogiken samt genomgång av projektets dokumentation. 2. Delta i operativa gruppen och styrgruppens möten. 3. Intervjuer med representanter för deltagande företags ledning och medarbetare. 4. Deltagande vid nyckelaktiviteter. Under projektets gång kommer utvärderaren också att presentera en handfull artiklar på olika ämnen vilka tillsammans bildar själva slutrapporten. Förutom denna artikel planeras dessa att färdigställas: 3

4 1. Utvärderingsansats i projektet Ungdomskraft 1. Hur projektet har hanterat lärande (kunskapsöverföring, nätverk och partnerskap) 2. Projektets effekter för arbetsplatser och medarbetare 3. Är detta en modell som behövs och håller över tid? 4

5 Regionalt nätverk tar helhetsgrepp Regionalt nätverk tar helhetsgrepp ESF-projektet Ungdomskraft kan bli utgångspunkt för ett nytt helhetsgrepp på målgruppen ungdomar i utanförskap inom region Gotland. Tanken är att fler ESF-projekt ska föras samman under en övergripande styrgrupp. - Idén är att uppnå en samsyn kring hur man jobbar med ungdomar i utanförskap i region Gotland, säger utvärderaren för Ungdomskraft Mikael Håkansson. Ungdomskraft drivs av Gymnasie- och vuxenutbildningen region Gotland medfinansierat av Finsam, som är ett samarbete mellan Försäkringskassan, Arbetsförmedlingen och Socialförvaltningen på Gotland. Samma aktörer är på olika sätt inblandade i företaget Hansa utbildnings tre ESF-projekt ASD Resurs, Aspie 2.0 och Jobhouse. Alla projekten syftar till att bryta olika former av utanförskap och deras respektive målgrupper överlappar när det gäller ungdomar. Gemensam styrgrupp Projektledningen i respektive projekt överväger nu att utvidga ansvarsområdet för Ungdomskrafts styrgrupp så att samma grupp även får hand om Hansa Utbildnings tre ESF-projekt. Tidpunkten passar särskilt bra eftersom två av dem, ASD Resurs och Aspie 2.0, just ska gå in i genomförandefasen och därmed bilda styrgrupper. Att samla ESF-projekten under en styrgrupp skulle möjliggöra gemensamma kartläggningar av individerna innan de slussas vidare in i respektive verksamhet. Projekten skulle också kunna dra nytta av varandra genom att ge deltagare möjlighet till insatser från olika verksamheter. Med gemensam styrning och kartläggning skulle man även kunna ha en enad kanal ut mot näringslivet och mot andra utbildningsanordnare. Det finns redan idag en samverkansmodell som kallas Skarphällsringen och består av ett antal företag som tar emot praktikanter. Fler företag kommer förhoppningsvis att tillkomma. Slutligen skulle de fyra ESF-projekten ha en gemensam uppföljningsrutin, med arbetsprövning mot jobb eller studier för alla tidigare deltagare. På så sätt skulle ingen i målgruppen kunna falla mellan stolarna och tappas bort. - Vi vill ha en dörr in, en väg ut. För alla. På så sätt blir det omöjligt att tappa bort någon på vägen, säger Mikael Håkansson. Beslut i höst Försäkringskassan, Arbetsförmedlingen och Socialförvaltningen på Gotland bereder nu frågan om en gemensam styrgrupp för de fyra projekten. Samtliga ser fördelar med idén, som ursprungligen kommer från projektledarna. Beslut kommer att fattas i början av hösten när projekten ASD Resurs och Aspie 2.0 går in i sina genomförandefaser. Om beslutet blir positivt finns även planer på att de fyra projekten ska kunna samlas geografiskt i gemensamma lokaler för att möjliggöra ett tätt samarbete. Delade lärdomar En av vinsterna med samarbetet skulle vara att erfarenheter och lärdomar skulle tillämpas gemensamt i de fyra projekten. Exempel så sådana erfarenheter är de intervjuer som nyligen gjorts inom Ungdomskraft med referensgrupp, deltagare och deras föräldrar om hur de upplever projektet. Där framkom bland annat att både ungdomar och föräldrar ser nyttan av Ungdomskraft samt har en positivare bild av framtiden i projektet. Det visade sig också att beredningsgruppen 5

6 2. Regionalt nätverk tar helhetsgrepp efterlyser mer samverkan och en tydligare kommunikation. Dessa och liknande lärdomar skulle genom en gemensam styrgrupp direkt påverka och ge input till de syskonprojekt som precis ska till att inleda sina genomförandefaser. Text Anne Markowski 6

7 Samverkan i Sverige och Europa Samverkan i Sverige och Europa Tillsammans med andra svenska ungdomsprojekt skapar Ungdomskraft ett nationellt lärandenätverk. Delar av det svenska nätverket inleder också ett samarbete med ESF-projekt i Polen, Tyskland och Tjeckien. Ungdomskraft går samman med andra projekt för att skapa ett nationellt lärandenätverk kring arbete med ungdomar i utanförskap. Projekten i nätverket (Unga in i Stockholm, JobReady i Göteborg, Rätt väg ut i Skellefteå, Vägval Framtid i Ludvika och KomBack i Vetlanda) kommer att utbyta erfarenheter genom möten, studiebesök och gemensamma seminarier. Man planerar redan ett nätverksseminarium under Almedalsveckan på Gotland sommaren Ett nätverksbygge både gagnar våra egna projekt och bidrar till ett bredare gemensamt lärande i våra verksamheter och organisationer. Tillsammans blir man alltid en starkare kraft att räkna med, säger Ungdomskrafts projektkoordinator Anders Weiborg. Givande första träff Nätverket hade sin första träff i Visby i början av juli, med diskussion om framtida aktiviteter och skillnader och likheter mellan projekten. Det visade sig bland annat att Ungdomskraft och KomBack i Vetlanda delar erfarenheten av att deltagarna i projekten har en större problembild än vad som förutsetts. De har funnit att fokus måste läggas på individuella och nödvändiga insatser medan mängden gruppaktiviteter blir låg. En annan gemensam erfarenhet är vikten av att ha en neutral mötesplats som inte kopplas till ställen med negativa konnotationer för ungdomarna, som arbetsförmedling, skola och socialförvaltning. Nästa träff för det nationella ungdomsnätverket blir i september i Fryshuset i Stockholm, som är en viktig samarbetspartner för projektet Unga in. Ett möte i Vetlanda i november står också på agendan. Fröet till det nationella nätverket såddes vid ett projektpartnermöte arrangerat av ESF-rådet i Warszawa i april. Den sammankomsten blev en riktig fullträff för Ungdomskraft ifråga om nätverksbyggande. Även internationellt Utöver det nationella samarbetet inleddes även kontakter med ungdomsprojekt i Polen, Tyskland och Tjeckien, tillsammans med tre av de andra projekten i det nationella nätverket. Gruppen ingick en transnationell överenskommelse med planer på sammankomster, studiebesök och att löpande följa varandras projekt, så kallad peer review. - Vinsten blir att vi skapar ett gemensamt lärande som både gagnar de enskilda projekten nationellt och samtidigt ger kunskap om hur internationella utbyten kan utformas och ge mervärde, säger Ungdomskrafts utvärderare Mikael Håkansson. Djupare samarbete på sikt En första träff har bokats i Hamburg i början av september och vid det tillfället kommer en konkret plan att tas fram både vad gäller aktiviteter och budget för det gemensamma arbetet. På sikt är förhoppningen att projekten även ska kunna ha ett utbyte när det gäller målgruppen, det vill säga att deltagare ska få besöka motsvarande projekt och relevanta aktiviteter i de andra länderna. Detta skulle kräva extern finansiering, men det finns redan vissa planer på varifrån den skulle kunna komma. Text Anne Markowski 7

8 Engagemang och resultat - men sviktande styrning Ungdomskraft har under sitt första år vidareutvecklat arbetsmetoderna och utökat projektgruppen. Styrgruppens arbete har dock haltat och nu testas att dela en gemensam styrgrupp med tre andra projekt. ESF-projektet Ungdomskraft vill nå de ungdomar som inte fullföljer skolan och hjälpa dem att hitta en väg in i samhället. Metoden är uppsökande verksamhet, kartläggning och individuella utvecklingsplaner. AF saknas i projektgruppen Hösten 2012 förstärktes projektgruppen med tre nya medlemmar som har specialkompetens inom studieoch yrkesvägledning, kunskap om målgruppen och vana vid informationsspridning. Eftersom målgruppen hade visat sig stå längre från arbetsmarknaden än man räknat med, hade behov uppstått av fler kompetenser. Under våren 2012 hade gruppen fortfarande sökt formerna, funderat över hur de ska arbeta med deltagarna och utvecklat sina metoder. Gruppen upplever själva att arbetet går smidigare nu och även projektägaren menar att arbetet fungerar bättre. Projektledaren har valt att låta projektgruppen styra arbetet gemensamt. Alla riktlinjer för arbetet diskuteras fram i gruppen. Denna demokratiska arbetsmetod ställer krav på gruppmedlemmarna, men ger i längden en aktiv och motiverad projektgrupp, tycker projekledaren Jan Svensson. Projektgruppen tappade också en deltagare under 2012, eftersom Arbetsförmedlingens representant lämnade gruppen. Både utvärderaren och projektgruppen själv saknar en representant för AF och tycker att det är en viktig part för att deltagarna ska kunna närma sig arbetsmarknaden. Om man tittar nationellt har AF engagerat sig starkt i sitt eget, motsvarande, ungdomsprojekt Unga In. Därmed tycks det trots allt finnas utrymme inom ramen för AF:s uppdrag att ta sig an den här målgruppen. Styrgruppen blir gemensam I januari 2013 fick Ungdomskraft en gemensam styrgrupp med företaget Hansa utbildnings tre ESF-projekt (ASD Resurs, Aspie 2.0 och Jobhouse). Styrningen ska effektiviseras och tydliggöras. Den gemensamma styrgruppen ska träffas mer sällan men fler timmar åt gången, och gå igenom alla projekten vid samma mötestillfälle. Det var tydligt att en förändring behövdes, enligt utvärderaren Mikael Håkansson, eftersom den tidigare styrgruppen sällan var fulltalig på mötena. Även projektägaren och styrgruppens ordförande Jan Holmkvist har sett det här som ett stort problem. Projektledaren för var och en av de fyra projekten kommer att hålla den nya gemensamma styrgruppen uppdaterad genom månatliga nyhetsbrev och inför varje styrgruppsmöte ska utvärderaren Mikael Håkansson sammanställa en gemensam rapport. Projektets nya styrgrupp består av representanter för Arbetsförmedlingen, Försäkringskassan, Socialförvaltningen, Hansautbildning, Gymnasie- och vuxenutbildningen Region Gotland och projektledaren för vart och ett av de fyra projekten. Text Anne Markowski 8

9 Nöjda deltagare och nyskapande metoder Nöjda deltagare och nyskapande metoder Deltagare och deras föräldrar rosade Ungdomskraft för de goda resultaten. Projektet har också rönt framgång för sin uppföljningsmodell och utvecklar nu fler innovativa metoder. ESF-projektet Ungdomskraft som drivs av Region Gotland ska hjälpa arbetslösa ungdomar som inte slutfört skolan att komma tillbaka till skola eller praktik och så småningom få ett arbete. - Jag tror att hon hade hamnat väldigt snett om hon inte var med i projektet. Det sa föräldern till en av deltagarna vid den utvärderingsintervju som gjordes under hösten Tre deltagare och sex föräldrar (från olika familjer) besvarade frågor om sin syn på projektet. Deltagare närmare arbete Deltagarna kände att de hade fått stöd, någon som bryr sig och något meningsfullt att göra. Mest uppskattade de att projektet gett ett kontinuerligt stöd och att de blev lyssnade på. Deltagarna bedömde själva att de kommit betydligt närmare att kunna få ett arbete och att deras självförtroende och motivation stärkts genom projektet. Om de fick ändra på något i projektet skulle det vara att låta insatsen ta ännu mer tid. De föräldrar som besvarade utvärderingsfrågorna sa att de hade fått stöd, engagemang och någon som fångade upp deras barn, vilket inneburit minskad stress och oro. - Min oro är borta och det känns som att han kommer att fixa det nu, sa en förälder. Även föräldrarna upplevde att deras barn kommit närmare att kunna få ett arbete. Det bästa med projektet enligt de tillfrågade föräldrarna var att de själva involverats i arbetet med ungdomarna och att projektgruppen varit uthållig och inte straffat ut ungdomarna när de inte skött sig. Föräldrarnas framtidsönskan var att själva få bli ännu mer involverade i arbetet. Populär metod Ungdomskraft har också uppmärksammats för sin uppföljningsmodell med löpande självskattning. Varje deltagare fyller i ett självskattningsformulär i början, mitten och slutet av sitt deltagande i projektet, samt en tid efteråt. Det ger en bild av hur individens situation och självbild påverkas av insatserna. Denna modell kommer nu att användas som förlaga inom ESF-nätverket för drop outsprojekt i Sverige. Uppsökande verksamhet är en annan innovativ metod inom projektet. Ungdomar som man vet varken studerar eller arbetar, och som inte svarar på brev, får nu hembesök från Ungdomskraft. Besöken är en del av den generella kartläggning av målgruppen som ingår i projektet. De har visat sig vara mycket populära både bland ungdomarna och deras föräldrar. - Hembesöken är jättevälkomna, ungdomarna och deras föräldrar blir glada att någon bryr sig om dem, säger utvärderaren Mikael Håkansson. Ny modell för framtiden Under 2012 har en plan för implementering växt fram. Enligt den ska Ungdomskraft finnas kvar inom Region Gotland i framtiden. Projektet har haft en dialog med lokala politiker om att skapa en helt ny organisation för arbetet med ungdomsfrågor inom regionen. Under våren ska planen bli färdig. Redan nu funderar man på en helt ny kombinerad arbetsmarknads- och 9

10 ungdomsenhet, efter principen en väg in, en dörr ut. - Det här är en modell som inte har prövats tidigare och som skulle kunna bli ett nationellt pilotprojekt, säger utvärderaren Mikael Håkansson. Text: Anne Markowski 10