Professionens medverkan i kunskapsprocessen Unga till arbete en utvärdering med följeforskningsansats och programteori som utgångspunkt. Karin Alexanderson och Marie Nyman Dalarnas forskningsråd.
En definition av utvärdering Att utvärdera är att noggrant bedöma. Att bedöma innebär att fastställa värde. Utvärdering är att systematiskt skilja det värdefulla från det värdelösa. (Scriven 1991:1 i Vedung 1998:20)
Programteori är inte en teori i strikt vetenskaplig mening En programteori är hur de ansvariga för en verksamhet (program) tänker sig att denna logiskt hänger ihop. Men denna tanke kan, medvetet eller omedvetet, vila på vetenskaplig kunskap.
En programteori i generella termer Förutsättningar Allt som går in i en verksamhet, främst pengar och personal. Kunskapsbas. Processer Vad som görs för att åtgärda ett givet problem (verksamhetens uppdrag).hur, vilka aktörer, när? R E Prestationer De direkta produkterna av processerna. Utfall 1, 2. S U L Effekter Den skillnad som processer/prestationer T gör för ett målobjekt (individ, organisation, A samhälle). T Effekter kan vara på kort och lång sikt; avse individ/organisation/samhälle;
En programteori är i praktiken flera En teori om genomförandet implementeringendet här ska vi göra En teori om resultaten de här aktiviteterna ska leda till det här resultatet - på kort och längre sikt En teori om vilka mekanismer som är av betydelse för effekterna identifiera framgångsfaktorer
Olika grader av komplexitet Den enklaste programteorin visar enbart hur en enda mellanliggande prestation leder till det slutliga utfallet. Mer komplexa programteorier visar hur flera mellanliggande prestationer kan kombineras för att nå det slutliga utfallet. Den mest komplicerade programteorin består av en hel serie boxar för både input, process, prestation och utfall (på kort och lång sikt). Kari Jess et.al. med hänvisning till Rogers et al (2000) i Programteori för utvärderingverkstader (2011)
Övergripande utvärderingsfrågor i programteoriutvärdering Genomfördes projektet som det var tänkt (processutvärdering) Uppnåddes de avsedda effekterna, på kort och lång sikt (resultat/måluppfyllelseutvärdering) Synliggör/värdera verksamma mekanismer (kräver närhet/dialog/aktion/interaktion)
Programteoriutvärdering med en följeforskningsansats innebär att Inledningsvis formulera programteorin skaffa och få kunskap, bygga arbetsrelation. Förstå hur projektledarna har tänkt. Ifrågasätta bakomliggande antaganden. Återföring. Att i programteoritermer beskriva hur man tänkt sig, vilka aktörer ska göra vad när. Identifiera huvudprocesser, förlopp, särskilda aspekter, värderingar återföring, vad förväntas leda till vad. Så här var det tänkt. (Jämför programteori). Operationalisera de övergripande utvärderingsfrågorna Datainsamling med inslag av djupstudier av delar eller aspekter av projektet (Jmf programteori - gör man det man säger att man ska göra)
Programteoriutvärdering med en följeforskningsansats innebär att forts. Vara Bollplank, coach för projektledning, återföring, lärande. Ger möjlighet att korrigera i projektet, ställa om under projekttiden för att nå målen. Förmedla relevant teoretisk kunskap förmedla tankeverktyg både kontrollerande och lärande inslag det är ett sätt att stödja komplexa förändringsprocesser ett förpliktigande åtagande att från sin roll och funktion bidra till projektets möjligheter att nå sina mål
Följeforskningens mål och medel lärande och kunskapsuppbyggnad under projektet att öka möjligheterna nå projektets målsättningar kunskapsspridning genom återföringar av resultat och erfarenheter under pågående projekt
Ett exempel: Unga till arbete Ett ESF projekt i Dalarna
Regional utvecklingsgrupp för en dörr in Regional styrgrupp för projektet, 3 politiker, 1 kommunchef, 1 arbetsförmedlingschef, chef, esf-repr. Projektledning Region Dalarna W 18-24, 1 projektledare, 1 samordnare. 1 ekonom, 1 utb. i hälsa och jämlikhet M Å L G R U P P Lokal styrgrupp och samordnare En D ö r r i n Kursledare utses i alla kommuner. Ung vuxen Samverkan m. ame och soc/fös, af, ev.komvux, Utgallrad tillhör ej målgruppen Kartläggning Vägledning Sex nätverksträffar u 2 år för kursledare FAS 1. Introduktion Utbildning 4 v (lokala variationer). Handlingsplan Praktikplats Kursledare och Klippanresurs = 80 t för 2 kurser Kompetensverifiering - unga vuxna, intresserade kommuner deltar i framtagandet. Utbildning av kursledare 2 + 2 dgr, mtrl 7-tjugo Klippan samt pers.stöd t. kursledning. Handledning (8 ggr, 2/termin) till kursledare genom projektledning. Innehåll: Samtal, indiv. o. i grupp. Hälsa, livskvalitet, jämställdhet Jobbsökaraktiv. Kommunikation och relationer samhällsinform. m.m. FAS 2. Praktik ca 8 mån, ev. olika platser - även icke traditionella 1 dag/v kurs. Kursledaren besöker och följer upp praktikplats Mål: 50 % av delt. ska få ett personligt kompetensbevis Mål Självgående kursledare, alla kommuner delaktiga, två konferenser för kommuner och Af anordnas. Mål: 1. 70 % ska fullfölja programmet (alt fått arbete/utb). 2. Av dessa ska minst 70% vara självförsörjande, studera, arbeta eller vara i annan aktivitet som leder mot arbete, 3 mån efter avslut 3. 80 % av de 70 % ska må bättre tre mån. efter avslut. Mål långsiktigt: En dokumenterad modell finns för länet avseende arbete med målgruppen. Minst 8 kommuner i länet har en verksamhet som kan kallas en dörr in där af är en samarbetspartner. Framgångsfaktorer: utgå från den unges önskningar, resurser och behov, kursledarnas kompetens och förhållningssätt, stöd till kursledare, struktur/modell för introduktion och praktiken, nära samarbete med arbetsgivare, stöd i kommunledningen, styrgrupp i kommunen, samverkan af/kommun, rutiner för uttagning
Framgångsfaktorer: utgå från den unges önskningar, resurser och behov, kursledarnas kompetens och förhållningssätt, stöd till kursledare, struktur/modell för introduktion och praktiken, styrgrupp i kommunen, samverkan af/kommun, rutiner för uttagning
Datainsamling Ungdomarnas faktiska situation före och efter kartläggningmall Djupstudier i tre kommuner Intervjuer med aktörer och ungdomar Kursutvärderingar Återföringar Kort om resultaten
Förtjänster/möjligheter Lärandet pågår under projekttiden ger möjlighet till att förändra, styra om projektet om så krävs Utvärderaren följer processen på nära håll och får förståelse för komplexiteten vilket ökar trovärdigheten som utvärderare Formulerandet av programteorin i dialog hjälper till att förtydliga viktiga processer Programteorin ger en bra utgångspunkt att värdera ifrån Programteorin blir en ryggrad för utvärderaren Programteorin och följeforskningen i kombination synliggör mekanismer vad som brister och vad som går bra Sätter fokus både på process och resultat
Fallgropar/svårigheter Svårt som utvärderare att svara upp mot alla förväntningar man ska kunna väldigt mycket Risk att blanda ihop förförståelse med resultatet Att man blir en aktör i projektet förmår inte hålla distans. Man ser inte skogen för alla träd. Att ge kritik men ändå behålla kontakt och relation Kostnadskrävande att samarbeta/samverka
Uppdragsgivarens syn så här långt Vi är väldigt nöjda med som utvärderare Programteorin ger en bra struktur Den påminner oss om fokus i arbetet Bra att ni är fler i utvärderare i projektet Ni är lätta att ha med att göra Närheten sitter i samma hus Hade förväntat oss mer av ifrågasättande och bollplank
Frågor att diskutera Hur ska en utvärderare kunna vara både kritiker och stödjare (en kritisk vän)? För den som har en hammare ser alla problem ut som spikar vilka faror hotar för en sådan följeforskare? Hur kan det undvikas?
Resultat i stora drag Slutligen kan konstateras att programteorin verkar fungera mycket bra för det stora flertalet deltagare och projektet ser ut att kunna nå de uppställda målen. Frågan är om inte programteorin skulle behöva anpassas för den grupp unga vuxna som mår sämst och som har det sämst socialt. När det gäller genomförandet finns vissa brister i relation till hur projektet är tänkt att fungera.