Förslag till utvärderings- och utvecklingsplan, En ingång

Transkript

1 Förslag till utvärderings- och utvecklingsplan, En ingång Christian Ståhl, docent Rikscentrum för arbetslivsinriktad rehabilitering Avdelningen för samhällsmedicin Institutionen för medicin och hälsa Linköpings universitet Bakgrund Samordningsförbundet Centrala Östergötland har initierat ett nytt projekt, En ingång, i syfte att skapa en sammanhållen och samlokaliserad verksamhet som möter ungdomar (16-29 år) i behov av stöd från två eller flera myndigheter. Målgruppen är ungdomar generellt, som kan ha olika typer av svårigheter (fysiska, psykiska, intellektuella, sociala eller arbetsmarknadsmässiga), och målet med verksamheten är att öka förutsättningarna för självförsörjning och/eller studier. Projektet kommer att bedrivas med bemanning från samordningsförbundets olika huvudmän i gemensamma lokaler i Linköping. En uttalad ambition med verksamheten är att den från start ska vara långsiktig, och därmed inte begränsad till en specifik projektperiod. Huvudmännen ska enligt planen med tiden överta verksamheten och driva denna inom ramen för ordinarie verksamhet. Inledningsvis finansierar samordningsförbundet de tjänster som projektet omfattar, men projektet är upplagt på ett sådant sätt att det ska kunna drivas på längre sikt, bland annat genom att främst bygga på redan befintliga resurser och åtgärder hos huvudmännen vilket underlättar en framtida implementering. Ett hållbart utvecklingsarbete kräver att fokus läggs på nyskapande, lärande och processtänkande, där projekt måste ha en förmåga att hantera osäkerhet, dilemman, motsägelser och konflikter. Ett sätt att skapa utrymme för reflektion och utveckling är att bygga in störningar i projektet, exempelvis genom en lärande utvärdering och följeforskning, eller genom att organisera lärande nätverk runt projektet. 1 I denna plan föreslås en utvärdering som har utveckling av projektet som ett uttalat syfte. Syfte Syftet med denna plan är att beskriva en tänkt utvärdering av projektets effekter på individ- och organisationsnivå, och en kontinuerlig dokumentation och analys av hur arbetsprocesser och samverkansrutiner förändras. Målet är att utvärderingen kontinuerligt ska bidra till projektets utveckling genom ett nära samarbete med projektet och täta återkopplingar av resultat. 1 Brulin, G. & Svensson, L. (2011). Att äga, styra och utvärdera stora projekt. Lund: Studentlitteratur.

2 Metod Parallellt med projektet genomförs en lärande utvärdering som omfattar både att använda vetenskapligt baserad metodik för uppföljning och utvärdering av effekter, och att bidra med konstruktiv kritik av projektet medan det pågår. Metoden för detta är en interaktiv forskningsansats, där frågeställningar definieras tillsammans med projektet och där forskaren samarbetar med projektpersonalen i datainsamling. Grundidén i interaktiv forskning är att forska med, inte på de verksamheter som studeras. Detta görs i praktiken genom kontinuerlig kommunikation om såväl forskningsfrågor som framväxande resultat och analyser, där verksamhetsnytta hela tiden finns i fokus. Analyser presenteras kontinuerligt under projektets gång (formativ utvärdering) samt vid projektets avslutning (summativ utvärdering). Målet med den formativa utvärderingen är att kunna påverka delar i projektet som inte fungerar som avsett, och att projektet därmed vid behov ska kunna förändra arbetssätt eller organisation. I en bok med titeln Att äga, styra och utvärdera stora projekt beskrivs en ansats för utvärdering av projekt och hur dessa relaterar till de organisationer som driver dem. 2 Som en grund för att resonera kring effekterna av ett utvecklingsarbete identifierar författarna tre områden som behöver studeras: 1. hur många och vilka aktiviteter som genomförts och vilka utfallet av dessa har varit; 2. de kortsiktiga resultaten av aktiviteterna; 3. de långsiktiga effekterna, dvs. om resultaten tas om hand och blir en integrerad del av en verksamhet eller bidrar till en strategisk påverkan (av avtal, regler, lagar, policy- och styrdokument eller av den offentliga debatten). 3 Här görs en åtskillnad mellan utfall, resultat och effekter. I ett projekt är utfallet de konkreta insatser som riktats till deltagare och den nytta deltagarna upplevt med detta. Resultat, å andra sidan, kräver att insatsen också har lett till någon form av förändring för deltagaren. För att vi sedan ska kunna tala om effekter krävs det att organisationen som bidragit med insatsen dragit lärdomar av det nya arbetssättet, och genomfört bestående förändringar i verksamheten. Först här sker en organisatorisk utveckling till följd av projektet. I denna utvärdering kommer dessa tre begrepp att användas för ett resonemang kring projektet, och huruvida projektet fått avsedda (eller oförutsedda) utfall, resultat och effekter, på individ- och organisationsnivå. Det finns ett redan initierat arbete för att utveckla mått kring utvärdering av samverkan, kallat indikatorprojektet. 4 Detta bygger på enkätfrågor till deltagare och personal i samverkansprojekt, samt analyser av registerdata. I indikatorprojektet har femton kärnindikatorer utvecklats, varav tio är processindikatorer och fem är effektindikatorer. Dessa analyserar samverkan på samhälls-, organisations-, personal- och deltagarnivå. I 2 Brulin, G. & Svensson, L. (2011). Att äga, styra och utvärdera stora projekt. Lund: Studentlitteratur. 3 Ibid. s Wells, J. (red) 2015: Hur ma rker vi att det blir ba ttre? Framva xten av indikatorer inom den finansiella samordningen. Nationella nätverket för samordningsförbund, 2015:2.

3 projektet kommer detta instrument att användas för att mäta förändringar avseende processer och effekter. Dock behöver dessa frågor kompletteras med ytterligare mått på både processer och effekter som är specifikt inriktade på den målgrupp och den verksamhet som projektet avser. Därtill behöver utvärderingen omfatta en bredare metodologisk ansats. I nedanstående avsnitt presenteras ett förslag på hur effekter och processer kan utvärderas inom ramen för projektet. Effektutvärdering Vad som är ett resultat och en effekt av ett projekt kan tolkas på olika sätt. I denna plan görs en åtskillnad mellan resultat och effekter på individnivå och på organisationsnivå. På individnivå handlar det om huruvida insatserna i projektet leder till förändringar i deltagarnas hälsa, arbetsförmåga, försörjning eller liknande. På organisationsnivå handlar det om huruvida projektet leder till förändrade arbetsrutiner, arbetssätt, metoder eller sättet att organisera arbetet. Effekter på organisationsnivå kan också avse personalens kompetens i och inställning till samverkan med andra huvudmän. För att utvärdera resultat och effekter på individnivå så är den metod som är att föredra ur vetenskaplig synpunkt att målgruppen randomiseras till en grupp som får insatsen (dvs. som remitteras till En ingång), och en kontrollgrupp som får sedvanligt bemötande. Fördelen med en sådan utvärderingsmetod är att det är möjligt att över tid jämföra de två grupperna, förutsatt att de är tillräckligt lika vid den första mätningen. Ett potentiellt problem med att randomisera deltagare är att kontrollgruppen inte får ta del av interventionen, vilket kan ses som oetiskt om den bedöms vara en förbättring jämfört med ordinarie bemötande. Dock kan det argumenteras för att sedvanligt bemötande i dagsläget är vad som erbjuds, samt att det inte på förhand går att säkert säga att En ingång innebär ett bättre utfall. Om inte randomisering är möjlig kan andra alternativ diskuteras, t.ex. att följa ett antal personer som får insatsen i en kohortstudie, dvs. att över tid undersöka en grupp med fokus på vilka åtgärder de får och vad utfallet blir, och att genomföra analyser baserat på hur deltagarna skiljer sig åt t.ex. avseende olika funktionsnedsättningar eller andra bakgrundsvariabler. Det är dock att betrakta som ett sämre alternativ, då det är svårt att jämföra utfallet av insatsen med andra insatser eller med ordinarie verksamhet. Oavsett metod så bör deltagarna följas över tid med enkäter och intervjuer för att undersöka deras syn på projektet och sin egen utveckling. I enkäterna kan frågor från indikatorprojektet ingå, tillsammans med andra etablerade mått som undersöker t.ex. hälsa och arbetsförmåga. Effekter på personal- och organisationsnivå kan undersökas både via enkäter (omfattande frågor från indikatorprojektet tillsammans med kompletterande frågor), och kvalitativa metoder (t.ex. intervjuer och/eller fokusgrupper). Här kan det vara relevant att också undersöka hur personal som inte arbetar i projektet upplever kontakten med En ingång, och om detta inneburit förändringar i deras arbetssätt. Effektutvärderingen behöver planeras och finnas färdigutformad så tidigt som möjligt (helst vid projektstart), och uppföljande datainsamlingar bör ske med bestämda tidsintervall. Det är önskvärt att följa deltagarna under en längre tid, gärna flera år, för att kunna studera långtidseffekter av insatsen.

4 Processutvärdering I processutvärderingen är syftet att följa projektet över tid för att kunna dokumentera de arbetssätt som används, och för att kunna bidra till projektets utveckling. För denna typ av utvärdering kan olika metoder användas, där de vanligaste är intervjuer och fokusgrupper med deltagare, personal och ledning vid olika tidpunkter. Fokus för detta är främst på hur projektet upplevs fungera, hur förutsättningarna för att arbeta enligt projektets intentioner ser ut, hur samverkan med andra aktörer fungerar, vilka problem som uppstår, och vilka utvecklings- och förändringsförslag som finns. För att följa projektet på en mera detaljerad nivå kan detta kompletteras med etnografiska metoder. Detta innebär att en forskare deltar på fältet, dvs. att på plats studera verksamheten genom att delta på möten, följa med personal i deras dagliga arbete ( skuggning ) och liknande. Syftet med dessa metoder är att dokumentera hur arbetet går till i praktiken, vilket kan användas som underlag till en beskrivning av insatsen, och till intervjufrågor. Utöver detta samlas skriftlig dokumentation (mötesprotokoll, verksamhetsberättelser etc.) in som relaterar till projektet. Processutvärderingen startar i projektets uppstartsfas och löper parallellt med projektet ända till att det avslutas. Resultat presenteras kontinuerligt genom kortare lägesrapporter och seminarier, där syftet är att projektet ska kunna använda sig av framväxande resultat för vidareutveckling av verksamheten. Implementering och hållbar utveckling För att ett projekt ska kunna bidra till en hållbar utveckling krävs en projektorganisation som omfattar krävande finansiärer, aktiva ägare, professionell styrning, kompetent ledning, engagerade deltagare och medarbetare, samt målgrupper med inflytande. 5 Dessa bildar en kedja av aktörer med olika funktion som alla behöver fungera för att utveckling ska komma till stånd, och där en balans finns mellan de olika funktionerna. En effektiv projektorganisation innebär således att ägarna av projektet tar ansvar för dess utveckling och för att det ska relateras till övrig verksamhet i organisationen. Ägarnas uppdrag är att sätta ramarna för projektet, följa utvecklingen och implementera resultaten. Styrgrupper behöver ha tillräckligt mandat för att kunna ta nödvändiga strategiska beslut, då de i samspel med ägarna har ansvar för att genomföra de förändringar som krävs för att projektet ska kunna drivas. Projektledningen har i sin tur som ansvar att organisera, engagera, och föra dialog med medarbetarna i projektet. Medarbetarna har sedan ansvaret för att pröva idéer och utveckla arbetssätt, i dialog med målgruppen. Ett syfte med den lärande utvärderingen är att granska hur projektet fungerar på olika nivåer, och därmed underlätta ett helhetsperspektiv på projektet och dess utveckling. Detta medför att ägarna av projektet får ett bättre underlag inför tillvaratagandet av projektets resultat. 5 Halvarsson Lundkvist, A. (2013). Styrning genom lärande: En studie av programutvecklingens dynamik i nationella program. Linköpings universitet.

5 Etisk prövning Inför starten av en utvärdering via universitetet behöver en etisk prövning genomföras av den regionala etikprövningsnämnden. Till detta behöver en projekt- och utvärderingsplan presenteras, tillsammans med tilltänkta enkäter och intervjuguider. Processen för detta tar ett par månader, inkluderande att skriva fram ansökan, beredning och beslut. Tidsplan Under hösten 2015 planeras och designas studien gemensamt med projektledningen. Ovanstående förslag fungerar som utgångspunkt, men diskussion kring forskningsfrågor och relevanta mått etc. bestäms gemensamt med projektet. Enkätfrågor och preliminära intervjuguider tas fram. Under hösten genomförs också en etisk prövning av projektet. Under början av 2016 genomförs en första basmätning i projektet, där deltagare får besvara en enkät vid sin första kontakt med En ingång. Den första uppföljningsenkäten skickas ut efter ca 6 månader. Därefter genomförs mätningar varje år. I samband med dessa mätningar genomförs också ett antal intervjuer med deltagare. Nya deltagare tas in i projektet successivt, vilket innebär att tidpunkterna för när dessa deltagare når de olika uppföljningspunkterna skiljer sig åt. Enkäter skickas också ut till personalen vid start av projektet och sedan årsvis. I slutet av 2015 eller i början av 2016 startar den kvalitativa datainsamlingen inriktad mot ledningsnivån och projektpersonalen. Inledningsvis är syftet med detta att fånga uppfattningar och idéer kring projektet och synpunkter på projektets arbetsmetoder. Senare under året, när projektet börjat komma in i sina arbetsrutiner, genomförs fältstudier där personal följs i sitt arbete. Forskare medverkar också kontinuerligt som observatörer på olika möten relaterade till projektet, som arbetsplatsträffar, styrgruppsmöten etc. Varefter projektet fortskrider genomförs intervjuer, fokusgrupper och fältstudier kontinuerligt, där planeringen för detta görs gemensamt med projektledningen Etikansökan Planering av effektstudie (enkäter) Planering av processtudie (intervjuer, fokusgrupper, observationer), löper sedan under hela projektet 2016 Januari: Basmätning Maj: Arbetsrapport och seminarium Augusti: Mätning 2 December: Arbetsrapport och seminarium 2017 Januari: Mätning 3 Maj: Arbetsrapport och seminarium December: Arbetsrapport och seminarium 2018 Januari: Mätning 4 Maj: Arbetsrapport och seminarium December: Arbetsrapport och seminarium 2019 Januari: Mätning 5 Juni: Slutrapport. Resultat återrapporteras halvårsvis genom kortare lägesrapporter, som bildar underlag för seminarier med projektpersonal och ledning om utvecklingen av projektet.

6 Rapporterna bygger främst på material från processutvärderingen, och längre fram i projektet även på resultat från enkätundersökningarna. Utvärderingen avslutas i juni 2019, då en slutrapport presenteras, där resultat från process- och effektutvärderingen ingår. Bemanning och budget Utvärderingen kommer att bemannas med Lena Strindlund, som ansvarar för huvuddelen av datainsamling och skrivande, samt docent Christian Ståhl, som bidrar med vetenskaplig handledning, skrivande och planering. Lena anställs via samordningsförbundet och skrivs in som externt anställd forskarstuderande vid universitetet. Under perioden oktober 2015 mars 2017 arbetar Lena 50 % i projektet, då hon under denna period arbetar med projektet Vägen till arbetsgivarna på 50 %. Under resterande projekttid arbetar Lena heltid. Christian Ståhl deltar med 20 % arbetstid genom hela projektet. Denna bemanningslösning har flera fördelar jämfört med att rekrytera en doktorand som är anställd vid universitetet. Dels läggs lönekostnaden hos samordningsförbundet, vilket innebär att universitetets OH-kostnader inte behöver bekostas av projektet för denna del. Dels har Lena sedan tidigare gått de flesta av de kurser som är obligatoriska för en doktorand och därmed kan arbetstiden mera effektivt förläggas på projektet. Anställning av Lena har också en fördel i att hon sedan tidigare är insatt i samordningsförbundets verksamhet och att det finns synergieffekter mellan de två projekten, som det första 1,5 året löper parallellt. För att stödja i arbetet, särskilt under denna första period, bidrar samordningsförbundet med administrativt stöd via befintliga tjänster, samt genom att utnyttja en resurs via projektet Start. Vid behov finns även tillgång till statistiker via universitetet. Nedan presenteras en kostnadsberäkning för utvärderingen. Lönekostnad Lena Strindlund, inkl. sociala avgifter Administrativ resurs via projektet Start Lönekostnad Christian Ståhl, inkl. sociala avgifter och OH-kostnad Driftskostnader (t.ex. etikprövning, enkätkostnader, tryck av rapporter, Totalt resor, etc.) Totalt

7