Inflätat, löpande och praktikbaserat

Transkript

1 Inflätat, löpande och praktikbaserat Utvärderandet i GEVALIS Vuxna PM presenterad på SVUFs konferens i Stockholm den 8 oktober 2015 Evert Vedung Prof emer Uppsala universitet evert.vedung@ibf.uu.se Du får gärna använda denna pm. Men gör, vänligen, referens! Så här: Vedung, Evert, 2015, Inflätat, löpande och praktikbaserat: Utvärderandet i GEVALIS Vuxna , Uppsala: Evert Vedungs privata arkiv, opublicerad pm. Att hämta brukbar kunskap ur social vardagspraktik, det har varit utvärderandets sakinriktade problem i projekt GEVALIS Vuxna. 1 Brukbar kunskap är kunskap om handlande som gör en skillnad. Vad är det i coachernas insatser i mötet med deltagarna (brukarna) som får effekter på brukarnas sociala problem? Vad är det som fungerar? Denna uppdragsbeskrivning har legat under den utvärderingsmodell som vuxit fram under projektarbetet i GEVALIS Vuxna. Praktikbaserad evidens genom utvärdering Utvärderingen har med andra ord velat få fram praktikbaserad evidens, s.k. PBE. Den evidens som erhålls ur praktiken ska kunna användas för att förbättra denna praktik. Motsatsen är EBP, evidensbaserad praktik. EBP betyder praktik som bygger på evidens från randomiserade experiment (eller möjligen matchade experiment) inte från praktiken självt. Som framgår av tidigare kapitel i denna skrift har kunskap frambringad genom utvärderingen också bidragit till att vi fått fram en modell för att integrera människor i långvarigt utanförskap till aktivitet utanför hemmet och till ordnat arbete eller ordnade studier. Utvärderingen har bidragit till att bygga ÅKA-modellen. Intern utvecklande, inte extern kontrollerande utvecklande utvärdering Det finns en missuppfattning ute i samhället, bland centrala aktörer och även bland foskare att utvärdering måste vara extern och på armlängds avstånd. Den ska utföras av obundna, oberoende institutioner, t.ex. revisionsorgan, huvudmän eller fristående konsulter med gott rykte för självständighet och hög kvalitet. Utvärderarna ska stå fritt i förhållande till den verksamhet som ska bedömas. I ett bestämt avseende ligger det något viktigt i denna uppfattning. Om utvärderingen 1 Schwandt 2003, Shaw & Faulkner 2006, Karlsson 2000.

2 innebär kontroll från en överordnads sida av hur en underordnad sköter sitt uppdrag bör den inte utföras av den underordnade själv, även om den underordnade naturligtvis ska höras. Annorlunda ställer sig saken om syftet är utvecklande eller som vi också säger främjande eller entydigt lärande. I idealfallet tänker vi då inte i termer av överordnad underordnad. Då kan och bör utvärderingen utföras internt av den verksamhet som ska utvecklas. Utvärderingen kan då t.o.m. utföras som självvärdering. Då bör t.ex. personal och deltagare i den verksamhet som ska främjas själva göra utvärderingen. Den blir i så fall intern så till den milda grad att berörd arbetsstyrka och deltagare utvärderar sig själva. Utvärdering görs för att kontrollera eller utveckla. Kontrollerande utvärdering ska ge underlag för att ställa personalen till ansvar (eng. accountability). Utvecklande utvärdering däremot är tänkt att förbättra, antingen det pågående som utvärderas eller med tanke på att sjösätta en ny omgjord intervention (eng. promotion, improvement). GEVALIS Vuxna två huvudsyften två uppnådda resultat Som projekt har GEVALIS Vuxna har haft två övergripande syften. Att utveckla en metod för integrerad rehabiliterande arbete för långvarigt arbetslösa har varit det ena. Det har resulterat i ÅKAmodellen. Att utveckla en intern, praktikbaserad metod för utvärdering har varit det andra. Det har lett till intern, inflätad, utvecklande utvärdering. I projekt GEVALIS Vuxna har det viktigaste övergripande syftet med utvärderingen varit utvecklande. Det har handlat om att lära sig något som kan förbättra bestående och framtida verksamheter. När det övergripande syftet är utvecklande bör utvärderingen inte bara vara intern utan också integrerad i den utvärderade interventionen. En faktor som stärker detta utvecklande, främjande, interna synsätt på utvärdering i fallet GEVALIS Vuxna är att det samtidigt genomförts extern, kontrollerande och ansvarsutkrävande utvärdering. Den har skett från synpunkten ekonomiska förehavanden och med inslag av förvaltningsrevision. Den har utförts oberoende av GEVALIS Vuxna och GEVALIS Vuxnas utvecklande utvärdering. Utvärderingssystemet som helhet med såväl intern, inflätad, utvecklande utvärdering som extern kontrollerande skulle kunna komma i bruk i många sammanhang. Inte minst borde det kunna spridas vad gäller strukturfonderna och projet i strukturfonderna i EU. Särskilt tror vi dock på den interna, inflätade och utvecklande utvärderingsvariantens framtid. Det är också den som innebär att evidens hämtas från lokal praktik dvs ger praktik-based evidens, PBE. Extern kontrollerande utvärdering Externt kontrollerande utvärderingar av GEVALIS Vuxna har gjorts från två håll. En har genomförts av personal från svenska ESF-rådet. Det var en s.k. 13b-kontroll som utfördes i december Två andra av typen revisioner har statliga Ekonomistyrningsverket svarat för. Den första genomfördes under 2012, den andra under I ingetdera fallet har GEVALIS Vuxnas utvärderingsgrupp varit involverad. Initiativ, genomförande, rapportering och användning av utvärderingarna för praktiska förbättringar har ägt rum helt oberoende av GEVALIS Vuxnas utvärderingsgrupp. Vid ESF-rådets 13b-kontroll framfördes kritik mot projektets dokumentation kring den s.k. medfinansieringen. Medfinansieringen är den vanliga benämningen på de ekonomiska resurser som 2

3 härrör från svenska offentliga institutioner till skillnad från de medel som härrör från Europeiska Socialfonden (ESF) och därmed EU. Denna medfinansiering till GEVALIS Vuxna består av två delar. Den första delen bygger på deltagarnas ersättning som utgår till projektets deltagare från de ordinarie offentliga välfärdssystemen och den andra att SoF Västra Skaraborg skjuter till offentliga medel från sitt anslag. Det är enbart den del av den offentliga medfinansieringen som avser deltagarnas ersättning från de ordinarie systemen som skapar problem. Medfinansieringen fungerar på följande sätt. Om en deltagare är sjukskriven i 14 dagar, i exempelvis influensa, så får den deltagarens tid inte räknas för den perioden i GEVALIS Vuxna. Detta får till följd att medfinansiering från de offentliga välfärdssystemen till GEVALIS Vuxna för den deltagaren uteblir för den tidsperioden även om ersättning har utbetalats till deltagaren från Försäkringskassan för denna period. Med ledning av denna norm påpekade ESF-rådet att mer tydlighet krävs vad gäller tiden för deltagarnas närvaro i GEVALIS Vuxna eftersom detta är direkt kopplat till den unika deltagarens ersättning från medfinansieringen. Deltagarnas närvaro och frånvaro i GEVALIS Vuxna måste registreras. De nya närvarorapporter som måste upprättas.har varit tidskrävande för coacherna men även för administrationen i stort. Ekonomistyrningsverket (ESV) är nationellt revisionsorgan för den svenska förvaltningen av program med EU-medel som genomförs med så kallat delat förvaltningsansvar. För det nationella strukturfondsprogrammet för regional konkurrenskraft och sysselsättning inom Europeiska socialfonden lämnade Ekonomistyrningsverket en årlig rapport med yttrande till EU-kommissionen i slutet av december Det skall dock sägas att revisionen som de har genomfört är riktad till Svenska ESF-rådet om de genomfört och vidtagit de åtgärder som kommissionen ställt upp för kontroll och utbetalning av medel från Europeiska Socialfonden. Den första revisionen som utfördes av Ekonomistyrningsverkets revisor påbörjades under sommaren och avslutades under hösten Revisionsarbetets fokus var riktat mot den ekonomiska redovisningen. För att kunna genomföra revisionen så effektivt som möjligt hade revisorerna önskemål om följande material eller information inför besöket: En kort presentation av projektet och de resultat som uppnåtts Tillgång till projektpärmar med samlat material om verksamheten samt redovisningar av ekonomin i projektet. Ekonomistyrningsverket hade inget att erinra mot ekonomiska redovisningen, inte heller mot administrationen av medfinansieringen. Revisorerna anförde att GEVALIS Vuxna är komplext inititiativ, eftersom huvudprojektet och varje delprojekt i de fem deltagande kommunerna måste särhållas för att uppnå en rimlig kontroll av utgifterna. Det system som Samordningsförbundet byggt upp för kontroll ansågs översiktligt och ger god insyn i hanteringen av ekonomiska medel. Den andra revisionen genomfördes under våren 2013 med samma inriktning och med samma resultat. Intern utvecklande utvärdering Den mest genomgripande utvärderingen i GEVALIS Vuxna har alltså varit intern och utvecklande. Den har medvetets utvecklats och testats inom projektet. Denna interna utvärdering kännetecknas av flera 3

4 utmärkande drag. Den har varit inflätad, löpande och praktikbaserad. Vi ska nu klarlägga vad som menas med dessa uttryck. 2 Inflätad utvärdering När en utvärdering är inflätad är den integrerad i det insatsarbete som bedöms. I föreliggande fall manifesteras denna inflätning genom att 1 medlemmarna av utvärderingsgruppen utgörs av personer verksamma i GEVALIS Vuxna 2 viss datainsamling och dokumentation ombesörjs av personer verksamma i GEVALIS Vuxna 3 utvärderingens uppläggning och resultat kopplas fortgående tillbaka till all personal som jobbar i GEVALIS Vuxna. Den första typen av inflätning (invävning, integrering) handlar alltså om att utvärderingsgruppens medlemmar är djupt involverade i det projekt som ska utvärderingar. Projektägaren, SoF Västra Skaraborg, har en huvudansvarig projektledare för GEVALIS Vuxna som har utsetts till ordförande i utvärderingen av GEVALIS Vuxna. Projektledaren leder och har huvudansvaret för jobbet att tänka ut hur utvärderingen ska läggas upp och genomföras. Arbetet består i att förbereda möten, föreslå dagordning, kalla till möten, sitta ordförande samt initiera, leda och medverka i jobbet att rapportera resultat. Den huvudansvarige projektledaren har således ansvar för att hela utvärderingsmaskineriet vevas igång, fungerar och producerar resultat som sprids. Ur kretsen av verksamhetsaktiva och en bredare krets av verksamhetsansvariga i GEVALIS Vuxna valde projektledaren ut andra personer att ingå i utvärderingslaget. En linjechef från Arbetsmarknadsenheten i Vara utsågs i samråd med linjecheferna i GEVALIS Vuxnas ledningsgrupp. Projektsamordnaren för verksamheten i GEVALIS Vuxna tillika arbetande rehabcoach ansågs vara ett självklart val. Processtödjaren från SoF Västra Skaraborg och en utredare som utvecklat den ovan nämnda BEMAmetoden (arbetsförmågebedömning) handplockades till utvärderingsgruppen. Processtödjaren har flerårig erfarenhet av både socialt arbete och processtödjeri inom samordningsförbundet. Hennes uppgift i GEVALIS är att informera deltagare och rehabcoacher om de ordinarie välfärdsorganens möjligheter att bidra med stöd. BEMA-utredaren initierades in i laget från hösten 2011 i och med att projektet beviljats medel att utveckla två ytterligare faser i behandlingsmetoden förutom den inledande fasen Återhämta. En politiker tillika ordförande i SoF Västra Skaraborg ingår sedan 2011 i gruppen. Ytterligare en informant i utvärderingsgruppen är den fristående konsult (psykolog/fil.dr), som handlett och stöttat rehabcoacherna i GEVALIS Vuxna i de fem kommunerna. Det har skett genom att hon regelbundet samlat coacherna till träffar. Redan i projektskrivningen framhölls att rehabcoacherna skulle hållas samman i ett nätverk. Nätverkets uppgift är att diskutera erfarenheter där både framgångsfaktorer och dilemman i det dagliga arbetet skall utgöra fokus i dialogen. Konsulten har också varit disponibel för telefonledes konsultationer. Hennes råd och stöd har gällt både gruppen som helhet och enskilda individer i gruppen. Hon har också tilldelats ansvar för att systematiskt föra en teoretisk dokumentation över arbetsprocesserna i Projektet GEVALIS Vuxna. Alla hittills nämnda ledamöter av utvärderingsgruppen är samtidigt intressenter i det projekt som utvärderas. Men det finns också en ledamot som inte är programintressent. Som expert på utvärdering har nämligen en professor emeritus i statskunskap vid Uppsala universitet engagerats. Han förväntas vägleda de övriga ledamöterna i praktiskt och teoretiskt utvärderingsarbete samt tillsammans med 2 I Vedung & Dahlberg 2013 kap 8, finns en längre och något annorlunda version av den utvärderingsmodell som här kommer att utvecklas. 4

5 projektledaren för utvärderingsgruppen svara för analys och rapportering. Han torde vara hemmastadd i litteraturen om utvärdering och om allmän forskningsmetodik. Han är också hjälpligt inläst på sakfrågan. Men han har ingenting med den dagliga verksamheten i GEVALIS Vuxna att göra. Utvärderingen av GEVALIS Vuxna har varit inflätad i GEVALIS Vuxnas verksamheter också på ett annat sätt än genom utvärderingsgruppens sammansättning. Denna den andra typen av inflätning eller integrering har handlat om att viss datainsamling och dokumentation ombesörjts av personer verksamma i GEVALIS Vuxna. Såväl brukare som rehabcoacher inom GEVALIS Vuxna har varit insamlare och dokumenterare av information för utvärderingen. I akademisk empirisk forskning om samhället gör vetenskapsidkaren personligen ofta allt från avgränsning av ämne och formulering av forskningsfrågor över urval av analysenheter, insamling och bearbetning av informationer, framställning av delrapporter och slutrapporter samt spridning av dessa. I utvärdering händer det emellertid att datafångst sköts av människor som arbetar i eller berörs av den utvärderade interventionen. I GEVALIS Vuxna förväntas rehabcoacher och brukare delta i generering och dokumentation av information, som sedan förädlas av den särskilda utvärderingsgruppen. Detta äger rum i realtid parallellt med att verksamheten fortgår, inte långt efteråt 3 Det hela utspelas enligt en i förväg utarbetad rutin. Denna rutin har knäsatts till en integrerad del av den utvärderade verksamheten och sköts fortlöpande av personal och brukare. Informationer som på detta sätt strömmar in använder den särskilda utvärderingsgruppen sedan i sitt förädlingsarbete tillsammans med egna observationer och insikter. Slutligen integreras utvärderingen genom att dess uppläggning och resultat fortgående kopplas tillbaka till all personal som jobbar i GEVALIS Vuxna. Detta är den tredje typen av inflätning eller integrering som kännetecknat den utvecklande utvärderingen. GEVALIS-personalen ska lära sig att bli bättre rehabcoacher genom att lära sig av utvärderingens uppläggning och resultat. Utvärderingens uppläggning och resultat ska integreras i (införlivas i, implementeras i) personalens fortsatta handlande. Så är det tredje inslaget av integration tänkt att fungera 4. Ett viktigt inslag i denna återkoppling är lärandekonferensen. Den första lärandekonferensen Lärandekonferens 2010 ägde rum i mars På den behandlades rapporten GEVALIS Vuxna en resa i lärande Upplägget av denna lärandekonferens ingår i en serie av dylika lärandekonferenser som skett under 2012 och Vid lärandekonferensen samlas alla icke-deltagare som är involverade i projekt GEVALIS Vuxna (coacher, linjechefer, projektansvarig, politiker, administratörer och ekonomer samt utvärderingsgruppen) för att ha en dialog om resultat och fortsatt vägval. Under åren 2010 till 2013 har coacher och linjechefer fått löpande information om uppkomna resultat av projektsamordnaren, som tillika är deltagare i utvärderingsnätverket. De har därmed erbjudits möjlighet att göra nya vägval och justera inriktningar under löpande verksamhetsår. Utvärderingsgruppen har också under åren 2010 till 2013 mottagit och samlat in ett flertal skriftliga lägesbeskrivningar från coacherna, enkäter från deltagare samt beskrivningar i teoretiska termer av 3 För självvärdering, se t.ex. Hertting & Vedung 2009: 63, , 204, och där angiven litteratur. 4 Jfr Sandell 2003 för en annan sorts integrerad utvärdering. 5

6 handledaren för coachnätverket av deltagarnas återhämtningsprocesser och de relationsprocesser som framskridit mellan deltagare och coach. Löpande utvärdering bättre översättning av ongoing evaluation Verksamheten i GEVALIS Vuxna drivs som ett projekt och utvärderingen av verksamheten som ett annat. Det ska vara en löpande utvärdering, en ongoing evaluation, som ska pågå samtidigt och parallellt med den intervention som utvärderas. Ongoing evaluation var EU-språk under programperioden för vad som på svenska började kallas följeforskning (Svensson mfl 2009a och 2009b). Ongoing evaluation var och är som sagt EU-språk och ska förstås mot bakgrund av läget för strukturfonderna vid utgången av programperioden 1 januari 2000 till sista december Då hade programmet innehållit krav på en utvärdering mittvägs (midterm evaluation) och en utvärdering efteråt (ex post evaluation). Dessa utvärderingsformer ansågs inte ha fungerat väl. Utvärderingarna hade inte kommit till användning. De hade inte lett till lärande. Det var då tanken kom upp att utvärderingarna borde pågå löpande (ongoing) och avrapporteras löpande (ongoing) för att resultaten skulle komma till användning. Språkbruket måste förstås mot bakgrund av den politiska situationen i EU. 5 Det är mot denna bakgrund som projekt GEVALIS Vuxna har valt upplägget löpande utvärdering. Eftersom GEVALIS Vuxna delfinansieras av Europeiska Socialfonden, har vi uppfattat att det finns ett europeiskt intresse av att få fram rehabiliteringskunskaper med denna utvärderingsansats. Att löpande utvärdering görs som intern utvärdering i form av självvärdering, som i vårt fall, är inte självklart i ett EU-perspektiv. På EU-nivå kan man mycket väl tänka sig löpande utvärdering som extern utvärdering. Valet av självvärdering betingas av lokala lärdomar från tidigare utvärderingsprojekt. Det finns ett behov av metodutveckling i självvärdering (intern utvärdering) inom SoF Västra Skaraborg. Även regionalt och nationellt i Sverige finns ett intresse för självvärdering som tillnärmelse i projektverksamheter, som ålagts krav på uppföljning och utvärdering. Praktikbaserad utvärdering Den utvecklande, interna utvärderingen är också praktikbaserad. Ordet praktikbaserad har kommit att beteckna utvärderingar som beskriver och bedömer verksamheter i verkliga livet i motsats till test som sker i form av randomiserade experiment. De kallas också naturalistiska i motsats till artificiella eller konstgjorda som betecknar utvärderingar som utförs under laboratorieliknande förhållanden. Denna del av den utvecklande interna utvärderingen ska här exemplifieras med delen Återhämta i ÅKA-modellen. I vårt exempel tänker vi oss att hela ÅKA-modellen är införd i Samordningsförbundets fem kommuner men att vi koncentrerar uppmärksamheten på det första inslaget i den tredelade modellen, nämligen Återhämta. Tolvschemat för datafångst När nätverket hade enats om vilka frågor som behövde ställas och besvaras för att i ett senare skede kunna belysa och bedöma arbetet i projektet, så växte en mall fram för insamling och dokumentation av information. Trettonschemat för datafångst såg dagens ljus (Figur 2.1). 5 Termen löpande utvärdering som ett bättre svenskt uttryck än följeforskning lanserades i Vedung & Dahlberg 2013:116. Se också resonemanget där om lärande utvärdering. 6

7 Idealt sett bör ett tidigt logiskt steg i en utvärdering vara att skaffa fram ingångsdata på den eller de faktorer som interventionen önskar påverka. I ett inledande skede i GEVALIS Vuxna har deltagarnas aktivitetsförmåga var tänkt att påverkas. Genom att delta i projektet ska individerna i målgruppen komma upp i minst 10 timmars aktivitetsförmåga per vecka utanför hemmet. Utvärderingen av GEVALIS Vuxna har fått tillgång till dessa ingångsdata på två sätt: genom deltagarnas självskattning av egen aktivitetsförmåga och genom ordinarie remitterande myndigheters redan föreliggande bedömningar av varje deltagares aktivitetsförmåga. Dessa ingångsdata har legat på individnivå, dvs. avsett varje deltagares aktivitetsförmåga utanför hemmet omedelbart innan de trätt in i Återhämta och därmed inlett sin resa genom ÅKA. Figur 2.1. Tolvschemat för datafångst i den utvecklande utvärderingen av projekt GEVALIS Vuxna 1. Ingångsdata typ 1: Deltagarens självskattning av sin aktivitetsförmåga utanför hemmet. 2. Ingångsdata typ 2: Bedömningar av deltagarnas aktivitetsförmåga från ordinarie myndigheter 3. Loggbok förd av rehabcoacher 4. Ifyllning av strukturerat aktivitetsschema Sker varje 5. Lägesbeskrivning 6. år Utgångsenkät till deltagare 7. Årlig rapport 8. Lärandekonferens 9. Intervjuer med linjechefer 10. Efterintervju 1 med deltagarna 11. Efterintervju 2 med deltagarna 12. Slutrapport år tre. individnivå, d.v.s. avsett varje deltagares aktivitetsförmåga utanför hemmet omedelbart innan GEVALIS startar. 1. Ingångsdata typ 1. Deltagarenkät för deltagarnas självskattning av sin aktivitetsförmåga utanför hemmet För att få fram ingångsdata beträffande varje deltagares aktivitetsförmåga utanför hemmet har två frågescheman kommit till användning. Deltagarnas aktivitetsförmåga i hemmet har bedömts utifrån information insamlad via schemat ADL (allmän daglig livsföring). För att fånga in aktivitetsförmåga utanför hemmet har en deltagarenkät konstruerats och administrerats till varje deltagare för självskattning. Deltagarna har ombetts göra en självskattning av sin aktivitetsförmåga utanför hemmet på en skala av sju punkter. En funktionär från GEVALIS, t.ex. en coach, har varit närvarande i rummet där deltagarna fyller i enkäten och svarat på deltagarnas frågor om enkätens innehåll (se bilaga 1). 2. Ingångsdata typ 2. Bedömningar av deltagarnas aktivitetsförmåga från ordinarie myndigheter Som ingångsdata typ 2 har utvärderingsgruppen använt sig av de remitterande myndigheternas uppskattning av deltagarnas aktivitetsförmåga i samband med att de rekommenderades delta i GEVALIS Vuxna. Remitterande myndigheter har varit Försäkringskassan, Arbetsförmedlingen och kommunens socialtjänst. Även dessa ingångsdata ligger på individnivå, dvs. de visar varje enskild deltagares aktivitetsförmåga omedelbart innan GEVALIS Vuxna startar. 7

8 De remitterande myndigheternas uppskattningar är olika konstruerade. Vi har alltså försökt fånga aktivitetsförmågan hos deltagarna på två sätt: dels genom att de själva fått uppskatta vilken aktivitetsförmåga de har har haft i utgångsläget och dels genom att myndigheterna har uppskattat deras aktivitetsförmåga när de remitterats till GEVALIS. Detta är datatriangulering. Utvärderingsgruppen har använt sig av två typer av data för att mäta samma sak. 3. Loggbok för varje delprojekt förd av rehabcoach I den inledande delen Återhämta i GEVALIS Vuxna är deltagarna tänkta att öka sin aktivitetsförmåga genom de aktiviteter som erbjuds inom de fem delprojekten. För att få överblick över dessa krävs dokumentation. Rehabcoacherna i delprojekten ska föra en loggbok över sina aktiviteter. Det ska finnas en loggbok för varje delprojekt dvs. en för vart och ett av delprojekten i Essunga, Götene, Lidköpings, Skara och Vara kommuner. Idealt sett ska den föras för varje dag som en dagbok eller minnesanteckning. Rehabcoacherna bör skriva in sina noteringar varje dag. Som ett minimum bör de skrivas in en gång i veckan men avse de dagar då aktivitet pågått i projektet. I loggboken ska alltså coachens aktiviteter stå i centrum. Den ska innehålla hur man som coach närmar sig deltagaren och coachens arbetsprocess inklusive förbättringar i den. Den ska också visa att och hur coachen reflekterar över sin egen verksamhet. Att baspersonalen professionaliserar sig själv. Loggboken tillhör uteslutande coachen. Den ska inte sändas till utvärderingsnätverket. Den ska inte redovisas till linjechefer. Den ska helt och fullt ut vara ett privat arbetsdokument. Däremot ska den bevaras så länge GEVALIS Vuxna pågår. Den ska inte successivt förstöras. Det kan nämligen hända att projektledaren någon gång behöver fråga en coach om någon sak. Och för att besvara sådana uppdykande frågor kan det bli värdefullt för coachen att ha tillgång till loggboken. Poängen med loggboken är att ge coacherna ett material som kan tjäna som ett av flera underlag vid deras utformande av en tillbakarapporterande lägesbeskrivning för varje kvartal (se punkt 5 nedan). 4. Ifyllning av strukturerat aktivitetsschema (rehabcoacher) Ett aktivitetsschema har utarbetats inom utvärderingsnätverket. Det är uppdelat på Inskrivningsfasen (i GEVALIS Vuxna) och Utskrivningsfasen (ur GEVALIS Vuxna). Däremellan ligger Aktivitetsfasen (i GEVALIS Vuxna). Tanken är att coacherna ska fylla i ett sådant schema för varje deltagare i GEVALIS Vuxna (se bilaga 2). Data som erhålls genom dessa aktivitetsscheman ligger således på individnivå. Aktivitetsscheman skall sändas in till projektägaren, i detta fall SoF Västra Skaraborg. De skall också bevaras hos coacherna Lägesbeskrivning (rehabcoacher) Rehabcoacherna i varje delprojekt ska tillsammans författa en lägesbeskrivning för varje kvartal. Lägesbeskrivningen ska innehålla data om gruppen, dvs. informationen ska ligga på gruppnivå. Lägesbeskrivningen ska sändas till ledningen för projekt GEVALIS Vuxna samt naturligtvis också bevaras hos coacherna. Underlaget för en sådan lägesbeskrivning utgörs av loggboken (se punkt 3), men även av ifyllda aktivitetsscheman (punkt 4) och, i förekommande fall, coachernas egna kalendrar. Innehållet i lägesbeskrivningarna kan variera under projektets gång (se bilaga 3). 6 Prior 2003: 34, 43, 46f deliberates on strengths and particularly weaknesses of such generative documents for data gathering on individuals. Generative documents documents that provide the conceptual framework in terms of which the world is reported upon (43). 8

9 6. Utgångsenkät till deltagarna En särskilt konstruerad enkät har gett utgångsdata för varje individ som deltagit i projekt GEVALIS Vuxna. Den har innehållit frågor om aktivitetsförmåga utanför hemmet. Vilken aktivitetsförmåga utanför hemmet uppskattar du att du själv har just nu? (se bilaga 4). Enkäten har administrerats till deltagare i samband med att de skrivits ut ur GEVALIS Vuxna. 7. Årlig rapport På grundval av coachernas fem lägesbeskrivningar har projektledningen med bistånd av utvärderingsgruppen varje år vid årets slut producerat en sammanfattande rapport som ska sändas till ESF-rådet. Den årliga rapporten kan disponeras enligt det mönster som lägesbeskrivningarna är disponerade efter. 8. Lärandekonferens En lärandekonferens har anordnats en gång per år för att dryfta händelser och resultat under det gångna året. För det mesta har dessa konferenser ägt rum under tidig vår och avsett det föregående året. Hela GEVALIS Vuxna har bjudits in. Förutom hela utvärderingsgruppen har coacher, linjechefer från styrgruppen, politiker från SoF Västra Skaraborg samt från de fem kommuner som ingår i SoF erbjudits delta. Vid konferensen har den årliga rapporten för föregående år diskuterats. Syftet är att alla deltagarna ska få någon lärdom med sig hem från sammandragningen. 9. Intervjuer med linjechefer - En mall för linjechefernas självvärdering Denna mall har handlat om två självvärderingsuppgifter: 1) Samverkan och struktur för samverkan, 2) ESF-rådets skall-krav beträffande integrerad politik: Den ena uppgiften är att reflektera över samverkan i olika avseenden samt hur de lärdomar som kommer fram i samverkan skall kunna spridas och implementeras i moderorganisationerna. Den andra uppgiften är att reflektera över ESF-rådets skall-krav beträffande integrerad politik. Skallkraven handlar om de tre horisontella värdena jämställdhet, etnicitet och funktionshinder. Projektet ska integrera dessa mål i sin verksamhet. Hur det ska integreras i GEVALIS är en sak och hur detta ska åstadkomma strategisk påverkan i moderorganisationerna och där bortom är en annan. Kunskapsspridning och strategisk påverkan, det ska tolkas inte bara som spridning utan även av implementering av lärdomar om samverkan i GEVALIS Vuxnas moderorganisationer samt i andra sammanhang helt utanför GEVALIS Vuxna. Som det nu är uppfinner man hjulet gång på gång. Projekt efter projekt gör erfarenheter men det finns ingen som tar tillvara dessa och för dem vidare i strategisk påverkan. Linjecheferna bör reflektera över det i sina självvärderingar. Arbetsmetoderna i stuprören bör utvecklas och förändras i riktning mot att samverka kring individer som faller mellan de etablerade stuprören. Detta är en nyckelformulering i GEVALIS-projektet. 10. Efterintervjuer med deltagarna Dessa intervjuer utförs sex månader efter det att deltagarna avslutat sin sejour i GEVALIS Vuxna. Berätta med egna ord vad som hänt med din aktivitetsförmåga sedan du avslutade din sejour i GEVALIS Vuxna! Berätta med egna ord hur du nu bedömer din aktivitetsförmåga! Detta är exempel på frågor som deltagarna ombeds reflektera kring. Administreras av GEVALIS Vuxnas processtödjare. 11. Efterintervjuer med deltagarna Dessa intervjuer utförs 12 månader efter det att deltagarna avslutat sin sejour i GEVALIS Vuxna. Berätta med egna ord vad som hänt med din aktivitetsförmåga sedan du avslutade din sejour i 9

10 GEVALIS Vuxna! Berätta med egna ord hur du nu bedömer din aktivitetsförmåga! Detta exempel på frågor som deltagarna ombeds reflektera kring. Administreras av GEVALIS Vuxnas processtödjare. 12. Slutrapportering En slutrapport i skriftlig form ska sändas in till ESF-rådet senast tre månader efter projektet avslut. Deadline är med andra ord den 31 mars Utvärderingssystemet för projekt GEVALIS Vuxna : en sammanfattning Evidens och evidensbaserad praktik (EBP) har blivit modeordet för dagen i socialmedicin, psykiatri, socialt arbete och andra människobehandlande verksamheter. Godtagbar evidens har sådana tillvägagångssätt som genom randomiserade kliniska experiment (RCTs= randomized controlled treatments) visat sig vara effektiva jämfört med placebo eller ingen behandling alls. Mot detta hävdas ofta att randomiserade kontrollerade experiment i många situationer är svåra att få att tillämpa i offentliga sektorn. Metoder för praktikbaserad evidens (PBE) förs fram som mer praktiskt användbara alternativt till metoder för evidensbased praktik. I vårt fall har utvärderingen bidragit till att generera evidens från socialarbetarens och brukarens praktik och i den meningen ge PBE, dvs. praktikbaserad evidens. Utvärderingssystemet för projekt GEVALIS Vuxna kännetecknas också av en stark koncentration på utvecklande utvärdering. En sådan utvärdering är tänkt att leda till strategisk påverkan och mer långsiktigt lärande samtidigt som lärande ska ske under projektets gång. Det utvecklande praktikbaserade utvärderandet har byggt på två principer: principen om inflätning i det objekt som utvärderas samt principande om löpande utförande. Helt oberoende av det utvecklande utvärderandet har kontrollerade utvärderingar ägt rum från två reviderande myndigheter: ESF-rådet och Ekonomistyrningsverket. Löpande [utvärdering] ska inte förstås så att utvärderarna springer utan att utvärderingen tänkes pågå hela tiden och samtidigt med den intervention som utvärderas (Vedung & Dahlberg 2013:15). Ongoing evaluation är EU-språk för denna typ av utvärdering. Detta språkbruk ska förstås mot bakgrund av läget för strukturfonderna vid utgången av programperioden 1 januari 2000 till sista december Då hade programmet innehållit krav på utvärdering vid två tillfällen: mittvägs (midterm evaluation) och efteråt (ex post evaluation). Dessa utvärderingsformer ansågs inte ha fungerat väl. Utvärderingarna hade inte kommit till användning. De hade inte lett till lärande. Det var då tanken kom upp att utvärderingarna under nästa programperiod borde pågå löpande (ongoing) och avrapporteras löpande (ongoing) för att resultaten skulle komma till användning. Den andra principen, den om inflätning eller integration, har tagit sig följande tre uttryck i det utvecklande utvärderandet inom GEVALIS Vuxna;. 1 Medlemmarna av utvärderingsgruppen utgörs av personer verksamma i GEVALIS Vuxna 2 Viss datainsamling och dokumentation ombesörjts av personer verksamma i GEVALIS Vuxna 3 Utvärderingens uppläggning och resultat kopplas fortgående tillbaka till all personal som jobbar i GEVALIS Vuxna. För den mall i tretton steg som konstruerats inom utvärderingsgruppen hänvisas till figur 2.1. Tolvschemat för datafångst ovan. 10

11 Referenser Hertting, Nils & Evert Vedung, 2009, Den utvärderingstäta politiken: Styrning och utvärdering i svensk storstadspolitik, Lund: Studentlitteratur. Karlsson, Ove, 2000, Praktikbaserad utvärdering i förskola och fritidshem, Utbildning och demokrati, 9:2, Prior, Lindsay, 2003, Using Documents in Social Research, London: Sage. Sandell, Göran, 2003, Integrerad utvärdering: ideologi, teori, metod och IT-stöd: paradigm och modell för utvärdering och kvalitetsutveckling inom välfärdsverksamheter, Alingsås: Göran Sandell. Shaw Ian & Alex Faulkner, 2006, Practitioner Evaluation at Work, American Journal of Evaluation, : 44. Schwandt, Thomas A., 2003, Back to the Rough Ground! Beyond Theory to Practice in Evaluation, Evaluation, 9 (3): Vedung, Evert & Dahlberg, Magnus, Demokrati och brukarutvärdering, Lund: Studentlitteratur, 2:a uppl. Publiceringsdatum: Vedung, Evert, 2015, Utvärderingsmodellen: löpande, inflätad, evidensproducerande, i Wohlfarth, Janet, 2015, red., Zelma Fors, Mona Runesson, Evert Vedung, Holger Jacobsson, Mattias Gullbrandson samt Ulrika Gardtman, Erik Kvarndal, Jaqueline Karvik, Åka-modellen: En berättelse om hus ESF projektet GEVALIS Vuxna bidragit till förnyat arbetssätt genom integrerad samverkan, , Skara: Samordningsförbundet Västra Skaraborg, Rapport 2014:2, 2:a upplagan. [Hur man får ut människor i långvarigt utanförskap i arbete]. Vedung, Evert, 2015, Six Uses of Evaluation, in Hennefeld, Vera; Meyer, Wolfgang & Silvestrini, Stefan, Hrsg., Nachhaltige Evaluation? Auftragsforschung Zwischen Praxis und Wissenschaft. Festscrift zum 60. Geburtstag von Reinhard Stockmann, , Münster, New York: Waxmann. Vedung, Evert & Staffan Bjurulf, 2015, Three Approaches to Impact Evaluation of Regional Development, in Elg, Mattias; Ellström, Per-Erik; Klofsten, Magnus & Tillmar, Malin (eds) (2015). Sustainable Development in Organizations Studies on Innovation Practices. Cheltenham, UK & Northhampton, MA, USA: Edward Elgar Publishing. Forthcoming Vedung, Evert, 2016, Implementering i politik och förvaltning, Lund: Studentlitteratur, kommande. Wohlfarth, Janet, 2015, red., Zelma Fors, Mona Runesson, Evert Vedung, Holger Jacobsson, Mattias Gullbrandson samt Ulrika Gardtman, Erik Kvarndal, Jaqueline Karvik, Åka-modellen: En berättelse om hus ESF projektet GEVALIS Vuxna bidragit till förnyat arbetssätt genom integrerad samverkan, , Skara: Samordningsförbundet Västra Skaraborg, Rapport 2014:2, 2:a upplagan. [Hur man får ut människor i långvarigt utanförskap i arbete]. 11