Loke - lokal evidens - en utvärderingsmodell för verksamhetsutveckling

Transkript

1 Rapport Regional utveckling 2015:07 Datum: Författare: Per Sandén Loke - lokal evidens - en utvärderingsmodell för verksamhetsutveckling Rapport från ett utvecklingsprojekt inom Örebroregionen

2 Loke lokal evidens en utvärderingsmodell för verksamhetsutveckling Rapport från ett utvecklingsprojekt inom Örebroregionen Per Sandén Datum: Dnr: Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

3 Förord Ett utvecklingsarbete inom missbruks- och beroendevården i Örebroregionen har pågått sedan Under åren drev SKL ett utvecklingsarbete, Kunskap till praktik, kring missbruk och beroendefrågor där Örebroregionen har deltagit. Utvecklingsarbetets viktigaste områden var brukarmedverkan, förstärkt kompetens, samverkan, uppföljning av resultat samt stärkt barn- och föräldraperspektiv. I Örebroregionen har ett arbete med att skapa system för uppföljning av resultat prioriterats. Per Sandén har gett stöd till kommunerna i länet med att skapa system för systematisk uppföljning av resultaten i missbruks- och beroendevården genom Lokemodellen. Denna rapport beskriver detta utvecklingsarbete. I det regionala programmet för social välfärd beskrivs målbilden Ett liv fritt från missbruk och beroende. Ett antal mål formuleras: I Örebroregionen har alla människor rätt till stöd för att kunna leva ett liv utan missbruk och beroende. Andelen personer med risk- och missbruksproblem minskar. Riskbruk upptäcks tidigt för att individens utveckling av missbruk och beroende ska förhindras. Individer med missbruks- eller beroendeproblem och deras anhöriga erbjuds effektiv vård och ett gott stöd. Individer som har blivit drogfria erbjuds ett utvecklat stöd för att klara av ett liv som nykter eller drogfri. Ett fortsatt utvecklingsarbete för en systematisk uppföljning av resultat inom missbruks- och beroendevården är en viktig pusselbit för att nå upp till dessa mål Vi hoppas att denna rapport kan ge inspiration till ett sådant arbete och från Region Örebro län är vi beredda att ge fortsatt stöd i detta. Örebro Marie Gustafsson Områdeschef Välfärd och folkhälsa Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

4 3 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

5 Innehållsförteckning Inledning ett exempel från verkligheten som inte bara är ett exempel... 5 Lokemodellen ett SKL initiativ... 6 Lokemodellen vad är det?... 7 Lokemodellen i länet Uppgifter från användande kommuner Kommentarer och reflektioner Referenser Bilaga 1 Verksamhetsbeskrivning Bilaga 2 Verksamhetsidé Bilaga 3 Exempel på flödesschema för redovisning Bilaga 4 Exempel på rapportmall Bilaga 5 Brev till kommunerna Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

6 Inledning ett exempel från verkligheten som inte bara är ett exempel När jag började mitt arbete inom SocialFoUrum i Örebro hösten 2005, fick jag till uppdrag att kartlägga den öppna missbruksvården i länet. Arbetet genomfördes som ett samarbetsprojekt med fyra andra län i Mellansverige. Utifrån en på förhand given mall, med kriterier för strukturerade behandlingsprogram inom missbruksvården, kartlades öppenvårdsresurser. Under hösten året efter var det dags att redovisa resultatet för länets IFO-chefer. Efter presentationen riktade jag en fråga till IFO-cheferna. Givet utbudet av öppenvårdsresurser, kunde de svara på frågan hur många klienter som blivit nyktra och drogfria med stöd av dessa program och insatser. Ingen av dem kunde ge något besked på frågan. Hade de något hum, så där mellan tummen och pekfingret. Nej, inte det heller. Efter dessa svar ställde jag en försåtlig följdfråga om vad institutionsplaceringar för vuxna kostade. Jag fick motfrågor om jag ville veta kostnader för det senaste halvåret, fram till månaden före och till och med fram till veckan innan. Den självklara följdfrågan var om de kände till om dessa placeringar lett till någon förändring av nykterhet och drogfrihet. Det kunde de inte svara på det heller. Hur skulle man tolka svaren? Har det med missbruksvården att göra, att det är särskilt svårt att följa upp resultat för missbrukare? Är det något specifikt med vårt län, att Örebro län är en mörk fläck på utvärderingskartan? Svaret på dessa frågor är tyvärr att det varken har med missbruksvård eller geografi att göra. Socialtjänsten är bra på mycket, men när det gäller att systematiskt följa upp resultat på gruppnivå, så finns uppenbara brister. Man kan med fog fråga sig varför socialtjänsten som i mycket riktar sig till utsatta människor, inte lagt ner mer intresse och resurser på att få svar på om insatser och åtgärder, gör den skillnad för brukare och klienter som man förväntar sig. Genom att implementera och arbeta med Lokemodellen har några första steg tagits till att svara upp på socialtjänstens behov av att systematiskt utvärdera och följa upp insatser på individnivå. 5 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

7 Lokemodellen ett SKL initiativ När SKL projektet Kunskap till praktik startade 2008 var tanken att stödja landets län och regioner med att implementera nationella riktlinjer för missbruks- och beroendevården som kom Ganska snart kom inriktningen av projektet att breddas och delvis skifta perspektiv från implementering till att generellt handla om att utveckla missbruks- och beroendevården. Idén var att stödja län och regioner med att bygga upp en långsiktig stödstruktur för missbruks- och beroendevården. Efterhand identifierade projektet specifika utvecklingsområden, som brukarmedverkan, behov av fördjupade kunskaper, stöd till barn till missbrukande föräldrar och föräldrastöd. Ytterligare ett sådant utvecklingsområde var verksamhetsuppföljning och utvärdering. SKLprojektet ställde sig liknande frågor som jag ställt till länets IFO-chefer. Leder den missbruksoch beroendevård som bedrivs inom kommuner och landsting, till någon positiv förändring för dem som tar del av vården? Det visade sig föga förvånande att sådan systematiserad kunskap saknades. SKL-projektet genomförde en kartläggning av utvärderings- och uppföljningsmetoder inom området och fastnade för tre modeller. En metod Uppföljning av insatser för vuxna personer (UIV) som tog sikte på mer övergripande uppföljning av insatser, en som fokuserade på lösningar för personer som fick mycket vård och behandling (Mångbesökarmodellen) och en som hade fokus på uppföljning och verksamhetsutveckling (Lokemodellen). SKL gjorde en satsning för att stödja ett antal län och regioner för att arbeta med dessa modeller. Regionförbundet Örebro anmälde intresse bl.a. för att få delta med att implementera Lokemodellen. Örebro län blev således ett av fem län som under en treårsperiod kom att arbeta med Lokemodellen och som under projekttiden fått implementeringsstöd via SKL. Vid sidan av SKL har Socialstyrelsen släppt två rapporter som på ett konkret sätt kan utgöra stöd för verksamheter som avser att systematiskt följa upp insatser. Rapporten Med målet i sikte - målinriktad och systematisk uppföljning av insatser för enskilda personer (MOS), (Socialstyrelsen, 2012), beskriver hur man i enlighet med en specifik uppföljningsmetod, single system designs (SSD), kan följa upp enskilda ärenden. En begränsning med metoden är att det underlag man tar fram kan vara svår att hantera på grupp- och aggregerad nivå. En andra rapport, Systematisk uppföljning beskrivning och exempel, (Socialstyrelsen, 2014), tar däremot ett helhetsgrepp kring systematisk uppföljning och beskriver tillvägagångssätt i sex steg. 1. Planera systematisk uppföljning 2. Beskriva situationen före insats 3. Beskriva situationen under insats 4. Beskriva situationen efter insats 5. Sammanställa uppgifterna 6. Analysera resultaten Man skulle kunna säga att Lokemodellen utgör ett av flera sätt som Socialstyrelsens idéer bakom systematisk uppföljning kan tillämpas och implementeras. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

8 Lokemodellen vad är det? Vad är Loke svar på? Det ligger nära till hands att fråga sig varför redan befintliga dokumentationssystem inom socialtjänsten som ProCapita, Treserva, Viva etc., inte används för systematisk uppföljning och utvärdering. Systemen innehåller mängder med uppgifter på individnivå. Kan man inte bara trycka på en knapp och får fram data som kan användas i utvärderingssyfte? Nja, så enkelt är det inte. Syftet med dessa dokumentationssystem är i första hand att svara upp på de krav som socialtjänsten har när det gäller att dokumentera handläggning av ärenden och att handläggningen sker på ett rättsäkert sätt. Det är visserligen fullt möjligt att få fram data på både individ- och verksamhetsnivå med systemen, men uppgifterna är inte paketerade på ett sådant sätt det är möjligt att följa upp och dra slutsatser om insatser gjort någon skillnad för klienter och brukare. Lokemodellen är i förhållande till dessa befintliga dokumentationssystem en självständig uppföljningsmodell. Modellen svarar upp mot behovet att systematiskt dokumentera, följa upp och utvärdera om verksamheter gör någon skillnad för klienter och brukare på både individ-, grupp- och verksamhetsnivå. Modellen är med andra ord skräddarsydd för att klara av detta. Namnet på modellen är en förkortning av lokal evidens och antyder att man lokalt i verksamheter genererar kunskap om vad som fungerar eller inte fungerar. Lokemodellen har tagits fram av socialförvaltningen i Umeå. Socialnämnden gav sin interna FoU-enhet, Utvecklings- och fältforskningsenheten (UFFE), till uppdrag att ta fram en praktisk användbar uppföljningsmodell som svarade upp mot de krav som nämnts i stycket ovan. Två forskare och en verksamhetsutvecklare utarbetade modellen. I UFFE:s slutrapport om Lokemodellen framgår bl.a. vilken teoretisk grund som finns för de komponenter som modellen består av (Hjelte, Brännström & Engström, 2012). Den beskrivning av Lokemodellen som följer tar självklart sin utgångspunkt från den modell som UFFE tagit fram. Implementeringen och tillämpningen av modellen kom att se olika ut i de län och regioner som ingick i SKL:s satsning. Den tillämpning som beskrivs nedan är förhållandevis mer processorienterad än andra. Det innebär naturligtvis att Lokemodellen kan tillämpas på flera sätt än den som beskrivs här. En uppföljningsmodell för verksamhetsutveckling Lokemodellen är i första hand en uppföljningsmodell för verksamhetsutveckling. Med verksamhet avses en avgränsad verksamhet på enhetsnivå, t.ex. ett boende, en behandlingsgrupp etc. Resultatet av uppföljningen ska alltså vara till nytta och gagn för att verksamheten i första hand bättre ska kunna tillgodose de behov brukarna har. Verksamheten använder sig av en egen formulerad idé om vad den ska åstadkomma. Verksamhetsidén blir således den värderingsram mot vilken verksamheten mäter om den gör ett bra arbete eller inte. Det är med verksamhetsidén som utgångspunkt, som verksamheten i nästa steg översätter den till ett mätinstrument. Man kan säga att modellen har en betydande pragmatisk prägel. Verksamheten följs inte upp i förhållande till verksamhetsmål, teorier, uppdrag eller liknande. 7 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

9 Lokemodellens faser En grundtanke med modellen är att undersöka om det finns ett glapp mellan det verksamheten tänker om vad de gör och vad de faktiskt gör. Det eventuella glappet utgör utvecklingspotentialen för verksamheten. Det kan vara så att en verksamhet tänker att de utvecklar t.ex. föräldraskapet i socialt utsatta familjer, men datainsamlingen visar att man inte gör det. Då finns ett utrymme för personalen i verksamheten att börja fundera över om insatserna behöver utvecklas. Det kan också vara så att verksamheten möter fel målgrupp och då behöver man fundera över vilken målgrupp som insatserna är bäst anpassade för. Ytterligare ett alternativ kan vara att insatserna egentligen leder till andra förändringar än att utveckla föräldraskapet. Föräldrarna kanske blir mer harmoniska av insatserna. Då får verksamheten kanske fundera över om de ska ändra verksamhetsidén. Lokemodellens faser följer den process som verksamheter går igenom från verksamhetsidé till avslutande rapport. Lokemodellen omfattar tre faser. En första fas som går ut på att formulera verksamhetsidén. Den innehåller flera moment som att beskriva syftet, målgruppen, insatserna och det förväntade resultatet. I en andra fas översätts verksamhetsidén till ett mätinstrument, en skräddarsydd datainsamlingsmatris. Det är de variabler som verksamheten behöver för att mäta och samla in data om målgrupp, insatser och resultat. Med vetenskaplig terminologi handlar det om att operationalisera verksamhetsidén. I praktiken handlar det dessutom om att försöka konstruera ett datainsamlingsinstrument som direkt är jämförbart med verksamhetsidén. När det gäller målgruppsvariabler är tanken att mätinstrumentet ska återspegla vilken målgrupp verksamheten vänder sig till. Oftast blir dessa variabler inte tillräckligt täckande för att senare vara ett stöd för att hitta förklaringar till varför verksamheten får det resultat den får. Modellen behöver kompletteras med ytterligare variabler som är kopplade till målgruppen och som verksamheten tänker sig ha en påverkan på resultatet. Dessa variabler kallar vi analytisk målgruppsdata. Slutligen en tredje fas som omfattar det praktiska arbetet från datainsamling till databearbetning, analys och rapportering. Av figuren nedan framgår dessa faser och en illustration av de delar och moment som modellen innehåller. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

10 Figur 1. Lokemodellen Lokemodellens faser och moment Processen börjar vanligen med att verksamheten tar fram en verksamhetsidé och följer sedan faserna ovan. Men det är inte nödvändigt att följa den ordningen. Det är fullt möjligt att börja där verksamheten har intresse av att börja. Det kan finnas verksamheter som redan har ett utvecklat uppföljningssystem och vill ha stöd med att utveckla t.ex. variabler för insatser. Därifrån kan man sedan ta processen vidare och få med alla moment. Har verksamheten inte någon tidigare erfarenhet av att arbeta med systematisk uppföljning är det en fördel att börja med första fasen. Nedan följer en genomgång av de moment som ingår i Lokemodellen med reflektioner och erfarenheter från arbetet i kommunerna. Det är viktigt att påpeka att det sättet som Lokemodellen beskrivs nedan, är ett av flera sätt som modellen kan tillämpas. Att beskriva syftet med verksamheten Genom Lokemodellen strävar man efter att följa upp verksamhetens resultat, dvs. om man gör någon skillnad för och brukare och klienter. Då är det en fördel om man har skapat förutsättningar att mäta denna skillnad mot det verksamheten faktiskt gör och mindre utifrån vad t.ex. politiker eller ledning eventuellt gett verksamheten i uppdrag att utföra. Det är vanligt att uppdrag från politiker och ledning formuleras i allt för svepande termer. Uppdragsformuleringar är för verksamheten ofta inte tillräckligt konkreta för att de ska vara möjliga att fungera som ram mot vilken verksamheten ska värderas. Genom att låta verksamheten börja Lokearbetet med att formulera syftet har man också varit med om att starta en process. Det borde egentligen vara en självklarhet att verksamheter som bedriver förändringsarbete, också har klart för sig vad förändringsarbetet ska leda till. Verksamheter kan ha mer eller mindre oklara uppfattningar om vad som är syftet med verksamheten. Det är inte ovanligt att medarbetare blandar samman visioner, uppdrag och 9 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

11 målbeskrivningar för verksamheten. Eller så utgår man från vad som är formulerat i verksamhetsplaner. För att verksamhetsidén ska kunna utgöra en värderingsram för uppföljningen, blir det därför viktigt att verksamheten arbetar fram och tydliggör syftet med verksamheten. Det är genom beskrivningen av syftet som verksamheten talar om och förklarar för omvärlden varför den finns. Jag brukar inleda processen med att låta varje enskild medarbetare, var för sig tänka till och formulera syftet, så som man själv uppfattar det. Jag ber även medarbetarna att fokusera på att formulera syftet utifrån vad de gör och bortse från vad som är deras uppdrag eller tidigare verksamhetsbeskrivningar. Dvs. att syftet blir en konsekvens av vad man faktiskt gör. Det visar sig nämligen att det inte sällen finns en diskrepans mellan vad som finns formulerat som uppdrag eller mål med verksamheten och vad verksamheten i själva verket gör. Det beror naturligtvis på att verksamheter över tid utvecklas och förändras. Genom att formulera syftet utifrån vad medarbetarna gör, ges en mer aktuell här och nu bild av föreställningen om verksamheten. Men det visar sig att det inte är alldeles enkelt för verksamheter att formulera syftet. Det är inte ovanligt att formuleringar av syftet inledningsvis kommer att handla om vad medarbetarna gör, med betoning på insatsen. Det kan vara formuleringar i stil med Verksamheten syftar till att erbjuda öppenvårdsinsatser. Det är egentligen inte så märkligt att det blir sådana formuleringar. Traditionellt sett är det den frågan som socialtjänsten fokuserat arbetet kring. Jämför t.ex. med inledningstexten om att cheferna hade mycket god kännedom om kostnader för placeringar, men mindre kunskap om insatserna leder till. I den stund man driver frågan om syftet vidare och med stöd av följdfrågor om vad dessa öppenvårdsinsatser skall leda till, börjar verksamheterna oftast närma sig kärnan i arbetet. En formulering av syftet ska i stort ange riktningen för verksamheten. I den betydelsen handlar diskussionerna om att ställa in siktet rätt och diskutera vad man vill åstadkomma. Med en sådan tolkning landar formuleringar av syftet någonstans mellan visioner, övergripande målformuleringar och konkreta mål. I mitt arbete med Lokemodellen har jag medvetet bidragit till att verksamheterna sänker siktet och försöker ta fram formuleringar av syftet som mer konkret beskriver vad man vill åstadkomma. Inom missbruksvården förekommer det formuleringar av syften som Verksamheten ska höja livskvaliteten eller Verksamheten ska bidra till ett drogfritt och nyktert liv. Det finns inte några direkta invändningar mot att använda sig av sådana formuleringar. Men om det är så att det finns nyanser i vad man vill åstadkomma så bör dessa framgå av syftet. En verksamhet kan t.ex. ägna sig åt att motivera personer som är inne i ett aktivt missbruk, att bryta detta för att ta nästa steg i sin rehabilitering. Då blir ovanstående syfte allt för övergripande för att kunna värderas mot. Istället formulerar verksamheten syftet som att Verksamheten ska motivera till annan insats. Fortfarande gäller att bidra till ett drogfritt och nyktert liv, men då mer i bemärkelsen som övergripande målformulering. Om syftet med verksamheten är att motivera till annan insats är det just det som ska följas upp och mätas. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

12 Syftet bör slutligen vara formulerat så att det ligger inom ramen för vad verksamheten har i sin makt och mandat att påverka i förändringsväg. Just den här sista passusen har stor betydelse för hur verksamheten senare formulerar vad som är resultatet. Processen med att låta verksamheten ta fram sitt syfte, har också andra fördelar. Genom att låta det bli en process, där medarbetarna tillsammans diskuterar och till slut kommer överens om vad som är syftet, har de tydliggjort sina enskilda tankar och idéer om verksamheten och tillsammans gemensamt kommit fram till ett syfte. Överhuvudtaget verkar det vara ett underskattat inslag i det vardagliga arbetet. Man kan ha jobbat tillsammans en arbetsgrupp i många år, men aldrig tillsammans formulerat vad som är den uttalade tanken om verksamheten. Det är något som man tar för givet. Men skrapar man på ytan kan medarbetare ha varierande uppfattningar om vad de ska åstadkomma med verksamheten. I processen att formulera ett syfte blir detta tydligt för medarbetarna. I de flesta fall brukar också verksamhetens chef vara med och delaktig i processen, vilket visat sig vara en fördel då medarbetarna också får chefens uppfattning om vad verksamheten ska åstadkomma. Målgrupp För verksamheterna är det i regel ganska enkelt att beskriva målgruppen. Uppgiften är att beskriva vilka behov brukaren ska ha för att få tillgång till verksamhetens tjänster. Det handlar främst om att specificera inkluderings- alternativt exkluderingskriterier. Inom socialtjänsten är det vanligt med kön, ålderskriterier, olika dokumenterade problem och att det t.ex. finns ett biståndsbeslut. Det händer att verksamheterna här vill beskriva hur komplex målgruppen är, hur många behov som ska tillgodoses, vilka problem som målgruppen kan ha, vilka faktorer som är viktiga för att beskriva målgruppen etc., men det är alltså inte det som är poängen. Varför är det så viktigt att slå fast kriterier för målgruppen? För det första kan det vara så att uppdraget för verksamheten är formulerat utifrån en specifik målgrupp. Då är det viktigt att medarbetarna är överens om och har en gemensam uppfattning om den målgruppen. Det kan visa sig att det i praktiken är andra brukare som tar del av verksamhetens insatser och det kan påverka verksamhetens resultat. För det andra blir målgruppen betydelsefull när verksamheten ska följa upp om insatserna gör någon skillnad för brukare. Ytterligare ett exempel är om verksamheten arbetar utifrån en evidensbaserad metod. Evidensbaserade metoder är oftast framtagna med tanke på specifika målgrupper. I dessa fall är det viktigt att verksamheterna har kontroll över att de verkligen vänder sig till den målgrupp som metoden är avsedd för. En annan aspekt på dessa inkluderings och exkluderingskriterier är om det krävs biståndsbeslut för att få tillgång till insatserna, eller om det är s.k. öppen ingång till insatserna. Det kan få konsekvenser för arbetet med Lokemodellen. I verksamheter med öppen ingång, där brukare till viss del kan vara anonyma, blir det svårare att t.ex. samla in data på individnivå. Vid öppen ingång kan också vara svårare att veta när en insats börjar och när den slutar. 11 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

13 Insats Så långt kommen i Lokeprocessen är det dags att formulera vad det är verksamheten gör. I samband med att verksamheten diskuterade syftet kom det troligtvis fram beskrivningar av insatser. I det här momentet här är det dags att systematisera beskrivningen av dessa insatser. En grundregel när det gäller att beskriva insatser är att göra en avgränsning enbart till insatser som brukare får del av. D.v.s. att samarbetsmöten mellan personal, arbetsplatsträffar och liknande inte räknas med. Det är fullt fokus på vad verksamheten erbjuder deltagare, brukare och klienter. En erfarenhet är att verksamheter inte har ett färdigt koncept för hur de beskriver sina insatser. Det finns säkert i enskilda medarbetares tankar, men de har inte formulerats explicit. Därför är det en god idé att låta verksamheten lista insatser som de erbjuder. I nästa steg kan dessa insatser sorteras och kategoriseras. I det här skedet börjar en struktur ta form. Det blir tydligt vad och hur verksamheten tänker om sina insatser. Beskrivningen av insatserna är ett moment som i princip är oändligt. Tillsammans med verksamheten är det därför viktigt att hitta en rimlig nivå på beskrivningen av insatser. Oftast blir beskrivningen på ett mer generellt plan, där insatser i detalj inte beskrivs. I det här skedet bör verksamheten få grepp på de mest väsentliga insatserna, med andra ord verksamhetens kärna. Så långt i arbetet med verksamhetsidén är det lämpligt att stämma av processen, genom att ställa frågor till verksamheten om syfte, målgrupp och insats logiskt hänger samman. Den här typen av avstämningsfrågor är ett stående inslag i att arbete med Lokeprocessen. De hjälper verksamheten att få både logik och konsekvens i beskrivningen av verksamhetsidén. För att utveckla verksamhetens tankar och idéer om sina insatser, kan man med fördel föra in diskussioner om programteori. Verksamheten har genom att koppla samman syfte, målgrupp och insats, egentligen redan påbörjat formuleringen av en programteori, även om det inte är uttalat. En verksamhet hade t.ex. inte tagit med s.k. praktiskt arbete när de beskrev insatserna. Vid en närmare genomgång av insatserna visade det sig att det praktiska arbetet utgjorde en stor del av den tid man arbetade med klienterna. Det kunde handla om att man hjälpte klienterna med allehanda praktiska göromål. Anledningen till att verksamheten valde bort insatsen i beskrivningen var att de ansåg att insatsen inte var lika fin som övriga insatser. Men en genomgång av insatsen visade att det var i det praktiska arbetet med klienter som man skapade relationer och tillit. Det var inte ovanligt att personalen under det praktiska arbetet förde samtal om missbruk, motivation etc. Något om programteori Genom att även inkludera praktiskt arbete som en insats kunde verksamheten på ett mer fullständigt sätt beskriva sin programteori. En programteori är den teori som beskriver eller talar om för oss hur en eller en kombination av insatser, är tänkta att leda till det mål eller syfte som avsetts med verksamheten. I programteorin betonas vikten av att ta fram den bakomliggande teorin alternativt tankemodell som den konkreta verksamheten bygger på sin verksamhet på. Beskrivningen av programteorin utgör en av grundpelarna i Lokemodellen. I det praktiska arbetet har diskussionerna inte förts i programteoretiska termer. Vi har nöjt oss Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

14 med att verksamheterna kunnat förklara på vilket sätt de tänker sig att det de gör verkligen leder till det de har avsett. En genomgång av programteorin kan med fördel följa en procedur i flera steg. Sandberg och Faugert (2007) föreslår följande steg. I ett första steg definierar man programmet och dess mål tydliggörs. I Lokemodellen motsvaras det av beskrivningen av syftet. I det andra steget identifierar man funktioner, komponenter och aktiviteter. D.v.s. det som vi gör i Lokemodellen när vi beskriver insatserna. I ett tredje steg beskriver man den logiska kedja som länkar programmets funktioner, aktiviteter och komponenter samman. Översatt till Lokemodellen är det, det moment som verksamhetsidén utgör. För att komplettera beskrivningen av insatserna kan man i det här momentet även beskriva vilka yttre förutsättningar som föreligger för verksamheten. I ett fjärde steg analyseras vad som ligger inom ramen för verksamhetens kontroll och vad som ligger utanför. Det är ett viktigt steg då det visat sig att verksamheter har en tendens att vilja mycket mer än man har förutsättningar att klara av. I ett femte och sista steg beskriver man nödvändiga villkor för programmets process och genomförande. Det handlar bl.a. om organisatoriska förutsättningar. Ett stöddokument till Lokemodellen som nedan benämns som Verksamhetsbeskrivning omfattar samtliga steg i den programteoretiska analysen (se bilaga 1). Om en verksamhet t.ex. har som syfte att erbjuda ett tillfälligt boende i avvaktan på att klara ett eget boende, bör insatserna vara relevanta utifrån det syftet. Klara ett eget boende som det står i syftet, kan ju betyda att det är vissa färdigheter som skall utvecklas eller att man försörjningsmässigt ska klara ett eget boende. Beroende på vad verksamheten tänkt sig, är det viktigt att just de insatser man erbjuder, på det teoretiska planet, leder till det man avser. Det betyder att verksamheten beskriver hur den tänker sig att insats 1 och insats 2 i kombination med ytterligare en insats, verkligen leder till det de är avsedda för. Genom programteorin kan det hända att verksamheten upptäcker att de erbjuder insatser, som i ett tidigare skede med en annan målgrupp var relevant, men inte längre är det. En verksamhet som hade ovanstående syfte hade bland sina insatser psykosociala behandlingsinsatser. Men när inte verksamheten kunde svara på varför man erbjöd dessa insatser och på vilket sätt de skulle leda till resultatet, beslutade verksamheten att sluta med dem. Verksamheten behöver alltså aktivt ta ställning till om vilka insatser som man ska erbjuda och vilka som skall utmönstras. Det händer att verksamheter erbjuder en hel del insatser p.g.a. att man alltid gjort det, att det finns en tradition att göra det, att någon enskild personal är bärare av insatsen. Men man har inte frågat sig om insatserna i dagsläget är relevanta utifrån syftet med verksamheten. Det kan t.o.m. vara så att det finns insatser som är kontraproduktiva. En programteori kan vara en hjälp för verksamheten att bättre anpassa sina insatser till det som verksamheten är till för. Det har visat sig att det kan underlätta för verksamheterna om insatserna kan beskrivas i form av kronologiska scheman, s.k. flödesscheman. Då kan man t.ex. utgå från att i ett flöde beskriva vad som händer med en deltagare eller brukare från den stunden den kommer i kontakt med verksamheten tills dess att den slutar. Den här typen av mer översiktliga flödesscheman visar sig sedan användbara när verksamheten ska ta fram variabler som skall mäta vad verksamheten gör. 13 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

15 Det finns fler verktyg som kan vara användbara för att beskriva verksamhetens insatser. Ett sådant verktyg är tjänsteteorier. Genom tjänsteteorier kan verksamheten få stöd i att beskriva insatser med stöd av tjänstekartor och tjänstemenyer, så att tjänster kan sorteras och kategoriseras. Sådana tjänstekartor och tjänstemenyer kan också utgöra ett första steg i att gå vidare med s.k. processkartläggningar. Med tjänstebeskrivningar och processkartläggningar kommer verksamheten att även svara upp mot de krav som finns om rutiner inom kvalitetsledningssystem (Messing & Westlund, 2004). Resultat I och med att verksamheten beskrivit syftet i förhållandevis konkreta termer, så kommer formuleringar av vilket resultat verksamheten förväntar sig, inte att skilja sig nämnvärt från syftet. Några ord behöver nämnas om begreppet resultat. Inom Lokemodellen används inte begreppet resultat i samband med resursutnyttjande eller budgetmässigt resultat. Istället handlar det uteslutande om vilken skillnad verksamheten tänker sig att insatserna gör för brukaren. Tanken bakom att låta beskrivningen av syftet bli så konkret som möjligt, är att inledningsvis försöka undvika mer eller mindre utsvävande formuleringar om vad verksamheten skall åstadkomma. Det underlättar diskussionen om resultatet. Det medför alltså att syftet och resultat många gånger sammanfaller, men med den avgörande skillnaden att resultatet formuleras i mätbara termer. Således kan syftet med en verksamhet vara att motivera personer i missbruk att ta steg mot nykterhet och drogfrihet, men resultatet formuleras i termer av att få brukarna att ta emot andra insatser. I det här sammanhanget bör det också påpekas att uppföljning enligt Lokemodellen, inte eftersträvar mätning av effekter i vetenskaplig mening,. Anspråksnivån är istället att utröna om insatserna leder till förväntade skillnader för klienterna. Det är t.o.m. så att de skillnader som verksamheten eventuellt kan påvisa, inte med säkerhet kan härledas till att det faktiskt är verksamheten som åstadkommit dem. Det kan självklart finnas andra faktorer som påverkar. När verksamheten formulerar resultatet utifrån den skillnad de föreställer sig att insatserna ska göra, bör skillnaderna vara beskrivna så att det ligger inom verksamhetens mandat att faktiskt kunna åstadkomma denna skillnad. Om t.ex. en verksamhet har som syfte att hjälpa deltagarna till ett eget boende, är det just det vi försöker mäta. Inte om livskvaliteten har höjts eller om deltagarna mår bättre. I vart fall inte primärt. En verksamhet kan naturligtvis mäta skillnader för brukare och klienter som inte omfattas av syftet, som vissa bieffekter. Finns det något systematiskt i dessa skillnader kan det vara en signal till verksamheten att återkoppla till syftet och eventuellt justera syftet för verksamheten. För att om möjligt integrera Lokeprocessen med andra delar av socialtjänstens uppföljningsansvar, har det förekommit förslag om att istället för att följa upp variabler som mäter skillnader, följa upp om genomförandeplanen har uppfyllts eller ej. Det finns flera skäl till varför det i de flesta fall inte är lämpligt att använda genomförandeplanen som mått på resultat. Det finns t.ex. stora variationer av hur medarbetare formulerar genomförandeplaner, allt ifrån övergripande formuleringar om ett bättre liv, till konkreta nedbrytbara delmål som kan handla om att hålla tider. Det medför att det blir svårt för verksamheten att få jämförbara uppgifter på aggregerad nivå. Om denna variation inte tydliggörs så medför det att Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

16 verksamheten får svårt i analys- och återkopplingsfasen. Övergripande formuleringar kommer att dölja de verkliga förändringarna. Om en verksamhet konstaterar att de uppfyllt ett visst antal genomförandeplaner, så är inte det tillräcklig information för att kunna återkoppla till verksamheten. För förvaltningen eller organisationen kan det vara av värde att veta om det finns genomförandeplaner för de insatser man erbjuder, men de lämpar sig sämre som resultatvariabler inom ramen för Lokeprocessen. När verksamheten kommit så här långt börjar verksamhetsidén att ta form. Verksamheten ska kunna se att de insatser som den erbjuder logiskt kan förväntas ge det resultat man avser med tanke på den målgrupp man vänder sig till. Variabelkonstruktion Nästa moment i Lokeprocessen är att översätta verksamhetsidén till ett mätinstrument. I mer vetenskapliga termer innebär det att operationalisera centrala begrepp i verksamhetsidén. I det här skedet kan verksamheterna välja olika sätt hur de vill gå till väga. Det kan vara lämpligt att det är en mindre grupp eller t.o.m. någon eller några få medarbetare som går vidare. Processen kommer då att gå framåt lite snabbare med en mindre grupp. Det här momentet lockar gärna fram långa diskussioner om hur många aspekter av verksamheten man vill täcka in. Det är det här momentet som många gånger satt käppar i hjulet för att följa upp socialtjänstens arbete. I och med att de problem man arbetar med är komplexa till sin natur, medför det att också mätinstrumentet blir komplext. Har man ambitionen att mätinstrumentet skall kunna täcka in alla aspekter av målgruppens egenskaper, de insatser man ger och resultat på flera nivåer, blir det tveklöst ett omfattande arbete. Inom Lokemodellen försöker vi komma ifrån en sådan heltäckande variabeluppsättning. Erfarenheter från Lokeprocessen visar att ju mer genomarbetad verksamhetsidén är, desto färre variabler behöver man i mätinstrumentet. Det finns alltså inga uttalade vetenskapliga ambitioner när det gäller Lokemodellen, så man kan känna sig förhållandevis fri när det gäller variabelkonstruktionen. Det viktiga är att variablerna skräddarsys utifrån verksamhetsidén. Tanken med t.ex. målgruppsvariablerna är att verksamheten får en bild av om verksamheten vänder sig till den målgrupp de säger att de vänder sig till. Är det så att verksamheten riktar sig till ungdomar i ålder år, bör man alltså ha en variabel som beskriver ålder. Men det har visat sig att dessa målgruppsvariabler inte är tillräckliga för en senare analys. För att kunna förklara variationer i verksamhetens utfall behöver medarbetarna diskutera sig fram till några s.k. analytiska målgruppsvariabler. Analytiska målgruppsvariabler är sådana som verksamheten antar kan påverka utfallet. Det kan vara kön, problembild, härkomst, missbruk etc. Även här finns risken att dessa sväller ut i omfång och det är viktigt att avgränsa sig. En rekommendation kan vara att ta fram någonstans mellan fyra och sex sådana variabler. Den avgjort svåraste delen under variabelkonstruktionen brukar handla översättningen av insatserna. Det är inte ovanligt att en verksamhet har en uppsättning insatser som de kan erbjuda. Dessa insatser varierar över tid efter brukarens behov. Med tanke på att många brukare finns i verksamheter, mellan ett halvt år till ett år och ibland längre, är det näst intill omöjligt att täcka in varje insats för respektive brukare. I dessa fall får man arbeta med att 15 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

17 förenkla variablerna. I ett första skede kan det vara så att man mäter vilka insatser klienten fått under en given tidsperiod, men lämna i vilken omfattning och intensitet som insatserna givits. Det finns å andra sidan verksamheter som erbjuder program som är mer eller mindre manualorienterade. I praktiken innebär det att brukarna får ta del av samma insatser. I dessa fall är det kan det räcka med att ha variabler som innebär att man mäter om brukarna fullföljer insatsen eller inte. I andra fall är det som nämndes ovan, en stor variation av insatser över tid. Det är egentligen upp till verksamheten, vilken ambitionsnivå man har för att täcka in beskrivningen av insatser, men begränsningen ligger egentligen i att verksamheten rent praktiskt skall klara av att samla in dessa data. Det är två saker som man bör fundera över när det gäller att dokumentera insatser. Det har visat sig vara betydelsefullt att tidsbestämma insatserna, eller den tid som brukaren deltar i verksamheten. Alltså att dokumentera med datum för början och datum för avslut. En annan sak innebär att försöka dokumentera vilka insatser som brukaren får, om än inte hur mycket och med vilken kvalitet. För några verksamheter ingår insatserna som ett upplägg i ett antal faser. Där kan det vara lämpligt att dokumentera vilka faser brukaren klarat av. Det är viktig information i ett nästa steg, om man vill analysera i vilken fas som brukare t.ex. avbyter insatserna. Resultatet eller utfallet kan som vi säger översättas med stöd av färdiga mätinstrument, under förutsättning att dessa instrument mäter det som verksamheten avser att åstadkomma. Den bästa mixen är att samla in data både från personal och från brukare. I nästa steg förs variablerna in i ett Exceldokument som kommer att fungera som verksamhetens databas. Det förekommer också att variablerna skrivs in i en s.k. överföringsblankett. Det är en blankett som till utseendet påminner om en vanlig enkät. För några verksamheter har det varit praktiskt att gå omvägen via en blankett framför att skriva in data direkt i Exceldokumentet. En liten sammanfattning När vi kommit så här långt i Lokeprocessen kan det vara lämpligt att stanna upp och reflektera något över vad som åstadkommits. Verksamheterna har genom verksamhetsidén formulerat en idé om vad det är de gör. Genom variabelkonstruktionen har vi tagit fram ett mätinstrument som skall svara upp på frågan om verksamheten faktiskt gör det de säger att de gör. En kärna i hela Lokemodellen är den utvecklingspotential som ligger i att ta reda på om det finns ett glapp mellan idé och praxis. Det kan visa sig att deltagare i en verksamhet inte visar den skillnad som verksamheten avser att åstadkomma. Det betyder att det uppstått ett glapp, där verksamheten behöver ställa sig frågor om de vänder sig till fel målgrupp eller att insatserna är fel utformade, alternativt kan man ha för höga ambitioner med verksamheten. Visar det sig att det finns ett glapp, är det glappet som ligger till underlag för diskussioner om hur verksamheten ska utvecklas. Datainsamling Som antytts ovan bygger Lokemodellen på att verksamheten själv tar ansvar för datainsamlingen. Det betyder dels att datainsamling skall ske inom ramen för den ordinarie Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

18 verksamheten och dels att verksamheten behöver diskutera hur datainsamlingen skall organiseras, alltså vem som gör vad? Ju fler antal medarbetare desto större behov av att verksamheten arbetar fram en plan för hur denna ska organiseras. Det är kanske inte lämpligt att alla medarbetare dokumenterar i en och samma fil. Man kan med fördel centralisera vissa moment, som att ha kontroll över vilka överföringsblanketter som ligger ute i verksamheten. Om det är en och samma medarbetare som har ansvar för att föra in data i Excelfilen sker en form av validering av data. Men är det t.ex. få medarbetare kan man göra detta tillsammans, alternativt blir inte datainsamlingen mer omfattande än att var och en sköter sina egna ärenden. En annan fråga att ta ställning till vid datainsamlingen är vid vilka tidpunkter data skall samlas in. Några verksamheter sköter det kontinuerligt i takt med att ärenden avslutas, medan andra väljer att föra in data en gång i halvåret eller en gång om året. Det är upp till verksamheten hur de vill göra, men tidpunkter för när datainsamling skall vara gjord, kan styras av organisationens ordinarie planeringscykler. Datasammanställning, analys och reflektion Viss datasammanställning kan verksamheterna klara av själva genom att använda funktioner i Excel som att sortera och filtrera. Även om det inte är alldeles enkelt att ta fram korstabeller i Excel (det krävs lite extra kunskaper om pivottabellfunktionen) så finns möjligheten att sortera och filtrera data och på så sätt ta fram data för respektive variabel. 1 Men för den fördjupade analysen, som bör ske i samband med återkopplingen av data till verksamheterna, behöver datafilen sammanställas på ett mer genomarbetat sätt. Det sätt som vi arbetat med det hittills är att först exportera data från Excel till ett statistikbearbetningsprogram SPSS (Statistical Package for Social Science) för att där göra bearbetningar och ta fram korstabeller etc. För det här momentet behöver verksamheterna ofta stöd utifrån. I några kommuner som ingår i det nationella projektet har socialtjänster använt sig av FoU-enheter eller motsvarande. Det är viktigt att påpeka att de som sammanställer och bearbetar data tolkar materialet försiktigt. Under Lokeprocesserna har vi vid flertalet tillfällen blivit uppmärksammade på att det egentligen bara är verksamheterna själva som har nyckeln till hur data kan tolkas. Det hänger samman med att data tolkas utifrån verksamhetsidé och de specifika förhållanden som råder för respektive verksamhet. Det är en fördel om den som skall sammanställa och bearbeta data till verksamheten, tillsammans med verksamheten kommer fram till vilken data som ska tas fram. Det kan vara lämpligt med en mall som följer en viss struktur. Ett alternativ har varit att verksamheten tagit fram en lista på frågor som de vill ha svar på. Av pedagogiska skäl har det visat sig framgångsrikt att följa Lokemodellens moment och redovisa målgruppsdata, insatsdata och utfallsdata. I nästa steg så gör man kopplingar mellan dessa så att man kan få utfallsvariabler relaterade till målgruppsvariabler. 1 Umeå kommun har tagit fram ett systemstöd för att arbeta med datasammanställning i Excel som ger data på både individ och verksamhetsnivå. 17 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

19 Återkoppling Återkoppling syftar till att verksamheten reflekterar över de data som sammanställts. Under återkopplingen väcks även frågeställningar och hypoteser om varför utfallet blir på det ena eller andra sättet. Återkopplingen som man med fördel kan hålla interaktivt är ett lärtillfälle där verksamheten genererar lokal kunskap. Det är den kunskapen som i sin tur leder till att verksamheten kan ställa sig frågor om vad som behöver utvecklas för att verksamheten skall bli bättre. Det betyder att verksamheten har upptäckt utvecklingsområden med stöd av ett underlag som de själva tagit fram och som är grundad på den idé om verksamheten som de har. Man skulle kunna säga att det här är första steget för en verksamhet att arbeta utifrån en evidensbaserad praktik, i den meningen att man grundar tankar om verksamheten på lokal nivå. I en verksamhet där man arbetar med sysselsättningsaktiviteter för att deltagarna skall kunna komma vidare till andra aktiviteter som ligger närmare den öppna arbetsmarknaden, tyckte man att det resultat som sammanställdes i Loke inte speglade verksamhetens mål. Enligt Loke så lyckades man inte få iväg så många deltagare till andra aktiviteter som man förväntat sig. En närmare analys visade att verksamheten kunde dela in deltagarna i två målgrupper, en grupp där deltagarna hade ambitioner att komma vidare och en grupp där deltagarna hade behov av en daglig struktur. Indelningen av målgrupper ledde till att verksamheten redovisade resultatet på ett annat sätt så att det blev tydligt att man hade målgrupper med olika ambitioner. Verksamheten ställde sig också frågan om de mot den här bakgrunden behövde förändra sitt sätt att arbete med målgrupperna. Rapportering Mot bakgrund av det som kommit fram vid återkopplingen ställer verksamheten samman en rapport. Det blir den officiella bild som verksamheten lämnar ifrån sig av vad verksamheten åstadkommer. På ungefär samma sätt som man kan ha en mall för vilken data som skall tas fram till återkopplingen, kan man med fördel ha en färdig rapportmall. En sådan mall kan innehålla uppgifter om målgruppen, om insatserna och om hur utfallet, dvs. hur det gått för dem som tagit del av verksamhetens insatser. Eftersom det egentligen bara är verksamheten som kan tolka den data som ställs samman bör verksamheten också ha ensamrätt till data. Antalet variabler har kraftigt reduceras för att verksamheten ska klara av att smala in data själv. En följd av det är att variablerna blir få och endast delvis kan täcka in hela bilden av vad verksamheten gör. Med andra ord mäter verksamheten sin verklighet med ett trubbigt mätinstrument. Därför är det svårt för någon annan än den som är i verksamheten och som varit med att ta fram verksamhetsidén att göra riktiga tolkningar. Men i och med att verksamheten nogsamt tagit fram en verksamhetsidé, så fungerar det även med ett trubbigt mätinstrument. Med stöd av verksamhetens officiella rapport kan andra, som förvaltningsledning och politiker, ställa frågor som de vill ha svar på. Stöddokument som kan vara bra i Lokearbetet Under tiden som arbetet med Lokemodellen utvecklats har ett antal stöddokument tagits fram. Ett dokument som UFFE tagit fram var en mall för verksamhetsbeskrivning (se bilaga 1 en omarbetad version). I det dokumentet kan verksamheten mer utförligt beskriva syfte, Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

20 målgrupp, insatser etc. I verksamhetsbeskrivningen finns en rubrik om vilka resurser verksamheten har till förfogande för att uppnå syftet. Just denna del kan vara intressant att koppla till återkopplingstillfället. Verksamhetens resultat kanske är helt avhängigt av vilka resurser man haft till förfogande. Det kan finnas faktorer som är hindrande för verksamheten likväl som det finns främjande faktorer. Det är ändå betydelsefullt för verksamheten att gör den typen av reflektioner. Ett annat dokument är den s.k. verksamhetsidén. Det är ett dokument som på ett enkelt sätt sammanfattar verksamhetsbeskrivning. Flera verksamheter har använt sig av verksamhetsidén när de presenterat sina verksamheter. Den ger en förenklad och tydlig bild av vad verksamheten sysslar med. Verksamhetsidén innehåller korta beskrivningar av syfte, målgrupp, insats och förväntat resultat (se bilaga 2). Mer och mer har verksamheterna använt sig av olika former av flödesscheman för att illustrera framförallt resultatet för verksamheten. Genom att beskriva hur flödet ser ut från hur många som varit aktuella, hur många som är pågående, hur många som avbrutit, hur fördelningen ser ut på resultatvariabel, är det lätt för utomstående att förstå resultatet. Det har också visat sig att dessa flödesscheman är pedagogiska i sin framtoning, vilken bl.a. medfört att det ökar förutsättningarna att reflektera över resultatet (se bilaga 3). I en kommun har man tagit fram en särskild rapportmall för Loke. Tanken är att samtliga verksamheter som ingår i Loke har en och samma typ av rapportering. Rapportmallen innehåller syftesbeskrivning, redovisning av kön och åldersfördelning. Dessa två variabler är gemensamma för samtliga Lokerapporter. Det finns utrymme för verksamheten att redovisa ytterligare ett par bakgrundvariabler som de anser är av betydelse för verksamheten (se bilaga 4). Lokemodellen i länet Ett resultat av kartläggningen av den öppna missbruks- och beroendevården i länet, som nämndes inledningsvis, var att sätta fokus på uppföljning och utvärdering. Inom ramen för en nationell satsning inom missbruks- och beroendevården Ett kontrakt för livet, startade 2006 ett utvecklingsprojekt i länet i regionförbundets regi. Fem kommuner valde att delta: Degerfors, Kumla/Hallsberg, Ljusnarsberg och Askersund. Inom kommunerna kom utvecklingsarbetet att ha olika inriktningar. I Degerfors rörde det sig om en öppenvårdsmottagning för missbrukare, som kommunens socialtjänst drev tillsammans med Degerfors vårdcentral. I Kumla/Hallsberg hade man nyligen startat ett kommungemensamt 12-stegsprogram som man ville följa upp. I Ljusnarsberg omfattades utvecklingsprojektet missbruksvård för vuxna och i Askersund fanns ett eget sammansatt behandlingsprogram som kallades för SoL-kraft. Utvecklingsarbetet i kommunerna kom att ha drag av och till innehållet likna Lokemodellen i flera avseenden, men inte på det sammanhållna sätt och med den logik som Lokemodellen erbjuder. Genom att länet påbörjat ett utvecklingsarbete kring utvärderingsfrågor, fanns en jordmån för att senare ansluta sig till SKL:s satsning. Ett lämpligt forum för att förankra och 19 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

21 kanalisera idéer om regionala projekt är de nätverk inom det sociala välfärdsområdet som regionförbundet har ansvar för. En presentation av Lokemodellen gavs t.ex. vid ett möte med IFO-chefernas nätverk. I samband med mötet erbjöds kommunerna att anmäla intresse. För de kommuner som tidigare deltagit i utvärderingsarbetet inom Ett kontrakt för livet, låg det nära till hands att växla upp och fortsätta utvärderingsarbetet med att implementera Lokemodellen 2. Utöver dessa kommuner anmälde Örebro och Nora kommun intresse. Inom Örebro kommuns socialförvaltning kom öppenvården och boendeenheter för missbrukare att delta 3. För Örebro kommun utökades dock uppdraget med Lokemodellen genom att även omfatta verksamheter inom hela IFO-området. 4 I Nora kommun var det missbruksvården som helhet som ingick i Loke, inklusive ett 12-stegsprogram. Uppgifter från användande kommuner Brev (bilaga 5) till deltagande kommuner skickades till personer på olika nivåer i kommunerna för att få en differentierad bild av Loke-arbetet. Personlig intervju gjordes i fem kommuner, i den sjätte en telefonintervju, enligt frågeställningarna i brevet. Respondenterna var socialchef, ifo-chefer, enhetschefer, handläggare och utförare. Varför Loke? De sex kommuner i länet som använder Loke hörde talas om det via projektledaren inom Kunskap till praktik i en tid då man ville ha utvärdering av verksamheten. Såg ett behov av att jobba med dokumentation, styrning och uppföljning av verksamheterna. Det finns inte så många modeller för att lära sig om sin egen verksamhet. Tidigare utvärdering av verksamheten hade i regel inte gjorts. En kommun höll på med en utvärdering och när utvärderaren föreslog Loke tackade de självklart ja. Samtidigt bestämde man sig för att utöka utvärderingen från utförarna till att också gälla myndighetsutövningen. Det har man gjort i flera kommuner men inte alla. Initiativet till att införa Loke var chefernas och man vill se om vi jobbar med det vi ska och når vi de mål som vi tänkt. Flera kommuner uppger att projektledaren varit entusiasmerande och spridit glädje. De förväntningar man haft är att följa upp, att kritiskt granska sig själv för att kunna utveckla verksamheten har infriats för en del wow, medan det för andra är mer oklart och man vet inte hur man ska nå i mål. Förväntningen var att utveckla och förstärka verksamheternas arbete. Lokearbetet ger en tydlig bild av vad man har för syfte, roll, vilka insatser man ger, vad man har för arbetssätt. All personal är involverad. Man följer upp resultat och det ska kunna användas för att styra. Man kan förändra insatser för att man ser resultatet för att kunna förbättra för klienterna. Man synliggör antal klienter, deras ålder och problematik, det tydliggör. 2 Med undantag av Ljusnarsbergs kommun. 3 Inom Örebro kommun används benämningen Socialförvaltningen för det som traditionellt benämns Individ och Familjeomsorg (IFO). 4 Detta arbete låg utanför Kunskap till praktik och omfattades således inte av implementeringsstödet från SKL. Arbetet kunde genomföras genom att Örebro kommun köpte tjänsten av Regionförbundet Örebro. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

22 En kommun uppger att man kan ta över själv medan en annan uppger att de behöver hjälp för att få det att rulla. Hur cheferna själva ser på sin roll varierar och har varierat över tid. Har varit påhejare, beslutsfattare, har frågat efter det och understödjare också prioriterat arbetstiden. Har varit initiativtagare, och emottar rapporter var sjätte månad och redovisar för nämnden. Har gett utförarna i uppdrag att anpassa verksamheten utifrån de resultat som framkommit. Såg till att det blev gjort, fick upp övriga på banan. Har prioriterat ner det nu, har inte hållit lågan levande. Jag och projektledaren hade behövt göra upp rollerna. Hur har man jobbat En kommun har jobbat med modellen för att få fram ett styrande dokument som anger hur man ska följa upp. De har inte beslutat om mätpunkter och ser att den stora poängen är det styrande dokumentet som tas fram tillsammans med personal och där man ser förbättringsmöjligheter direkt. I en annan kommun har arbetet blivit rutiniserat. Utförarna träffar projektledaren regelbundet och skickar uppgifter till honom var sjätte vecka. Var sjätte månad redovisar projektledaren till chefer och medarbetare. Inför det träffar verksamheten projektledaren nästan en heldag. Man kan ha olika fokus, vi tittar på vilka som genomför behandlingen, vilka avbryter, kunde vi gjort något annorlunda, har man genomgått upprepade behandlingar. I en kommun är man mer pessimistisk och uppger att det började bra med ett gediget arbete, projektledaren var tillgänglig men det har klingat av efterhand. Hettan har lagt sig, vi står nu och stampar och vet inte vart tar vägen. Verksamheten vet inte hur man går vidare. Vi pratade mycket mer Loke tidigare än idag. Det är viktigt att prata vidare om det, också med projektledaren. I en kommun uppger man att variablerna måste vara enkla, det ska vara ett enkelt instrument. Utredare och utförare har hjälpts åt. Med jämna mellanrum har de ställt sig frågan vad vill vi veta, vad kan vi få ut av variabeln? Innan vi började med Loke trodde vi att vi visste vad syftet med verksamheten var. Flera kommuner använder Loke som ett sätt att presentera verksamheten för politiker. Politiken vill veta hur många och verksamheten vill bena ut vad man kan bli bättre på t ex var tappar man, vilka tappar man. Resultat av Loke-arbetet Resultaten mellan kommunerna varierar. De som använt Loke menar att fler verksamheter borde göra det, man tvingas att tänka strukturerat. En fördel är att man ser ett behov av att utvärdera och att det är möjligt att göra det. Flera kommuner anger att Loke engagerar personal till ständiga förbättringar som 21 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

23 man kan börja arbeta med direkt och att Loke tydliggör roller och fakta om verksamheten. Att man själv väljer vad man vill titta på är viktigt. Diskussionerna om den egna verksamheten och om vad som är viktigt lyfts fram av flera och att man ser vad som är viktigt. Det finns de som i dagsläget inte ser några direkta resultat annat än att det har varit kul och också de som kunnat utveckla verksamheten till att bättre passa brukarnas behov utifrån Loke-arbetet. Det har blivit en schvung i att utveckla verksamheten på att sätt som vi nog inte hade tänkt in från början. Processen genererade nytänkande. Man ser också nackdelar med Loke, att det tar tid, både mycket och länge och det finns frustration över att man jobbat länge men inte ser resultat. En nackdel har varit att det uppstått en spänning mellan hur det är och hur man tycker att det borde vara utifrån de resurser man har. Tiden kan också ses som en fördel, att det blir bättre om man låter det ta tid. Någon är besviken över att de inte räckte till för allt mätande, sammanställning och analys och någon annan har dåligt samvete över att inte ha gjort det som borde gjorts. En verksamhet varnar för att det är lätt att komplicera för mycket och uppmanar till att inte ta reda på för mycket som man inte har någon nytta av. De säger också att det har varit roligt och ifrågasättande, och ett privilegium att göra det utan kostnad, där projektledaren har varit guld värd. Plan framåt Förutsättningarna för arbetet framåt skiljer sig mellan kommunerna där en del har en klar plan där Loke är en del av kvalitetsarbetet, man rapporterar med vissa intervall och rollerna framöver är fördelade. Andra behöver involvera ny personal och saknar plan för det. Flera kommuner har önskemål om att utöka Lokeuppföljningarna till fler verksamheter och uppger att de behöver stöd i både det och i att fortsätta med den uppföljning man gör idag. Att fortsätta med uppföljning för att kunna förbättra verksamheten och ta tid till det och att personalen själva kan dra slutsatser tas upp. Det finns farhågor i flera kommuner för hur det ska gå när projektledaren inte finns kvar och också önskemål om att kunna ha fortsatt stöd då man inte upplever att man har den kompetens som krävs för alla moment i Loke. Alla kommuner nämner att det vore roligt att träffa de övriga Loke-kommunerna i regionen. Till sist en uppmaning från en kommun Lägg tid på Loke! Sammanfattning av intervjuer Intervjuerna visar att Lokemodellen är en modell som fungerar i praktiken. Intervjupersonerna har haft nytta av olika moment i Lokemodellen, men lyfter särskilt fram arbetet med verksamhetsidén som ett moment som tydliggör vad verksamheten gör. Intervjuerna visar att arbetet med verksamhetsidén som inledande moment entusiasmerar medarbetare och skapar delaktighet i utvärderings- och uppföljningsarbetet. Några verksamheter har implementerat modellen fullt ut och sett klara fördelar med återkoppling av resultat och att man använt det som underlag för att utveckla verksamheten. Intervjupersonerna lyfter fram betydelsen av att ha en tydlig process när det gäller implementeringen av modellen. Flera intervjupersoner ansåg att det fanns brister i implementeringen. Processen och vilken tid den kunde ta var oklar. Vidare saknade de en tydligare struktur för arbetet. Projektledaren har förvisso varit entusiastisk och drivande, men rollerna var otydliga och det var svårt för intervjupersonerna att veta vad som förväntades av dem. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

24 På det hela taget ansåg flera intervjupersoner att Lokemodellen är en bra modell att arbeta efter. Flera har t.ex. uttryckt önskemål om att utvidga arbetet med Loke. Kommentarer och reflektioner Varför kan det vara intressant för en verksamhet, en ledningsgrupp och eventuellt politiker att påbörja en diskussion om att implementera Lokemodellen? För det första saknas det modeller för systematisk uppföljning och utvärdering inom socialtjänsten. Det finns utvecklade system för att dokumentera kostnader och kvantitativa data om vilka insatser som man utför. Däremot finns det inte system som visar om insatserna gör någon skillnad för klienter eller brukare. För det andra har det pågått en diskussion under drygt det senaste decenniet om att socialtjänsten i större utsträckning bör arbeta med och tillämpa evidensbaserade metoder. Det stora problemet är att möjligheten att tillämpa sådana metoder är högst begränsad av den enkla anledningen att evidensbaserade metoder saknas. Loke och evidensbaserad praktik Utbudet av evidensbaserade metoder inom socialtjänstens område är begränsat. Av det skälet kan det vara en god idé att åtminstone följa upp och utvärdera om de insatser man utför lokalt, gör någon skillnad för brukarna. Genom att systematisera om insatserna gör skillnad genereras lokal evidens. Med lokal evidens som kunskapsunderlag har medarbetare skapat förutsättningarna för att gå vidare i sitt kunskapssökande. Verksamheter kanske vill veta varför vissa insatser inte fungerar för en viss grupp eller hur verksamheten ska värdera de skillnader man gjort för klienter. Är det bra eller dåligt om 10 procent av deltagarna i ett behandlingsprogram blivit drogfria? Vid sådana tillfällen har verksamheten med sig en frågeställning, en hypotes vilken man vill få svara på. Har verksamheter konkreta frågeställningar som grundar sig på det egna arbetet blir det mer förståeligt för verksamheten varför man kan ha nytta av att söka kunskap på annat håll. Finns det t.ex. vetenskaplig kunskap som kan berätta för verksamheten hur den kan värdera sitt arbete? Ett sådant arbetssätt kan vara en ingång till en evidensbaserad praktik. Erfarenheter från implementeringen av Lokemodellen har visat att det är först när verksamheterna har fått explicita kunskaper om sambandet mellan målgrupp, insats och resultat, som kopplingen till vetenskapen blir mer angelägen. Utan den här lokala kunskapen är risken stor att kopplingen till vetenskap och evidensbaserade metoder etc. blir alltför abstrakt och diffus. Loke som styrmedel Redan i ett tidigt skede tydliggjorde UFFE behovet av att skapa lokal kunskap om verksamheternas resultat. De var också tydliga med att den här kunskapen kan användas på olika nivåer i organisationen. På individnivå skapas kunskap om brukarna och de förändringar verksamheter åstadkommer. Det är kärnan i modellen. På verksamhetsnivå aggregeras dessa data. Den systematiserade och aggregerade kunskapen kan sedan i sammanställd form utgöra planeringsunderlag för chefer och i förlängningen underlag för politiker att styra och prioritera verksamheter. Har en organisation lyckats implementera Lokemodellen och börjat generera aggregerad kunskap, så ligger fältet öppet för att tillämpa kunskapen på ett sätt som inte varit möjligt innan. Istället för att enbart fokusera på ekonomisk uppföljning i form av resursutnyttjande, optimering, beläggningsgrad etc., finns det ett kunskapsunderlag där man kan relatera ekonomin till antalet lyckade fall. Låt säga att vi har ett boende vars syfte är att ta emot ungdomar och förbereda dem för ett eget boende. Slutmålet är att ungdomen får en egen lägenhet. I och med att vi har data från Lokeprocessen vet vi hur många ungdomar som får egen lägenhet under ett år. Har boendet en budget på 4 miljoner och man får ut fyra ungdomar i egen lägenhet under ett år, så kostar det förvaltningen 1 miljon per lyckat fall. Visar det sig sedan att fullbeläggning, vilket är ett rimligt krav från politiker och ledning, leder till att 23 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

25 verksamheten får ut färre ungdomar i eget boende, blir det tydligt att resultatmåtten representerar olika aspekter. Genom tillgång till kunskap om utfall av en verksamhets insatser får organisationen, förvaltningen ytterligare en dimension att tillföra diskussionen om effektivitet i organisationen. Implementering av Loke Medarbetare på ledningsnivå attraheras gärna av Lokemodellen som koncept. Den är tämligen enkel att förstå och bygger framförallt på att tydliggöra det som verksamheter tänker om sig själva. Modellen utlovar samtidigt att man får svar på hur väl en enskild verksamhet lyckas med att nå syftet med verksamheten. För att starta Lokeprocesser i en verksamhet eller organisation är det av stor vikt att förankra arbetet på ledningsnivå, även om Lokemodellen i sig fungerar lika bra om den enbart implementeras i en enskild verksamhet, som i en hel organisation. Men det finns en fördel om initiativet till implementering ligger på ledningsnivå. Modellen har som nämnts, potential för utvecklingsarbete även på en övergripande nivå i organisationen. I de verksamheter som varit aktuella i länet har initiativet i förstahand kommit från ledningsnivån. Det har funnits ett uttalat behov att få svar på frågor som handlar om vad organisationen får ut av de resurser och pengar som man använder. För ledningsgrupper och politiker har det varit angeläget att få underlag och kunskap för att bedöma om det är en bra verksamhet man bedriver. Svarar t.ex. verksamheten upp mot medborgarnas behov? Det går kanske goda rykten om en verksamhet, men gör deras insatser verkligen någon skillnad för de som den är till för. Erfarenheter från Lokeprocesser i länet visar att implementeringsprocessen ställer relativt höga krav på ledningsgruppers tålamod. I och med att man startar upp Lokeprocesser i verksamheter, kommer det att ta mellan ett och ett halvt till två år, innan verksamheten gjort en första återkoppling och det finns möjlighet för ledningen att ta del av resultat. Att det tar så pass lång tid beror främst på att datainsamling tar tid. I praktiken betyder det att ledningen har en aktiv roll i början av arbetet genom att ta initiativ och starta upp arbetet med Lokemodellen. Under processen arbetar verksamheter fram verksamhetsidé och konstruerar mätinstrument, vilket är ett självständigt arbete för verksamheten. Det är först i samband med återkoppling och rapportering som ledningsgrupper får en mer aktiv roll i processen. Det betyder inte att ledningsgrupper nödvändigtvis måste vara passiva under verksamheternas arbete med implementering av modellen. En viktig uppgift för ledningsgrupper är att planera för hur Lokemodellen kan integreras i den ordinarie verksamhetsplaneringen. En annan viktig uppgift är att planera för hur organisationen ska ta över och bära Lokearbetet vidare på egen hand. Erfarenheter från arbetet med Lokemodellen har visat att det är vissa kompetenser som behövs för att en organisation skall kunna arbeta med Lokemodellen på ett självständigt sätt. En sådan kompetens har med processarbetet att göra. Verksamheterna behöver många gånger stöd från utomstående med att formulera utvecklingsområden och kontinuerligt utveckla verksamhetsidén. En annan kompetens är relaterad till datainsamlingen. En del verksamheter behöver stöd med att föra in uppgifter i Excel. Det är ett arbete som också innebär att kontinuerligt validera och justera dessa datafiler. Nära förknippat med en sådan kompetens är kompetens att stötta verksamheter med att sammanställa och paketera data på ett sådant sätt att verksamheterna kan ta uppgifterna till sig. En förutsättning för en lyckad implementering är att den modell, arbetssätt, behandlingsmetod som ska implementeras är tydlig. Även om Lokemodellen är utformad som ett ramkoncept, har den dessa förutsättningar. Till exempel visar erfarenheter från Lokeprocesser i länet att delar av arbetet saknat en tydligt uttalad struktur. Mot bakgrund av dessa erfarenheter är det av värde att ta fram ett grundmaterial och planer för hur Lokemodellen kan implementeras. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

26 Ett sådant material bör innehålla beskrivningar av förankring av arbetet, ledningsgrupper och chefers roller, riktlinjer för ansvar i Lokemodellen, utbildningsinsatser för medarbetare och chefer, handledning och coaching i processen, datorstöd, genomförandeplaner etc. Det ligger nära till hands att tycka att det är en uppgift på regional nivå att tillhandahålla ett sådant material och finnas som resurs när det gäller att stödja förvaltningar, organisationer och verksamheter att implementera ett sådant sätt att följa upp verksamhet. 25 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

27 Referenser Hjelte, J. Brännström, J. & Engström, C Lokal Evidens (LOKE)! En modell för lokal uppföljning av kommunal öppen- och heldygnsvård som riktar sig till personer med missbruks- och beroendeproblematik. Ett SKL uppdrag. Umeå: Utvecklings- och fältforskningsenheten (UFFE). Messing, J. & Westlund, P Klienten som medproducent. Falun: Dalarnas Forskningsråd. Sandberg, B.& Faugert, S Perspektiv på utvärdering. Stockholm: Studentlitteratur. Socialstyrelsen Med målet i sikte. Målinriktad och systematisk utvärdering av insatser för enskilda personer (MOS). Stockholm: Socialstyrelsen Socialstyrelsen Systematisk uppföljning. Beskrivning och exempel. Stockholm: Socialstyrelsen. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

28 Bilaga 1 Verksamhetsbeskrivning Verksamheten Arbetsplats/verksamhet: Enhetschef: Kontaktperson: Telefon och e-post: Mål och uppdrag för verksamheten Beskriv hur uppdraget ser ut och om det finns några övergripande mål med verksamheten. Övergripande beskrivning av syftet för verksamheten Vad är syftet med verksamheten? Utgå från det som verksamheten GÖR? Målgrupp för verksamheten Vilken eller vilka är målgrupperna? Beskriv målgruppen Vad ställs för krav på individer för att de ska få tillgång till verksamheten? Genomförande Vilka insatser alternativt tjänster erbjuder verksamheten målgruppen? Hur har verksamheten valt att erbjuda insatserna/tjänsterna? -finns det någon särskild ordning eller struktur? Mål och resultat Beskriv förväntat resultat för målgruppen, dvs. vad förväntas för förändring av målgruppen under den tid de finns i verksamheten/vilken skillnad ska verksamhetens insatser göra? Organisatoriska villkor Finns det organisatoriska villkor som försvårar respektive främjar verksamhetens arbete? Finns det omvärldsfaktorer som försvårar respektive främjar verksamhetens arbete? Utvärdering, uppföljning och erfarenhetsbeskrivning På vilket sätt följer verksamheten upp arbetet idag? På vilket sätt dokumenteras uppföljning av arbetet? På vilket sätt redovisas uppföljning av arbetet? Resurser Hur många tjänster har verksamheten? Vilken utbildningsnivå har de anställda? Lokaler? Annat 27 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län

29 Bilaga 2 Verksamhetsidé Verksamhet Syfte Tanken med den här mallen är att verksamheten skall få en överskådlig bild av sin verksamhetsidé. Bilden är en sammanfattning av de diskussioner som förts om verksamhetsidén. Syfte med verksamheten är att: Här skriver verksamheten ner sitt syfte. Oftast formulerat i en mening. Målgrupp Insats Resultat Här skriver verksamheten ner inkluderingsoch exkluderingskr iterier för målgruppen. Här skriver verksamheten ner vilka insatser (tjänster) man direkt erbjuder målgruppen. Här skriver verksamheten ner vad man förväntar sig att göra för skillnad på individnivå. Region Örebro län Loke en utvärderingsmodell för verksamhetsutveckling Författare: Författare: Per Sandén Datum:

30 Bilaga 3 Exempel på flödesschema för redovisning Planerat positivt 38 Behandlingshem 7 Antal uppdrag 130 Avslutade 105 Konsekvensavslut 66 Pågående 25 Avliden 1 29 Loke en utvärderingsmodell för verksamhetsutveckling Författare: Per Sandén Datum: Region Örebro län