Det sociala utvärderingslandskapet; en orientering bland trender, tendenser och trauman Verner Denvall LnU Två uppfattningar: Det var väldigt lärorikt och ett bra samarbete, jag tänker också att om det nu kommer nåt nytt på hemlöshetsområdet så finns det mycket lärdomar att dra från den här tiden om man skulle göra om det. och så bestämde vi hur vi ska markera. Att vi ska göra det lågt om vi bedömer alla som bor här högt så kanske de skär ner på personal och säger att så dåligt verkar de ju inte ha det Detta tänkte jag att vi ska beröra Tendens 1: Den institutionella osäkerheten och behovet av nya styrformer Trauma: Värdet av data, exemplet Outcomes Star Tendens 2: Programteori, exemplet Hemlöshet Trend: EBP 1
Tendens: Ökad institutionell osäkerhet Från Nationalstat Svenska kyrkan Till Globalisering Multipla moderiniteter Morgontidning Planering Folkhem SoU Sociala medier Utvärdering Lissabonstrategi Polyfoni vi går mot mer av extern nätverksstyrning Regelstyrning Mål o Nätverksstyrning resultatstyrning Tidsepok Fram tom 1970-tal 1980-2000-tal 2010-tal och framåt Princip Byråkrati Marknad Galleria Organisering Top-down NPM Horisontell Statens syrmedel Regulativa: piska Ekonomiska: morot Informativa: predikan Procedurer Detaljreglera Måluppfyllelse Diskutera Instrument Lagar Mål Samverkan Legitimeringsgrund Ansvar Konkurrens Koordinering Utvärdering Revision Målutvärdering Lärande, följeforskning Mötesform Sammanträde Förhandling Dialogkonferens Huvudproblem Efterlevnad Insyn Komplexitet Källor: Fritt efter Hertting och Vedung 2009, Nordesjö 2015 Konsekvenser Horisontell samverkan måste lyftas fram Nya aktörer behöver bidra för att lösa problem Tidigare stabila samarbetsformer behöver omprövas Ett nätverk kan vara famlande och osäkert; svårt att definiera uppdraget Mandaten från den egna organisationen viktigt Kunskap skapas i processer Många aktörer deltar samtidigt parallella sanningar Utvärdering är en av andra möjliga kunskapskällor 2
Utvärdering = att systematiskt bedöma insatsers (interventioners) värde Vem? Frågan om vem som ska utvärdera Vad? Frågan om vad som ska utvärderas Hur? Frågan om hur utvärderingen ska ske Leder till en rad utvärderingsmodeller, rivaliserande metoder och vetenskapliga och praktiska dispyter. Vilket skapar problem för utvärderare, beställare och användare Utvärdering av interventioner (bl.a Dudley 2009) Före Under Efter Behovsanalys Systematiska bedömningsinstrument Programteoretisk utvärdering Lärande utvärdering, process, empowerment Single case, outcome star Effektstudier Målutvärdering Det första exemplet och så bestämde vi hur vi ska markera. Att vi ska göra det lågt om vi bedömer alla som bor här högt så kanske de skär ner på personal och säger att så dåligt verkar de ju inte ha det 3
Så här kan en sammanställning se ut Men det finns utmaningar hur poängen registreras K1: Hvis jeg kan se at jeg overskrider en klar grænse og ligesom går ind og gør at borgeren ikke er enig eller føler sig rigtig skidt tilpas omkring det, så scorer jeg den højere. Det gør jeg af den simple grund at der vægter jeg relationen. Den relation man har og skaber til borgeren ved den samtale der, den vægter jeg altså noget højere end om jeg giver ham to eller seks. 4
K3: jeg har prøvet at overtage nogle borgere, og det var også det vi snakkede om sidst, at det var jo helt vildt at to mennesker kan score så forskelligt, og jeg blev jo nødt til netop så at "lyve" i forandringskompasset, for jeg kunne ikke dumpe personen [red. brogeren] seks skalaer, hvad det ville være efter min mening. Personen der havde scoret hende - hvor jeg tænkte "hold da op, det ligger langt fra min optik".. Men jeg kan jo ikke forsvare overfor en borger, at hun ryger fra ni til tre, fordi det er mig der overtaget hende eller et eller andet Tre logiker bland personalen 1 Strategisk: sända en signal till ledningen, visa arbetsförhållanden, sin kompetens, etc 2 Moralisk/etisk: professionella värderingar, den enskilda klientens bästa 3 Lojal; accepterar förändringskompassen, för det allmännas bästa, tilltro till ledningen Samma person kan skifta mellan olika logiker beroende på situationen Kan man göra något åt problemet shit in shit out? Moment 22: Måste kvalitetssäkra verksamheten med hjälp av data som personalen samlar men hur ska då dessa data säkras om inte kvaliteten är god? Slutsats: krävs en grundlig analys, utgå från att det förekommer olika logiker och syn på data, implementering top-down behöver kompletteras med bottom-up, ständig process. Värdelöst som kvalitetssäkring? 5
Det andra exemplet Det var väldigt lärorikt och ett bra samarbete, jag tänker också att om det nu kommer nåt nytt på hemlöshetsområdet så finns det mycket lärdomar att dra från den här tiden om man skulle göra om det. Hemlöshet många ansikten, mångas ansvar Uppdrag att utvärdera regeringens satsning att motverka hemlöshet 2009-2011: ca 5 milj eur, 23 projekt Mål 1: Alla ska vara garanterade tak över huvudet och erbjudas fortsatta samordnade insatser utifrån individuella behov. Mål 2: Antalet kvinnor respektive män som är intagna eller inskrivna på kriminalvårdsanstalt, behandlingsenhet, har stödboende eller vistas på hem för vård och boende (HVB) och inte har ordnat boende vid utskrivning ska minskas. Mål 3: Inträde på den ordinarie bostadsmarknaden ska underlättas för kvinnor respektive män som befinner sig i boendetrappor, träningslägenheter eller andra former av boenden som tillhandahålls av socialtjänsten eller andra aktörer. Mål 4: Antalet vräkningar ska minska och inga barn ska vräkas. 18 satsningar Slutrapport 2011: www.lu.se/soch Nivå Vad är problemet Lösningar Global och national nivå Makro Sociala och ekonomiska faktorer som arbetslöshet, bostadsförhållanden och fattigdom Strukturella insatser, bostadspolitik, missbruksbehandling o.s.v. lagar, riktlinjer, rekommendationer, evidensrörelse, taktiska överväganden om vad som är möjligt vid ett visst tillfälle, exempelvis utlysningar av EU, idéspridning Organisatorisk nivå Meso Kommunal angelägenhet men en komplex samband mellan olika organisationer och politikområden Välfärdsåtgärder implementeras och utformas i en kommunal kontext utifrån lokala förutsättningar och traditioner Individuell nivå - Mikro Där välfärdens aktörer möter enskilda klienter och brukare; individuella eller familjeproblem Mötet mellan professionella och enskilda hemlösa 6
Vad karakteriserar ett komplext problem? Problemet befinner sig på flera nivåer samtidigt (macro, meso, micro) Kan kopplas till ett systemperspektiv: icke-linjära processer, feedback påverkar resultat, strävar efter jämvikt där feed-back är väsentlig Det kan förekomma många intervenerande oförutsägbara mekanismer som påverkar utfall av en intervention Kausalitet behöver förstås som multipel Existerar ingen proportionalitet mellan orsak och verkan, dvs små orsaker kan ge stora effekter och tvärtom Problem befinner sig alltid i organisatoriska sammanhang; gränser och institutionella krafter påverkar Hur påverkar komplexitet en utvärdering? Utvärderingsansatsen behöver inte vara komplex bara för att det utvärderade problemet är komplext. Men det finns ingen handbok att utgå ifrån. Forss et al ger fyra råd: Vara konkret Vara uppfinningsrik Vara flexibel Vara specifik Vad innebär dessa råd för en utvärderare? Olika nivåer av komplexitet Det enkla Det komplicerade Det komplexa Utveckla och använd modeller Gradvis utveckling av processen Komplex utvärdering Behandla flera frågor, utveckla fokus gradvis Förändringsteorier kan vara till hjälp Resonera snarare än fälla ett omdöme Kunskap om det som utvärderas, sakkunskap betonas 7
Sviktboendet; RSMH Mölndal Samverkan aktörer Kamratstöd Tillfälligt boende för personer i akut kris Prova nya erfarenheter + Trygghet, blev snabbt accepterat + Professionalitet bland personer som återhämtat sig - Hot mot etablerade rutiner - Ingen fortsättning Sviktboendet I Mölndal Över 18, ej missbruk Lägenhet - Problem - Behov -Målgrupper -Mål Samverkantion A Interven- Kamratstödjare Stödformer som accepteras av personer med psykisk ohälsa Minskad akutvård, störningar, färre vräkningar Vräkningar ska minska och personer som sviktar i sin psykiska hälsa ska få ökat stöd Arbetslösa, återhämtade från psykisk ohälsa Lgh gm Mölndalsbostäder Besvärlig samverkan med vissa aktörer Lägenhet Begränsade möjligheter att nå ut Sviktboendet upphör efter projekttiden - Problem - Behov -Målgrupper -Mål Samverkan Intervention A Kamratstödjare Stödformer har accepterats av personer med psykisk ohälsa Minskad akutvård, störningar, färre vräkningar Vräkningar ska minska och personer som sviktar i sin psykiska hälsa har fått ökat stöd Arbetslösa, återhämtade från psykisk ohälsa Stödboende konkurrerar med kommunala verksamheter 8
Trend: EBP (evidensbaserad praktik) Vilka problem löser EBP? Det finns möjlighet att fatta beslut som bättre gagnar klienter och brukare Ökar förmågan att agera i en organisation Ökad tillgång till vetenskapligt skolad expertis Ökade möjligheter att göra sig av med arbetsmetoder som är ineffektiva och skadliga Ökar kunskapsnivån i en organisation, mindre dumhet och ignorans Tvingande i att skapa samarbete med brukare och deras organisationer vilket kan främja en demokratisering av det sociala arbetet Ett utvärderande och granskande arbetssätt blir legio Vilka problem löser EBP inte? Osäkerheten i praktiken om vad som ska betraktas som tillräcklig evidens Prioriteringsbehov mellan olika grupper och krav på resurser På vilket sätt som brukares kunskaper ska tillföras Att professionella hellre litar på det egna arbetssättet än på det som har vetenskaplig evidens Osäkerheten kring underlagens kvalitet Organiseringen av EBP lokalt, regionalt och nationellt Hur beslutsformer ska organiseras för att kunna utnyttja EBP ordentligt Kejsarens nya kläder 9
Vilka nya problem skapas? Osäkerhet kring den erfarenhetsbaserade kunskapens värde Kräver omfattande nysatsning på ledarskap i EBP Kostnader; ny organisering, anställning av experter, fortbildning m.m Ökad osäkerhet inte minskad Maktförskjutning från politiker till professionella; hot mot demokratin? Ökad top-down styrning av det sociala arbetets verksamheter Konflikter kring vilken kunskap som är giltig Krav på implementering av ny kunskap samt avlärande av metoder och rutiner som inte fungerar Vad kan en kunskapsbaserad socialtjänst innebära? Lokala utvärderingar Delta i forskningsprojekt Införande av systematiska bedömningsinstrument som ASI Kvalificerade uppföljningar Samarbete mellan kommuner i jämförande syfte Utvärderande synsätt Anställa medarbetare med forskar- och utredarkompetens Dialog och samarbete med externa aktörer Utveckla en kunskapsfrämjande kultur = organisationsstött evidensarbete Delta i nationella och internationella nätverk Att det finns viss tillgång till robusta evidensbaserade metoder Tack för ordet! Verner.Denvall@lnu.se 10