Verksamhetsutvecklingsprojekt Slutrapport Erfarenheter av BUVE som utvärderingsinstrument inom Vuxenhabiliteringen i Habilitering & Hälsa 2007-09-26 Marie Nordén Habiliteringschef
Sammanfattning BUVE (Brukarens Utvärdering av Vuxenhabiliteringens Effekter) är ett utvärderingsinstrument framtaget av en arbetsgrupp bestående av representanter från de olika vuxenhabiliteringarna inom Ha, VGR. BUVE är ett mätinstrument där bedömning av måluppfyllelse används för utvärdering av effekt/resultat. Instrumentet började användas hösten 2005 och har nu utvärderats med syfte att utvärdera användandet av BUVE för att ta reda på, om och i så fall vad, som behöver ändras i materialet för att utvärderingsmaterialet ska upplevas som meningsfullt. Utvärderingen visar att användandet av BUVE ser olika ut inom regionen. De svar som inkommit är dock samstämmiga oavsett hur mycket eller lite man arbetat med instrumentet. Utvärderingen visar också att projektmålen i nuläget inte är uppnådda och att personal inte anser BUVE vara ett professionellt instrument. Personalen vill arbeta med utvärdering av de insatser som ges och lämnar konkreta förslag på hur man kan gå vidare för att utveckla BUVE. Innehållsförteckning 1. Bakgrund...3 1. 1 Uppdrag för projektet... 3 2. Verksamhetsmål...3 3. Projektmål...4 3.1 Måluppfyllelse av projektmålen... 4 4. Projektförlopp och metoder...4 5.. Resultat...5 5.1 Sammanfattning av inkomna svar på de nio frågorna... 5 5.2 Dialog i verksamhetsområdena... 6 5.3 Resultat från de tre kompletterande frågor... 7 5.4 Sammanfattning av personalens erfarenheter och synpunkter... 8 5.5. Redovisning av antal gjorda utvärderingar med BUVE under år 2006... 9 5.6 Implementeringen av BUVE i verksamheten, svar från habiliteringscheferna...10 6. Kommentarer och slutord...10 6.1 Projektledarens kommentar...10 6.2 Slutord...10 2
1. Bakgrund Inom habiliteringsverksamheten i Sverige har det saknats gemensamma instrument för redovisning av effekt/resultat av Vuxenhabiliteringens insatser. Då vi som verksamhet har redovisningskrav regionalt från Västra Götalandsregionen (beställarnämnderna) och nationellt (NYSAM) har en arbetsgrupp inom Ha, bestående av representanter från de olika vuxenhabiliteringarna utarbetat ett utvärderingsinstrument, BUVE (Brukarens Utvärdering av vuxenhabiliteringens effekt.). BUVE är ett utvärderingsinstrument där bedömning av måluppfyllelse används för utvärdering av effekt/resultat. I BUVE finns ett antal målområden som beskriver inom vilka områden Vuxenhabiliteringen kan ge stöd till brukaren i vardagen. Samtliga insatser som ges från Vuxenhabiliteringen för att uppnå de överenskomna målen ryms inom målområdena. Områdena är inte skarpt avgränsade från varandra så i de fall ett mål passar in i flera målområden väljs det område som är mest relevant. Det skall kunna användas oavsett typ av individuella mål, insatser och omfattning. Det är brukarens upplevelse som ska mätas. Instrumentet bygger på erfarenheter av användningen av REAL och på ICF. I arbetet med framtagandet av BUVE har gruppen vävt samman: Kunskap om bakgrunden till REAL, som bygger på forskning, litteratur och teori samt synpunkter från föräldrar och teampersonal inom barn och ungdomshabilitering. Kunskap om och erfarenhet av stöd till personer med funktionshinder inom vuxenhabilitering. Kunskap om och erfarenhet av utvärdering av habiliteringsplaner inom vuxenhabilitering Kunskap om ICF BUVE har prövats under 2 år (från hösten 2005) och under tiden har arbetsgruppen samlat in frågor från kollegor och skickat ut svar. Under 2006 gjorde arbetsgruppen en ändring av BUVE:s målområdesbilder. 1. 1 Uppdrag för projektet Syftet är att ta reda på om BUVE är ett instrument för redovisning av vuxenhabiliteringens effekter/resultat och att utvärdera användandet av BUVE för att ta reda på, om och i så fall vad, som behöver ändras i materialet för att utvärderingsinstrumentet ska upplevas som meningsfullt. 2. Verksamhetsmål BUVE ska vara ett instrument för redovisning av vuxenhabiliteringens effekter/resultat och skall: Kunna användas av alla brukare Uppfattas som meningsfullt av både brukare och personal Vara lätt att använda i det löpande arbetet Ge möjlighet till jämförelser över tid, både på individ och på verksamhetsnivå 3
Beskriva effekter av insatser för olika mål och kunna ge en helhetsbild av vuxenhabiliteringens effekter samt ge möjlighet till jämförelser mellan olika vuxenhabiliteringar. b. Vi har användbara frågor som ger oss svar på hur brukaren upplever processen 3. Projektmål Ha kunskap om BUVE - har kunnat användas av alla brukare - har uppfattats som meningsfullt av både brukare, anhöriga och personal - av personalen upplevs vara lätt att använda i det löpande arbetet - ger möjlighet till jämförelser över tid, både på individ och på verksamhetsnivå - beskriver effekter av insatser för olika mål och kunna ge en helhetsbild av vuxenhabiliteringens effekter samt ge möjlighet till jämförelser mellan olika vuxenhabiliteringar. 3.1 Måluppfyllelse av projektmålen Från vuxenhabiliteringarna framkom att de uppsatta projektmålen inte uppfyllts. - Personal upplever inte att det är möjligt att använda BUVE till alla brukare. Materialet behöver anpassas. - Personal uppfattar inte BUVE meningsfullt då man upplever att instrumentet är missvisande då det inte mäter insatsens effekt utan brukarens nöjdhet med måluppfyllelsen. Flera brukare har sagt sig inte förstå hur de ska svara. - BUVE upplevs inte lätt att använda i det löpande arbetet. - Personal tror att BUVE kan ge möjligheter till vissa jämförelser över tid, både på individ och på verksamhetsnivå men undrar vem eller vilka det är som ska få ta del av resultaten och hur de ska användas. - Då instrumentet inte används fullt ut i regionen går det i dag vare sig att beskriva effekterna av insatser för olika mål eller ge en helhetsbild av vuxenhabiliteringens effekter. Det heller inte möjligt att göra jämförelser mellan olika vuxenhabiliteringar i dagsläget. 4. Projektförlopp och metoder Inledningsvis träffade jag BUVE- arbetsgruppen som informerade om sitt arbete. Gruppen arbetade fram nio frågor gällande BUVE som man önskade få svar på, varav en var riktad till teamsamordnarna. För att all personal som arbetar med BUVE, och som ville dela med sig av sina erfarenheter av att använda instrumentet, skulle få denna möjlighet, mejlade jag ut frågorna till samtliga personal, via respektive habiliteringschef. Svar inkom från 14 av 16 team i regionen. 4
Jag redovisade inkomna svar för BUVE-arbetgruppen som önskade komplettera med tre frågor. Därefter träffade jag personal inom respektive verksamhetsområde för att redovisa inkomna svar och föra en dialog. Jag ställde de tre kompletterande frågorna som man inkom med skriftliga svar på senare. Frågor har ställts till habiliteringscheferna om hur man implementerade BUVE och hur många utvärderingar som gjorts. 5.. Resultat 5.1 Sammanfattning av inkomna svar på de nio frågorna 1. Hur har blankettens utformning fungerat? Personal uppger att man upplever BUVE-blanketten svår och krånglig. Den fungerar rent praktiskt men har varit svår att förklara framförallt för personer med utvecklingsstörning eller kognitiva svårigheter. Brukare har uttalat att de inte förstår hur de ska svara och varför. Störst svårigheter har det varit med skalstegen och den totala måluppfyllelsen. 2. Har BUVE-blanketten varit ett stöd i habiliterings-/-arbetsprocessen? Blanketten i sig har inte upplevts vara ett stöd habiliteringsprocessen. Däremot har BUVE bidragit till att man inom teamen tvingats till diskussion om hur man formulerar utvärderingsbara mål i habiliteringsplanen. Många uppger att de har påtagliga svårigheter med att formulera mål i arbetet med BUVE. BUVE har även fört med sig många och långa teamdiskussioner kring svåra frågor som exv. brukarens faktiska förutsättningar i utvärderingsprocessen, vad kan habiliteringen göra för nytta? 3. Är målområdena relevanta för att gruppera brukarens behov? En klar majoritet av personalen tycker att målområdena i BUVE är relevanta för att gruppera brukarens behov men det försvårar när målområdena inte överensstämmer helt med ICF. 4. Beskriver målområdena de områden inom vilka habiliteringspersonal kan ge brukaren stöd? Den övervägande uppfattningen är att målområdena beskriver inom vilka områden habiliteringspersonal kan ge stöd och att de tydliggör för andra vad man gör. 5. Vilka är dina erfarenheter av målformulering i samband med arbetet med BUVE? Teamen anser att man blivit bättre på att formulera mål. 6. Stämmer anvisningarna med praktiken? Vad saknas? (BUVE:s bilaga 1) 5
Anvisningarna till instrumentet stämmer bra med praktiken. 7. Vilken användning har du haft av dokumentet Förklaringar till målområdena i BUVE? (BUVE: s bilaga 2) Teamen uppger att man haft en god användning av dokumentet Förklaringar till målområdena i BUVE. 8. Har det varit möjligt för brukaren att ge svar på i vilken grad målen i habiliteringsplanen sammantaget uppnåtts? Det har inte varit möjligt för brukaren att ge svar på i vilken grad målen i habiliteringsplanen sammantaget uppnåtts. Det har varit för avancerat och upplevts svårt, krångligt och närmast omöjligt. 9. Har du som teamsamordnare synpunkter på årsredovisningsblanketten? Generellt sett har teamsamordnarna inga synpunkter på årsredovisningsblanketten förutom att någon anser den något tillkrånglad. Däremot uppger några att de inte känner till blanketten. 5.2 Dialog i verksamhetsområdena I dialogen med personal, där respektive habiliteringschef deltog, lyfte personal fram ytterligare erfarenheter, åsikter, frågor och förslag. Det som kom upp i dialogmötena redovisas nedan under följande rubriker Om mål: Målen är svåra att sätta. Målformuleringen slår tillbaka på BUVE resultatet. Det finns ingen parallellitet mellan BUVE:s målområden och hab.plansmallen. Målområdena är professionernas stöd. Etiska aspekter: Det är fel att vi gör utvärderingen tillsammans med brukaren brukaren är i en beroendesituation. Vi mäter inte det vi efterfrågar En del brukare har inte förmåga/möjlighet att tycka. Tidsperspektivet är en svårighet, brukarna kommer inte ihåg. Känns fel att vi tillsammans med brukaren gör en utvärdering av det som vi gjort själva. Svårt för brukare med kognitiva svårigheter. Det finns ingen vetenskaplig grund i materialet. Svårigheter: 6
BUVE fungerar inte i praktiken. Habiliteringsinsatsen är beroende av att förutsättningen finns, t.ex. bassängträning gick inte att genomföra pgr av trycksår och utvärderingen visar att habiliteringen inte uppnått målet. Habiliteringsplan är upprättad men brukaren tackar sedan nej till insats. När jag som professionell bedömer att målet är uppfyllt men brukaren inte tycker det. När det övriga nätverket inte fungerar. 8 av 10 insatser styr vi inte över själva, vi är beroende av flera aktörer, t.ex. vid utprovning av ny rullstol Det blir svårare och svårare ju längre tid vi använder BUVE. Instrumentet fungerar inte i praktiken. Frågor/tankar Vad är det vi mäter med BUVE? Förstår inte syftet med Ts-blanketten. Vad ska den användas till? Hur ska vi kunna mäta effekter? Vad är det vi utvärderar? Vad är det vi mäter? Berättar materialet det vi vill veta? Är syftet med BUVE att brukaren själv ska kunna göra en kvalitativ bedömning? Är syftet med BUVE att visa för politikerna vilken kvalitet vårt arbete har? Förslag: Vill få en röd tråd med ICF hela vägen. Målområdena finns beskrivna i anvisningarna. Vore bra om vi kunde göra utvärderingsbara mål Lägg utvärderingen på någon annan. Brukaren står i beroendeställning till oss. Vore bättre om vi kunde lämna blanketten till brukaren och att någon annan hjälper brukaren att fylla i. Vi vill att utomstående genomför utvärderingen. Vi vill ha ett korrekt instrument. Lägg ut på ett universitet att ta fram ett instrument. Vi vänder oss mot den teoretiska bakgrunden. Dra nytta av den expertis som finns. I tidningen, Allt om hjälpmedel 1/07, finns en artikel om Pictostat-enkäter. Enkäter som besvaras på dator med pictogrambilder. 5.3 Resultat från de tre kompletterande frågor Efter dialogen i verksamhetsområdena kom följande material in som svar på de tre tilläggsfrågorna: 1. Vad vill vi tillägga? Vi upplever att BUVE mäter brukarens upplevelser mer än det mäter vuxenhabiliteringens effekter. 7
Det fungerar inte att översätta ett instrument från barnhabilitering till vuxenhabilitering. Orsaken till missnöje kommer aldrig fram. Vi vill ha möjlighet att förbättra de orsakerna. Nöjdhetsenkäten ihop med våra yrkesmässiga utvärderingsinstrument skulle kunna vara en bra kombination. BUVE känns väldigt svåranvänt men vi använder det - både inom gruppen "utvecklingsstörd" och "Asperger" som har oerhört svårt att förstå graderingarna. Inte lättanvänt hos gruppen normalbegåvade heller! 2. Vår syn på att använda utvärderingsinstrument inom verksamheten. Alla verksamheter bör utvärderas för att kunna få kunskap om förbättringsområden. Viktigt att det finns utvärderingsinstrument. Är positiva till att använda utvärderingsinstrument. Det är viktigt att mäta det man säger att man ska mäta. Är positiva till att använda utvärderingsinstrument. Men det är av vikt att det är ett instrument som fungerar, dvs. ger svar på det vi önskar veta. Vi är alla positiva till utvärderingsinstrument och tycker det är viktigt att utvärdera verksamheten. Det utvärderingsinstrument som ska användas måste ha validitet och vara reliabelt, eller utformat som t.ex. Fokusgrupper. Vi tycker det är viktigt och angeläget att kunna utvärdera det vi gör, men med en utvärderingsmetod som mäter det vi avser mäta. Det är självklart att vi ska ha utvärderingsinstrument. BUVE ensamt säger i princip ingenting. När vi nu enl. HSL ska arbeta utifrån vetenskap och beprövad erfarenhet så ska effekterna också värderas utifrån instrument som är framtagna enl. vetenskap och beprövad erfarenhet. Vi bejakar krav på utvärdering Att ett verktyg som ska passa alla gör att mycket kvalitet går förlorad. 3. Hur skulle vi kunna göra? Sök efter andra utvärderingsinstrument som är beprövade. Omarbeta BUVE utifrån ICF. Förutsättningen är dock att det framgår att man inte mäter effekt av vuxenhabiliteringens insatser utan måluppfyllelse. Utvärderingsinstrument kan väljas beroende på profession och sammanhang, därav vore det bra med en lista på olika utvärderingsmodeller att använda. 5.4 Sammanfattning av personalens erfarenheter och synpunkter Utvärderingen av BUVE som mätinstrument visar att personalen anser att BUVE är ett oprofessionellt instrument då det inte mäter insatsens effekt på ett objektivt sätt utan i stället brukarens subjektiva uppfattning om måluppfyllelsen. 8
Man vänder sig mot att instrumentet saknar vetenskaplig grund och att det är svårt att använda i praktiken, framförallt tillsammans med personer som har en utvecklingsstörning eller kognitiva svårigheter. Personalen är positiv till att använda utvärderingsinstrument och anser att utvärderingar ska göras men påtalar att det är av stor vikt att det/de utvärderingsinstrument som används är framtagna enl. vetenskap och beprövad erfarenhet för att instrumentet ska mäta det man avser mäta. Att både vara ansvarig behandlare och den person som gör utvärderingen tillsammans med brukaren tycker man är direkt fel då brukaren är i beroendeställning. Därför föreslår man att utvärderingen genomförs av någon utomstående. I dagsläget ställer sig personalen undrande och direkt frågande till varför de ska efterfråga brukarens subjektiva uppfattning då brukarna allt för ofta inte har möjlighet att förstå frågorna eller vad svaren ska användas till. Personalen undrar också vad svaren ska användas till och vem det är som efterfrågar dem. Generellt kan sägas att utvärderingen av BUVE avspeglar problemet med att det inte finns en röd tråd som löper genom hela verksamheten och över samliga verksamhetsområden. Personalen har svårt att få in BUVE på ett naturligt sätt i sitt arbete då man inte kan se den röda tråden. BUVE:s målområden överensstämmer inte med ICF:s domäner och därtill ser det olika ut mellan verksamhetsområdena vad gäller kopplingen till JIII och dess sökord. Utvärderingen visar dock att personalen är positiva till att utvärderingar görs och anser att de insatser som ges ska utvärderas. BUVE har utifrån alla de diskussioner som instrumentet fört med sig bidragit till att många team anser sig vara bättre på att formulera mål i dag än tidigare. Det är emellertid det enda positiva som personalen kan se att BUVE har medfört. 5.5. Redovisning av antal gjorda utvärderingar med BUVE under år 2006 Tabellen tydliggör hur olika mycket man använt BUVE inom regionen. Siffrorna gäller för perioden januari december 2006 Enhet Befintliga habplaner Antal BUVEutvärderingar Fyrbodal 336 65 19 % Skaraborg Södra Älvsborg 319 146 45,8 % Göteborg & Södra Bohuslän 621 25 4 % *Inga uppgifter har inkommit från Skaraborg, men man arbetar med BUVE. % BUVE- utvärderingar av befintliga habplaner 9
5.6 Implementeringen av BUVE i verksamheten, svar från habiliteringscheferna För att få vetskap om hur BUVE materialet introducerades till personalen ställdes frågan till samtliga 8 habiliteringschefer: - På vilket sätt introducerade/implementerade du som chef BUVE för din enhet? Sju av åtta chefer har svarat. Sex av sju chefer berättar att de kontaktade deltagare från BUVE-arbetsgrupp och bjöd in dem till sin verksamhet. Tillsammans, chef och BUVE-representant, introducerade man materialet för personalen. En chef har ensam introducerat materialet för sin enhet. Samtliga sju chefer avsatte särskild tid t.ex. APT-tid, arbetsdag, för att informera personalen. 6. Kommentarer och slutord 6.1 Projektledarens kommentar Då personalen tydligt säger att de inte vill arbeta vidare med BUVE i nuvarande form är mitt förslag att man tar fasta på de förslag som givits av personalen om utveckling av ett mer vetenskapligt baserat utvärderingsinstrument och använder sig av professionella kontakter så att BUVE ges möjlighet att vara ett mer lättanvänt instrument. Därtill ser jag att det är av stort värde att ansvariga chefer ger samtliga personal en grundläggande information om vad BUVE efterfrågar och syftet med detta. Likaså är det av stor vikt att personalen vet vem som efterfrågar uppgifterna, och hur de ska användas. 6.2 Slutord I resultatdelen har jag redovisat vad personalen svarat och vad de tycker. Jag har inte satt in svaren i sammanhang eller tänkt kring förklaringar. Sist men inte minst ett stort tack till Er alla som gjort utvärderingen möjlig genom att Ni har inkommit med svar, deltagit i samtal och därtill lämnat förslag till förbättringar. 10
Habilitering & Hälsa habiliteringochhalsa@vgregion.se