Slutredovisning av Uppdrag att utveckla kvaliteten inom äldreomsorgen (S2012/4535/FST)

1(7) Slutredovisning av Uppdrag att utveckla kvaliteten inom äldreomsorgen (S2012/4535/FST) Härmed lämnar Myndigheten för vårdanalys (Vårdanalys) sin slutredovisning av Uppdrag att utveckla kvaliteten inom äldreomsorgen (S2012/4535/FST). I föreliggande slutredovisning svarar vi på de frågor som ingår i regeringsuppdraget och lämnar myndighetens rekommendationer. De resultat och analyser som ligger till grund för redovisningen finns i sin helhet i PM 2015:1 Mätning av kvalitet i äldreomsorgen test och utvärdering av vinjettmetoden. Vårdanalys styrelse har tagit del av underlaget i PM 2015:1 och återrapporterar sina slutsatser och rekommendationer i denna slutredovisning. Introduktion Brukarundersökningar är ett vanligt instrument för att fånga upp användares åsikter om kvaliteten på välfärdstjänster som hälso- och sjukvård och äldreomsorg. Ett exempel är Socialstyrelsens undersökning Vad tycker de äldre om äldreomsorgen?, den så kallade nationella brukarundersökningen, som skickas till alla medborgare över 65 år med hemtjänst eller plats på ett äldreboende. Liksom alla undersökningsmetoder är den nationella brukarundersökningen förknippad med metodologiska utmaningar. En utmaning med undersökningens nuvarande utformning handlar om att möjliggöra rättvisande jämförelser mellan olika enheter respektive mellan olika år. Detta beror bland annat på att respondenternas svar påverkas av brukarnas personliga egenskaper, som hälsotillstånd eller preferenser, och därmed inte enbart avspeglar kvaliteten på de tjänster som undersöks. I Socialstyrelsens brukarundersökning tenderar exempelvis personer med dålig hälsa att vara mindre nöjda med äldreomsorgen än personer med bättre hälsa. Det är inte helt klarlagt om sämre hälsa leder till ökat missnöje eller om personer med ett högre omsorgsbehov i lägre grad får detta behov uppfyllt. Vi har i detta arbete utgått från att den sämre hälsan i sig påverkar respondenternas svar och därmed minskar jämförbarheten mellan enheter och över tid. Detta är inte ett problem om målet med undersökningen är att se om en grupp brukare är nöjda eller missnöjda med sin omsorg. Däremot skapar skillnaderna ett dilemma när undersökningen används för att jämföra kvaliteten mellan olika enheter eller över tid. Om svaren på brukarundersökningar påverkas av initiala skillnader mellan brukarnas egenskaper är det inte möjligt att dra några slutsatser om huruvida observerade resultatskillnader mellan enheter beror på skillnader i kvalitet eller om de snarare speglar sammansättningen av brukarna. Det kan därför behövas metoder som ökar jämförbarheten i resultaten. Vinjettmetoden är ett av flera möjliga alternativ för att komplettera den existerande brukarundersökningen i syfte att öka dess jämförbarhet. Vinjettmetoden har tidigare använts i enkätundersökningar inom bland annat statsvetenskap och socialt arbete samt av WHO:s World Health Survey för att jämföra hälso- och sjukvårdsystem i olika länder. Metoden går ut på att en traditionell enkätfråga kombineras med en eller flera korta historier, så kallade förankringsvinjetter, som exemplifierar det som frågan berör (se metodavsnittet Myndigheten för vårdanalys Besöksadress: Drottninggatan 89 registrator@vardanalys Bankgiro 784-8872 Box 6070, 102 31 Stockholm Tel vxl: 08-690 41 00 www.vardanalys.se Org.nr 202100-6412

2(7) nedan). Exempelvis kan en fråga om bemötande i äldreomsorgen kombineras med vinjetter som beskriver en situation med ganska bra bemötande och en situation med ganska dåligt bemötande. Situationerna som beskrivs genom vinjetterna fungerar som ett slags kalibreringsverktyg eller norm som alla respondenter ger sin syn på. Därefter betygsätts den egna situationen för samma fråga. Genom att alla som besvarar enkäten betygsätter samma exempelvinjetter blir det möjligt att med hjälp av statistiska metoder förstå hur olika personer bedömer en och samma situation. Med denna kunskap kan man justera för skillnader i svaren om den egna situationen som till exempel beror på olika tolkningar av frågor och skalor eller på personens livssituation. Genom förfarandet ska jämförbarheten mellan enheter och över tid kunna förbättras. Om uppdraget Mot bakgrund av ovanstående har Vårdanalys fått i uppdrag av regeringen (S2012/4535/FST) att ta fram en metod baserad på vinjetter för att analysera skillnader i vårdkvalitet utifrån ett brukarperspektiv. Syftet är att undersöka om vinjetter är en lämplig metod för att få mer jämförbara resultat i brukarundersökningar inom äldreomsorgen. Som en del av uppdraget ska Vårdanalys testa och utvärdera vinjettmetoden för traditionella frågor ur brukarundersökningen samt kombinera detta med fysiska hälsobedömningar som exempelvis greppstyrka och balansprov. I uppdraget ingår även att ställa frågorna till såväl brukare som anhöriga för att ta reda på hur vanligt det är att äldre är för sjuka för att kunna besvara frågorna. Genom jämförande analyser av hur brukare och anhöriga besvarat vinjettfrågorna ska Vårdanalys föreslå metoder för hur personal, anhöriga och andra närstående kan fungera som ställföreträdare för äldre. Slutligen ska resultatet enligt vinjettmetoden jämföras mot den befintliga brukarenkäten för att visa på eventuella systematiska skillnader eller likheter i resultat mellan de två. Metod Uppdraget var omfattande och utmanande, då det handlade om att utvärdera en ny och relativt oetablerad metod för att mäta äldreomsorgens kvalitet. Vi valde därför en explorativ forskningsansats med fokus på att utveckla och testa metoden under så verklighetsnära omständigheter som möjligt. Professor Mattias Elg vid Linköpings universitet har varit vetenskaplig ledare för studien och docent Bozena Poksinska samt tekn.dr. Peter Cronemyr har deltagit i arbetet (se PM 2015:1). På Vårdanalys har arbetet bedrivits av en projektgrupp bestående av tekn.dr. Jesper Olsson, utvecklingsansvarig, och ek.dr. Eva Hagbjer, projektledare. Studien genomfördes i flera steg från hösten 2012 till våren 2015 och omfattade både utveckling och flera testomgångar av en vinjettenkät. I ett första steg valdes, i samarbete med experter inom äldreomsorg, fem frågor från Socialstyrelsens brukarundersökning där resultaten ansågs svåra att jämföra. Utifrån frågorna utformade forskargruppen tillsammans med yrkesverksamma inom äldreomsorgen två vinjetter för varje fråga: allmän hälsa, ängslan, rörlighet, bemötande och kränkning av den personliga integriteten. Vinjetterna skulle vara konkreta och

3(7) Steg för utveckling och test av vinjettmetoden inom äldreomsorgen verklighetsnära samt visa en ganska bra respektive en ganska dålig situation. För att metoden skulle fungera som avsett ställdes även kravet att minst 90 procent av respondenterna skulle rangordna vinjetterna i avsedd ordning och att vinjetterna varken skulle betygsättas extremt högt eller extremt lågt. Detta säkerställde att alla respondenter tolkade vinjetterna på ett liknande sätt. Vinjetterna testades och justerades genom två pilotundersökningar där boende på två olika särskilda boenden fick besvara och lämna synpunkter på enkäten. Pilotenkäterna resulterade bland annat i att frågan om kränkning av den personliga integriteten uteslöts eftersom vi trots flera försök inte lyckades konstruera vinjetter som tolkades på ett liknande sätt av alla som besvarade enkäten. Efter etiskt godkännande genomfördes en större studie där den slutgiltiga versionen av vinjettenkäten skickades med brev till 3994 slumpmässigt utvalda personer som tillhörde målgruppen för Socialstyrelsens brukarundersökning, det vill säga äldre över 65 år med antingen hemtjänst eller särskilt boende. Studien hade en svarsfrekvens på 43 procent, vilket kan jämföras med svarsfrekvensen för Socialstyrelsens brukarundersökning 2014 som låg på 63 procent. Av dem besvarades cirka 80 procent av brukare som antingen svarade själva eller med hjälp av en anhörig, god man eller annan person. Motsvarande siffra för Socialstyrelsens brukarundersökning 2014 var drygt 50 procent. Frågorna om allmän hälsa, rörlighet och bemötande klarade minimikravet att minst 90 procent av respondenterna skulle rangordna vinjetterna i avsedd ordning. Under studiens gång gjorde vi vissa nödvändiga vägval som löpande stämdes av med Socialdepartementet. Framför allt gällde detta beslutet att inte använda fysiska hälsobedömningar i studien. Anledningen var att forskargruppen inte kunde hitta några vetenskapligt bevisade metoder för att koppla fysiska hälsobedömningar till enkätens resultat. Vi har därmed utgått från brukarnas självskattade hälsa, vilken har bedömts genom svar på frågor om allmän hälsa, rörlighet och ängslan (mental hälsa). Fördelen med detta är att vi fått mer tillförlitliga svar, nackdelen är att vi inte kunde analysera hur vinjettmetoden påverkar skillnader som har ett samband med de fysiska måtten på ohälsa.

4(7) Frågan om bemötande från studien Hanna är 87 år och sängliggande. Hon brukar bli törstig på natten, därför ställer personalen ett glas vatten på hennes sängbord på kvällen. Om vattnet tar slut kallar hon på nattpersonalen. Hon får oftast hjälp omgående, men det händer att personalen är upptagen och svarar "Vi hinner inte nu, men vi kommer så snart vi kan". Hur brukar Hanna bli bemött av personalen? Per som är 83 år får hjälp med personlig omvårdnad. Ibland kommer personalen för sent och kan inte stanna så länge. Per är missnöjd med detta och påtalar detta för personalen. Då svarar personalen du ska vara nöjd med den hjälp du får Hur brukar Per bli bemött av personalen? Hur brukar du bli bemött av personalen? Projektet kvalitetssäkrades genom en referensgrupp bestående av Ingrid Hjalmarson (Äldrecentrum), Cecilia Lindholm (Uppsala universitet) och Marika Wenemark (Region Östergötland & Linköpings Universitet). Vi tackar referensgruppen för viktiga synpunkter och bidrag till arbetet. Referensgruppen är inte ansvarig för rapportens analys och slutsatser. Vårdanalys slutsatser och rekommendationer har även stämts av med Sten Boström och Joakim Erdtman från PRO, Inga-Lott Thörnell och Birgitta Borg från SPF samt med Ulrika Ingelsson, ansvarig för Socialstyrelsens brukarundersökning om äldreomsorgen. Slutsatser Vårdanalys övergripande slutsats är att vinjettmetoden ökar jämförbarheten mellan olika personers svar genom att minska effekten av respondenternas hälsa och personliga egenskaper på brukarundersökningars resultat. Metoden har dock nackdelar som i dagsläget gör att den mindre lämplig att använda i undersökningar som riktar sig till äldre. Vinjettmetoden ökar jämförbarheten vid olikheter i självskattad hälsa Studien som presenteras i PM 2015:1 visar att vinjettmetoden gjorde att delar av den effekt som de svarandes hälsa och andra personliga egenskaper hade på deras svar försvann. Över lag ändrades ungefär hälften av svaren i undersökningen genom vinjettmetoden, vilket tyder på att det fanns en stor variation i hur respondenterna tolkade och besvarade frågorna. Vinjettmetoden bidrog därmed till ökad jämförbarhet. Framför allt minskade metoden sambandet mellan brukarnas hälsa och deras svar på frågan om bemötande, ett viktigt mått på äldreomsorgens kvalitet. På grund av stora variationer i hur individer bedömde vinjetterna är det inte möjligt att ta fram en standardiserad formel som anger hur stor effekt respondenternas hälsa har på deras tillfredsställelse med bemötandet. Det innebär att vinjettmetoden måste användas för

5(7) varje respondent om man vill öka jämförbarheten mellan deras svar, vilket ökar komplexiteten av och kostnaden för metoden. En jämförelse mellan vår undersökning och Socialstyrelsens brukarundersökning 2014 visar att vinjettmetoden resulterade i att fler personer ansåg sig må bättre än den ganska bra vinjetten (det vill säga, de mådde mycket bra enligt vinjettmetoden) än som angav att de mådde mycket bra i Socialstyrelsens brukarundersökning. Det kan vara ett tecken på att äldre hade lättare att säga att de mådde bättre än ett hypotetiskt exempel på en ganska bra hälsa än att ta steget att definiera sig själv som en person med mycket bra hälsa. För frågan om bemötande blev resultatet av jämförelsen istället tvärtom. Färre personer angav att de själva bemöttes bättre än den bra vinjetten (det vill säga att de alltid fick ett bra bemötande, enligt vinjettmetoden) än det antal som angav att de alltid fick ett bra bemötande i Socialstyrelsens brukarundersökning 2014. Detta kan tolkas som att många respondenter tvekade att klaga på bemötandet de fått i äldreomsorgen, men att de hade lättare att säga att de fått ett sämre eller lika bra bemötande som ett påhittat exempel. Vinjettmetoden ökar jämförbarheten mellan äldre och anhöriga som fungerar som ställföreträdare för äldre Vår undersökning besvarades av 49 procent äldre personer som fyllt i enkäten själva, 25 procent äldre som besvarat enkäten med hjälp av en anhörig och 17 procent anhöriga som besvarat enkäten åt en äldre person. I resterande 9 procent av fallen hade någon annan än en anhörig hjälpt till att besvara eller besvarat enkäten åt den äldre. Detta innebar att en högre andel enkäter fylldes i av de äldre ensamma eller med hjälp av någon annan än vad som är brukligt i Socialstyrelsens brukarundersökningar, där andelen legat på 52 68 procent under de senaste fem åren. Vår analys av enkätsvaren visade att anhörigas och äldres svar skilde sig genom att anhöriga gav äldreomsorgen lägre betyg, vilket även varit fallet för vissa av Socialstyrelsens brukarundersökningar. En del av denna skillnad beror sannolikt på att de äldre som behövde hjälp att besvara brukarundersökningen även var sjukare än övriga svarande och därför kunde förväntas vara mer missnöjda med äldreomsorgen. Dock tyder det faktum att anhöriga och äldre betygsatte vinjetterna olika på att de lägre betygen inte bara berodde på att anhöriga svarade för en person med sämre hälsa, utan även på att anhöriga och äldre bedömde äldreomsorgen annorlunda. Anhöriga som svarade åt en äldre betygsatte i genomsnitt den ganska bra vinjetten högre och den ganska dåliga vinjetten lägre än brukare som besvarade enkäten själva. Skillnaden i svar mellan anhöriga och äldre minskade emellertid när vinjettmetoden användes, vilket innebar att jämförbarheten mellan anhörigas och äldres svar ökade genom användning av vinjetter. Däremot är det svårt att avgöra hur stor del av minskningen som berodde på att vinjettmetoden minskade effekten av brukarnas hälsa och hur stor del som berodde på att vinjettmetoden minskade effekten av att det var en anhörig som besvarade enkäten.

6(7) Vinjettmetoden har flera tydliga nackdelar vid användning i äldreomsorgen Samtidigt fanns det även flera tydliga nackdelar med att använda vinjettmetoden i brukarundersökningar som riktade sig till äldre. För det första gjorde vinjetterna frågeformuläret mer komplext och tidskrävande att besvara. Detta är ett starkt argument mot att använda vinjettmetoden inom äldreomsorgen, eftersom många äldre har svårigheter att besvara även en traditionell brukarundersökning. Den avsevärt lägre svarsfrekvensen (43 procent) som uppnåddes i denna undersökning jämfört med Socialstyrelsens brukarundersökning 2014 (63 procent) är en tydlig indikation på att vinjettmetoden riskerar att ytterligare minska antalet äldre som kan svara. En stor del av bortfallet verkar dessutom ligga bland de äldre som inte kan besvara enkäten själva, eftersom andelen enkäter som besvarats av någon annan än den äldre själv halverades jämfört med Socialstyrelsens brukarundersökning 2014. Det är inte heller säkert i hur stor utsträckning det skulle underlätta att till exempel ersätta vinjettenkäten med intervjufrågor, eftersom Socialstyrelsen funnit att äldre som har svårt att besvara brukarundersökningar ofta har begränsad möjlighet att besvara enkäten även om frågorna ställs i en intervjusituation. Vinjettmetoden upplevdes även som egendomlig och nedlåtande av vissa svarande, vilket skapade obehag och irritation samt kan ha medverkat till den lägre svarsfrekvensen (se PM 2015:1). Detta kan delvis bero på att vinjettmetoden inte är en etablerad metod för enkätundersökningar och därmed inget som respondenterna hade stött på tidigare, men det kan även vara ett inneboende problem hos vinjettmetoden. Även om delar av problematiken skulle gå att åtgärda med en vidareutvecklad enkätmetodik är vår bedömning att betydande utmaningar kvarstår. Rekommendationer I dagsläget rekommenderar vi inte att vinjettmetoden används i nationella brukarundersökningar inom äldreomsorgen. Trots att metoden har flera fördelar i jämförelse med traditionella brukarundersökningar uppväger fördelarna inte de problem som finns. Vinjettmetoden ställer som ovan beskrivits högre krav på brukarnas förmåga att besvara brukarundersökningar, ökar risken för misstolkning av undersökningens syfte samt riskerar att leda till obehag och irritation hos de svarande. Tillsammans riskerar dessa faktorer att minska antalet äldre som kan och vill besvara brukarundersökningen. Avslutande reflektion Den konceptuella idén bakom vinjettmetoden tycks fungera, men metoden är i dagsläget inte tillräckligt utforskad och etablerad för att användas i stor skala. Framför allt visar studien på att det finns utrymme för att fortsatt studera hur väl metoden fungerar för olika typer av frågor, hur presentationen kan utvecklas för att minska risken för missförstånd och irritation bland respondenter samt hur olika grupper betygsätter vinjetterna. Detta är emellertid i första hand ett område för fortsatt forskning inom akademin.

7(7) Vårdanalys anser att fortsatt vidareutveckling av undersökningsmetodiken i Socialstyrelsens nationella brukarundersökning och jämförelser av nuvarande enkät med andra metoder är angeläget för att på sikt få fram verktyg som så långt möjligt återger brukarnas upplevelser av den vård och omsorg som ges. Det fortsatta arbetet på området bör ha en bred ansats och skulle bland annat kunna undersöka halvstrukturerade intervjuer, observationer med exempelvis pensionärsorganisationer som inspektörer samt metoder för att låta anhöriga redovisa både sina egna och den äldres åsikter i enkäten. Det kan även finnas alternativa sätt att göra resultaten för olika äldreomsorgsenheter mer jämförbara med varandra. Ett exempel är att tydligt ange den genomsnittliga hälsan hos brukarna vid varje enhet tillsammans med information om att lägre hälsa ofta innebär lägre tillfredsställelse med äldreomsorgens kvalitet. En sådan lösning skulle dock underlättas av ett nationellt system för att mäta brukares omsorgsbehov och vårdtyngd, såsom Socialstyrelsens projekt Äldres behov i centrum, ÄBIC. Beslut om denna slutredovisning har fattats av Myndigheten för vårdanalys styrelse. Projektledaren Eva Hagbjer har varit föredragande. I den slutliga handläggningen har analyschefen Christofer Montell deltagit. Stockholm 2015-03-25 Myndigheten för Vårdanalys Anders Anell Styrelseordförande Karin Tengvald Vice styrelseordförande Eva Fernvall Styrelseledamot Mef Nilbert Styrelseledamot Fredrik Lennartsson Myndighetschef Eva Hagbjer Föredragande