Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor

Transkript

1 Marika Wenemark Centrum för hälsa och vårdutveckling Region Östergötland Samhällsmedicin Institutionen för medicin och hälsa Linköpings universitet Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 1

2 Krav på kvalitetsregister Risker med detta krav? Dåliga frågor Fel frågor För många frågor Gammalmodiga frågor 2

3 Nya krav på kvalitetsregister Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 3

4 Förändrade förutsättningar Teknisk utveckling Webbundersökningar Mobiltelefoner och paddor Webbpaneler Nya testmetoder Studierna Fler, större och snabbare studier Studier med flera syften Synlig användning t.ex. rankinglistor Människorna Har lärt sig att tacka nej Högre krav för att delta Stor variation i utbildning och språkkunskaper Större medvetenhet om användning 4

5 Response rate (%) 100 Response rates in Riks-SOM Källa: SOM-institutet, Göteborgs Universitet Varför är svarsfrekvensen så viktig? Vi vill undvika mätfel Vi vill spara pengar Kvalitetsindikator 5

6 Sambandet mellan bias och bortfall i 30 studier. Groves R M Public Opinion Quarterly 2006;70: Idéer om hur man kan höja svarsfrekvensen Prolonged interaction means maintaining a conversation long enough to identify the reasons for not wanting to participate and use effective persuaders to counter argue those reasons. Ofta är det bättre att lägga resurserna på ett mindre utskick där man har resurser att jaga in svar. Hardest-to-reach respondents are those who refused the interview at least twice before complying and/or required 21 or more calls to complete the interview. 6

7 Svarsfrekvens 2002 och % 70% 60% 50% 40% 30% % 10% 0% Kvinnor Män Östgötens psykiska hälsa Slumpmässigt urval år Anonym enkät Respondentfokus 7

8 Män Kvinnor Andel som svarat på öppna frågan Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 8

9 Traditionell enkätmetodik Enkelt språk En fråga i taget Entydiga frågor Undvik ledande frågor Undvik (dubbla) negationer Undvik hypotetiska frågor Den kognitiva processen för att svara på en fråga (Tourangeau 2000) Förstå frågan Skaffa fram informationen Bedömning och beräkning Avge svaret 9

10 Vilken strategi skulle du använda? Hur länge har du arbetat på din nuvarande arbetsplats? Hur gammal var du när du fick barn första gången? Hur gammal var du när du fick barn senaste gången? Samarbetet med min chef har blivit bättre Instämmer helt Instämmer i hög utsträckning Instämmer i liten utsträckning Instämmer inte alls Hur har samarbetet med din chef förändrats? Mycket bättre Lite bättre Oförändrat Lite sämre Mycket sämre Bättre Lite bättre Lite lite bättre Oförändrat/sämre 10

11 Varför används de då så mycket? Samma skala kan användas för alla påståenden Layouten kan se lätt och smidigt ut Lägre kostnad (papper, intervjutid etc.) Tradition (Revilla, Saris & Krosnick 2014) Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 11

12 The questionnaire is proven valid and reliable Hur kan man testa sitt formulär? Läsa högt metoden Kognitiva intervjuer Eye-tracking Paradata Pilotstudie Usability testning Psykometriska metoder Fokusgrupper 12

13 Läsa högt metoden Lika bra Nästan lika Mycket Inte som vanligt bra som mindre än alls vanligt vanligt Jag har kunnat skratta och se tillvaron från den ljusa sidan Tankar på att göra mig själv illa har förekommit Kognitiva intervjuer Tänka högt protokoll (think aloud) Retrospektiva hur tänkte du frågor 13

14 Hur bedömer du informationen du har fått när det gäller följande: Mycket Ganska Ganska Mycket Inte bra bra dålig dålig aktuellt Undersökningar/provtagningar [ ] [ ] [ ] [ ] [ ] Cancersjukdomen [ ] [ ] [ ] [ ] [ ] Förväntad prognos [ ] [ ] [ ] [ ] [ ] Kognitiva intervjuer Moralisk stress (Hälso- och sjukvårspersonal i barnsjukvård) 1. Jag ger inte bästa möjliga vård på grund av påtryckningar från ledningen att spara. 2. Jag ser att vårdpersonal ger falska förhoppningar till föräldrar. Frekvens Negativ påverkan Aldrig Mycket ofta Ingen Mycket stor Jag vidtar inga åtgärder när jag upptäckt att en läkare eller sjuksköterska har gjort ett medicinskt fel som hen inte rapporterat. 8. [Läser högt] Jag vidtar inga åtgärder. Hur ofta har jag upplevt? [Läser flera ggr]. Jag vidtar inga åtgärder hur ska jag svara om jag vidtar åtgärder blir väl aldrig då, för jag skulle väl säga till. Negativ påverkan, hade ju påverkat mig negativt om jag inte hade sagt något. Men jag skulle vidta åtgärder vet inte negativ påverkan då [Hoppar över påverkan]. 14

15 Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 15

16 Self-determined motivation Amotivation Controlled extrinsic motivation Autonomous extrinsic motivation Intrinsic motivation Ser inget värde eller har inte kompetens att klara uppgiften Deltar för att få en extern belöning eller för att undvika skam/skuldkänslor Deltar för att studien kan få ett värde för samhället eller för dem själva Deltar för att det är spännande, kul eller intressant Påminnelser Belöningar Hot Gott syfte Nytta Förtroende Reflektion Feedback Gamification Förutsättningar för autonom motivation Autonomi Kompetens Relation - Förtroende 16

17 Respondenten Kognitiv förmåga Interesse för ämnet Attityd till undersökningar Attityd till forskning Samhällsengagemang Frågeformuläret Relevant ämne Kognitiv funktion Intressanta frågor Inbjudande frågor Tydlig layout Insamlingsmetod Tydligt syfte Nytta och värde för samhället Respekt och förtroende Vänlig kommunikation Anonymitet AUTONOM MOTIVATION Beslut att delta Engagemang Upplevelse av tillfredsställelse Svarsfrekvens Datakvalitet Vilja att delta igen Ungdomarnas bild av enkäter De tycker att det är konstiga frågor De får aldrig veta varför de ska svara på frågorna De får aldrig se några resultat eller konkreta förändras 17

18 Jag skulle önska att man kan göra enkäter som får ungdomarna att känna sig starka, normala och se möjligheter Delaktiga ungdomar Följdfrågor till alla Möjligheter att skriva själv (varför frågor) Varierade och roligare frågetyper Tolkningshjälp i nästa års enkät 18

19 Vad skulle vara en bra vision för registerenkät? Patienterna ska känna förtroende att bidra med värdefull informationen som hanteras korrekt och används för att förbättra framtidens vård. 19

20 Socialstyrelsens brukarundersökning om äldreomsorgen Befolkningsenkäten Hälsa på lika villkor Nationell patientenkät Kommunenkät om nöjdhet med Prostataregistret RIKS-Stroke RIKS-Svikt RIKS-Sår RIKSHÖFT Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor 20

21 Etiska dilemman Är det oetiskt att bjuda in svårt sjuka människor att delta eller är det oetiskt att inte ge dem möjligheter att göra sin röst hörd? Kan vi räkna med att de som avbryter en webbenkät vill bidra med de svar de gett eller ska vi utgår ifrån att de inte vill medverka alls? Är det oetiskt att använda registerdata för att identifiera en mördare eller är det mer oetiskt att inte göra det med risk för att personen begår fler brott? Etisk datainsamling Värna autonomin Respektera respondenternas tid Låt respondenterna få komma till tals och lämna rättvisande svar Inga dolda motiv Värna förtroendet välplanerad studie 21

22 Etisk datahantering & analys Hantera data med sekretess Använd resultaten Använd data på det sätt du sagt Värna förtroendet rättvisande resultat 22

23 PROM & PREM i register? Kan du lyfta armen efter operation? Hur bedömer du din förmåga att tugga och svälja mat? Är du nöjd med vården? Hur bedömer du bemötandet av läkaren? Är det någon skillnad att lagra PROM och PREM i nationella kvalitetsregister? Kan vi garantera att data inte missbrukas nu eller i framtiden? 23

24 Välkommen till övervakningssamhället! Kristoffer Gunnartz Välkommen till övervakningssamhället Svenska exempel på ändamålsglidning PKU registret (lagrade DNA från nästan alla födda sedan mitten av 1970-talet) Vägtullarna i Stockholm Medicinska journaler till arbetsgivare och försäkringsbolag 24

25 Östgöta Correspondenten Integritet är som syre. Något som är livsviktigt för alla men som få saknar innan det berövas dem Per Ström 25

26 Förutsättningar för rättvisande patientmått i kvalitetsregister Generella förutsättningar Bra frågor Testade frågor Motiverande frågor Etiska frågor Frågor att ställa om PROM data i register? Hur har patienterna tillfrågats? Hur ser enkäten ut? Hur har de olika frågorna validerats? Vilka kvalitetskontroller görs av data? Vilka kvaliteter/brister har resultaten? 26

27 Att uppmärksamma i analysen? Partiellt bortfall Skeva fördelningar (ganska bra) Tecken på satisficing (genvägar att svara) Kommentarer från respondenter Om du ska använda ett mätinstrument som inte är testat på patienter så överväg att testa själv. Ett par kognitiva intervjuer kan vara till stor hjälp när du ska analysera och tolka resultaten. Återför såväl kvaliteter som brister till registeransvariga så att kunskapen om data kan tas tillvara och vara stöd för andra eller som underlag för en eventuell revidering. 27

28 Om testning i en svensk lärobok: När enkätformuläret verkar klart är det dags att testa om så är fallet. Ett sådant test sker genom att prova enkäten på utomstående innan den distribueras. Det är ganska enkelt att låta några kursare, kollegor eller bekanta fylla i var sitt enkätformulär. 28

29 Varför respondenten i fokus? Låta respondenter att bli medskapare av värdefull, rättvisande information Återskapa förtroendet för enkätundersökningar Utan respondenter ingen studie 29