Kvalitetsbarometern 2003:2. Validering och reliabilitetstestning. Jan Mårtensson Kjell Lindström. Primärvårdens FoU-enhet

Transkript

1 Qulturum Rapport Kvalitetsbarometern Validering och reliabilitetstestning Jan Mårtensson Kjell Lindström Primärvårdens FoU-enhet 2003:2

2 Författare: Kjell Lindström, Med Dr, distriktsläkare Primärvårdens FoU-enhet JÖNKÖPING Tfn Jan Mårtensson, Med Dr, sjuksköterska Primärvårdens FoU-enhet JÖNKÖPING Tfn

3 Sammanfattning Utvecklingsenheterna i Landstinget i Jönköpings län har samverkat i att utarbeta ett verktyg - Kvalitetsbarometern - som analyserar hur långt en verksamhet kommit i sitt systematiska förbättringsarbete. Syftet med Kvalitetsbarometern är att identifiera en verksamhets styrkor och svagheter i förbättringsarbetet, att kunna jämföra olika verksamheter, att göra jämförelser mellan olika personalkategorier och att kunna följa utvecklingen vid en verksamhet genom upprepade mätningar. Kvalitetsbarometern baseras på strukturerade, individuella intervjuer med 6-8 medarbetare från olika yrkeskategorier som valts som representanter för den verksamhet som analyseras. Intervjuerna innehåller 31 frågor inom 12 områden. Syftet med denna studie var att testa mätinstrumentet Kvalitetsbarometern gällande validitet och reliabilitet. För att testa Kvalitetsbarometern med avseende på validitet och reliabilitet har metoderna Delfitekniken och interbedömarreliabiliteten använts. Delfitekniken är en metod att strukturera kommunikationen mellan en grupp experter via en serie av upprepade frågor med syftet att uppnå den mest tillförlitliga samstämmigheten. Interbedömarreliabiliteten testades via inspelade intervjuer som sedan bedömdes individuellt av fyra personer med stor erfarenhet av Kvalitetsbarometern som intervjuinstrument. Alla frågor graderades i fem svarsalternativ och det bedömdes som hög grad av interbedömarreliabilitet om ingen av de fyra bedömarna i gruppen avvek mer än ett steg i svaren. Redan vid utskick ett bedömde de 25 ingående experterna att frågorna generellt var av stor relevans (medelvärde 8,69 på en skala från 0-10). Ytterligare förbättring erhölls efter justering av frågorna. Interbedömarreliabilitet var god, 84,6% (66,6-96,7%). Denna studie visar att Kvalitetsbarometern har god validitet och god interbedömarreliabilitet när vana intervjuare använder metoden.

4 Innehållsförteckning SAMMANFATTNING BAKGRUND 1 SYFTE 3 METOD OCH MATERIAL 3 Interbedömarreliabilitet 3 RESULTAT 4 Validering 4 Bearbetning av utskick 1 5 Bearbetning av utskick 2 5 Interbedömarreliabilitet 6 DISKUSSION 9 Validitetstest 9 Reliabilitetstest 10 SLUTSATS 10 REFERENSER 11 BILAGA 1 Frågor om kvalitetsarbete BILAGA 2 Sammanställning av kvalitetsarbete

5 Bakgrund Kvalitetsarbetet eller det systematiska förbättringsarbetet har gjort sitt intåg i hälsooch sjukvården det senaste decenniet (1). Till en början fanns många skeptiker och metoderna var ofullständiga och krångliga. På senare år har förbättringsarbetet blivit mer accepterat och metoderna är nu mer pedagogiska och betydligt enklare. Men fortfarande finns många hinder och svårigheter att övervinna (2). Det råder brist på både tid och kunskaper och inte minst brist på bra och enkla mätmetoder. Att formulera mål och följa upp genom mätningar är centralt i allt förbättringsarbete. Man måste kunna svara på frågan: "Ledde förändringen till den förbättring vi ville uppnå?" Ansträngningar görs på många håll för att få igång ett systematiskt förbättringsarbete i hälso- och sjukvården. Man vet inte säkert vilka metoder som fungerar bäst eftersom utvärderingar och uppföljningar av dessa satsningar saknas. Detta beror till viss del på att det inte finns lämpliga uppföljningsmetoder. I England pågår utvecklingen av ett instrument (Maturity Matrix) vars syfte är att hjälpa en enhet med en egenskattning av kvalitetsarbetet. I Danmark och Finland används metoder för att värdera kvalitetsarbetet på individnivå och kommunnivå. I Jönköpings läns landsting görs sedan mitten av 90-talet stora satsningar på att etablera ett systematiskt förbättringsarbete i alla verksamheter. Hälso- och sjukvårdslagen, Socialstyrelsens föreskrift om kvalitetssystem, Riksdagens prioriteringsbeslut och QUL:s 13 grundläggande värderingar har varit vägledande i arbetet. Olika metoder har använts och verksamheterna har lyckats olika bra utan att man egentligen vet varför. Det har därför bedömts angeläget att följa upp och analysera de satsningar som gjorts på verksamhetsnivå och identifiera olika verksamheters styrkor och svagheter i förbättringsarbetet. Landstingets utvecklingsenheter har samverkat i att utarbeta ett verktyg - Kvalitetsbarometern - som analyserar hur långt en verksamhet kommit i sitt systematiska förbättringsarbete. Utvecklingsarbetet har pågått under flera år via en arbetsgrupp som testat och successivt förbättrat metoden i samråd med experter och personal i verksamheten. Syftet med Kvalitetsbarometern är att identifiera en verksamhets styrkor och svagheter i förbättringsarbetet, att kunna jämföra olika verksamheter, att göra jämförelser mellan olika personalkategorier och att kunna följa utvecklingen vid en verksamhet genom upprepade mätningar. I första hand är metoden avsedd att ge verksamheten och verksamhetsledningen information om förbättringsarbetet vid enheten. Ledningen för många enheter (t.ex. ett sjukhus) kan ibland ha nytta av en kartläggning av hur förbättringsarbetet bedrivs vid de olika enheterna. Man bör då vara medveten om att jämförelser mellan olika enheter bl.a. kan begränsas av olikheter i urvalsmetodiken. Kvalitetsbarometern baseras på strukturerade, individuella intervjuer med 6-8 medarbetare från olika yrkeskategorier som valts som representanter för den verksamhet som analyseras. Intervjuerna innehåller 31 frågor inom 12 områden. Antalet frågor inom respektive område framgår av tabell I. 1

6 Tabell I. Områden som analyseras och antalet frågor inom resp. område 1. Personalens inställning till kvalitetsarbete 4 frågor 2. Ledningens inställning till kvalitetsarbete 2 frågor 3. Struktur i kvalitetsarbetet 3 frågor 4. Utbildning i förbättringskunskap/ kvalitetsarbete 2 frågor 5. Allas delaktighet 5 frågor 6. Målformulering och uppföljning 3 frågor 7. Patientorientering 1 fråga 8. Fortlöpande arbete 3 frågor 9. Metodkunskap i kvalitetsarbete 3 frågor 10. Vana att mäta och jämföra 2 frågor 11. Samverkan i kvalitetsarbetet 1 fråga 12. Dokumentation av kvalitetsarbete 2 frågor Under intervjun ges svaren öppet och utan fasta alternativ. Intervjuaren analyserar varje intervju och översätter svaren på varje fråga till en siffra från 1-5 enligt en utarbetad skala. Frågorna vägs samman till ett medelvärde inom vart och ett av de 12 områdena. Därefter sammanställs medelvärdena från de 6-8 intervjuerna för att ge en bild av förbättringsarbetet vid den aktuella verksamheten. Sammanställningen för enheten presenteras dels som ett medelvärde och dels anges spridningen. Urvalet av de 6-8 intervjupersonerna görs av en ansvarig på respektive enhet och beror bl.a. av vilka som arbetar den aktuella dagen och deras vilja att deltaga i intervjuerna. På stora enheter kan 8 representanter vara ett otillräckligt urval och antalet kan då utökas. Varierande urvalsmetodik försvårar jämförelser mellan enheter. När metoden används för upprepade mätningar vid samma enhet används samma intervjuare och samma intervjupersoner vilket skapar förutsättningar för att kunna jämföra över tid. Det har visat sig att genomförandet av intervjuerna leder till en lärande process där både intervjuare och de som intervjuas lär sig mycket om praktiskt förbättringsarbete. Intervjuarnas sammanlagda kunskaper om praktiskt förbättringsarbete ute i verksamheterna är därför viktiga att beakta när man planerar åtgärder för att stimulera och förbättra kvalitetsarbetet. Vid intervjuerna framkommer det att personalen har mycket olika kunskap inom området och att många har svårt att förstå vissa frågor. Under intervjun har det funnits möjlighet att förklara ytterligare och att försäkra sig om att den som svarar förstått frågan. Detta är en viktig anledning till att vi föredragit intervjuer framför en enkätundersökning, trots att intervjumetodiken är mer arbetskrävande och endast når ett begränsat urval. Det har diskuterats om Kvalitetsbarometerns frågor är de rätta och om intervjuarnas förmåga att tolka och gradera svaren på ett enhetligt sätt från 1-5 kan vara en svaghet i metoden. Olika intervjuare kan göra olika tolkningar och vissa intervjupersoner kan uttrycka sig så att man trots följdfrågor ibland har svårt att gradera svaren. 2

7 Syfte Syftet med denna studie var att testa mätinstrumentet Kvalitetsbarometern gällande dess validitet och reliabilitet. Metod och material För att testa Kvalitetsbarometern med avseende på validitet och reliabilitet har metoderna Delfitekniken och interbedömarreliabiliteten använts. Delfitekniken Delfitekniken är en metod att strukturera gruppkommunikation via en serie av upprepade frågor med syftet att uppnå den mest tillförlitliga samstämmigheten i en grupp av experter (3). Grundstrukturen omfattar val av experter utskick av frågor 2-4 svarsomgångar med ändringar emellan successivt ökad samstämmighet. Den upprepade bedömningen av frågorna avser att successivt ge ökad samstämmighet av experternas åsikter, utan att de möts ansikte mot ansikte. Svaren från varje omgång av frågor analyseras och sammanställs till ett nytt frågeformulär som returneras till experterna. Experterna har nu möjlighet att omformulera sina åsikter med kunskap om åsikter från övriga experter. Detta förfarande med svaranalys-justering-feedback-svar upprepas tills god samstämmighet uppnås. Delfimetoden anses både verksam och effektiv, då den kombinerar expertkunnande hos en relativt stor grupp personer som får vara anonyma och slipper en formell konfrontation där en enskild expert kan ha oönskat inflytande på övriga experter (4). Ett frågeformulär för att bedöma validiteten av Kvalitetsbarometern med hjälp av Delfimetoden konstruerades genom att dela upp frågorna efter ämnesområden och sedan be experterna att markera respektive frågas relevans till ämnesområdet med ett kryss utmed en VAS-skala med spännvidden; har ingen relevans till ämnesområdet har mycket stor relevans till ämnesområdet efter varje fråga, lämna eventuella kommentarer gällande utformning av aktuell fråga efter varje ämnesområde, lämna eventuella kommentarer gällande helhetsintrycket av aktuellt ämnesområde, fattas någon fråga? Bör någon fråga tas bort? etc. Interbedömarreliabilitet Det kan vara problematiskt att fastställa reliabilitet i en uppföljning när instrumentet är en person, t.ex. en observatör eller en intervjuare. Det bästa sättet att visa om arbetet har blivit påverkat p.g.a. inkonsekventa mänskliga egenskaper är att använda flera personer som bedömer intervjuerna eller observationerna. 3

8 Om flera personer rapporterar snarlika resultat tyder det på stabilitet i instrumentet, dvs. en hög grad av interbedömarreliabilitet. Den bästa metoden för att säkerställa en hög interbedömarreliabilitet är intensiv träning och noggranna instruktioner till de personer som utför observationerna eller intervjuerna, eller som bedömer en intervju som någon annan utfört (5). Interbedömarreliabiliteten av Kvalitetsbarometern testades via inspelade intervjuer som sedan bedömdes av fyra personer med stor erfarenhet av Kvalitetsbarometern som intervjuinstrument. En person utanför bedömargruppen ansvarade för testning av interbedömarreliabiliteten. Uppspelning av de åtta intervjuerna fördelades till tre tillfällen så att koncentrationen bland bedömarna kunde hållas på hög nivå. Instruktioner inför uppspelningen var att inga frågor eller diskussioner fick förekomma under pågående uppspelning att vid eventuella avbrott stängdes bandspelaren av att efter avslutad intervju hade respektive bedömare tre minuter på sig att gå igenom sina svar och därefter samlades formulären in att besvara alla frågor genom att ringa in ett av de fem svarsalternativ som följde varje fråga, även om tveksamheter fanns att inte sitta i närheten av varandra och att fylla i namn och intervjunummer på de formulär som användes. Resultat Validering Ett validitetstest av frågeformuläret Kvalitetsbarometern skickades ut till sammanlagt 58 personer aktiva i nätverken Balanced scorecard, Hälso- och sjukvårdens ledarskap, Medicinska KvalitetsRådet (MKR), Sjuksköterskornas kvalitetsråd och Allmänläkarnas kvalitetsråd (SFAM.Q). Efter sammanställning och modifiering av synpunkter på Kvalitetsbarometern, gjordes ett andra utskick till 27 av de 31 personer som besvarat det första utskicket (Figur 1). Bortfallet vid utskick 2 bestod av två frågeformulär utan namn och två personer som missförstått uppgiften. I utskick två besvarades 25 av 27 frågeformulär. De experter som besvarade frågeformulär två var 8 st aktiva inom Sjuksköterskornas kvalitetsråd, 6 st inom SFAM.Q, 5 st inom Hälsooch sjukvårdens ledarskap, 4 st inom Balanced scorecard, och 2 var aktiva inom MKR. Utskick 1 58 st Utskick 2 27 st Obesvarade 27 st Besvarade 31 st Obesvarade 2 st Besvarade 25 st Figur 1. Flödesschema gällande utfallet av utskick 1 och 2 4

9 Bearbetning av utskick 1 Efter sammanställning av utskick 1 omformulerades 22 av de 31 frågor som ingick i Kvalitetsbarometern, en fråga togs bort, en fråga tillkom och 8 frågor förblev oförändrade (Figur 2). De flesta omformuleringarna var små och avsedda att tydliggöra frågan, ex. Känner du intresse för att jobba med kvalitetsfrågor? ändrades till Är du intresserad av att arbeta med kvalitetsfrågor?, Får du gehör för förslag och idéer som kan påverka kvaliteten på verksamheten? ändrades till Får du gehör från ledningen för förslag och idéer som kan påverka kvaliteten på verksamheten?, Deltar du i något kvalitetsarbete på din arbetsplats? ändrades till Deltar du i något förbättringsarbete/kvalitetsarbete på din arbetsplats?. Förändring efter utskick 1 Oförändrade frågor 8 frågor Omformulering av fråga 22 frågor Ny fråga 1 st Borttagen fråga 1 st Figur 2. Sammanställning av förändring efter utskick 1 Några enstaka frågor omformulerades mer omfattande och innebörden av frågan ändrade därför till viss del karaktär, ex. Tycker du att kvalitetsarbete är ett område som behöver prioriteras på din arbetsplats? omformulerades till Tycker du att förbättringsarbete/ kvalitetsarbete är ett viktigt område?, Följs målen upp? ändrades till Hur sker uppföljningen av målen?. Känner du till Socialstyrelsens föreskrift om kvalitetssystem? ändrades till Vad känner du till om Socialstyrelsens föreskrift om kvalitetssystem?. Den fråga som togs bort efter utskick 1 var Arbetar ni efter någon form av systematisk förbättringsmetod? eftersom den ansågs gå in i frågan Finns det något kvalitetssystem på din arbetsplats?. Den fråga som tillkom var Ger ledningen dig och dina medarbetare tydligt delansvar/instruktioner i kvalitetsarbetet? eftersom man bedömde att det saknades en fråga som tydliggjorde ledningens egna initiativ för att driva kvalitetsutvecklingen. Bearbetning av utskick 2 Efter sammanställning av utskick 2 omformulerades 8 av de 31 frågor som ingick i Kvalitetsbarometern, en fråga tillkom och 23 frågor förblev oförändrade (Figur 3). Alla omformuleringar efter utskick 2 var små och avsedda att tydliggöra frågan, ex. Har du fått utbildning (internt/externt) när det gäller kvalitetsarbete/förbättringskunskap? ändrades till Har du deltagit i någon utbildning (internt/externt) när det gäller kvalitetsarbete/förbättringskunskap?, Hur stor andel deltager i kvalitetsarbetet på din arbetsplats? ändrades till Hur stor andel av personalen deltar i kvalitetsarbetet på din arbetsplats?. Den fråga som tillkom var Hur går det till när ni sätter igång ett kvalitetsprojekt/arbete? (Vem tar initiativ, vad avgör vilka som deltar?) för att få en bild av hur kvalitetsprojekt tillkommer. 5

10 Förändring efter utskick 2 Oförändrade frågor 23 frågor Omformulering av fråga 8 frågor Ny fråga 1 st Figur 3. Sammanställning av förändringar efter utskick 2 Relevansen av frågorna i Kvalitetsbarometern bedömdes förutom att skriva ner kommentarer i fri text även genom att sätta ett kryss på en 100 mm lång visuell analogskala (s.k. VAS) från Har ingen relevans till ämnesområdet till Har mycket stor relevans till ämnesområdet. Redan vid bedömning av utskick ett bedömdes frågorna generellt att vara av stor relevans (medelvärde 8,69 på en skala från 0-10). Förändringen var mycket marginell vid uppföljning i utskick två (medelvärde 8,73). Vid indelning av frågorna i ämnesområden framkom att 8 av 13 hade en positiv utveckling, medan 5 av 13 hade en negativ utveckling. Interbedömarreliabilitet Interbedömarreliabiliteten testades genom att tre intervjuare spelade in sammanlagt 8 intervjuer som alla fyra i gruppen sedan bedömde (Tabell II). Ytterligare tre bandinspelade intervjuer planerades av den fjärde intervjuaren, men fick utgå p.g.a. tekniska problem. Urvalet till intervjuerna bestod endast av sjukvårdspersonal och fördelades på sjukgymnast (3 st), undersköterska (1 st), sjuksköterska (1 st), och läkare (3 st). Intervjuerna spelades in från mottagningar på sjukhus (2 st), från vårdavdelningar (2 st) och på vårdcentraler (4 st). De fyra intervjuarna som deltog i reliabilitetstestet hade tidigare genomfört Kvalitetsbarometern på minst åtta olika verksamheter, vilket innebar minst 50 utförda intervjuer vardera. Alla frågor graderades i fem svarsalternativ och det bedömdes som hög grad av interbedömarreliabilitet om ingen av de fyra bedömarna i gruppen avvek mer än ett steg i svaren. Som framgår av tabell II var samstämmigheten i bedömargruppen mätt på detta sätt hög med en total interbedömarreliabilitet på 84,6% (66,6-96,7%). Identiskt svar erhölls i 37,5% av svaren, avvikande +\- 1 steg i 47,1% av svaren och avvikande > 1 steg i 15,4% av svaren. 6

11 Tabell II Interbedömarreliabiliteten vid 8 intervjuer med Kvalitetsbarometern Intervju Identiskt svar n (%) Avvikande 1 steg n (%) Avvikande>1 steg n (%) Interbedömarreliabilitet % 1 11 (36,7) 17 (56,7) 2 (6,7) 93,3% 2 13 (43,3) 12 (40) 5 (16,6) 83,3% 3 6 (20) 14 (46,6) 10 (33,3) 66,6% 4 6 (20) 15 (50) 9 (30) 70% 5 9 (30) 17 (56,7) 4 (13,3) 86,7% 6 7 (23,3) 22 (73,3) 1 (3,3) 96,7% 7 20 (66,7) 7 (23,3) 3 (10) 90% 8 18 (60) 9 (30) 3 (10) 90% Totalt 90/240 (37,5) 113/240 (47,1) 37/240 (15,4) 84,6% Figur 4 visar hur samstämmigt de fyra intervjuarna bedömde de åtta intervjuerna. Det fanns en tendens till en viss skillnad i bedömning inom gruppen, med en genomsnittlig medelvärdesskillnad mellan den som bedömt lägst respektive högst på 0,4 poäng. 5,0 4,5 4,0 3,5 3,0 2,5 2,0 1,5 Bedömare A Medelvärde 1,0,5 0,0 Bedömare B Bedömare C Bedömare D Alla intervjuer Intervju 8 Intervju 7 Intervju 6 Intervju 5 Intervju 4 Intervju 3 Intervju 2 Intervju 1 Figur 4. Bedömning av intervjuerna fördelat på bedömare 7

12 Figur 5 visar hur bedömningarna fördelade sig inom respektive ämnesområde och om bedömningarna skilde sig inom intervjuargruppen. Bedömningen skilde sig markant åt mellan de olika ämnesområdena, med en variationsbredd i medelvärde mellan 2,0 (utbildning) till 4,5 (struktur), medan bedömningen inom intervjuargruppen var relativt samstämmig. 5,0 4,5 4,0 3,5 3,0 2,5 Medelvärde 2,0 1,5 1,0,5 0,0 Dokumentation Samverkan Mätvana Metod Fortlöpande Orientering Mål Delaktighet Utbildning Struktur Ledning Attityd Bedömare A Bedömare B Bedömare C Bedömare D Figur 5. Bedömning av olika ämnesområden i intervjuerna fördelat på bedömare 8

13 Diskussion Vi är medvetna om att den skala som används i Kvalitetsbarometern inte är en äkta intervallskala och att medelvärdesberäkningar därför kan ifrågasättas. Vi har ändå valt att använda medelvärden med spridning för att göra sammanställningen enkel och pedagogisk. Validitetstest Delfimetoden används för att uppnå samstämmighet i en expertpanel utan formella möten via en serie av upprepade frågor. Tjugofem nationella experter deltog i valideringen. Redan i första omgången erhölls en hög samstämmighet om att frågorna var relevanta och att de mätte det de avsåg att mäta. De förändringar av frågorna som gjordes ledde endast till marginella förbättringar vid mätningen i andra svarsomgången och de som svarade hade då inte heller så många ytterligare förslag till förbättringar. Detta tolkas bero på att Kvalitetsbarometern utvecklats och testats under flera år av en grupp lokala experter och under denna process hade en lång rad förbättringar genomförts. Man avstod därför från ett tredje utskick. Expertgruppen visade en hög grad av samstämmighet vid bedömning av delfrågornas relevans till ämnet och helhetsintrycket av respektive ämnesområde. Relevansen av frågorna bedömdes som hög redan vid första utskicket (medelvärde 8,69 på en skala 0-10) vilket visar på en god innehållsvaliditet, dvs att frågorna täckte in ämnesområdet. Fördelen med att använda sig av VAS vid bedömning av frågornas relevans är att skalan är kontinuerlig och därför inte tvingar in den som svarar i givna kategorier samt att den är lätt att kvantifiera och därmed lätt att jämföra respondenter över tid och med varandra (6). Formuleringen av ändpunkter kan dock ibland utgöra ett visst problem, men ändpunkterna Har ingen relevans till ämnesområdet och Har mycket stor relevans till ämnesområdet ansågs som relevanta ändpunkter i detta test. Fördelarna med att använda Delfimetoden i validitetstestningen var att den gick att genomföra på kort tid och med begränsad arbetsinsats. Det var lätt att tolka och använda deltagarnas förbättringsförslag. De som deltog visade stort intresse, engagemang och tyckte själva att det var en konstruktiv metod. Samstämmigheten i förändringsförslagen var god. De svagheter som dokumenterats vid användande av Delfimetoden är att det inte finns någon generell regel gällande storlek på och hur expertpanelen skall väljas; att reliabiliteten är osäker, dvs. det är tveksamt om samma information given till två eller fler paneler skulle ge samma resultat; och att tekniken är tidskrävande (7). I vår studie var bortfallet stort, men 25 av 58 tillfrågade experter medverkande vid båda svarsomgångarna. Delfimetoden, som innebär ett aktivt engagemang av de som ingår i expertpanelen samtidigt som man är anonym för resten av expertpanelen, innebär i sig en risk för stort bortfall. De som besvarar alla svarsomgångar anses, utöver att vara experter, även vara intresserade av att utveckla området. Delfimetoden användes i en engelsk studie för att utveckla ett kvalitetsinstrument med syfte att omfatta de mest betydande kriterierna för randomiserade studier. Det utvecklade instrumentet innefattade 53 frågor i 15 dimensioner. Av 23 tillfrågade experter, var det endast 7 som besvarade det sista frågeformuläret. Författarna till 9

14 denna studie ser detta som en svaghet, men poängterar att Delfimetoden med dess expertbedömning, anonymitet och upprepade bedömningar med återkoppling över tid, har fler fördelar än nackdelar jämfört med det mer traditionella sättet av att uppnå samstämmighet via ett möte med experter (8). Reliabilitetstest Via interbedömarreliabilitetstestning analyserades sambandet mellan olika intervjuares bedömning. Resultatet av denna typ av test presenteras oftast som procent av samstämmighet där > 80% ofta bedöms som god reliabilitet, men det beror givetvis på hur undersökningen är upplagd, vilka personer som ingår, och vad som studerats (5,9). Reliabilitetstesten i denna studie genomfördes på 8 bandinspelade intervjuer av fyra vana intervjuare. Det ansågs vara god samstämmighet mellan de fyra bedömarna om det inte skilde mer än ett steg på en 5-gradig skala mellan bedömarna. Den totala interbedömarreliabiliteten blev med denna definition 85%. Samstämmigheten i bedömningen fördelat på respektive intervju var mycket god (83-97%) i 6 av de 8 intervjuerna. I två av intervjuerna var samstämmigheten mindre god (67-70%). Sammantaget visar detta att vana intervjuares förmåga att tolka och gradera svaren på ett enhetligt sätt från 1-5 ej kan betraktas som någon svaghet med metoden, snarare som en styrka. Samstämmigheten varierade mellan 67% och 97%. Urvalet av ingående intervjuer kan alltså påverka resultatet. I vårt fall bedömdes alla intervjuer som spelats in. Ytterligare tre planerades men fick utelämnas p.g.a. tekniska problem vid inspelningen. Fler intervjuer hade ökat säkerheten i bedömningen av interbedömarreliabilitet. De intervjuare som ingick i studien var vana. Hur reliabiliteten blir mellan mindre vana intervjuare kan inte bedömas utifrån denna studie. En begränsning med bandinspelade intervjuer är att möjligheten till kompletterande frågor saknas och att den icke-verbala kommunikationen uteblir. Dessa två faktorer kan vara viktiga komplement när bedömaren är osäker på hur svaret skall tolkas. Metoden upplevdes som resurssnål. Reliabilitetstesterna genomfördes under tre halvdagar under standardiserade förhållanden. En intervjuare hade tekniska problem vid inspelningen men i övrigt var metoden lätt att genomföra. Några negativa effekter av att intervjuerna spelades in på band noterades ej. I en studie som använde sig av denna metod presenterades 25 röntgenbilder av hjärnan (normala, akuta infarkter, och gamla infarkter)för tre neuro-röntgen-läkare. Den totala interbedömarreliabiliteten i den studien var 64% med en spridning på 47-86% mellan de olika tillstånden (9). Andra studier med liknande design har resulterat i bättre samstämmighet, 86% resp. 72% total interbedömarreliabilitet (10,11). Slutsats Denna studie visar att Kvalitetsbarometern har god validitet och god interbedömarreliabilitet när vana intervjuare använder metoden. 10

15 Referenser 1. Baker R. Quality improvement in primary health care: a European perspective. Qual Health Care 1998;7:1 2. Casalino LP. The unintended consequences of measuring quality on the quality of medical care. N Engl J Med 1999;341: Linstone HA, Turoff M. The Delphi method: techniques and applications. Addison-Wesley Publishing Co, Massachusetts, Bond S, Bond J. A Delphi survey of clinical nursing research priorities. J Adv Nurs 1982;7: Polit DF, Hungler BP. Nursing Research: Principles and Methods. 5 th ed. J.B. Lippincott Company, Philadelphia, Hansagi H, Allebeck P. Enkät och intervju inom hälso- och sjukvård: handbok för forskning och utvecklingsarbete. Studentlitteratur, Lund, Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs 1994;19: Sindhu F, Carpenter L, Seers K. Development of a tool to rate the quality assessment of randomized controlled trials using a Delphi technique. J Adv Nurs 1997;25: Kalafut MA, Schriger DL, Saver JL, Starkman S. Detection of early signs of >1/3 middle cerebral artery infarctions: interrater reliability and sensitivity of CT interpretation by physicians involved in acute stroke care. Stroke 2000;31: Marks MP, Holmgren E, Fox A, Patels S, von Kummer R, Froehlich J. Evaluation of early computed tomographic findings in acute ischemic stroke. Stroke 1999; 52:A453. Abstract. 11. von Kummer R, Allen KL, Holle R, Bozzao L, Bostianello S, Manelfe C, Bluhmki E, Ringleb P, Meier DH, Hacke W. Acute stroke: usefulness of early CT findings before thrombolytic therapy. Radiology 1997; 205:

16 Frågor om kvalitetsarbete BILAGA 1 Datum Arbetsplats Kön, födelseår, anställningstid nuvarande arbetsplats år. Befattning 1. (5) Deltar du i något förbättringsarbete/kvalitetsarbete på din arbetsplats? 1. Nej 2. (5) Hur stor andel av personalen deltar i kvalitetsarbetet på din arbetsplats? 1. Ingen/Vet ej 2. Få 3. Hälften 4. Många 5. Alla 3. (8) Sker kvalitetsarbetet fortlöpande? (Hur ofta?) 1. Nej/Vet ej 4. (5) Hur går det till när ni sätter igång ett kvalitetsprojekt/arbete? (Vem tar initiativ, vad avgör vilka som deltar?) 1. Top-down Skapar delaktighet 5. (8) Hur stor del av din arbetstid uppskattar du används till kvalitetsarbete? 1. 0 tim/v 2. <½ 3. ½ >1 6. (8) Finns tid avsatt för kvalitetsarbete? 1. Nej

17 7. (4) Har du deltagit i någon utbildning (internt/externt) om kvalitetsarbete/ förbättringskunskap? 1. 0 dag 2. ½ >3 Om ja, kan du beskriva något om omfattning och innehåll? (Handlade utbildningen om kvalitetsarbete?) 8. (1) Tycker du att förbättringsarbete/kvalitetsarbete är ett viktigt område? 1. Nej 9. (1) Är du intresserad av att arbeta med kvalitetsfrågor? 1. Nej 10. (1) På vilket sätt tror du att kvalitetsarbete kan ha betydelse på din arbetsplats? 1. Mycket litet 2. Litet 3. Varken eller 4. Stort 5. Mycket stort 11. (3) Vad känner du till om Socialstyrelsens föreskrift om kvalitetssystem? 1. Inget 2. Mycket lite 3. Lite 4. En hel del 5. Allt 12. (3) Känner du till om det finns något kvalitetssystem på din arbetsplats? 1. Nej/Vet ej 13. (3) Har ni en plan / organisation / ordning och reda i kvalitetsarbetet? 1. Nej/Vet ej

18 14. (6) Arbetar ni mot uppsatta mål på din arbetsplats? Kan du ge exempel? 1. Nej/Vet ej 15. (6) Finns det mätbara mål i verksamheten? 1. Nej/Vet ej 16. (5) Om ja, har du varit engagerad i att formulera målen? 1. Aldrig 2. Sällan 3. Ibland 4. Ofta 5. Mycket ofta 17. (6) Följs målen upp? (Hur?) 1. Inte alls/vet ej 5. Helt 18. (5) Är du delaktig i uppföljningen? 1. Nej/Vet ej 19. (7) Utgår kvalitetsarbetet från befolkningens/patienternas behov och önskemål? (Kan du ge något exempel på hur ni kartlägger behov?) 1. Nej 20. (9) På vilket sätt sker kvalitetsarbetet inom enheten (cirklar, tvärfackliga arbetsgrupper, kategorivis, egengranskning)? 1. Inga metoder/vet ej 2. Få 3. En del 4. Flertal 5. Många 21. (9) Vilka verktyg använder ni i kvalitetsarbetet? (Kvalitetsindikatorer, kvalitetsregister, enkäter, tillbuds/avvikelserapport, intervjuer, BSC, flödesschema.) 1. Inga /Vet ej 2. Få 3. En del 4. Flertal 5. Många

19 22. (10) Känner du till några mätningar på din egen enhet som har gjorts senaste året? (Ge gärna exempel.) 1. Nej 2. Få 3. En del 4. Flertal 5. Många 23. (10) Om ja, har resultatet jämförts med andra enheter? 1. Nej/Vet ej 24. (1) Upplever du att medarbetarna är intresserade av kvalitetsarbete? (Hur många?) 1. Nej/Vet ej 2. Få 3. En del 4. Flertal 5. Många/Alla 25. (2) Hur ser du på ledningens engagemang och stöd för din medverkan i kvalitetsarbetet? (Hur visar man engagemang och stöd?) 1. Mycket litet 2. Litet 3. Varken stort el. litet 4. Stort 5. Mycket stort 26. (2) Får du gehör från ledningen för förslag och idéer som kan påverka kvaliteten i verksamheten? 1. Aldrig 2. Sällan 3. Ibland 4. Ofta 5. Mycket ofta 27. (2) Ger ledningen dig och dina medarbetare ett tydligt delansvar i kvalitetsarbetet? 1. Aldrig 2. Sällan 3. Ibland 4. Ofta 5. Mycket ofta 28. (11) Samverkar ni i kvalitetsarbetet med andra enheter och i så fall hur? ( t ex utveckling av vårdkedjearbetet) 1. Aldrig/Vet ej 2. Sällan 3. Ibland 4. Ofta 5. Mycket ofta 29. (12) Dokumenteras kvalitetsarbetet? (På vilket sätt?) 1. Inte alls/vet ej 2. Sällan 3. Ibland 4. Ofta 5. Mycket ofta

20 30. (12) Finns dokumentationen tillgänglig för alla på arbetsplatsen? 1. Nej 31. (5) Finns kanaler/forum för förankring och spridning av nya kvalitetsmetoder/resultat till hela enheten? 1. Nej

21 Sammanställning av kvalitetsarbete (arbetsplats) BILAGA Attityd personal 8, 9, 10, Attityd ledning 25, 26, Struktur 11, 12, Utbildning i kvalitetsarbete/ förbättringskunskap 7 5. Allas delaktighet 1, 2, 4, 16, 18, Mål 14, 15, Patientorientering Fortlöpande arbete 3, 5, 6 9. Metod 20, Mätetal 22, Samverkan Dokumentation 29, 30

22 Sammanställning av kvalitetsarbete (individ) 1. Attityd personal 8, 9, 10, Attityd ledning 25, 26, Struktur 11, 12, Utbildning i kvalitetsarbete/ förbättringskunskap 7 5. Allas delaktighet 1, 2, 4, 16, 18, Mål 14, 15, Patientorientering Fortlöpande arbete 3, 5, 6 9. Metod 20, Mätetal 22, Samverkan Dokumentation 29, 30