Utvärdering av instrument för bedömning av arbetsförmåga

1 (22) Socialdepartementet 103 33 Stockholm Utvärdering av instrument för bedömning av arbetsförmåga Interbedömar-reliabiliteten och validiteten i särskilt läkarutlåtande Postadress Besöksadress Telefon 103 51 Stockholm Vasagatan 16 08-786 90 00 E-post Internetadress Telefax Org.nr huvudkontoret@forsakringskassan.se www.forsakringskassan.se 08-411 27 89 202100-5521

2 (22) Innehållsförteckning Innehållsförteckning... 2 Sammanfattning... 3 Inledning... 6 Regeringsuppdraget... 6 Det särskilda läkarutlåtandet... 6 Frågeställning att besvara... 7 Utvärderingsdesign... 8 Genomförande... 9 Felkällor... 9 Resultat... 10 Överensstämmelsen i bedömningarna med SLU-formuläret... 10 Överensstämmelsen i bedömningarna med FAP-formuläret... 14 Överensstämmelsen mellan expertgruppen och läkarna... 17 Diskussion och slutsatser... 18 Bilaga 1... 20 Utvalda aktivitetsbegränsningar samt fallbeskrivningar A.B. och M.F... 20 Bilaga 2... 22 Test av interbedömar-reliabilitet... 22

3 (22) Sammanfattning Regeringen har gett Försäkringskassan i uppdrag att utvärdera de instrument som används som underlag för beslut om rätt till sjukpenning samt sjuk- och aktivitetsersättning. I denna rapport redovisas resultatet av ett försök i kontrollerad miljö som genomförts för att analysera reliabilitet och validitet i särskilt läkarutlåtande (SLU). Analysen är avgränsad till den del av läkarutlåtandet som beskriver vilka aktivitetsbegränsningar som patientens sjukdom medför och vilken nivå begränsningarna har. Övrig information i utlåtandet, försäkringskassehandläggarens bedömningar och resultatet i form av beslutet om ersättning ingår inte i studien. Försäkringskassan kan begära ett SLU om handläggaren bedömer att ett läkarutlåtande om hälsotillstånd inte är tillräckligt som beslutsunderlag eller om det behövs en särskild försäkringsmedicinsk kompetens vid utredningen. SLU begärs i knappt fyra procent av de längre sjukskrivningarna. Det särskilda läkarutlåtandet ska ge en strukturerad helhetsbild av den försäkrades medicinska förutsättningar för arbete genom att dennes förmågor och begränsningar relaterade till sjukdomen görs tydliga. Ställningstagandet inför dag 181 i rehabiliteringskedjan är en situation då ett särskilt läkarutlåtande kan behövas. Det är läkare med fördjupad utbildning i försäkringsmedicin som utfärdar det särskilda läkarutlåtandet. Arbetsförmågeutredningen (SOU 2009:89) fäste fokus på DFA-kedjan (Diagnos Funktionsnedsättning Aktivitetsbegränsning) som en viktig del i bedömningen av rätten till ersättning från sjukförsäkringen. Aktivitetsbegränsningar måste kunna kopplas tillbaka till sjukdom för att arbetsförmågans nedsättning ska ge rätt till ersättning. Utredningen beskrev och analyserade utförligt de problem som finns idag både i beskrivningen av de olika delarna i kedjan och bristen på enhetlighet i användningen av begreppen i kedjans två avslutande led. Utredningen menade att det vore önskvärt om Försäkringskassan som andra aktörer i större utsträckning höll sig till de begrepp som återfinns i WHO:s ICF-klassifikation (Klassifikation av funktionstillstånd, funktionshinder och hälsa) och att Försäkringskassan utvecklar ett medvetet förhållningssätt till de tre leden i DFA-kedjan. Resultaten från denna studie bekräftar att det finns problem i att beskriva aktivitetsbegränsningar och nivån på dessa. Det utvecklingsarbete som inletts av Försäkringskassan i samarbete med hälso- och sjukvården för att förbättra de medicinska underlagen är ett viktigt inslag för att förändra den nuvarande bilden. Ett annat centralt utvecklingsområde utgörs av de medicinska metoderna som används för att verifiera vilka aktivitetsbegränsningar som föreligger. Det skulle underlätta fokuseringen på DFA-kedjan vid tillhandahållandet av de medicinska underlagen. Försäkringskassan kommer också att arbeta för ett tydligare förhållningssätt inom myndigheten i syfte att fördjupa kunskapen om och förståelsen för de samband som uttrycks genom DFA-kedjan. Dessa insatser är viktiga men löser inte den fråga som stått i centrum för denna studie, frågan om enhetligheten i de beskrivningar och bedömningar som görs av aktivitetsbegränsningar. Då krävs ytterligare utvecklingsinsatser. Försöket som redovisas i denna rapport har gjorts i anslutning till de uppföljningsutbildningar som under 2009 genomfördes för samtliga läkare som utfärdar SLU. Dessa läkare har före utbildningen fått bedöma två typfall. De har fått

4 (22) redovisa sin bedömning av vilka aktivitetsbegränsningar som de båda fiktiva patienterna hade samt nivån på begränsningarna. Redovisningen har gjorts i ett formulär i form av ett utdrag ur den befintliga blanketten för SLU och har skickats in till Försäkringskassan innan kursen. Under utbildningen har läkarna dessutom fått bedöma samma typfall utifrån ett annat formulär med fördefinierade aktiviteter/aktivitetsbegränsningar (Funktions- och Förmågeprofil, FAP) och med stöd av nivåbeskrivningar för graden av aktivitetsbegränsning. I rapporten redovisas först en analys av samstämmigheten i läkarnas bedömningar, interbedömar-reliabiliteten, vid användandet av SLU-formuläret respektive FAP-formuläret. Slutsatsen är att läkarna i försöket uppvisade mycket låg överensstämmelse både när det gäller bedömningen av vilka aktivitetsbegränsningar de båda fiktiva patienterna hade och för nivån på aktivitetsbegränsningarna vid användandet av SLU-formuläret. Vid användandet av FAP-formuläret identifierades de fiktiva patienternas aktuella aktivitetsbegräsningar i betydligt större utsträckning än vid användningen av SLU-formuläret. Däremot var överensstämmelsen när det gäller bedömningen av nivån på aktivitetsbegränsningarna fortfarande låg. Användandet av det mer strukturerade formuläret (FAP), där aktiviteterna som ska bedömas är fördefinierade i kombination med nivåbeskrivningar som stödjer bedömningen av nivån på eventuella aktivitetsbegränsningar, ger ett bättre resultat jämfört med SLU-formuläret. FAP-formuläret ger dock fortfarande en låg samstämmighet i nivåbedömningen. I utvärderingen har också utnyttjats det faktum att konstruktörerna bakom de två ärendena har funnits att tillgå inom Försäkringskassan. De har fått fungera som en expertpanel i bedömningen av typfallen. Därmed har såväl reliabiliteten som validiteten kunnat utvärderas. Studien har inte bara kunnat analysera i vilken utsträckning SLU-läkarnas bedömningar överensstämmer med varandra utan också i vilken utsträckning de överensstämmer med expertpanelens. Expertpanelen har bestått av sju personer. I den har ingått såväl försäkringsmedicinsk expertis, verksamma som försäkringsmedicinska rådgivare inom Försäkringskassan och med lång erfarenhet av funktionsbedömningar och utbildning av läkare, som försäkringsspecialister inom sjukförsäkringsområdet. Olika expertgrupper kan givetvis komma fram till olika slutsatser. När dessa experters uppfattning används som en form av facit i dessa ärenden görs det mot bakgrund av att de i sin roll i samband med utbildningarna varit de mest insatta och välinformerade i de använda typärendena. Analysen av överensstämmelsen mellan läkarnas och expertgruppens bedömningar visar att andelen läkare som anger exakt samma nivå som expertgruppen för en enskild aktivitetsbegränsning är mellan 16,1 och 24,4 procent för SLUformuläret och mellan 40,3 och 48,9 procent för FAP-formuläret. Det innebär att andelen korrekt angivna nivåer på aktivitetsbegränsningarna ungefär fördubblas när det senare formuläret används. De läkare som ingått i studien är en kategori läkare som har särskild utbildning i försäkringsmedicin och som regel också en omfattande erfarenhet av arbetsförmågeutredningar. Det finns därför skäl att anta att spridningen är lika stor eller större bland andra läkare. En rättssäker tillämpning av sjukförsäkringen

5 (22) förutsätter hög kvalitet i beslutsunderlagen. Om lika fall ska kunna bedömas lika behövs enhetlighet inte bara i Försäkringskassans bedömning utan också i de underlag som Försäkringskassan fattar beslut utifrån. En mer strukturerad blankett för det särskilda läkarutlåtandet, i linje med FAP, kan vara ett led i det. Som denna studie visar behövs dock ytterligare åtgärder. Försäkringskassan kommer att genomföra återkommande uppföljningsutbildningar för de läkare som utfärdar särskilt läkarutlåtande. Dessa bör användas för ytterligare utvecklingsarbete med sikte på att öka precisionen och kvaliteten i bedömningen av arbetsförmåga. Bedömningar av fler olika typer av fall både före och efter genomförda utbildningar bör testas att användas. Den nu genomförda studien skulle då kunna kompletteras med ytterligare kunskap baserat på en större variation i diagnoser och aktivitetsbegränsningar. Effekten av utbildningsinsatserna med avseende på samstämmigheten i bedömningarna hos läkarna skulle då också kunna studeras. Försäkringskassan har nyligen beslutat om en reviderad blankett för SLU. Den nya blanketten innehåller, precis som FAP, fördefinierade aktiviteter som ska utredas och bedömas med stöd av nivåbeskrivningar. Den nya blanketten öppnar för systematisk datainsamling kring diagnoser, bedömning av aktiviteter/aktivitetsbegränsningar samt handläggarnas bedömning av arbetsförmåga. På detta sätt kan en djupare kunskapsuppbyggnad ske kring sambanden mellan diagnos, aktivitetsbegränsningar och bedömning av arbetsförmåga. Försäkringskassan anser att det på lite längre sikt bör utvecklas ett bedömningsinstrument som innehåller en standardisering av vilka aktiviteter som ska bedömas, en tydlig skala för hur graden av aktivitetsbegränsningar ska bedömas och en guide till hur begränsningarna ska relateras till ersättningsrätten. Ett sådant instrument tillsammans med en modell för att standardisera de medicinska undersökningarna bör förbättra förutsättningarna för en korrekt och likformig rättstillämpning inom sjukförsäkringen.

6 (22) Inledning Regeringsuppdraget Regeringen gav i december 2008 Försäkringskassan i uppdrag att utvärdera de instrument som används inom verksamheten för att ta fram underlag för beslut om rätt till sjukpenning samt rätt till sjuk- och aktivitetsersättning. 1 Instrumenten borde belysas utifrån åtminstone tre dimensioner; vilken betydelse val av instrument har för vilket beslut som fattas, vilken reliabilitet olika instrument har och i vilken grad användningen av olika instrument har betydelse för den försäkrades upplevelse av delaktighet i beslutsprocessen. I regeringsbeslutet poängteras att utvärderingen ska ske med högt ställda krav på utvärderingsmetodik och där så är lämpligt ska randomiserade kontrollerade studier användas. Särskild vikt ska läggas vid att studera SLU-intygens betydelse för beslut om arbetsförmåga i relation till den reguljära arbetsmarknaden. Regeringen hänvisar i sitt beslut till Arbetsförmågeutredningen som betonade vikten av att offentliga verksamheter i allmänhet använder ett mer vetenskapligt förhållningssätt för att utveckla sina metoder och verksamheter. Med detta uppdrag avser regeringen att initiera en utveckling som kan leda till att mer vetenskapliga effektutvärderingar blir en permanent del av den reguljära verksamheten. I en första rapport till regeringen den 7 augusti 2009 (dnr 075614-2008) presenterade Försäkringskassan de utvärderingsupplägg som utformats för att motsvara de högt ställda metodkraven. I rapporten beskrevs de två experiment som skulle genomföras för att 1) utvärdera SLU-underlagets effekt på bedömningen om rätt till sjukpenning och den försäkrades känsla av delaktighet i beslutsprocessen samt 2) utvärdera SLU-instrumentets reliabilitet. I denna rapport redovisas resultatet av det andra experimentet om SLUinstrumentets reliabilitet. Resultaten från det första experimentet redovisas i november/december 2010. Det experimentet har baserats på en randomisering på olika former av underlag som används vid bedömningen av arbetsförmågan i relation till den reguljära arbetsmarknaden; Särskilt läkarutlåtande, Försäkringsmedicinsk utredning eller komplettering från behandlande läkare. Randomiseringen avslutades den 31 mars. Under april juni genomförs en handläggarenkät och en enkät till försäkrade. I oktober kompletteras underlaget för utvärderingen med data kring sjukfallens utveckling. Analysen slutförs under november december. Det särskilda läkarutlåtandet Det är läkare med fördjupad utbildning i försäkringsmedicin som utfärdar det särskilda läkarutlåtandet. Det ska belysa hur sjukdomen påverkar den försäkrades funktion och förmåga att utföra olika typer av aktiviteter. Av utlåtandet ska relevanta aktivitetsbegränsningar framgå och graderas på en skala från 0 till 4. En sammanfattning ska göras med fokus på befintlig förmåga till aktivitet, om 1 Regeringsbeslut II:4, 2008-12-18, S2008/5571/SF (delvis), S2008/10724 (delvis).

7 (22) behandling och/eller medicinsk rehabilitering kan påverka förmågan till aktivitet samt en prognos om eventuell restarbetsförmåga på sikt. Det ska även finnas uppgift om hur den försäkrade själv ser på sin förmåga till aktivitet och i vilken mån hans eller hennes bedömning skiljer sig från läkarens. Det särskilda läkarutlåtandet beslutades 2003. Den utbildning i försäkringsmedicin som en SLU-läkare ska ha genomfördes första gången under januari till oktober 2004. Då diplomerades 132 läkare för att utfärda SLU. Idag har Försäkringskassans handläggare tillgång till en bra bit över 300 SLU-läkare. Beslutet om införandet av det särskilda läkarutlåtandet ingick i lagstiftningen kring bland annat avstämningsmöte. 2 I propositionen framhålls att det särskilda läkarutlåtandet i första hand ska fungera som ett komplement till avstämningsmötet. Intentionerna var också att ett särskilt läkarutlåtande skulle begäras inom åtta veckors sjukskrivningstid. I motiven bakom detta ligger att hämta in bedömningen från en läkare utbildad i försäkringsmedicin som komplement till det ursprungliga medicinska underlaget i ärendet, dvs. en form av second opinion eller medbedömning. Användandet av SLU utvärderades i nära anslutning till dess införande. 3 I rapporten konstaterades att utlåtandena inte kommit i bruk i någon större utsträckning. Utvärderingen lyfte fram att syftet med SLU måste förtydligas. Det framhölls att SLU som medbedömning troligtvis skulle kunna fylla samma funktion som en mindre försäkringsmedicinsk utredning. Den detaljreglering som styr när och hur ett SLU ska infordras skulle kunna tas bort och istället kunna bedömas av handläggaren utifrån omständigheterna i det enskilda ärendet. I Försäkringskassans vägledning för sjukpenning och samordnad rehabilitering beskrivs användandet av det särskilda läkarutlåtandet på följande sätt. 4 Om handläggaren bedömer att ett läkarutlåtande om hälsotillstånd inte är tillräckligt som beslutsunderlag eller om det behövs en särskild försäkringsmedicinsk kompetens vid utredningen, kan Försäkringskassan begära ett särskilt läkarutlåtande. Det särskilda läkarutlåtandet ger en strukturerad helhetsbild av den försäkrades medicinska förutsättningar för arbete genom att dennes förmågor och begränsningar relaterade till sjukdomen görs tydliga. Ställningstagandet inför dag 181 i rehabiliteringskedjan är en situation då ett särskilt läkarutlåtande kan behövas. Frågeställning att besvara Frågan vi försökt få besvarad är i vilken utsträckning Särskilt läkarutlåtande (SLU) alltid leder till en viss bedömning. Med andra ord, om en försäkrad skickas till olika SLU-läkare 5, i vilken grad kommer deras bedömning att överensstämma? Det faktum att olika försäkringskassehandläggare i sin tur kan göra olika slutbedömningar utifrån ett visst underlag bortser vi från här. Eftersom det knappast är realistiskt att skicka en försäkrad till flera olika SLUläkare har en alternativ utvärderingsansats prövats. 2 Prop. 2002/03:89, Förändringar inom sjukförsäkringen för ökad hälsa i arbetslivet. 3 Försäkringskassan Analyserar 2005:15, Särskilt läkarutlåtande försäkringskassans metodundersökning 2004. 4 Vägledning 2004:2 version 13, Försäkringskassan. 5 Läkare med rätt att utfärda Särskilda läkarutlåtanden.

8 (22) Ett försök i kontrollerad miljö har genomförts genom att utvärderingen har utnyttjat de två ärenden som konstruerades för att användas i de uppföljningsutbildningar för SLU-läkare som genomfördes under hösten 2009. Dessa ärenden har av läkarna bedömts med hjälp två olika formulär vilket beskrivs i nästa avsnitt. Därigenom har en möjlighet att jämföra läkarnas bedömningar i samma ärenden skapats. Försöket har fokuserat på de uppgifter som är mest centrala för Försäkringskassans bedömning av arbetsförmåga, dvs. läkarens uppgift om vilka aktivitetsbegränsningar som patientens sjukdom medför och vilken nivå begränsningarna har. Utvärderingsdesign Utifrån underlag i form av en SASSAM-utredning samt ett delvis ifyllt särskilt läkarutlåtande har SLU-läkare bedömt aktivitetsbegränsningar i två särskilt konstruerade ärenden, patienterna A.B. och M.F. 6 Bedömningarna har redovisats i ett formulär som motsvarar fråga 7-9 i det befintliga särskilda läkarutlåtandet. SLU-formuläret har sparats i ett särskilt dokument. Samma typfall har också bedömts med stöd av ett alternativt formulär (Funktions- och Förmågeprofil, FAP) med fördefinierade aktiviteter och med stöd av en bilaga där konkreta nivåbeskrivningar har tydliggjort hur nivån på eventuella aktivitetsbegränsningar skulle bedömas. Överensstämmelsen i bedömningen mellan SLU-läkare av nivån på aktivitetsbegränsningar har analyserats. Denna analys har gjorts för såväl SLUformuläret som FAP-formuläret. Detta motsvarar den första delen i figur 1. Figur 1 Design av utvärderingen SLU-läkare Bedömer typfall A.B. och M.F. med stöd av SLU-formulär. Överensstämmelsen i SLUläkarnas bedömningar jämförs, test av interbedömarreliabilteten. Bedömer typfall A.B. och M.F. med stöd av FAP-formulär. Överensstämmelsen i SLUläkarnas bedömningar jämförs, test av interbedömarreliabilteten. D ä r e f t e r Jämförelse av SLU-läkarnas bedömning av typfallen A.B. och M.F. med stöd av SLUformulär med expertgruppens bedömning, test av validitet Jämförelse av SLU-läkarnas bedömning av typfallen A.B. och M.F. med stöd av FAPformulär med expertgruppens bedömning, test av validitet Expertgrupps bedömning av typfallen A.B. & M.F. 6 I bilaga 1 presenteras sammanfattningar av de aktuella fallbeskrivningarna.

9 (22) I utvärderingen har också utnyttjats det faktum att konstruktörerna bakom de två ärendena har funnits att tillgå inom Försäkringskassan. De har fått fungera som en expertpanel i bedömningen av typfallen. Syftet med detta har varit dels pedagogiskt i utbildningssammanhanget, dels för att ha en referens att ställa SLU-läkarnas bedömningar i relation till. Därmed har vi kunnat utvärdera såväl reliabiliteten som validiteten. Vi har inte bara kunnat studera i vilken utsträckning SLU-läkarnas bedömningar överensstämmer med varandra utan också i vilken utsträckning de överensstämmer med expertpanelens, vilket motsvarar den andra delen i figur 1. Expertpanelen har bestått av sju personer. I den har ingått såväl försäkringsmedicinsk expertis, verksamma som försäkringsmedicinska rådgivare inom Försäkringskassan och med lång erfarenhet av funktionsbedömningar och utbildning av läkare, som försäkringsspecialister inom sjukförsäkringsområdet. Expertpanelen har för de aktuella typfallen angett aktivitetsbegränsningar samt graden av begränsning. Panelen har använt sig av WHO:s Klassifikation av funktionstillstånd, funktionshinder och hälsa (ICF) 7. Olika expertgrupper kan givetvis komma fram till olika slutsatser. När dessa experters uppfattning används som en form av facit i dessa ärenden görs det mot bakgrund av att de i sin roll i samband med utbildningarna varit de mest insatta och välinformerade i de använda typärendena. Genomförande SLU-formuläret, som motsvarar det befintliga särskilda läkarutlåtandet, skickades in i samband med de uppföljningsutbildningar för SLU-läkare som genomfördes under hösten 2009. Bedömningar från sammanlagt 161 SLUläkare samlades in på detta sätt. De fick fallen i förväg och skickade in ifyllda SLU-formulär innan kursstart. Under kursen fick läkarna en kortfattad genomgång av FAP-formuläret med fördefinierade aktiviteter och nivåbeskrivningar. De fick därefter individuellt bedöma samma typärenden med stöd av detta formulär. Det resulterade i 186 ifyllda formulär. Det ger ett bortfall på 25 SLU-formulär. En trolig orsak är att bedömningen med stöd av FAP-formuläret gjordes på plats och samlades in under själva utbildningen. Typfallen diskuterades och bedömdes också i gruppövningar i pedagogiskt syfte. Resultaten från gruppbedömningarna ingår dock inte i denna studie. Felkällor Det finns ett antal faktorer som kan påverka studiens resultat. Läkarna träffar inte patienterna, utan gör bedömningarna enbart på skriftliga underlag. Bedömningarna med SLU-formulär respektive FAP-formulär görs i skilda miljöer, hemma före kursen och under utbildningen. Det är ett begränsat antal typfall, andra aktivitetsbegränsningar i fallen kan ge annat resultat. 7 World Health Organization 2001, översatt till svenska och tillgänglig på Socialstyrelsens webbplats, www.sos.se.

10 (22) Resultat Resultaten av försöket redovisas i tre delar. Först analyseras samstämmigheten i läkarnas bedömningar med stöd av SLU-formuläret. Därefter analyseras samstämmigheten i läkarnas bedömningar med stöd av FAP-formuläret med fördefinierade aktiviteter och nivåbeskrivningar. Avslutningsvis redovisas i vilken utsträckning läkarnas bedömningar överensstämmer med expertgruppens. Resultatredovisningen fokuserar helt på bedömningen av aktivitetsbegränsningar och nivån på begränsningarna. Överensstämmelsen i bedömningarna med SLU-formuläret I SLU-formuläret anger läkaren aktivitetsbegränsningarna i fri text. Nivån på aktivitetsbegränsningen graderas från 0 till 4 utifrån den procentskala som finns i ICF. I blanketten ska man ange om bedömningen stöds av objektiva undersökningsfynd. Figur 2 SLU-formuläret som användes i experimentet (Aktivitetsdelen) 4%< 24%< 49%< 95%< >95% Objektiva Aktivitetsbegränsning Kommentar undersökn.fynd Ja/Delvis/Nej Ja/Delvis/Nej Ja/Delvis/Nej Anm. Formuläret bestod av fler rader. Här är det avkortat. Ja/Delvis/Nej För att kunna utvärdera samstämmigheten i läkarnas bedömningar hanterades SLU-formulären på följande sätt. Genom att aktivitetsbegränsningarna definieras i fritext har ett stort antal olika aktivitetsbegränsningar angetts. De har inte heller varit beskrivna på ett enhetligt sätt. Materialet var därmed svårt att överblicka och analysera. Därför valdes följande sätt att hantera analysen. De två aktivitetsbegränsningar per ärende som var mest framträdande valdes ut med hjälp av dem som konstruerat typärendena, dvs. expertgruppen. Analysen fokuserade sedan på hur stor andel av läkarna som tagit med dessa aktiviteter i SLU-formuläret och, om de hade gjort det, vilken nivå på aktivitetsbegränsningen som de angett. I tabell 1 redovisas de aktiviteter med begränsningar i nivån som expertgruppen bedömt finns i de båda typfallen. De två mest framträdande begränsningarna per ärende anges. I tabellen redovisas också nivån på varje aktivitetsbegränsning samt om bedömningen stöds av objektiva undersökningsfynd som finns dokumenterade i beskrivningen av typfallen.

11 (22) Tabell 1 Expertgruppens bedömning Klient A.B. Nivå på aktivitetsbegränsning Objektiva undersökningsfynd Aktivitet Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 2 Nej * Att hantera stress, förändring och andra psykologiska krav 2 Nej * Anm. Klient M.F. Aktivitet Att bibehålla kroppsställning 2 Ja * Att hantera stress, förändring och andra psykologiska krav 2 Delvis * Att ändra kroppsställning 1 Ja Att lyfta och bära 1 Nej Att gå kortare sträckor 1 Delvis Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 2 Nej Anm. De aktiviteter som markerats med * i tabellen är de som används i utvärderingen av samstämmigheten i läkarnas bedömningar med SLU-formuläret. De aktiviteter som används i utvärderingen av läkarnas användning av SLUformuläret är för klient: A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter, och Att hantera stress, förändring och andra psykologiska krav M.F. Att bibehålla kroppsställning, och Att hantera stress, förändring och andra psykologiska krav Inledningsvis redovisas hur stor andel av SLU-läkarna som har tagit med dessa aktivitetsbegränsningar. Därefter redovisas SLU-läkarnas bedömning av nivån på begränsningarna. Tabell 2 Har aktiviteten Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter tagits med? (Typfall A.B.) Antal Procent Procent av svar Ja 59 36,6 37,1 Nej 100 62,1 62,9 Total 159 98,8 100,0 [Inget svar] 2 1,2 Total 161 100,0 Tabell 3 Har aktiviteten Att hantera stress, förändring och andra psykologiska krav tagits med? (Typfall A.B.) Antal Procent Procent av svar Ja 100 62,1 62,5 Nej 60 37,3 37,5 Total 160 99,4 100,0 [Inget svar] 1,6 Total 161 100,0

12 (22) Tabell 4 Har aktiviteten Att bibehålla kroppsställning tagits med? (Typfall M.F.) Antal Procent Procent av svar Ja 75 46,6 47,5 Nej 83 51,6 52,5 Total 158 98,1 100,0 [Inget svar] 3 1,9 Total 161 100,0 Tabell 5 Har aktiviteten Att hantera stress, förändring och andra psykologiska krav tagits med? (Typfall M.F.) Antal Procent Procent av svar Ja 79 49,1 50,3 Nej 78 48,4 49,7 Total 157 97,5 100,0 [Inget svar] 4 2,5 Total 161 100,0 De aktivitetsbegränsningar som är mest framträdande i de båda typfallen tas inte upp av SLU-läkarna i mellan 38 63 procent av bedömningarna. I utvärderingen har fritexter med likartade eller motsvarande beskrivningar av aktivitetsbegränsningarna accepterats som överensstämmande med benämningarna i ICF. Det har alltså inte funnits något krav på en exakt överensstämmelse i ordalydelsen. För klient A.B. finns Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter med på 37 procent av formulären och Att hantera stress, förändring och andra psykologiska krav på 62 procent. För klient M.F. finns Att bibehålla kroppsställning med på 47 procent och Att hantera stress, förändring och andra psykologiska krav på 49 procent. Överensstämmelsen i bedömningarna mellan läkarna är således mycket låg. I detta formulär, där aktivitetsbegränsningarna anges i fritext, kommer inte alla relevanta aktivitetsbegränsningar med. Analysen av överensstämmelsen i nivåbedömningen mellan SLU-läkarna innefattar endast de läkare som tagit med de fyra mest framträdande aktivitetsbegränsningar som expertgruppen identifierat. Analysen av skillnader i nivåbedömningen har gjorts med hjälp av Friedman s test och Kendall s W. 8 Resultaten av dessa test har jämförts med Fleiss Kappa. 8 Test av interbedömarreliabilitet, de valda testen och referenser, se bilaga 2.

13 (22) Diagram 1 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (SLU-formuläret) 10 9 8 7 6 5 3 Diagram 1a) Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 10 9 8 7 6 5 3 Diagram 1b) Klient A.B. Att hantera stress, förändring och andra psykologiska krav 10 9 8 7 6 5 3 10 9 8 7 6 5 3 Diagram 1c) Klient M.F. Att bibehålla kroppsställning Diagram 1d) Klient M.F. Att hantera stress, förändring och andra psykologiska krav Finns det en hög eller låg grad av överensstämmelse i läkarnas bedömning av nivån på aktivitetsbegränsningarna som redovisas i diagram 1a 1d? Omkring 40 procent av de angivna bedömningarna hamnar på nivå 2 för samtliga fyra aktivitetsbegränsningar. Resterande ca 60 procent fördelas på övriga nivåer med i stort sett överlag de högsta andelarna för nivåerna 1 och 3 som gränsar till nivå 2 (Med undantag för aktiviteten i diagram 1a). Friedman s test testar om det finns någon systematisk skillnad i nivåbedömningarna. Om p-värdet för Friedman s chi-två är lågt (t.ex. <0,05) så kan en systematisk skillnad i nivåbedömningarna konstateras. I detta fall kan en sådan skillnad mellan bedömarna fastställas (p=0,007). Kendall s W, som bygger på Friedman s test, går från 0 till 1 och tolkas som ett mått på överensstämmelsen mellan bedömare, där 1 indikerar total enighet och 0 indikerar total oenighet mellan bedömarna. Graden av överensstämmelse är mycket låg (Kendall s W=0,027). 9 Slutsatsen är att läkarna i experimentet uppvisade mycket låg överensstämmelse såväl när det gäller bedömningen av vilka aktivitetsbegränsningar som fanns i de båda typfallen som när det gäller bedömningen av nivån på aktivitetsbegränsningarna när de använde SLU-formuläret. 9 Ett annat mått på interbedömar-reliabiliteten, Fleiss Kappa ger samma slutsats, att samstämmigheten mellan bedömarna är mycket låg =0,015 (Fixed Marginal Kappa) eller =0,153 (Free Marginal Kappa).

14 (22) Överensstämmelsen i bedömningarna med FAP-formuläret FAP-formuläret innehåller fördefinierade aktiviteter kompletterat med några fritextrader. Bedömarna har när de använt detta formulär också haft tillgång till nivåbeskrivningar för aktivitetsbegränsningar. Nivåbeskrivningarna som använts i försöket har hämtats från det brittiska instrumentet PCA 10. Figur 3 FAP-formulärets aktivitetsdel Genom att aktiviteterna är fördefinierade i detta formulär så kan information om bedömningarna av varje aktivitetsbegränsning redovisas enklare. Det innebär också att vi kan testa interbedömar-reliabiliteten dels i förhållande till SLUformulärets fyra primära aktivitetsbegränsningar, dels utifrån alla de aktivitetsbegränsningar som expertgruppen angett (se tabell 1). Av tabell 6 framgår att detta formulär medför att en betydligt större andel av läkarna noterat en begränsning (över nivå 0) för de aktiviteter som expertgruppen bedömt är nedsatta i de båda typärendena. Det innebär att det mer struktu- 10 Personal Capability Assessment (PCA) är ett instrument som används i Storbritannien sedan 1995 för att avgöra rätten till förtidspension.

15 (22) rerade instrumentet medför att dessa aktiviteter verkligen identifieras och någon grad av aktivitetsbegränsning anges. Tabell 6 Andel läkare som tagit med aktivitetsbegränsningen i SLU- respektive FAP-formuläret (Procent) Klient A.B. Aktivitet SLU FAP (nivå >0) Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 36,6 92,5 Att hantera stress, förändring och andra psykologiska krav 62,1 98,9 Klient M.F. Aktivitet Att bibehålla kroppsställning 46,6 93,5 Att hantera stress, förändring och andra psykologiska krav 49,1 90,9.. Att ändra kroppsställning 88,7 Att lyfta och bära 66,7 Att gå kortare sträckor 13,4 Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 69,4 I diagram 2 redovisas den procentuella fördelningen i angivna nivåbegränsningar för de två aktiviteterna i ärende A.B. och de sex i ärende M.F. Diagram 2a till 2d motsvarar de aktivitetsbegränsningar som analyserats vid användandet av SLU-formuläret. Motsvarande test av överensstämmelsen i bedömningen av dessa fyra aktivitetsbegränsningar baserat på FAP-formuläret ger ett p-värde för Friedman s test som är mindre än 0,001 och ett Kendall s W på 0,163. 11 Slutsatsen är att överensstämmelsen i bedömningarna är mycket låg även vid användningen av FAP-formuläret. Om överensstämmelsen i bedömningarna för alla aktivitetsbegränsningar i diagram 2 testas så kvarstår slutsatsen att överensstämmelsen är låg, Friedman s test (p<0,001) och Kendall s W = 0,356. 12 Slutsatsen är att användandet av det mer strukturerade instrumentet, FAPformuläret, medför att de aktuella aktivitetsbegränsningarna för typärendena verkligen identifieras och någon grad av aktivitetsbegränsning högre än nivå=0 anges. När det gäller nivån på begränsningen är dock överensstämmelsen mellan läkarnas bedömning låg, om än något bättre än för SLU-formuläret. 11 Fleiss Kappa, =0,025 (Fixed Marginal Kappa) eller =0,176 (Free Marginal Kappa), och ger samma slutsats som i de redovisade testen. 12 Fleiss Kappa, =0,157 (Fixed Marginal Kappa) eller =0,234 (Free Marginal Kappa), och ger samma slutsats som i de redovisade testen.

16 (22) Diagram 2 10 9 8 7 6 5 3 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (FAP-formuläret) Diagram 2a) Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 10 9 8 7 6 5 3 Diagram 2b) Klient A.B. Att hantera stress, förändring och andra psykologiska krav 10 9 8 7 6 5 3 Diagram 2c) Klient M.F. Att bibehålla kroppsställning 10 9 8 7 6 5 3 Diagram 2e) Klient M.F. Att ändra kroppsställning 10 9 8 7 6 5 3 Diagram 2g) Klient M.F. Att gå kortare sträckor 10 9 8 7 6 5 3 Diagram 2d) Klient M.F. Att hantera stress, förändring och andra psykologiska krav 10 9 8 7 6 5 3 Diagram 2f) Klient M.F. Att lyfta och bära 10 9 8 7 6 5 3 Diagram 2h) Klient M.F. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter

17 (22) Överensstämmelsen mellan expertgruppen och läkarna Andelen läkare som anger exakt samma nivå som expertgruppen för en enskild aktivitetsbegränsning är mellan 16,1 och 24,4 procent för SLU-formuläret och mellan 40,3 och 48,9 procent för FAP-formuläret. Basen för procentberäkningen är samtliga läkare som använt SLU- respektive FAP-formuläret. Det innebär att andelen korrekt angivna nivåer på aktivitetsbegränsningarna ungefär fördubblas när det senare formuläret används. Tabell 7 SLU-formuläret Andelen läkarbedömningar som överensstämmer med expertgruppens bedömning av aktiviteter och nivå på aktivitetsbegränsningen Expertgruppens nivå Andel läkarbedömningar på samma nivå som expertgruppen Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 2 16,1% Att hantera stress, förändring och andra psykologiska krav 2 27,4% Klient M.F. Att bibehålla kroppsställning 2 18,6% Att hantera stress, förändring och andra psykologiska krav 2 23,0% FAP-formuläret Expertgruppens nivå n=161 Andel läkarbedömningar på samma nivå som expertgruppen Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 2 42,5% Att hantera stress, förändring och andra psykologiska krav 2 48,9% Klient M.F. Att bibehålla kroppsställning 2 40,3% Att hantera stress, förändring och andra psykologiska krav 2 43,0% Att ändra kroppsställning 1 48,4% Att lyfta och bära 1 44,1% Att gå kortare sträckor 1 10,8% Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter 2 28,0% n=186

18 (22) Diskussion och slutsatser Vid användandet av det mer strukturerade FAP-formuläret, där aktiviteterna är fördefinierade och stöds av nivåbeskrivningar, ökar överensstämmelsen i bedömningarna jämfört med SLU-formuläret som motsvarar det befintliga särskilda läkarutlåtandet. Men formuläret ger fortfarande en låg interbedömarreliabilitet. Det ger fortfarande en för stor spridning i träffbilden, vilket innebär skillnader i de medicinska bedömningarna. Att FAP-formuläret inte leder till en större förbättring av interbedömarreliabiliteten är i sig inte oväntat. Formuläret som sådant ger inget direkt stöd för att besvara den medicinska frågan om graden av aktivitetsbegränsningar. Den stora vinsten med formuläret är en ökad enhetlighet med avseende på vilka aktivitetsbegränsningar som beskrivs. För att skapa en ökad enhetlighet i bedömningen av hur stora aktivitetsbegränsningarna är krävs ett instrument som tydliggör vilka begränsningar som motsvarar de olika nivåerna för begränsningar. En sådan ansats finns i den nya SLU-blanketten där skalan 1-5 kompletteras med ett bedömningsstöd som inkluderar konkreta exempel på vad som till exempel ska anses som en trea på skalan. En ännu bättre enhetlighet kan förmodligen uppnås genom en ensning av vilka undersökningsmetoder som används. För att bedöma fysiska aktivitetsbegränsningar använder till exempel många svenska sjukgymnaster ett instrument som kallas TIPPA, studier har visat att det ger en god interbedömar-reliabilitet. Arbetsförmågeutredningen lyfte fram särskilda multiprofessionella medicinska team som en möjlighet för att skapa en ökad enhetlighet just när det gäller de medicinska bedömningarna av vilka aktivitetsbegränsningar som finns och hur allvarliga de är. Majoriteten av läkarnas bedömningar i de olika formulären kan sägas överensstämma med expertgruppens norm, vilket tyder på att detta facit är rimligt. Genom att det mer strukturerade formuläret ökar sannolikheten att relevanta aktivitetsbegränsningar bedöms ger det en högre validitet jämfört med SLUformuläret. Det är fler bedömningar med stöd av det strukturerade FAPformuläret som överensstämmer med expertgruppens. Den rätta nivån på aktivitetsbegränsningarna uttrycks dock i för liten utsträckning. Det bör påpekas att experimentet inte omfattade den avgörande frågan om vilka aktivitetsbegränsningar som ska anses krävas för en rätt till ersättning. FAPformuläret som sådant ger inte heller någon vägledning i den frågan. För att skapa en ökad enhetlighet i själva ersättningsbesluten skulle ett instrument också behöva innehålla någon form av guide till hur aktivitetsbegränsningarna bör värderas i relation till olika bedömningsgrunder för rätten till sjukpenning respektive sjuk- och aktivitetsersättning. Resultat i denna studie är också intressant i ett annat perspektiv. Försäkringskassan har nyligen beslutat om en reviderad SLU-blankett som innehåller fördefinierade aktiviteter och nivåbeskrivningar. Studien indikerar dock att en sådan blankett inte fullt ut kan ge enhetliga och korrekta medicinska underlag, även om det bedömningsstöd som kompletterar blanketten kan förväntas bidra till bättre enhetlighet än i det aktuella experimentet.

19 (22) Den nya blanketten öppnar för systematisk datainsamling kring diagnoser, bedömning av aktiviteter/aktivitetsbegränsningar samt handläggarnas bedömning av arbetsförmåga. På detta sätt kan en djupare kunskapsuppbyggnad ske kring sambanden mellan diagnos, aktivitetsbegränsningar och bedömning av arbetsförmåga. Det skulle kunna vara ett väsentligt underlag vid ett eventuellt framtagande av ett instrument för bedömning av arbetsförmågan i förhållande till arbetsmarknaden i stort. En sådan systematisk datainsamling skulle överhuvudtaget i betydande mån kunna bidra till analys och utveckling av kvaliteten och rättssäkerheten i Försäkringskassans bedömning av arbetsförmåga. En välstrukturerad blankett kan stödja enhetligheten men behöver kombineras med utbildnings- och kalibreringsinsatser för att skapa likformighet i bedömningarna. Sådana insatser behöver sannolikt ske kontinuerligt för att ge en acceptabel kvalitet och enhetlighet i underlagen. Strukturerade underlag utfärdade av en avgränsad grupp läkare som deltar i återkommande utbildnings- och kalibreringsinsatser är behövligt i längre och komplexa sjukfall. Försäkringskassan kommer att genomföra återkommande uppföljningsutbildningar för de läkare som utfärdar särskilt läkarutlåtande. Dessa bör användas för ytterligare utvecklingsarbete med sikte på att öka precisionen och kvaliteten i bedömningen av arbetsförmåga. Bedömningar av fler olika typer av fall både före och efter genomförda utbildningar bör testas att användas. Den nu genomförda studien skulle då kunna kompletteras med ytterligare kunskap baserat på en större variation i diagnoser och aktivitetsbegränsningar. Effekten av utbildningsinsatserna med avseende på samstämmigheten i bedömningarna hos läkarna skulle då också kunna studeras. Försäkringskassan anser att det på lite längre sikt bör utvecklas ett bedömningsinstrument som innehåller en standardisering av vilka aktiviteter som ska bedömas, en tydlig skala för hur graden av aktivitetsbegränsningar ska bedömas och en guide till hur begränsningarna ska relateras till ersättningsrätten. Ett sådant instrument tillsammans med en modell för att standardisera de medicinska undersökningarna bör förbättra förutsättningarna för en korrekt och likformig rättstillämpning inom sjukförsäkringen.

20 (22) Bilaga 1 Utvalda aktivitetsbegränsningar samt fallbeskrivningar A.B. och M.F. Utvalda aktivitetsbegränsningar A.B :Att hantera stress, förändring och andra psykologiska krav. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter. Utvalda aktivitetsbegränsningar M.F: Att hantera stress, förändring och andra psykologiska krav. Att bibehålla kroppsställning. De av expertgruppen för uppföljningen utvalda aktivitetsbegränsningarna finns dokumenterade i det medicinska underlaget och i de försäkrades berättelser som redovisas i SASSAM-kartläggningarna. Expertgruppens bedömning är att dessa kvarstående aktivitetsbegränsningar är angelägna att redovisa i ett medicinskt utlåtande som skall ligga till grund för en försäkrings-bedömning. Nedan återges huvudinnehållet i det medicinska underlag som deltagarna hade som grund för sin bedömning. Deltagarna hade därtill tillgång till en detaljerad SASSAM-kartläggning. 197908xx-xxxx, A.B. Anställning som bilförsäljare. Akut psykisk svikt med depressiv karaktär debuterande 20080818 efter just avslutad semester. Var sängliggande någon vecka. Sökte akut på V-Centrum och blev sjukskriven med diagnos utmattningsdepression. I status inledningsvis nedstämd, psykomotoriskt hämmad och kognitivt sviktande. Uttalad uttröttbarhet, stora kognitiva besvär och stresskänslighet Insattes på antidepressiv medicinering. Långsam förbättring. Remitterad till ÖV psykiatrin. Behandling togs över av psykiatriska ÖV-teamet 200812. Utöver medicinering påbörjat psykoterapeutisk behandling. Gradvis förbättring av de depressiva besvären och den kognitiva svikten. Dock fortsatt oro samt uttalad stress och kravkänslighet. Diagnos bipolär sjukdom ställd. Bedöms 090422 vara i fortsatt behov av en längre tids medicinsk rehabilitering och återhämtning. Bedöms på grund av sin bipolära sjukdom vara sårbar med risk för recidiv. Vid undersökning i samband med SLU: 20090605 AT: Längd: 179, vikt 96, BMI 30. Gott och opåverkat. Fullt orienterad. Psykomotorik, tanketempo och grundstämning ua. Inga suicidtankar. Inget psykotiskt. Ger god kontakt såväl formellt som emotionellt. Redgör klart för sin sjukhistorik och är mestadels kognitivt välfungerande under den timmeslånga intervjun. Tappar kortvarigt tråden i samtalet vid två tillfällen. Uttrycker viss oro och ovisshet inför framtiden.

21 (22) 197501xx-xxxx, M.F. Anställning som förskolelärare Långvarig sjukskrivning i samband med virusinfektion 2005. Återkommande korttidssjukskrivningar på grund av kvarstående uttröttbarhet och sömnstörning. 2006 akut debut av ländryggssmärta under arbete i småbarnsgrupp. Kunde inte ta sig hem själv, hämtad av maken. Vid undersökning på VC efter en vecka status och klinik som vid Lumbago-ischias. Långsam förbättring under sjukskrivning. Behandling av sjukgymnast. Efter tre månader åter i halvtidsarbete. Omplacering till arbete med äldre barn 2007 med fortsatt halvtidssjukskrivning. Under hösten 2007 försämring och vid återbesök VC konstaterades tillkomst av depression, BDI=26. Insatt på antidepressiv medicinering samt kontakt med kurator på VC. Heltidssjukskriven. Försök med arbetsträning 0803 avbröts efter några dagar. Utredningar/bedömningar: 2006 klinisk undersökning och bedömning VC med diagnos Lumbago-ischias dx. Rtg ländrygg 200608 visat en sänkt disk L4-5. 200805 MR ländrygg ua. Ortopedkonsultation 200806 med bedömning ospecifik långvarig ryggsmärta. Rutinprover inkl reumaprover ua. 200710 Klinisk bedömning VC, depression Vid undersökning i samband med SLU: 200901 15 Adekvat formell och emotionell kontakt samt grundstämning. Psykomotorik ua. Redogör klart och tydligt för sin sjukhistorik. Blir lätt tårögd. Kognitiva funktioner under samtalet bedöms ua. Går med lätt högersidig hälta och måste resa sig från stolen efter en halvtimme. Avlastar i stående mot väggen. Av och påklädning med mindre svårighet, ryggstelhet. Cor,Pulm: vilopuls 100 iö ua. Ländrygg: Normalkonfigurerad. SLR 60 grader hö 90 grader vänster.reflexer ua. Anger något nedsatt känsel i hela höger underben. Ingen säkert nedsatt kraft i benen. Uttalad tryckömhet över nedre ländrygg och ryggmuskulatur främst höger sida. Tar sig med svårighet upp från liggande. Sidoböjning starkt smärtinskränkt. Framåtböjning till finger-golvavstånd 40 cm. Går på tå och häl utan synbara besvär.

22 (22) Bilaga 2 Test av interbedömar-reliabilitet Robusta statistiska test för jämförelser av två bedömare finns att tillgå. Det har varit svårare att avgöra vilken form av test som är bra i den aktuella situationen med många bedömare. Friedman s test bedöms som relevant att använda. Det bygger inte på antaganden om normalfördelning och ger ett 2 -värde som möjliggör signifikanstest. Testet fungerar för multipla svar på en ordinalskala. Det är en form av 2 -test, där nollhypotesen att det inte är någon systematisk skillnad i bedömningarna testas. Ett lågt p-värde indikerar som vanligt liten chans att den identifierade skillnaden i bedömningar uppstått av en slump. Test av inter-bedömarreliabilitet är en vanlig användning av testet. Kendall s W är en transformation av Friedman s test som normaliserar testvariabeln till intervallet 0 1 som kan tolkas som en koefficient för graden av överensstämmelse, där 1 är total samstämmighet och 0 total frånvaro av samstämmighet. Ett alternativt test utgörs av den s.k. Kappa-koefficienten, där Fleiss kappa utformats för situationen med många bedömare. Kappa har dock kända svagheter som gör det mindre robust. Det är känsligt för marginalfördelningarna, vilket kan ge paradoxala resultat om bedömningsvariabeln inte har en jämn fördelning. I denna studie har valts att basera bedömningen av reliabiliteten på Friedman s test kompletterat med Kendall s W. Därutöver redovisas också Kappa-värdet som en jämförelse. I detta försök är slutsatserna kring inter-bedömarreliabiliteten desamma oavsett test. Referenser Statnotes, from North Carolina State University, Public Administration Program. Significance Tests for More Than Two Dependent Samples: Friedman Test, Kendall s W, Cochran s Q. Tillgänglig på: http://faculty.chass.ncsu.edu /garson/pa765/friedman.htm#cochranq Siegel, Sidney (1956). Nonparametric statistics for the behavioral sciences. NY: McGraw-Hill. Randolph, Justus J. (2005). Free-Marginal Multirater Kappa (multirater free ): An Alternative to Fleiss Fixed-Marginal Multirater Kappa. Tillgänglig på: http://www.eric.ed.gov/ericdocs/data/ericdocs2sql/content_storage_01/000 0019b/80/1b/c3/27.pdf