Utvärdering av instrument för bedömning av arbetsförmåga

Transkript

1 1 (46) Socialdepartementet Stockholm Utvärdering av instrument för bedömning av arbetsförmåga Redovisning av regeringsuppdrag Postadress Besöksadress Telefon Stockholm Vasagatan E-post Internetadress Telefax Org.nr

2 2 (46) Postadress Besöksadress Telefon Stockholm Vasagatan E-post Internetadress Telefax Org.nr

3 3 (46) Socialdepartementet Stockholm Utvärdering av instrument för bedömning av arbetsförmåga Regeringen har gett Försäkringskassan i uppdrag (Regeringsbeslut II:4, ) att utvärdera de instrument som används inom verksamheten för att ta fram underlag för beslut om rätt till sjukpenning samt rätt till sjuk- och aktivitetsersättning. I denna rapport redovisas de två experiment som genomförts för att 1) utvärdera olika instruments effekter på bedömningen av rätten till sjukpenning och den försäkrades känsla av delaktighet i beslutsprocessen samt 2) utvärdera olika instruments reliabilitet. Ansvarig för experimentens genomförande, utvärdering och rapportskrivande har Peje Bengtsson varit. Pathric Hägglund, som ansvarat för studiedesign, har bistått i den statistiska analysen av experimentet kring effekterna på bedömningen av rätten till sjukpenning, och Pernilla Tollin har bistått i arbetet med enkäter till handläggare och försäkrade inom ramen för samma experiment. Pernilla Keinestam har möjliggjort genomförandet av det andra experimentet för att analysera olika instruments reliabilitet i egenskap av ansvarig för de vidareutbildningar som genomförts med SLU-läkare under 2009 och Försäkringskassan överlämnar härmed rapporten. Beslut i detta ärende har fattats av generaldirektör Adriana Lender i närvaro av chefsjurist Eva Nordqvist, försäkringsdirektör Gunnar Johansson, försäkringsdirektör Birgitta Målsäter, försäkringsdirektör Svante Borg, verksamhetsområdeschef Magdalena Brasch och analytiker Peje Bengtsson, den senare som föredragande. Adriana Lender Peje Bengtsson Postadress Besöksadress Telefon Stockholm Vasagatan E-post Internetadress Telefax Org.nr huvudkontoret@forsakringskassan.se

4 4 (46)

5 5 (46) Innehållsförteckning Utvärdering av instrument för bedömning av arbetsförmåga...3 Innehållsförteckning...5 Sammanfattning...7 Uppdraget... 7 Olika instruments effekter... 7 Samstämmigheten i läkarnas bedömningar reliabiliteten... 8 Slutsatser Inledning Regeringsuppdraget Fördjupade läkarutlåtanden Det särskilda läkarutlåtandet Försäkringsmedicinsk utredning Komplettering från behandlande läkare Frågeställningar att besvara Rapportens struktur Redovisning av studierna och resultaten Effekterna beroende på val av instrument Design och urval Vad mäts i experimentet? Felkällor Data och beskrivande statistik Effekter på sjukskrivningens längd och besluten Effekter för handläggarna Effekter på delaktighet Studier av reliabiliteten Genomförande Felkällor Hur redovisas resultaten? Studien Studien

6 6 (46) 3 Diskussion och slutsatser...27 Källförteckning...29 Bilaga Statistisk modell Bilaga Test av interbedömarreliabilitet Bilaga Diagram från reliabilitetsförsöket Bilaga Diagram från reliabilitetsförsöket Bilaga Teknisk rapport TNS SIFO Bilaga Enkät till de försäkrade Bilaga Enkät till handläggarna... 44

7 7 (46) Sammanfattning Uppdraget Regeringen har gett Försäkringskassan i uppdrag att utvärdera de instrument som används som underlag för beslut om rätt till sjukpenning samt sjuk- och aktivitetsersättning. Instrumenten ska utvärderas utifrån minst tre dimensioner: Vilken betydelse val av instrument har för vilket beslut som fattas, vilken reliabilitet olika instrument har och i vilken grad användningen av olika instrument har betydelse för den försäkrades känsla av delaktighet. I uppdraget betonas valet av experiment, eller randomiserade försök, som utvärderingsmetod. För att utvärdera olika instruments effekter på bedömningen av rätten till sjukpenning och den försäkrades känsla av delaktighet i beslutsprocessen har ett randomiserat experiment genomförts. Inom ramen för effektstudien har också enkätundersökningar genomförts för handläggare på Försäkringskassan och försäkrade. För att utvärdera olika instruments reliabilitet har två försök i kontrollerad miljö genomförts. I denna slutredovisning av uppdraget presenteras resultaten av effektstudien och reliabilitetsstudierna. Olika instruments effekter Effektstudien baseras på ett randomiserat experiment. De ärenden där handläggaren hade behov av ytterligare medicinskt underlag inför bedömningen mot reguljära arbetsmarkanden randomiserades till tre grupper av arbetsförmågeinstrument: 1) Särskilt läkarutlåtande (SLU), 2) utlåtande från en Försäkringsmedicinsk utredning (FMU) eller, 3) komplettering via behandlande läkare (KBL). Effekten av det valda arbetsförmågeinstrumentet för sjukskrivningstiden presenteras i form av den procentuella effekten på sannolikheten att lämna sjukskrivning i förhållande till en jämförelsegrupp. I analysen används FMUgruppen som jämförelse. Ett av huvudresultaten är att ärenden där SLU använts avslutades med i genomsnitt 20,6 procent större sannolikhet jämfört med om ett FMU istället hade använts. Liknande effekter kan konstateras vid jämförelse av ärenden där KBL har använts. Effekten är såväl tydlig (20,4 %) som signifikant i förhållande till FMU. Det finns en statistiskt signifikant skillnad mellan besluten baserade på SLU och FMU. I SLU-gruppen är det vanligare att bedömningen resulterar i att den försäkrade bedöms ha arbetsförmåga, och att rätt till ersättning därigenom inte föreligger. Skillnaderna i sjukskrivningstider mellan SLU och FMU tycks främst vara resultatet av skillnaderna i besluten. Medan skillnaderna i sjukskrivningstider mellan KBL och FMU troligen beror på skillnaderna i väntetider för underlagen. I handläggarenkäten har ingått frågor för att få en uppfattning om handläggarnas värdering av de olika instrumenten. Hur användbara har de varit och vilket stöd har de gett i handläggningen? Svaren har getts på en femgradig skala från 1=mycket liten nytta till 5=mycket stor nytta. Vid en jämförelse mellan de tre

8 8 (46) instrumentgrupperna för andelen svar där handläggarna har angett att de haft ganska eller mycket stor nytta av underlagen så ligger SLU i topp i samtliga frågor. Skillnaden mellan SLU och FMU kan bland annat bero på att det senare inte anpassats till de nya sjukförsäkringsreglerna Analysen av de försäkrades upplevda delaktighet i beslutsprocessen baseras på en enkätundersökning som riktats till de försäkrade som ingått i det randomiserade experimentet. Redovisningen koncentreras till att identifiera de sammanhang där den försäkrade upplever att Försäkringskassan eller läkarna inte lyssnat till eller tagit hänsyn till den försäkrades beskrivning eller uppfattning, vilket i denna undersökning betraktas som att de försäkrade upplever brister i delaktigheten. Mellan de tre experimentgrupperna finns det bara signifikanta skillnader i två frågor. Det handlar om en skillnad mellan SLU och FMU kring frågan om den försäkrade anser att läkaren/teamet tog hänsyn till hans/hennes uppfattning före bedömningen, och frågan om den försäkrades uppfattning överensstämde med läkarens/teamets bedömning av vilken omfattning av sjukskrivningen som behövdes. I båda fallen är det en större andel försäkrade som är missnöjda med SLU jämfört med FMU. Det är däremot ingen skillnad när det gäller de upplevda möjligheterna att få beskriva sitt hälsotillstånd. Samstämmigheten i läkarnas bedömningar reliabiliteten En första studie av reliabiliteten genomfördes 2009 och har redovisats i en särskild delrapport till regeringen den 30 april Interbedömarreliabiliteten har att göra med graden av överensstämmelse i bedömning mellan olika granskare. Detta testas genom att man låter flera personer mäta samma sak och sedan jämför hur väl de olika personernas mätningar stämmer överens. Slutsatsen från försöket 2009 var att läkarna i försöket uppvisade mycket låg överensstämmelse både när det gäller bedömningen av vilka aktivitetsbegränsningar de båda fiktiva patienterna hade och ifråga om nivån på aktivitetsbegränsningarna vid användandet av det gamla SLU-formuläret. Vid användandet av ett formulär liknande dagens SLU (då benämnt FAP), med förbestämda funktionstillstånd och nivåbeskrivningar för aktiviteter, identifierades de fiktiva patienternas aktuella aktivitetsbegränsningar i betydligt större utsträckning än vid användningen av det gamla SLU-formuläret. Däremot var överensstämmelsen när det gäller bedömningen av nivån på aktivitetsbegränsningarna fortfarande låg. Det andra försöket som genomfördes 2010 baseras på det nuvarande SLUintyget. Återigen har läkare fått bedöma typärenden, denna gång före och efter utbildningar. Bedömningarna före utbildningarna 2010, baserade på den nya SLU-blanketten, visade en större grad av samstämmighet jämfört med Nivån motsvarar i stort sett den som uppnåddes med FAP-formuläret under själva utbildningarna De två typfallen som bedömdes efter utbildningen gav ett bättre resultat, men inte heller då kan samstämmigheten anses vara på en acceptabel nivå.

9 9 (46) Slutsatser Det randomiserade experimentet visar att olika underlag, eller instrument, ger olika effekter på sjukskrivningen, besluten och handläggarnas värdering av användbarheten. Den försäkrades känsla av delaktighet mätt med frågor om man fått tillfälle att beskriva sitt hälsotillstånd för FK, sjukskrivande läkare eller SLU-läkare/FMUteam kan beskrivas som relativt hög och relativt lika för de tre metoderna. Om frågorna som kan sägas fånga den försäkrades förståelse/acceptans för den bedömning som gjordes läggs in i begreppet delaktighet så framträder skillnader som troligen inte främst har att göra med instrumenten. Det är inte konstigt att förståelsen/acceptansen är lägre i de fall Försäkringskassans beslut eller utlåtandenas innehåll inte motsvarar den försäkrades förväntningar. Det understryker samtidigt vikten av tydlig information om förutsättningarna innan och förklaringar efter en fördjupad utredning. Försäkringskassan kan redan idag förbättra informationen till den försäkrade om vad en utredning innebär och hur den används i bedömningen av arbetsförmågan och rehabiliteringsbehoven. Efter de genomförda försöken för att analysera reliabiliteten framstår det som att de instrument där aktiviteterna är förbestämda och understöds av nivåbeskrivningar ger ett bättre utgångsläge för att uppnå en bättre överensstämmelse i bedömningarna. En annan slutsats är att utbildningsinsatser för läkare som ska göra bedömningarna ökar samstämmigheten, åtminstone i nära anslutning till utbildningen. Hur bestående effekten är ger studien dock inte kunskap om. Ytterligare en slutsats är att trots ökningen av samstämmigheten i bedömningarna når överensstämmelsen inte upp till önskvärda nivåer. Det är fortfarande inte ett tillräckligt bra resultat för att man ska säga att det är en god reliabilitet. Resultaten från de genomförda studierna ger Försäkringskassan ytterligare kunskaper som kommer att användas i arbetet med regeringsuppdraget att vidareutveckla metoder och instrument för bedömning av arbetsförmåga. Studierna tydliggör behovet och att utvecklingsarbetet är väl motiverat. Svårigheten att definiera och enhetligt använda fundamentala begrepp som funktionsnedsättning och aktivitetsbegränsning har tidigare också belysts i Arbetsförmågeutredningen (SOU 2009:89). Den nya SLU-blanketten, liksom det nya utlåtandet från teambedömning, öppnar dock för systematisk datainsamling kring diagnoser, bedömning av aktivitetsbegränsningar samt handläggarnas bedömning av arbetsförmåga. På detta sätt kan vi få bättre kunskap om sambanden mellan diagnos, funktionstillstånd, aktivitetsbegränsningar och bedömning av arbetsförmåga. Detta kommer att kunna föras in i utvecklingsarbetet. Utvecklingsarbetet planeras ske så att de försäkrade, behandlande läkare, Arbetsförmedlingen och sociala myndigheter förstår och har förtroende för Försäkringskassans beslut gällande rätten till ersättning i förhållande till förmågan att arbeta. De genomförda undersökningarna har också gett nyttiga erfarenheter av reliabilitetsstudier vilket också kommer att behöva användas i utvecklingsarbetet.

10 10 (46) 1 Inledning 1.1 Regeringsuppdraget Regeringen gav i december 2008 Försäkringskassan i uppdrag att utvärdera de instrument som används inom verksamheten för att ta fram underlag för beslut om rätt till sjukpenning samt rätt till sjuk- och aktivitetsersättning. 1 Instrumenten borde belysas utifrån åtminstone tre dimensioner: 1) Vilken betydelse val av instrument har för vilket beslut som fattas, 2) Vilken reliabilitet olika instrument har och 3) I vilken grad användningen av olika instrument har betydelse för den försäkrades upplevelse av delaktighet i beslutsprocessen. I regeringsbeslutet poängteras att utvärderingen ska ske med högt ställda krav på utvärderingsmetodik och där så är lämpligt ska randomiserade kontrollerade studier användas. Särskild vikt ska läggas vid att studera SLU-intygens betydelse för beslut om arbetsförmåga i relation till den reguljära arbetsmarknaden. Regeringen hänvisar i sitt beslut till Arbetsförmågeutredningen som betonade vikten av att offentliga verksamheter i allmänhet använder ett mer vetenskapligt förhållningssätt för att utveckla sina metoder och verksamheter. Med detta uppdrag avser regeringen att initiera en utveckling som kan leda till att mer vetenskapliga effektutvärderingar blir en permanent del av den reguljära verksamheten. 1.2 Fördjupade läkarutlåtanden I längre eller mer komplexa ärenden kan det behövas ett fördjupat läkarutlåtande från en läkare med särskild kompetens i försäkringsmedicin. Ställningstagandet inför dag 181 i rehabiliteringskedjan är en sådan situation. Idag kan ett fördjupat läkarutlåtande antingen vara ett särskilt läkarutlåtande (SLU) eller ett läkarutlåtande efter teamutredning. Teamutredningarna är en nyhet efter överenskommelse mellan regeringen och Sveriges kommuner och landsting (SKL) som innebär att landstingen ska få ett särskilt statsbidrag inom ramen för den så kallade sjukvårdsmiljarden när de tillhandahåller utredningar åt Försäkringskassan. Denna verksamhet byggs upp och är ännu inte fullt utbyggd överallt. Om landstinget inte kan genomföra teamutredningar i den omfattning som Försäkringskassan behöver kan en försäkringsmedicinsk utredning (FMU) beställas från en leverantör som har ramavtal med Försäkringskassan. Det särskilda läkarutlåtandet och utlåtandet från teamutredningen har förändrats efter sommaren De nuvarande utlåtandena bygger bland annat på användandet av fördefinierade aktiviteter i enlighet med ICF 2 vid beskrivningen av funktionstillståndet och understöds av nivåbeskrivningar för bedömning av funktionstillstånd samt en samtalsguide. 3 1 Regeringsbeslut II:4, , S2008/5571/SF (delvis), S2008/10724 (delvis). 2 World Health Organization 2001, översatt till svenska och tillgänglig på Socialstyrelsens webbplats, 3 Nivåbeskrivningar blankett FK7270, Samtalsguide blankett FK 7271.

11 11 (46) Vid tidpunkten för randomiseringen till effektstudien så fanns särskilda läkarutlåtanden och utlåtanden från försäkringsmedicinska utredningar att tillgå. SLU innehöll inte förbestämda aktiviteter i enlighet med ICF för att beskriva funktionstillstånd. Utlåtandet understöddes inte heller av nivåbeskrivningar eller samtalsguide. Detsamma gällde och gäller för utlåtandena från försäkringsmedicinska utredningar. Kravet på utredningen var att genom användande av ICF beskriva och värdera individens funktionstillstånd och aktivitetsbegränsningar Det särskilda läkarutlåtandet Det är läkare med fördjupad utbildning i försäkringsmedicin som utfärdar det särskilda läkarutlåtandet. Det ska belysa hur sjukdomen påverkar den försäkrades funktion och förmåga att utföra olika typer av aktiviteter. Av utlåtandet ska relevanta aktivitetsbegränsningar framgå och graderas på en skala från 0 till 4. En sammanfattning ska göras med fokus på befintlig förmåga till aktivitet, om behandling och/eller medicinsk rehabilitering kan påverka förmågan till aktivitet samt en prognos om eventuell restarbetsförmåga på sikt. Det ska även finnas uppgift om hur den försäkrade själv ser på sin förmåga till aktivitet och i vilken mån hans eller hennes bedömning skiljer sig från läkarens. Det särskilda läkarutlåtandet beslutades Den utbildning i försäkringsmedicin som en SLU-läkare ska ha genomfördes första gången under januari till oktober Då diplomerades 132 läkare för att utfärda SLU. Idag har Försäkringskassans handläggare tillgång till en bra bit över 300 SLU-läkare. Beslutet om införandet av det särskilda läkarutlåtandet ingick i lagstiftningen kring bland annat avstämningsmöte. 4 I propositionen framhålls att det särskilda läkarutlåtandet i första hand ska fungera som ett komplement till avstämningsmötet. Intentionerna var också att ett särskilt läkarutlåtande skulle begäras inom åtta veckors sjukskrivningstid. I motiven bakom detta ligger att hämta in bedömningen från en läkare utbildad i försäkringsmedicin som komplement till det ursprungliga medicinska underlaget i ärendet, dvs. en form av second opinion eller medbedömning. Användandet av SLU utvärderades i nära anslutning till dess införande. 5 I rapporten konstaterades att utlåtandena inte kommit i bruk i någon större utsträckning. Utvärderingen lyfte fram att syftet med SLU måste förtydligas. Det framhölls att SLU som medbedömning troligtvis skulle kunna fylla samma funktion som en mindre försäkringsmedicinsk utredning. Den detaljreglering som styr när och hur ett SLU ska infordras skulle kunna tas bort och istället kunna bedömas av handläggaren utifrån omständigheterna i det enskilda ärendet. I Försäkringskassans vägledning för sjukpenning och samordnad rehabilitering beskrivs användandet av det särskilda läkarutlåtandet vid tiden för experimentet på följande sätt: 6 Om handläggaren bedömer att ett läkarutlåtande om hälsotillstånd inte är tillräckligt som beslutsunderlag eller om det behövs en särskild försäkringsmedicinsk kompetens vid utredningen, kan Försäkringskassan begä- 4 Prop. 2002/03:89, Förändringar inom sjukförsäkringen för ökad hälsa i arbetslivet. 5 Försäkringskassan Analyserar 2005:15, Särskilt läkarutlåtande försäkringskassans metodundersökning Vägledning 2004:2 version 13, Försäkringskassan.

12 12 (46) ra ett särskilt läkarutlåtande. Det särskilda läkarutlåtandet ger en strukturerad helhetsbild av den försäkrades medicinska förutsättningar för arbete genom att dennes förmågor och begränsningar relaterade till sjukdomen görs tydliga Försäkringsmedicinsk utredning En försäkringsmedicinsk utredning, som Försäkringskassan upphandlat, innefattar medverkan av ett team bestående av fem olika kompetenser, läkare med specialistkompetens, psykolog, sjukgymnast, arbetsterapeut samt socionom. De krav på fördjupad utbildning i försäkringsmedicin som finns för SLU och teamutredning ställs inte på FMU. Däremot finns riktlinjer och kvalitetskrav fastställda av Försäkringskassan för de upphandlade leverantörerna. Producentens uppgift är att utifrån sin fackkunskap använda de utredningsinsatser och tester som behövs för att kunna lämna ett uttömmande utlåtande till Försäkringskassan. Utredningstiden är något längre jämfört med SLU och handläggaren beställer via en s.k. avropssamordnare som avgör vilken av de upphandlade leverantörerna som ska utföra uppdraget. Vid beställning av SLU väljer handläggaren vilken SLU-läkare som tillfrågas om uppdraget Komplettering från behandlande läkare Komplettering från behandlande läkare (KBL) utgör ett alternativ till ett fördjupat läkarutlåtande i det experiment som genomförts. I detta sammanhang handlar det inte om svar på en kort enkel fråga, utan behov av en utförligare komplettering av det medicinska underlaget. 1.3 Frågeställningar att besvara Det randomiserade experimentet används för att analysera vilken betydelse val av instrument har för sjukskrivningstiderna och vilket beslut som fattas. Enkätundersökningen i anslutning till experimentet används för att analysera i vilken grad användningen av olika instrument har betydelse för den försäkrades upplevelse av delaktighet i beslutsprocessen. För att besvara frågan om vilken reliabilitet olika instrument har används de genomförda försöken i kontrollerad miljö. 1.4 Rapportens struktur I kapitel 2 redovisas först design, genomförande och resultaten från det randomiserade experimentet, dvs. effekterna beroende på val av instrument, och därefter design, genomförande och resultaten från försöken i kontrollerad miljö, dvs. reliabilitetsstudierna.

13 13 (46) 2 Redovisning av studierna och resultaten I detta kapitel redovisas experimentet och reliabilitetsstudierna i separata avsnitt. I avsnitt 2.1 redovisas det experiment som genomförts och enkäterna till handläggare och försäkrade. Effekterna av att använda olika instrument analyseras. I avsnitt 2.2 redovisas och analyseras reliabilitetsstudierna. 2.1 Effekterna beroende på val av instrument Design och urval Urvalet i denna studie består av sjukfall där handläggaren någon gång mellan den 22 september 2009 och 26 mars 2010 bedömde att det förelåg behov av ytterligare medicinskt underlag för att fastställa arbetsförmågan i förhållande till den reguljära arbetsmarknaden. Om handläggaren bedömde att nödvändigt underlag kunde samlas in via antingen ett SLU, ett FMU, eller via en komplettering från behandlande läkare (KBL), var instruktionen att slumpen skulle få avgöra vilket av dessa underlag som skulle användas. 7 Ärendet skickades då till en utsedd randomiseringsansvarig på det aktuella kontoret (LFC) som genomförde randomiseringen och återkopplade resultatet till den aktuella handläggaren. Handläggaren tog därefter initiativ till att verkställa insamlingen av det underlag som slumpen avgjort. En viktig ingrediens i experimentet är att handläggaren hade möjlighet att komplettera det insamlade underlaget med information från ytterligare minst ett underlag, ett valfritt sådant. Om handläggaren exempelvis ansåg att en komplettering från behandlande läkare inte var tillräckligt för att kunna fatta beslut om rätt till sjukpenning, kunde denne ta initiativ till att samla in ytterligare underlag via exempelvis ett SLU. Denna möjlighet var nödvändig för att minska risken för rättslig och etisk problematik vid genomförandet av experimentet, men också för att möjliggöra genomförandet av det i ordinarie handläggning. Instruktionen var dock att denna möjlighet inte skulle missbrukas utan bara utnyttjas om det ansågs absolut nödvändigt. Det är alltså viktigt att notera att det instrument som har randomiserats fram inte i samtliga fall är det enda underlag som ligger till grund för det fattade beslutet. Randomiseringen ska emellertid ha inneburit att det utsedda instrumentet är systematiskt mer frekvent förekommande i respektive experimentgrupp. Detta är tillräckligt för att vi med stor tillförlitlighet ska kunna mäta betydelsen av det specifika instrumentet på sjukskrivningslängden. Det ursprungliga urvalet bestod av individer. Vid koppling till Försäkringskassans utbetalningsregister föll ett antal ärenden bort. Dessutom gjordes en avgränsning till sjukskrivna med en anställning vid sjukfallets start. Det slutgiltiga urvalet består av ärenden/individer, där 471 tilldelades SLU som instrument för arbetsförmågebedömning, och där 475 samt 416 istället skulle bedömas på underlag från en komplettering från behandlande läkare respektive en FMU. Experimentet är geografiskt väl spridet och omfattar underlag från samtliga utom fem län. 7 Av alla de ärenden som bedöms mot den reguljära arbetsmarkanden utgör de där handläggaren anser sig behöva ett fördjupat utlåtande eller utförligare komplettering en mycket liten andel. SLU begärs t.ex. i ca fyra procent av de längre sjukskrivningarna.

14 14 (46) Vad mäts i experimentet? I analysen studeras och jämförs tiden mellan randomisering av arbetsförmågeinstrument och fullständigt avslut av sjukfallet. Eventuella skillnader mellan grupperna kan därför ha sitt ursprung i ett flertal orsaker. För det första skulle olika väntetider till arbetsförmågebedömningens genomförande kunna påverka längden på sjukfallet. En komplettering från behandlande läkare torde exempelvis gå att få till stånd avsevärt snabbare än en FMU. Detta bekräftas också i studiens data som visar att det i genomsnitt gick 29 dagar mellan randomisering och insamlat underlag då KBL användes, och 50 samt 57 dagar när istället SLU respektive FMU utnyttjades. I den mån två arbetsförmågeinstrument föranleder samma beslut hos handläggaren är det således det instrument som har kortast väntetid som genererar störst effekt på sjukskrivningstiderna. Man kan tänka sig att en remiss till någon av de mer omfattande utredningarna kan påverka individens beteende, framför allt om individen tror att utredningen kommer att leda till indragen sjukpenning. En individ med viss arbetsförmåga kan då välja att istället återgå i arbete innan utredningen har startat. Beteendet i fråga har konstaterats i den empiriska forskningen inom såväl sjuk- som arbetslöshetsförsäkringen, och kan också förutses utifrån teoretiska modeller. 8 Avslutningsvis kan underlagens olika utformning och kvalitet ha betydelse för vilket beslut handläggaren fattar och därmed sjukskrivningens längd. Det är alltså den samlade effekten av dessa olika mekanismer som studeras här Felkällor Om randomiseringen inte fungerat så att experimentgrupperna blir jämförbara blir försöket oanvändbart. Då uppnås inte det som avses med randomiseringsförfarandet, att observerbara och därigenom icke observerbara faktorer ska vara jämt fördelade mellan grupperna. Att de olika grupperna inte fått ta del av de avsedda instrumenten utgör ytterligare en felkälla. Analysen av experimentet inleds med att studera hur väl experimentet fungerade, och bedömningen är att dessa felkällor inte ska störa tolkningen av resultatet utan att det fungerat bra. Handläggarenkäten (bilaga 7) hade en svarsfrekvens på drygt 90 procent. Det måste betecknas som en god svarsfrekvens som bör ge väldigt representativa svar på frågorna. Den felkälla som kvarstår är att respondenterna gett felaktiga svar eller inte förstått frågorna. Det är svårt att undersöka men en rimlig bedömning är att dessa felkällor inte bör ha drabbat studien, bland annat mot bakgrund av överensstämmelsen mellan registeruppgifter och enkätsvaren i de delar där detta kan kontrolleras. Enkäten till de försäkrade (bilaga 5 och 6) kan drabbas av samma felkällor som andra enkätstudier. Det stora problemet är svarsbortfallet. Svarsfrekvensen ligger på drygt 47 procent. Det är långt ifrån bra och utgör ett stort problem. Undersökningsföretagets bortfallsanalys och en egen analys av respondenternas svar i förhållande till Försäkringskassans beslut i arbetsförmågebedömningen talar dock för att resultaten kan bedömas som tillförlitliga. Två andra problem vet vi inte betydelsen av, att respondenterna inte förstått, tolkat frågorna fel eller inte kommit ihåg upplevelsen av det som frågorna gäller. 8 Se exempelvis Black m.fl. (2003) och Hägglund (2010) för empiriska belägg inom arbetslöshets- respektive sjukförsäkringen, samt Mortensen (1977) för en teoretisk modell.

15 15 (46) Data och beskrivande statistik Information om individerna och deras sjukskrivningstider hämtas från Försäkringskassans registerdatabas Midas. I den finns också utförlig information om varje individ beträffande ålder, utbildningsnivå, dagersättning med mera. I analysen följs individerna från tidpunkten för randomisering till som längst 31 augusti Det innebär att uppföljningstiden som längst är 343 dagar, om randomiseringen skedde i slutet av september 2009, och 158 dagar, om randomiseringen istället skedde i slutet av mars Analysen skiljer inte på avslut av olika anledningar utan studerar endast längden på sjukskrivningstiden. Nedan studerar vi hur väl experimentet fungerade. Tabell 1 redovisar hur stor andel i grupperna där det tänkta arbetsförmågeinstrumentet också användes som det var tänkt, och i tabell 2 studeras hur väl balanserade grupperna är i förhållande till varandra. I tabell 1 framgår att det avsedda underlaget samlades in i mellan 65 och 76 procent av fallen. Notera att 100 procent inte är realistiskt eftersom många hinner lämna sjukskrivning i väntan på utredning. Inte oväntat är andelen högst bland dem som tilldelades KBL, som ju har den kortaste genomsnittliga väntetiden. I tabellen framgår också att ytterligare underlag via andra arbetsförmågeinstrument har använts i 7-8 procent av ärendena. Något oväntat föreligger ingen större skillnad mellan instrumenten, dvs. ett FMU förefaller ha kompletterats i samma utsträckning som ett KBL. Sammanfattningsvis förefaller experimentet ha fungerat mycket väl såtillvida att det utsedda instrumentet, och nästan enbart det instrumentet, har använts i de fall som det var tänkt. Tabell 1: Andel genomförda arbetsförmågebedömningar Faktiskt genomförda (%) kompletterat Annat instrument har (%) SLU 66,7 7,5 KBL 76,2 7,8 FMU 64,9 8,1 Notera: Informationen i tabellen bygger på uppgifter från handläggarenkäten. Antalet enkätsvar per instrument är; FMU: 382, SLU: 412, KBL: 436. Annat instrument har kompletterat betyder t.ex. för KBL att SLU eller FMU också begärts. Andelen är beräknad i förhållande till de faktiskt genomförda. Tabell 2 ger en kortfattad beskrivning av de sjukskrivna i urvalet. Eftersom slumpen har fått styra fördelningen av ärenden borde grupperna som tilldelats SLU, KBL respektive FMU i genomsnitt vara mycket lika varandra. Mindre skillnader kan dock förekomma. Som framgår av tabellen är individerna som tilldelades KBL och FMU i genomsnitt väldigt lika varandra i de flesta avseenden. FMU-gruppen har något större erfarenhet av tidigare sjukskrivning, men skillnaden är inte signifikant. Emellertid avviker SLU-gruppen från de övriga grupperna i flera avseenden. Exempelvis är andelen äldre och högutbildade (med eftergymnasial utbildning) signifikant högre. I analysen nedan kommer resultaten att justeras för dessa skillnader.

16 16 (46) Tabell 2: Beskrivning av urvalet, medelvärde eller andel (och standardavvikelse) SLU KBL FMU Man 0,37 0,42 0,39 (0,022) (0,023) (0,024) Ålder 48,40 46,75 46,88 (11,07) (10,68) (10,74) Grundskola 0,39 0,43 0,45 (0,022) (0,023) (0,024) Gymnasium 0,40 0,42 0,40 (0,023) (0,023) (0,024) Eftergymnasial 0,21 0,15 0,15 (0,019) (0,016) (0,017) Utrikesfödd 0,26 0,24 0,24 (0,020) (0,020) (0,021) Storstadslän 0,75 0,79 0,77 (0,020) (0,019) (0,021) Sjukskrivningshistorik (dagar) (678) (655) (630) Antal observationer Det tredje och sista sättet på vilket urvalet beskrivs är med avseende på sjukskrivningstiderna. Mellan 53 och 57 procent av sjukfallen är fortfarande pågående vid uppföljningsperiodens slut den 31 augusti Tabell 3 redovisar Kaplen-Meier-skattningar för de genomsnittliga sjukfallslängderna mellan tidpunkten för randomisering och avslut av sjukfallet, samt andelen som pågår efter olika tider. Med ett randomiserat urval bör dessa jämförelser ge en god indikation om vilken effekt det valda arbetsförmågeinstrumentet haft för sjukskrivningstiden. I den analys som följer i nästa avsnitt kommer emellertid resultaten att justeras för de slumpmässigt uppkomna skillnaderna mellan grupperna som redovisades i tabell 2. Av tabellen framgår att ärenden där antingen SLU eller KBL har använts som underlag, i genomsnitt är kortare än ärenden där FMU har använts. Skillnaden uppgår till 15 (SLU) respektive 12 (KBL) dagar. Detta motsvarar en skillnad på 7,9 (SLU) respektive 6,2 (KBL) procent. Endast den förstnämnda skillnaden är statistiskt säkerställd.

17 17 (46) Tabell 3: Beskrivning av sjukskrivningstiderna efter randomiseringen SLU KBL FMU Genomsnittlig sjukfallslängd (dagar) Andel sjukfall som pågår i minst (dagar): Antalet observationer Effekter på sjukskrivningens längd och besluten Betydelsen av det valda arbetsförmågeinstrumentet för sjukskrivningstiden studeras med hjälp av en statistisk regressionsmodell som presenteras utförligt i bilaga 1. Effekterna presenteras i form av så kallade hasardkvoter, dessa anger den procentuella effekten på sannolikheten att lämna sjukskrivning i förhållande till en jämförelsegrupp. I analysen används FMU-gruppen som jämförelse. Resultaten presenteras såväl justerat som icke-justerat för bakomliggande faktorer. 9 En hög överensstämmelse mellan resultaten indikerar att experimentet varit lyckat och att effekten mäts med stor trovärdighet. Resultaten i tabell 4, där huvudresultaten presenteras, ska tolkas på följande sätt: Sjukfall där SLU använts som underlag för bedömning av arbetsförmåga avslutades med i genomsnitt 17,6 procent större sannolikhet jämfört med om ett FMU istället hade använts. Skillnaden är svagt statistiskt signifikant. När modellen justerar för bland annat de skillnader som trots det randomiserade urvalet finns mellan grupperna, och som utöver det insamlade underlaget också kan tänkas påverka sjukskrivningens längd, förstärks både effekten (20,6 %) och signifikansen ytterligare. Liknande effekter kan konstateras vid jämförelse av ärenden där KBL har använts. När ingen justering görs för bakomliggande faktorer är effekten positiv på sannolikheten att avsluta sjukfallet, dock inte statistiskt säkerställd. När modellen utökas blir effekten än en gång såväl tydligare (20,4 %) som signifikant. 9 Utöver faktorer i tabell 2 ingår: sjukskrivningens omfattning, dagersättningsbelopp, förmån, diagnos, randomiseringsmånad och civilstånd.

18 18 (46) Tabell 4: Effekten av arbetsförmågeinstrument på sannolikheten att avsluta sjukfallet FMU SLU KBL (jämförelse) Effekt (estimat) Enkel modell (exkl. bakomliggande faktorer) 1,176* (0,090) 1,153 (0,090) - Full modell (inkl. bakomliggande faktorer) 1,206** (0,093) 1,204** (0,093) - Notera: Antalet observationer: */**/*** anger statistisk signifikans på 10/5/1-procentsnivån. Sammanfattningsvis visar alltså denna analys att när arbetsförmågebedömningen har baserats på FMU leder detta till signifikant längre sjukskrivningstider än ärenden där istället KBL eller SLU har använts. Handläggarna på Försäkringskassan har inom ramen för experimentet besvarat en enkät för varje ärende som ingått i randomiseringen. Bland annat har den bedömning som gjorts av arbetsförmågan i relation till den reguljära arbetsmarknaden redovisats. I tabell 5 redovisas en statistiskt signifikant skillnad mellan besluten baserade på SLU och FMU. I SLU-gruppen är det vanligare att bedömningen resulterar i att den försäkrade bedöms ha arbetsförmåga, och att rätt till ersättning därigenom inte föreligger. Tabell 5: Andel ärenden där bedömningen mot den reguljära arbetsmarknaden resulterat i att rätt till ersättning inte föreligger Inte rätt till ersättning (%) p-värde vid jämförelse mot FMU p-värde vid jämförelse mot KBL SLU 17,8 0,0158 a 0,0649 KBL 13,5 0, FMU 12,0 - - a Skillnaden är statistiskt signifikant på 5-procentsnivån efter korrigering (Sidak-Bonferroni) för undvikande av s.k. massignifikans. P-värde efter justering: 0,0467. Skillnaden i sjukskrivningstider mellan SLU och FMU tycks främst vara resultatet av skillnaderna i besluten, medan skillnaden i sjukskrivningstider mellan KBL och FMU troligen beror på skillnaderna i väntetider för underlagen. Analysen ger inte stöd för att det finns någon beteendeeffekt, i form av att den försäkrade bryter sjukskrivningen före utredningen för att slippa genomgå den. De tre grupperna skiljer sig inte åt avseende andelen ärenden som avslutats innan bedömningen gjorts Andelen ärenden som avslutats innan bedömningen gjorts: SLU (13,0), KBL (10,9) och FMU (11,1). P-värde för jämförelse av proportioner mellan SLU/KBL (utan korrigering): 0,3420.

19 19 (46) Effekter för handläggarna I handläggarenkäten har också ingått frågor för att få en uppfattning om handläggarnas värdering av de olika instrumenten. Hur användbara har de varit och vilket stöd har de gett i handläggningen? Dels har tre frågor ställts om den nytta handläggaren haft av underlaget: för att bedöma den försäkrades arbetsförmåga i förhållande till den reguljära arbetsmarknaden, för att bedöma om det föreligger särskilda skäl, för att planera åtgärder i ärendet. Svaren har getts på en femgradig skala från 1=mycket liten nytta till 5=mycket stor nytta. 11 Vid en jämförelse mellan de tre instrumentgrupperna för andelen svar där handläggarna har angett att de haft ganska eller mycket stor nytta av underlagen så ligger SLU i topp i samtliga tre frågor. Tabell 6: Andelen ganska eller mycket stor nytta av underlagen (Procent) Ganska eller mycket stor nytta för handläggaren SLU KBL FMU i bedömningen mot den reguljära arbetsmarknaden 48,0 35,4 40,2 i bedömningen av särskilda skäl 27,6 26,7 26,4 i planeringen av åtgärder 41,4 30,3 38,4 Detta resultat kan kombineras med handläggarnas svar på frågan om vilket underlag de valt att hämta in i ärendet om inte slumpen fått bestämma. Svaren bekräftar bilden av att SLU, i just detta sammanhang där instrumenten i utgångsläget bedömts utgöra substitut till varandra, har en stark ställning i handläggarnas ögon i jämförelse med de andra två alternativen. Det innebär dock inte att SLU används i särskilt hög grad generellt sett inför bedömningen mot den reguljära arbetsmarknaden. Det kan röra sig om någonstans runt tre till fyra procent av alla bedömningar i förhållande till den reguljära arbetsmarknaden som görs med stöd av någon form av fördjupat läkarutlåtande. Det absolut vanligaste är att bedömningarna baseras på medicinska underlag från den behandlande läkaren, eventuellt kompletterat med svar på särskilda frågor från Försäkringskassan i ärendet. I tabell 7 syns att där randomiseringen ledde till FMU hade handläggarna föredragit SLU eller KBL, där den ledde till KBL så föredrogs samma underlag med en ganska stor andel för SLU och där randomiseringen gav SLU så var det samma instrument som handläggarna anger att de hade valt utan randomisering. 11 Skala: 1=Mycket liten nytta, 2=Ganska liten nytta, 3=Viss nytta, 4=Ganska stor nytta, och 5=Mycket stor nytta.

20 20 (46) Tabell 7: Vilket underlag hade du valt att hämta in om slumpen inte fått bestämma, andelar per instrumentgrupp (Procent) Hade valt: Instrumentgrupp: SLU KBL FMU SLU 45,2 30,4 11,9 KBL 31,8 39,8 9,3 FMU 30,5 31,3 22,1 Total 36,0 33,9 14, Effekter på delaktighet Enkäten till de försäkrade har bestått av tre block av frågor. Det första berör den försäkrades syn på delaktigheten i förhållande till Försäkringskassan och det beslut som fattats, det andra i förhållande till sjukskrivande läkare och det tredje i förhållande till den läkare eller det team som genomfört en fördjupad försäkringsmedicinsk utredning dvs. SLU eller FMU. Enkätundersökningen har genomförts av TNS SIFO på uppdrag av Försäkringskassan. Den tekniska rapporten från TNS SIFO redovisas i bilaga 5. Undersökningsföretaget gör bedömningen att jämförelser av ett antal bakgrundvariabler i svarandegruppen och nettourvalet ger en indikation på att enkätresultaten är tillförlitliga. Genom kontroll i efterhand kan konstateras att andelen försäkrade med negativa beslut i enkäten överstiger andelen i hela undersökningsgruppen. 12 Det talar för att den inställning som de försäkrade ger uttryck för i enkäten inte ger en skevt överdrivet positiv bild av delaktigheten. Analysen koncentreras till att identifiera de sammanhang där den försäkrade upplever att Försäkringskassan eller läkarna inte lyssnat till eller tagit hänsyn till den försäkrades beskrivning eller uppfattning, vilket i denna undersökning betraktas som att de försäkrade upplever brister i delaktigheten. Enkäten till de försäkrade finns i bilaga 6. Svarsalternativen på frågorna består av tre svarsalternativ i två varianter beroende på fråga. Antingen Ja, helt och hållet, Ja, till viss del och Nej, eller Ja, Nej och Vet inte. En fråga i detta sammanhang är hur den normala delaktigheten ser ut i sjukskrivningsprocessen. Man kan tänka sig att svaren från KBL-gruppen om Försäkringskassan och sjukskrivande läkare kan utgöra en form av normalsvar. I så fall upplever: nästan 20 procent sig inte veta vad Försäkringskassan grundade sin bedömning av arbetsförmågan på (motsvarande andel för de försäkrade som bedömts ha arbetsförmåga i förhållande till den reguljära arbetsmarknaden är nästan 35 procent), nästan 40 procent att Försäkringskassan inte tog hänsyn till individens uppfattning före bedömningen (nästan 85 procent), 12 Andelen försäkrade med negativa beslut i enkätundersökningen (i hela undersökningsgruppen), SLU 19,9(17,8), KBL 17,9(13,5) och FMU 14,1(12,0)

21 21 (46) drygt 15 procent att de inte fick tillfälle att beskriva sitt hälsotillstånd och sin arbetsförmåga för Försäkringskassan (drygt 20 procent), drygt 40 procent att deras och Försäkringskassans bedömning av den behövda längden på sjukskrivningen inte överensstämde (drygt 80 procent), och lite över 35 procent att deras och Försäkringskassans bedömning av den behövda omfattningen på sjukskrivningen inte överensstämde (nästan 80 procent). I förhållande till den sjukskrivande läkaren upplever: cirka 2 procent sig inte veta vad läkaren grundade sin bedömning av arbetsförmågan på (motsvarande andel för de försäkrade som bedömts ha arbetsförmåga i förhållande till den reguljära arbetsmarknaden är 0 procent), knappt 6 procent att läkaren inte tog hänsyn till individens uppfattning före bedömningen (nästan 8 procent), drygt 1 procent att de inte fick tillfälle att beskriva sitt hälsotillstånd och sin arbetsförmåga för läkaren (0 procent), nästan 10 procent att deras och läkarens bedömning av den behövda längden på sjukskrivningen inte överensstämde (knappt 3 procent), och cirka 6 procent att deras och läkarens bedömning av den behövda omfattningen på sjukskrivningen inte överensstämde (knappt 3 procent). SLU- och FMU-grupperna uppvisar inga statistiskt signifikanta skillnader jämfört med dessa resultat. 13 Mellan de tre experimentgrupperna finns det bara signifikanta skillnader i andelen Nej -svar för två frågor i det sista frågeblocket kring de försäkringsmedicinska utredningarna. 14 Det handlar om en skillnad mellan SLU och FMU kring frågan om den försäkrade anser att läkaren/teamet tog hänsyn till hans/hennes uppfattning före bedömningen, och frågan om den försäkrades uppfattning överensstämde med läkarens/teamets bedömning av vilken omfattning av sjukskrivningen som behövdes. I båda fallen är det en större andel försäkrade som är missnöjda med SLU jämfört med FMU. Det är däremot ingen skillnad när det gäller de upplevda möjligheterna att få beskriva sitt hälsotillstånd. Det andra, men föga överraskande förhållandet, att notera från enkätstudien är att inom varje instrumentgrupp upplever de försäkrade som fått ett negativt beslut från Försäkringskassan i högre grad en brist på delaktighet. Detta är ett genomgående mönster med några ytterst få undantag på någon enskild fråga. Detta förhållande är mer markerat gentemot Försäkringskassan och de försäkringsmedicinska utredningarna (SLU och FMU) än mot sjukskrivande läkare. 13 Denna tolkning görs, även om skillnader kan uppfattas i tabell 8, eftersom antalet individer som bedömts ha arbetsförmåga i förhållande till reguljära arbetsmarknaden är så få. 14 Slutsats även efter justering för undvikande av massignifikans.

22 22 (46) Tabell 8: Enkäten till de försäkrade: Andel som besvarat aktuell fråga med Nej per instrument och för de med negativa beslut per instrument (Procent) Andel med Nej -svar SLU KBL FMU Om FK: Vet du vad Försäkringskassan grundade sin bedömning Total 16,6 18,5 23,0 av din arbetsförmåga på? Neg. beslut 23,9 34,2 42,3 Anser du att Försäkringskassan tog hänsyn till Total 33,0 37,6 36,8 din uppfattning före bedömningen? Neg. beslut 54,3 84,2 73,1 Fick du tillfälle att beskriva ditt hälsotillstånd och Total 15,4 15,2 16,3 din arbetsförmåga för FK? Neg. beslut 28,9 21,1 16,0 Överensstämde din och FK:s bedömning av hur Total 45,0 40,8 42,6 länge du skulle sjukskrivas? Neg. beslut 78,3 81,6 92,3 Överensstämde din och FK:s bedömning av omfattningen Total 36,8 36,0 35,0 du skulle sjukskrivas? Neg. beslut 65,2 78,9 80,8 Om sjukskrivande läkare: Vet du vad läkaren grundade sin bedömning av Total 1,3 1,9 2,2 din arbetsförmåga på? Neg. beslut 0,0 0,0 7,7 Anser du att läkaren tog hänsyn till din uppfattning Total 4,3 5,7 1,6 före bedömningen? Neg. beslut 8,7 7,9 7,7 Fick du tillfälle att beskriva ditt hälsotillstånd och Total 1,8 1,4 0,0 din arbetsförmåga för läkaren? Neg. beslut 0,0 0,0 0,0 Överensstämde din och läkarens bedömning av Total 6,5 9,5 5,4 hur länge du skulle sjukskrivas? Neg. beslut 4,3 2,6 0,0 Överensstämde din och läkarens bedömning av Total 5,2 6,1 5,4 omfattningen du skulle sjukskrivas? Neg. beslut 4,3 2,6 7,7 Om medicinska utredningen: Vet du vad läkaren/teamet grundade sin bedömning Total 15,6-6,8 av din arbetsförmåga på? Neg. beslut 25,0-18,2 Anser du att läkaren/teamet tog hänsyn till din Total 26,8-12,0 uppfattning före bedömningen? Neg. beslut 55,0-40,9 Fick du tillfälle att beskriva ditt hälsotillstånd och Total 6,0-4,5 din arbetsförmåga för läkaren/teamet? Neg. beslut 2,5-13,6 Överensstämde din och läkarens/teamets bedömning Total 31,7-21,4 av hur länge du skulle sjukskrivas? Neg. beslut 65,8-54,5 Överensstämde din och läkarens/teamets bedömning Total 32,9-15,2 av omfattningen du skulle sjukskrivas? Neg. beslut 60,5-45,5 Total (n) Neg. beslut (n)

23 23 (46) 2.2 Studier av reliabiliteten En första studie av interbedömarreliabiliteten genomfördes 2009 och har redovisats i en särskild delrapport till regeringen den 30 april Försöket genomfördes i anslutning till de uppföljningsutbildningar som under 2009 genomfördes för samtliga läkare som utfärdar SLU. Under de uppföljningsutbildningar som genomfördes under 2010 har ett andra försök genomförts baserat på det SLU och utlåtande efter teamutredning som används idag. Med reliabilitet avses att mätningarna genomförs på ett tillförlitligt sätt och ger samma resultat för samma objekt oberoende av vem som mäter eller när det sker. Interbedömarreliabilitet innebär att ett och samma ärende bedöms lika oavsett vem som granskar. 16 Detta testas genom att man låter flera personer mäta samma sak och sedan jämför hur väl de olika personernas mätningar stämmer överens Genomförande I den första studien har läkarna före utbildningen fått bedöma två typfall. De har i fritext fått ange vilka aktivitetsbegränsningar som de båda patienterna hade samt nivån på begränsningarna. Redovisningen har gjorts i ett formulär i form av ett utdrag ur den dåvarande blanketten för SLU och har skickats in till Försäkringskassan innan kursen. Under utbildningen har läkarna dessutom fått bedöma samma typfall utifrån ett annat formulär med fördefinierade aktiviteter (Funktions- och Förmågeprofil, FAP) och med stöd av nivåbeskrivningar för graden av aktivitetsbegränsning. Figur 1: Två reliabilitetsstudier av olika instrument 2009 och Före utbildning Instrument: Dåvarande SLUblanketten Under utbildning Instrument: Den s.k. FAPblanketten Före utbildning Instrument: Nuvarande SLUblanketten Efter utbildning Instrument: Nuvarande SLU-blanketten Jämförelse Jämförelse Den andra studien har också utgått från typfall. Före utbildningen har läkarna fått bedöma två typfall. Utifrån nuvarande blankett med definierade aktiviteter och med stöd av nivåbeskrivningar har läkarna angett diagnoser och grad av aktivitetsbegränsningar. Efter utbildningen har motsvarande bedömning gjorts i två nya typfall. 15 Svar på regeringsuppdrag: Utvärdering av instrument för bedömning av arbetsförmåga, Interbedömarreliabiliteten och validiteten i särskilt läkarutlåtande, , dnr Två andra former av reliabilitet handlar om mätningen påverkas över tid (test-retest reliabilitet), och om utfallet i olika delar i en enkät som tar upp samma fenomen ger samstämmiga utfall (intern konsistens).

24 24 (46) Den första studien omfattar svar från 161 läkare före utbildningen och 186 under utbildningen. Den andra studien omfattar svar från 185 läkare före utbildningen och 168 efter den. Läkarna fick i båda studierna göra sina bedömningar utifrån medicinska underlag för varje typfall och de försäkrades berättelser dokumenterade i SASSAM-kartläggningar Felkällor Det finns ett antal faktorer som kan påverka studiernas resultat. Läkarna träffar inte patienterna, utan gör bedömningarna enbart på skriftliga underlag. I den första studien gjordes bedömningarna med SLU-formulär respektive FAPformulär i skilda miljöer, hemma före kursen och under utbildningen. Det andra försöket har inte denna eventuella felkälla, bedömningarna både före och efter utbildningen gjordes hemifrån. I båda försöken är det ett begränsat antal typfall, andra aktivitetsbegränsningar i fallen kan ge andra resultat Hur redovisas resultaten? Frekvensfördelningar för relevanta aktivitetsbegränsningar redovisas i diagram. Diagrammen återfinns i bilaga 3 för 2009 års studie och bilaga 4 för den nya studien från Dessa diagram illustrerar hur spridningen mellan läkarna ser ut. Spridningen analyseras och testas därefter statistiskt. Som signifikanstest används Friedman test, och för att analysera graden av överensstämmelse används Kendall s W och Free-marginal kappa, se bilaga 2. De två senare måtten kan förenklat sägas gå från 0 till 1, eller från total frånvaro av överensstämmelse till total samstämmighet. Var gränsen för en acceptabel grad av överensstämmelse går är en subjektiv bedömning som kan diskuteras och variera beroende på studiens syfte. I bilaga 2 redovisas en tolkningsskala för kappa-koefficienten. Utifrån den och studiens syfte görs bedömningen att en nivå på minst ca 0,60 bör uppnås för att en acceptabel grad av överensstämmelse ska anses föreligga Studien 2009 Slutsatsen från den första studien var att läkarna i experimentet uppvisade mycket låg överensstämmelse såväl när det gäller att ange vilka aktivitetsbegränsningar som fanns i de båda typfallen som när det gäller bedömningen av nivån på aktivitetsbegränsningarna när de använde dåvarande SLU-formulär. 17 Slutsatsen är att användandet av det mer strukturerade instrumentet, FAPformuläret, medför att de aktuella aktivitetsbegränsningarna för typärendena verkligen identifieras och någon grad av aktivitetsbegränsning högre än nivå=0 anges. När det gäller nivån på begränsningen är dock överensstämmelsen mellan läkarnas bedömning låg, om än något bättre än för det gamla SLUformuläret. 18 För en utförligare beskrivning av studien och diskussion av resultaten, se delrapporten från Försäkringskassan (2010) före utbildning: Friedman test: p=0,007, Kendall s W: 0,027 och Free-marginal kappa: 0, under utbildning: Friedman test: p<0,001, Kendall s W: 0,356 och Free-marginal kappa: 0,234.

25 25 (46) Studien 2010 I delrapporten till regeringen i april föreslogs att nya studier av reliabiliteten borde genomföras. Bedömningar av fler olika typer av fall både före och efter genomförda utbildningar bör testas. Den första studien skulle då kunna kompletteras med ytterligare kunskap baserat på en större variation i diagnoser och aktivitetsbegränsningar. Effekten av utbildningsinsatserna skulle då också kunna studeras. Bedömningarna före utbildningarna 2010, baserade på den nya SLUblanketten, visade en större grad av samstämmighet jämfört med Nivån motsvarar i stort sett den som uppnåddes med FAP-formuläret under själva utbildningarna De två typfallen som bedömdes efter utbildningen gav ett bättre resultat. Samstämmigheten i bedömningarna ökade ytterligare, och Kendall s W och Freemarginal kappa närmar sig värdet 0,5. 20 I diagrammen 4.1 och 4.2 i bilaga 4 redovisas svarsfördelningarna för relevanta aktiviteter före utbildningen, och i diagrammen 4.3 och 4.4 efter utbildningen. Diagram 1: Reliabiliteten före och under utbildningarna 2009, före och efter utbildningarna ,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Kendall s W Kappa 2009:1 2009:2 2010:1 2010:2 Bedömningstidpunkt I diagram 1 redovisas utvecklingen av reliabiliteten över de fyra bedömningstillfällena i form av Kendall s W och Free-marginal kappa. Båda måtten stiger mellan de två bedömningstillfällena Detsamma gäller mellan bedömningarna före och efter utbildningarna Det framstår också som att de instrument (FAP och nuvarande SLU) där aktiviteterna är förbestämda och understöds av nivåbeskrivningar ger ett bättre utgångsläge för att uppnå en bättre överensstämmelse i bedömningarna. Den andra slutsatsen är att utbildningsinsatser ökar samstämmigheten, åtminstone i nära anslutning till utbildningen. Hur bestående effekten är ger studien dock inte kunskap om före utbildning: Friedman test: p<0,001, Kendall s W: 0,314 och Free-marginal kappa: 0, efter utbildning: Friedman test: p<0,001, Kendall s W: 0,446 och Free-marginal kappa: 0,455.

26 26 (46) Den tredje slutsatsen är att ökningen av samstämmigheten i bedömningarna inte gör att överensstämmelsen når upp till önskvärda nivåer. Det är fortfarande inte ett tillräckligt bra resultat för att man ska säga att det är en god reliabilitet.

27 27 (46) 3 Diskussion och slutsatser Det valda arbetsförmågeinstrumentet har betydelse för sjukskrivningens längd. Både SLU och KBL leder till kortare sjukskrivningstider jämfört med FMU. Skillnaden mellan SLU och FMU tycks främst bero på skillnader i besluten. Andelen ärenden där det bedöms finnas arbetsförmåga i förhållande till den reguljära arbetsmarknaden är större för SLU än FMU. Skillnaden i sjukskrivningstider mellan KBL och FMU tycks däremot främst bero på kortare väntetider för att få in underlagen för KBL än FMU. Analysen ger inte stöd för någon beteendeeffekt i form av att sjukskrivningen bryts för att undvika att genomgå en fördjupad medicinsk utredning i form av SLU eller FMU. Andelen ärenden som avslutas innan arbetsförmågebedömningen gjorts skiljer sig inte mellan de tre grupperna. Jämförelsen av handläggarnas värdering av deras nytta av instrumenten visar att SLU, i just detta sammanhang där instrumenten i utgångsläget bedömts utgöra substitut till varandra, har en stark ställning i handläggarnas ögon i jämförelse med de andra två alternativen. Skillnaden mellan SLU och FMU kan bland annat bero på de skilda sätten att beställa utredningarna, samt det faktum att FMU inte anpassats till de nya sjukskrivningsreglerna som gjorts med SLU. De tre grupperna, SLU, FMU och KBL, uppvisar inga signifikanta skillnader i svaren på den enkät som ställts till de försäkrade vad gäller deras upplevelser av Försäkringskassan och sjukskrivande läkare. Det innebär bland annat att drygt 15 procent upplever att de inte fick tillfälle att beskriva sitt hälsotillstånd och sin arbetsförmåga för Försäkringskassan, drygt 35 procent att Försäkringskassan inte tog hänsyn till individens uppfattning före bedömningen av arbetsförmågan och nästan 20 procent upplever sig inte veta vad Försäkringskassan grundade sin bedömning av arbetsförmågan på. Motsvarande andelar när det gäller upplevelsen av sjukskrivande läkare var ca 1, 5 och 2 procent. I det tredje frågeblocket som behandlar de fördjupade medicinska utredningarna i form av SLU eller FMU, så finns det skillnader i svaren från de två instrumentgrupperna. Det handlar om den försäkrade anser att läkaren/teamet tog hänsyn till hans/hennes uppfattning före bedömningen, och frågan om den försäkrades uppfattning överensstämde med läkarens/teamets bedömning av vilken omfattning av sjukskrivningen som behövdes. I båda fallen är det en större andel försäkrade som är missnöjda med SLU jämfört med FMU. I jämförelse 27 mot 12 procent, respektive 16 mot 7 procent. Det är däremot ingen skillnad när det gäller de upplevda möjligheterna att få beskriva sitt hälsotillstånd för läkaren/teamet. Frågan om upplevelse av delaktighet kan analyseras på följande sätt: Det är skillnad på förståelse/acceptans och delaktighet. Delaktigheten mätt med frågor som att man fått tillfälle att beskriva sitt hälsotillstånd visade sig vara relativt hög och relativt lika för de tre metoderna. Däremot visade resultaten att det finns en skillnad mellan instrumenten vad gäller förståelse/acceptans och detta verkar vara starkt kopplat till att utredningen lett fram till ett negativt beslut för den försäkrade. Det är förmodligen svårare att nå acceptans i de fall den försäkrade och Försäkringskassan är oense, men det kan säkert ändå påverkas via tydlig information och ett bra bemötande gentemot den försäkrade. Informationen är viktig både om förutsättningarna före och förklaringar av slutsatserna efter en fördjupad utredning. Detta bör i så fall knappast ses som en egenskap

28 28 (46) hos metoden utan snarare hos organisationen som använder den. Försäkringskassan kan redan idag förbättra informationen till den försäkrade om vad en utredning innebär och hur den används i bedömningen av arbetsförmågan och rehabiliteringsbehoven. I studierna av reliabiliteten framstår det som att de instrument (FAP och nuvarande SLU) där aktiviteterna är förbestämda och understöds av nivåbeskrivningar ger ett bättre utgångsläge för att uppnå en bättre överensstämmelse i bedömningarna. Den andra slutsatsen är att utbildningsinsatser ökar samstämmigheten, åtminstone i nära anslutning till utbildningen. Hur bestående effekten är ger studien dock inte kunskap om. Den tredje slutsatsen är att ökningen av samstämmigheten i bedömningarna inte gör att överensstämmelsen når upp till önskvärda nivåer. Det är fortfarande inte ett tillräckligt bra resultat för att man ska säga att det är en god reliabilitet. Resultaten från de genomförda studierna ger Försäkringskassan ytterligare kunskaper som kommer att användas i arbetet med regeringsuppdraget att vidareutveckla metoder och instrument för bedömning av arbetsförmåga. Resultaten från de genomförda studierna ger Försäkringskassan ytterligare kunskaper som kommer att användas i arbetet med regeringsuppdraget att vidareutveckla metoder och instrument för bedömning av arbetsförmåga. Studierna tydliggör behovet och att utvecklingsarbetet är väl motiverat. Svårigheten att definiera och enhetligt använda fundamentala begrepp som funktionsnedsättning och aktivitetsbegränsning har tidigare också belysts i Arbetsförmågeutredningen (SOU 2009:89). Den nya SLU-blanketten, liksom det nya utlåtandet från teambedömning, öppnar dock för systematisk datainsamling kring diagnoser, bedömning av aktivitetsbegränsningar samt handläggarnas bedömning av arbetsförmåga. På detta sätt kan vi få bättre kunskap om sambanden mellan diagnos, funktionstillstånd, aktivitetsbegränsningar och bedömning av arbetsförmåga. Detta kommer att kunna föras in i utvecklingsarbetet. Utvecklingsarbetet planeras ske så att de försäkrade, behandlande läkare, Arbetsförmedlingen och sociala myndigheter förstår och har förtroende för Försäkringskassans beslut gällande rätten till ersättning i förhållande till förmågan att arbeta. De genomförda undersökningarna har också gett nyttiga erfarenheter av reliabilitetsstudier vilket också kommer att behöva användas i utvecklingsarbetet.

29 29 (46) Källförteckning Abdi, Hervé (2007). The Bonferonni and Sidak Corrections for Multiple Comparisons, Ingår i Neil Salkind (Ed.): Encyclopedia of Measurements and Statistics. Thousand Oaks (CA): Sage. Black. Dan A.. Jeffrey A. Smith. Mark C. Berger. and Brett J. Noel (2003). Is the Threat of Reemployment Services More Effective than the Services Themselves? Evidence from Random Assignment in the UI System. American Economic Review. 93(4) Försäkringskassan. Vägledning 2004:2, version 13. Försäkringskassan. Vägledning 2004:2, version 15. Försäkringskassan (2010). Utvärdering av instrument för bedömning av arbetsförmåga, interbedömar-reliabiliteten och validiteten i särskilt läkarutlåtande. Svar på regeringsuppdrag, delrapportering , dnr Hägglund. Pathric (2006). Rehabiliteringskedjans effekter på sjukskrivningstiderna. ISF-rapport 2010:1. Landis, J.R. och Koch, G.G. (1977): The measurement of observer agreement for categorical data I Biometrics, Vol. 33, pp Mortensen. T. Dale (1977). Unemployment insurance and Job Search Decisions. Industrial and Labor Relations Review, 30(4), Randolph, Justus J. (2005). Free-Marginal Multirater Kappa (multirater free ): An Alternative to Fleiss Fixed-Marginal Multirater Kappa. Tillgänglig på: b/80/1b/c3/27.pdf Siegel, Sidney (1956). Nonparametric statistics for the behavioral sciences. NY: McGraw-Hill. Statnotes, from North Carolina State University, Public Administration Program. Significance Tests for More Than Two Dependent Samples: Friedman Test, Kendall s W, Cochran s Q. Tillgänglig på: /garson/pa765/friedman.htm#cochranq Tollin, Pernilla (2005). Särskilt läkarutlåtande Försäkringskassans metodundersökning Försäkringskassan Analyserar 2005:15, Stockholm.

30 30 (46) Bilaga 1 Statistisk modell Den statistiska modell som används i analysen är en Cox proportional hazardmodell, den specificeras enligt: där är den betingade sannolikheten för individ i att avsluta sjukskrivningen vid tidpunkten t, givet att sjukskrivningen fortfarande pågick vid t-1. (t) är den logaritmerade baselinehasarden som fångar det generella utflödet från sjukskrivning. X i är en vektor som innehåller rik registerinformation om den försäkrade (kön, ålder, utbildning, födelseland, län, sjukskrivningshistorik, sjukskrivningens omfattning, dagersättningsbelopp, förmån, diagnos, randomiseringsmånad och civilstånd), och är den tillhörande parametervektorn. och anger om individens arbetsförmåga har bedömts, eller skulle ha bedömts (om personen lämnat sjukskrivning innan utredningen), på basis av respektive underlag, och samt fångar respektive underlags effekt på den genomsnittliga sannolikheten att lämna sjukskrivning.

31 31 (46) Bilaga 2 Test av interbedömarreliabilitet Robusta statistiska test för jämförelser av två bedömare finns att tillgå. Det har varit svårare att avgöra vilken form av test som är bra i den aktuella situationen med många bedömare. Friedman test och Kendall s W bedöms som relevant att använda(se Statnotes). Friedman test bygger inte på antaganden om normalfördelning och ger ett 2 - värde som möjliggör signifikanstest. Testet fungerar för multipla svar på en ordinalskala. Det är en form av 2 -test, där nollhypotesen att det inte är någon systematisk skillnad i bedömningarna testas. Ett lågt p-värde indikerar som vanligt liten chans att den identifierade skillnaden i bedömningar uppstått av en slump. Test av interbedömarreliabilitet är en vanlig användning av testet. Kendall s W är en transformation av Friedman test som normaliserar testvariabeln till intervallet 0 1 som kan tolkas som en koefficient för graden av överensstämmelse, där 1 är total samstämmighet och 0 total frånvaro av samstämmighet. Ett alternativt test utgörs av den s.k. Kappa-koefficienten, där Fleiss kappa utformats för situationen med många bedömare. Kappa har dock kända svagheter som gör det mindre robust. Det är känsligt för marginalfördelningarna, vilket kan ge paradoxala resultat om bedömningsvariabeln inte har en jämn fördelning. Free-marginal kappa, se Randolph (2005), hanterar dock detta problem. Kappa-koefficienten,, är en koefficient över samstämmigheten justerad för den samstämmighet som slumpen borde ge. går från 1 till -1. Värden mellan 1 och 0 indikerar en överensstämmelse bättre än slumpen, 0 indikerar en överensstämmelse som kunde förväntas av slumpen och värden mellan 0 och -1 ger grader av överensstämmelse sämre än slumpen. En ofta citerad, men inte allmänt accepterad, beskrivning av hur olika nivåer på -koefficienten ska tolkas finns i Landis och Koch (1977): 0,00-0,20 Slight agreement (svag) 0,21-0,40 Fair agreement (ganska) 0,41-0,60 Moderate agreement (måttlig) 0,61-0,80 Substantial agreement (påtaglig) 0,81-1,00 Almost perfect agreement (nästan perfekt) I denna studie har valts att basera bedömningen av reliabiliteten på Friedman test, Kendall s W och Free-marginal kappa. I de försök som redovisas i rapporten är slutsatserna kring reliabiliteten desamma oavsett test.

32 32 (46) Bilaga 3 Diagram från reliabilitetsförsöket 2009 I bilagan redovisas de diagram som ingick i delrapporten till regeringen i april Observera att diagram 1a)-d) bygger på de läkare som i fritexten angett de relevanta aktiviteterna, vilket endast gjordes i procent av fallen. Det är fördelningen av andelen svar på de olika nivåerna för dessa som redovisas i diagrammen. Diagram 1a)-d) avser alltså bedömningarna gjorda före kursen 2009 i enlighet med dåvarande SLU, där aktiviteterna definierades i fritext. I diagram 2a)-h) på nästa sida redovisas fördelningarna när det s.k. FAPformuläret, med fördefinierade aktiviteter på blanketten, användes under själva kurstillfället. Det innebär att fördelningarna som redovisas omfattar i stort sett alla läkares bedömningar. Diagram 3:1 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (SLU-formuläret) Diagram 3:1a) Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter Diagram 3:1b) Klient A.B. Att hantera stress, förändring och andra psykologiska krav Diagram 3:1c) Klient M.F. Att bibehålla kroppsställning Diagram 3:1d) Klient M.F. Att hantera stress, förändring och andra psykologiska krav

33 33 (46) Bilaga 3 Diagram 3:2 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (FAP-formuläret) Diagram 3:2a) Klient A.B. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter Diagram 3:2b) Klient A.B. Att hantera stress, förändring och andra psykologiska krav Diagram 3:2c) Klient M.F. Att bibehålla kroppsställning Diagram 3:2e) Klient M.F. Att ändra kroppsställning Diagram 3:2g) Klient M.F. Att gå kortare sträckor Diagram 3:2d) Klient M.F. Att hantera stress, förändring och andra psykologiska krav Diagram 3:2f) Klient M.F. Att lyfta och bära Diagram 3:2h) Klient M.F. Att påbörja, effektivt genomföra och slutföra mångfaldiga uppgifter

34 34 (46) Bilaga 4 Diagram från reliabilitetsförsöket 2010 Diagram 4:1 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (Typfall 1 före utbildningen) :1a) d110: Att se :1c) d240: Att hantera stress och psykologiska krav :1b) d220: Att företa mångfaldiga uppgifter :1d) d410: Att ändra grundläggande kroppsställning :1e) d415: Att bibehålla en kroppsställning :1g) d445: Användning av hand och arm :1f) d430: Att lyfta och bära föremål :1h) d450: Att gå

35 35 (46) Bilaga 4 Diagram 4:2 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (Typfall 2 före utbildningen) :2a) d210: Att företa en enstaka uppgift :2c) d240: Att hantera stress och psykologiska krav :1e) d415: Att bibehålla en kroppsställning :1g) d445: Användning av hand och arm :2b) d220: Att företa mångfaldiga uppgifter :2d) d410: Att ändra grundläggande kroppsställning :1f) d430: Att lyfta och bära föremål :1h) d450: Att gå

36 36 (46) Bilaga 4 Diagram 4:3 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (Typfall 1 efter utbildningen) :3a) d160: Att fokusera uppmärksamt :3c) d415: Att bibehålla en kroppsställning :3d) d410: Att ändra grundläggande kroppsställning :3d) d430: Att lyfta och bära föremål

37 37 (46) Bilaga 4 Diagram 4:4 Svarsfördelningar avseende aktivitetsbegränsningarnas nivå (Typfall 2 efter utbildningen) :4a) d160: Att fokusera uppmärksamt :4c) d220: Att företa mångfaldiga uppgifter :4e) d410: Att ändra grundläggande kroppsställning :4g) d430: Att lyfta och bära föremål :4b) d210: Att företa en enstaka uppgift :4d) d240: Att hantera stress och psykologiska krav :4f) d415: Att bibehålla en kroppsställning :4h) d758: Att hantera mellanmänskliga interaktioner och relationer

38 38 (46) Bilaga 5 Teknisk rapport TNS SIFO Metodbeskrivning Bakgrund Regeringen har gett Försäkringskassan i uppdrag att utvärdera de instrument som används inom verksamheten för att bedöma arbetsförmåga. Försäkringskassan ska bland annat undersöka den försäkrades känsla av delaktighet i detta projekt. Syftet med denna enkätundersökning Att undersöka den försäkrades delaktighet när olika arbetsförmågeinstrument har använts. Målgrupp och urval Målgruppen är 1518 individer med ett sjukfall någon gång under försöksperioden 16 september mars 2010 där Försäkringskassans handläggare har bedömt att det finns behov av ytterligare medicinskt underlag inför den så kallade 180- dagarsbedömningen. De individer som ingår i enkätundersökningen har slumpats till tre grupper där olika arbetsförmågeinstrument används. Intervjumetod Postal enkät med portofritt svarskuvert. En påminnelse inklusive ny enkät samt portofritt svarskuvert. Frågeformulär Försäkringskassan utformade frågeformuläret som består av 17 slutna frågor. Mätperiod Undersökningen genomfördes i två omgångar : Omgång 1, 585 individer: v Omgång 2, 933 individer: v Svarsredovisning Bruttourval 1518 Dubbletter 6 Saknar komplett adressuppgift 29 Avliden 1 Nettourval 1482 Bortfall 780 Felaktig adress/okänd på adressen 15 Sjuk 1 Vill ej delta 1 Övrigt bortfall 764 Inkomna svar 702 Svarsfrekvens 47,4 % Svarsfrekvensen var något högre i omgång 1, 50,0 % jämfört med omgång 2, 46,5 %.

39 39 (46) Bilaga 5 Bortfallsanalys Det är mycket svårt att uttala sig om hur mycket och i vilken utsträckning bortfallet (som i denna undersökning är 52,6 %) påverkar resultatet, men om de som svarat visar sig vara representativa för undersökningsgruppen som helhet finns liten anledning att tro att de som inte har svarat skulle ha svarat annorlunda. De parametrar som i denna undersökning i hög utsträckning kan anse spegla representativiteten är kön, ålder, det som i urvalsfilen kallades Rand_dat samt instrument. Tabellen nedan visar att kvinnor är något överrepresenterade bland de svarande (66 %) jämfört med nettourvalet (60 %). Vidare är de yngre år något underrepresenterade (7 % jämfört med 11 % i nettourvalet) och de äldre år något överrepresenterade (39 % jämfört med 32 % i nettourvalet). I övrigt liknar fördelningen av svarande i de olika grupperna i mycket hög utsträckning den i nettourvalet. Detta är en indikation på att resultaten är tillförlitliga. Ej svarande, antal Svarande, antal Svarande, % Nettourvalet, % Kön Kvinna Man Ålder (år) Rand_dat (åååå/mm) 2010/ / / / / / / Annan period/period saknas Instrument FMU Komplettering behandlande läkare SLU Saknas

40 40 (46) Bilaga 6 Enkät till de försäkrade