Svårt att kombinera kvalitetsutveckling och resultatuppföljning

Transkript

1 SAMMANFATTNING AV RAPPORT 2018:1 Svårt att kombinera kvalitetsutveckling och resultatuppföljning En granskning av kvalitetsutvecklingsmodellerna på Försäkringskassan och Pensionsmyndigheten

2 Detta är en sammanfattning av en rapport från Inspektionen för socialförsäkringen. Rapporten i sin helhet kan läsas online, laddas ner och beställas på Stockholm 2018 Inspektionen för socialförsäkringen Författare: Magnus Medelberg (projektledare) och Mimmi Diamant. Berit Hamrén har också medverkat i granskningen. 2

3 Sammanfattning Inspektionen för socialförsäkringen (ISF) har på regeringens uppdrag granskat Försäkringskassans och Pensionsmyndighetens nya modeller för att följa upp och utveckla kvaliteten i handläggningen. Modellerna har en bred definition av begreppet kvalitet. ISF har koncentrerat granskningen till den rättsliga kvaliteten. I detta sammanhang är rättslig kvalitet förmågan att fatta korrekta beslut i försäkringsärendena utifrån tillräckliga beslutsunderlag. Svårt att kombinera kvalitetsutveckling och resultatuppföljning i samma modell Enkelt uttryckt är Försäkringskassans och Pensionsmyndighetens modeller för att följa upp och utveckla kvaliteten i handläggningen ganska lika. De består av följande: Uppföljningar på lokal nivå av redan handlagda ärenden som innebär att en specialist eller den närmaste chefen går igenom ärendena med den berörda handläggaren. Fördjupade rättsliga kvalitetsuppföljningar där ett begränsat område granskas djupare. Dessa görs på central nivå och består ofta av granskning av redan handlagda ärenden i någon aktuell rättslig fråga inom en viss förmån. Kvalitetsindikatorer som följs löpande. Det kan exempelvis handla om antalet ärenden där den försäkrade begär omprövning och hur många ärenden som ändras i omprövningen. En av huvudfrågorna i ISF:s granskning är om det är möjligt att kombinera utveckling och uppföljning i samma modell. ISF:s bedömning är att modellerna kan vara ett bra instrument för att utveckla kvaliteten. Men ISF bedömer att det är svårt att samtidigt använda dem för uppföljning. Detta gäller åtminstone om man med uppföljning menar resultatuppföljning. Exempelvis att det med tillräcklig säkerhet ska kunna gå att uttala sig om hur den rättsliga kvaliteten utvecklats för myndigheternas olika förmåner. I Försäkringskassans regleringsbrev finns det krav på att kvalitetens utveckling ska redovisas i årsredovisningen. Försäkringskassan har dessutom för 2017 satt upp ett internt mål om att den rättsliga kvaliteten ska förbättras i merparten av myndighetens förmåner. Detta mål följs upp i myndighetens verksamhetsuppföljning. Några motsvarande krav på redovisning av kvalitetsutvecklingen finns inte i Pensionsmyndighetens regleringsbrev. Men myndigheten har ett internt mål för 2017 om att kvaliteten ska ha en acceptabel nivå eller bättre i alla förmåner. Försäkringskassan har använt modellen i fyra år. Under denna period har Försäkringskassan anpassat de lokala ärendeuppföljningarna på olika sätt för att kunna använda dem för att följa upp resultat. Dessa uppföljningar är en central del av modellen. 3

4 Det främsta exemplet på dessa anpassningar är att det nu är tillåtet att aggregera kvantitativa resultat från de lokala ärendegranskningarna. När modellen skapades var tanken att dessa resultat inte skulle aggregeras. Ett annat exempel är att urvalet av ärenden till de lokala uppföljningarna har centraliserats. Det begränsar de lokala enheternas möjligheter att själva välja ärenden utifrån vilka områden de bedömer är mest angelägna att utveckla. Därmed riskerar anpassningarna av ärendeuppföljningarna för att använda dem till resultatuppföljning att göra dem mindre ändamålsenliga ur ett utvecklingsperspektiv. Pensionsmyndigheten har använt modellen i mindre än två år. Enligt myndigheten är modellen ännu inte införd fullt ut. Den granskning ISF har gjort visar att än så länge håller myndigheten fast vid ursprungssyftet att de lokala ärendeuppföljningarna inte ska användas för resultatuppföljning. På grund av uppdragets komplexitet har ISF i första hand koncentrerat granskningen till Försäkringskassan. Men den principiella diskussionen om att kombinera kvalitetsutveckling och resultatuppföljning i samma modell gäller även Pensionsmyndigheten. Unga modeller och hög förändringstakt försvårar ISF:s bedömning På båda myndigheterna är modellerna unga. Det är naturligt att modellerna justeras en del när de börjar användas i skarpt läge. Men på Försäkringskassan har förändringstakten varit högre än vad som kan förklaras av detta. En förklaring är den förändring som gjorts i myndighetens styrning sedan den nya generaldirektören tillträdde hösten Förändringen har inneburit att myndigheten har återgått till mål- och resultatstyrning, med bland annat skarpa mål för den rättsliga kvaliteten. Dessutom har myndigheten bytt kvalitetsdefinition. Den nya definitionen fokuserar mer på rättssäkerheten medan begrepp som kundernas behov och bemötande har tagits bort. Sammantaget innebär detta att det är svårt för ISF att dra säkra slutsatser om hur väl modellerna fungerar som instrument för kvalitetsutveckling. Det gäller både hur väl modellerna fungerar i dag och hur de kan komma att fungera i framtiden. Det krävs en längre tid av stabilitet i modellerna för att kunna dra säkrare slutsatser. Däremot är det tydligt för ISF att grundprinciperna i modellerna är väl genomtänkta och att det finns en potential att de kan vara viktiga instrument för att utveckla kvaliteten på myndigheterna. Lokala kvalitetsuppföljningar är en bra grund för kvalitetsutveckling På båda myndigheterna är ärendeuppföljningar på lokal nivå en central del av modellen. I dessa uppföljningar går den berörda handläggaren och en specialist eller den närmaste chefen igenom ärenden som redan har handlagts. Genomgången görs i dialog, antingen vid uppföljningstillfället eller senare vid en återkoppling. Dessa lokala granskningar är grunden i modellerna. Det har inneburit en högre acceptans på lokal nivå jämfört med tidigare modeller, där kvalitets- 4

5 granskningen av ärendena gjordes på en mer central nivå. Bristen på lokal förankring var ett skäl till att Försäkringskassan 2012 lade ned sin tidigare modell den kontinuerliga kvalitetskontrollen. Det var också ett skäl till att Pensionsmyndigheten lade ned motsvarande granskningar I stället införde båda myndigheterna de lokala ärendeuppföljningarna som nu är en central del av kvalitets-utvecklingsmodellerna. Den högre acceptansen och närheten till handläggarna och det produktionsnära stödet innebär större möjligheter att åtgärda de problem och ta till vara den utvecklingspotential som de som dagligen jobbar med försäkringsärendena ser. ISF:s intervjuer med de lokala handläggningsorganisationerna bekräftar att modellerna ur detta avseende fungerar relativt väl. Alla anser att de lokala uppföljningarna fungerar avsevärt bättre än de tidigare mer centrala granskningarna av ärenden. Däremot är det långt ifrån självklart hur de lokala ärendeuppföljningarna ska organiseras mer i detalj. Här finns mängder av frågor att ta ställning till. Vem ska välja ut vilka ärenden som ska granskas? Vilka ska vara närvarande när granskningen görs? Ska granskningarna göras enskilt mellan specialist och handläggare eller ska en hel grupp handläggare och deras ärenden diskuteras vid ett gemensamt möte med specialisten? I vilken mån ska enhetschefen delta? Vem ska göra den slutliga bedömningen av kvaliteten? I dessa avseenden har olika tillvägagångssätt använts och ISF kan inte ta ställning till vilket som fungerar bäst. Det är tänkbart att det ur ett utvecklingsperspektiv är bäst att de lokala enheterna själva får välja vilket sätt som fungerar bäst för just dem. Samtidigt är det troligt att det för att följa upp resultatet är bäst att enheterna gör likadant. Det beror på att bedömningen av ärendenas kvalitet sannolikt kan påverkas av hur granskningarna genomförs. Detta är ett exempel på att det kan uppstå konflikter mellan utvecklingsperspektivet och uppföljningsperspektivet. Det är tydligt att de lokala ärendegranskningarna upplevs positivt i handläggningsorganisationen. Samtidigt ska granskningarnas betydelse för att utveckla kvaliteten inte överdrivas. De intervjuade framhåller ofta att dessa granskningar är bra, men att den kvalitetsutveckling som följer av det dagliga arbetet är minst lika viktig. Med detta avses bland annat kontakterna mellan specialister och handläggare i samband med särskilt svårbedömda ärenden eller i samband med att nya vägledningar kommer. Lokala ärendeuppföljningar är olämpliga som resultatmått De lokala ärendeuppföljningarna är inte ändamålsenliga som mått på hur den rättsliga kvaliteten utvecklas för myndigheten som helhet. Ett skäl till att dessa granskningar fungerar dåligt för att följa upp resultat är att det är svårt att kalibrera granskarna så att de håller en jämn bedömningsnivå, både över tid och mellan olika enheter. Svårigheterna att kalibrera granskarna var ett problem som förföljde den tidigare kontinuerliga kvalitetskontrollen vid Försäkringskassan under de 10 år som systemet användes. 5

6 Svårigheterna gjorde att det ofta var tveksamt om de resultatförändringar som noterades berodde på faktiska resultatförändringar eller på förändringar i hur granskarna bedömde ärendena. Dessa problem var också en av orsakerna till att systemet lades ned. När Försäkringskassans nya kvalitetsutvecklingsmodell skapades var tanken att inga kvantitativa resultat från de lokalakvalitetsgranskningarna skulle aggregeras. Eftersom fokus låg på kvalitetsutveckling snarare än resultatuppföljning var det bara de kvalitativa analyserna som skulle användas för att dra slutsatser på myndighetsnivå. Men nu har det blivit tillåtet att aggregera resultaten och ett it-stöd håller på att utvecklas för detta ändamål. Följden har blivit att kalibreringsproblemen kommit i fokus igen. Det finns många indikationer på att jämförbarheten i de lokala kvalitetsgranskningarna är osäker. Försäkringskassan påpekar själv detta i flera kvalitetsanalyser. I ett par avvikelserapporter till den månatliga uppföljningen står att resultaten inte kan jämföras med tidigare år. Även de intervjuer ISF har gjort bekräftar samma sak. ISF bedömer att det är mycket tveksamt om det någonsin går att kalibrera fram en så jämn bedömning i de lokala granskningarna att de kan aggregeras till ett resultatmått som med tillräcklig säkerhet visar hur den rättsliga kvaliteten har utvecklats på hela myndigheten. Ett annat skäl till att det kan vara svårt att bedöma hur kvaliteten har utvecklats är att det kan ha gjorts förändringar i frågedokument eller hjälptexter som påverkar jämförbarheten. Även ändringar i vilka som gör granskningarna eller hur de gör dem kan påverka jämförbarheten. Dessa ändringar görs ofta för att utveckla bedömningsinstrumentet så att den rättsliga kvaliteten kan analyseras på ett bättre sätt. Förändringarna görs alltså med ett gott syfte, men medför att jämförelser bakåt i tiden blir osäkra. Modellens övriga delar räcker inte för att kompensera bristerna Det är tänkt att inte bara de lokala ärendeuppföljningarna ska användas i bedömningen av hur kvaliteten har utvecklats. Men modellens övriga delar räcker inte för att kompensera för bristerna i de lokala ärendeuppföljningarna när utvecklingen ska bedömas. De rättsliga kvalitetsuppföljningarna är en fördjupad granskning av ett avgränsat område. Uppföljningarna är ett kunskapsunderlag för att närmare analysera vilka kvalitetsbrister som finns inom området. Därmed är uppföljningarna viktiga som ett underlag för att hitta lös ningar på problemen och för att utveckla kvaliteten. Ofta är det område som granskas i de rättsliga uppföljningarna bara delar av en förmån. Försäkringskassan gör knappt tio rättsliga kvalitetsuppföljningar per år. Det innebär att det bara är en liten del av Försäkringskassans hela ärendehandhandläggning som granskas under ett år. Dessutom är det bara ett fåtal av de rättsliga uppföljningarna som handlar om hur kvaliteten har utvecklats. De allra flesta ger bara en ögonblicksbild av 6

7 den rättsliga kvaliteten. Uppföljningarna har därför ett begränsat värde när det gäller att bedöma hur den rättsliga kvaliteten i Försäkringskassans utvecklats totalt sett. De kvalitetsindikatorer som också är en del av modellen är relativt heltäckande ur aspekten att i stort sett alla förmåner ingår och att utvecklingen följs löpande för dessa förmåner. Deras brist är just att de är indikatorer och inget mått på kvalitetsutvecklingen i sig. Ett exempel på en kvalitetsindikator är uppgifter om antalet ärenden som går till omprövning och andelen ärenden som ändras vid omprövningen. Om detta analyseras tillsammans med indikatorn andelen ansökningar från de försäkrade som beviljats respektive fått avslag går det att göra många intressanta iakttagelser om eventuella förändringar i den rättsliga kvaliteten. Men det finns många faktorer som kan ha påverkat indikatorerna. Därför är det oftast svårt att dra säkra slutsatser om hur den rättsliga kvaliteten har förbättrats eller försämrats. Den ökade inriktningen på resultatuppföljning kan gå ut över utvecklingssyftet Det finns risker med att försöka anpassa kvalitetsutvecklingsmodellen för att kunna användas för resultatuppföljning på det sätt som Försäkringskassan gör. En risk med att använda de lokala ärendeuppföljningarna för resultatuppföljning är att granskarna i högre utsträckning väljer att blunda för kvalitetsbrister i den egna lokala enheten. Så länge som uppföljningarna i första hand används för lärande och utveckling är det säkert mindre problematiskt att peka på utvecklingsbehov inom den egna enhetens verksamhet. Men om uppföljningarna blir en viktig del i bedömningen om Försäkringskassan uppfyller sina verksamhetsmål kan det hela komma i ett annat läge. Om granskarna, medvetet eller omedvetet, anpassar sina bedömningar på ett sådant sätt att de undviker att lyfta fram den egna enhetens kvalitetsproblem försämras förstås möjligheterna att åtgärda kvalitetsbristerna. Dessutom riskerar även resultatjämförelserna att bli missvisande. I Försäkringskassans tidigare modell den kontinuerliga kvalitetskontrollen fanns under den period när granskningarna gjordes lokalt en tendens att de lokala granskarna undvek att fälla enhetens egna ärenden. Detta visade sig när enheternas ärenden slumpades ut på granskare vid samtliga enheter i stället för att bedömas lokalt. Då försämrades resultaten totalt sett. En annan anpassning i den nya modellen som innebär en risk är de ändrade principerna för urvalet av ärenden. Från början gällde att urvalet i ärendegranskningarna skulle göras lokalt. Då kunde till och med den enskilde handläggaren välja vilka ärenden som skulle granskas. Tanken var att fokusera på de ärenden där det fanns mest problem och störst möjligheter till en positiv kvalitetsutveckling. Nu styrs urvalet av ärenden mer centralt för att granskningen ska ge en rättvisande beskrivning av förmånen totalt sett. Detta urval har säkert fördelar ur ett resultatuppföljningsperspektiv, 7

8 men det är inte säkert att det är optimalt för att utveckla förmånens rättsliga kvalitet. Men ISF:s intervjuer med Försäkringskassans lokala organisation har inte visat på något utbrett missnöje med de förändringar som gjorts i de lokala ärendegranskningarna för att kunna använda dem för resultatuppföljning. Alla intervjuade är fortfarande positiva till kvalitetsutvecklingsmodellen, även om många tvivlar på möjligheterna att kunna göra rättvisande resultatjämförelser. Att mäta rättslig kvalitet kräver mycket resurser ISF bedömer att det enda sättet att åstadkomma någorlunda säkra bedömningar av hur den rättsliga kvaliteten har utvecklats är att göra en separat mätning. En sådan mätning behöver vara mer centralt baserad och genomföras under strikt kontrollerade former. Men att göra en sådan mätning är en metodologisk utmaning och kräver stora resurser. Dessutom kommer inte heller en sådan mätning att kunna ge några helt säkra svar. Det kommer alltid att behövas kvalitativa bedömningar som ett komplement. Det grundläggande problemet är att den rättsliga kvaliteten knappast kan bedömas på något annat sätt än genom att granska redan handlagda ärenden. En sådan mätning blir kostsam. Varje enskild ärendegranskning tar en hel del tid i anspråk och det krävs stora urval för att uppnå en tillräcklig statistisk säkerhet. ISF har förståelse för att myndigheterna tvekar inför att bygga separata modeller för resultatuppföljning. Det kan kräva alltför mycket resurser att ha dubbla system av ärendegranskningar, ett lokalt baserat för utvecklingsändamål och ett centralt baserat för uppföljningsändamål. Frågan om att göra en separat riksmätning av den rättsliga kvaliteten har nyligen diskuterats på Försäkringskassan. Men för närvarande verkar denna fråga inte finnas på dagordningen, enligt vad som framkommit i ISF:s granskning. Förutom att det krävs stora urval finns även andra mer metodologiska problem. Om resultatet ska redovisas i årsredovisningen är det särskilt viktigt att objektiviteten i mätningen inte kan ifrågasättas. Detta gäller i synnerhet nu eftersom Försäkringskassan har fokuserat hårt på att förbättra den rättsliga kvaliteten. Försäkringskassan har satt upp ett internt mål för 2017 om att den rättsliga kvaliteten i handläggningen ska ha utvecklats positivt för merparten av förmånerna jämfört med Dessutom finns ett mål om att kvaliteten totalt sett ska bedömas som god senast Flera intervjuade har tagit upp att de kvalitetsbedömningar som görs är osäkra och en av dem pekar på risken att det går politik i de mål som satts upp och att detta kan komma att påverka bedömningarna. Därför är det viktigt, inte minst för Försäkringskassan själv, att bedömningarna vilar på en säker grund. Annars kan det uppstå tvivel kring de bedömningar som gjorts om kvaliteten utvecklas i en positiv riktning i linje med de mål som satts upp. 8

9 De risker som finns med en mätning av den rättsliga kvalitetens utveckling har främst att göra med om granskarna är oberoende och hur man åstadkommer en jämn bedömningsnivå för de år som ska ingå i jämförelsen. Det är säkert svårt att finna helt oberoende granskare inom myndigheten, men de bör inte vara direkt inblandade i den ärendehandläggning som bedömningen avser. Likaså är det svårt att garantera att bedömningsnivån för årets ärenden kommer vara densamma som bedömningsnivån var ett år tidigare för förra årets ärenden. Det sistnämnda är ett problem även om granskarna är helt oberoende. Dessa risker kan minimeras om mätningen genomförs på ett kontrollerat sätt. En mätning av hur kvaliteten utvecklats mellan olika år bör exempelvis genomföras så att ärenden från alla undersökningsår granskas vid samma tillfälle och i en slumpvis ordning. Men en nackdel är att en mätning där alla år granskas vid samma tillfälle kräver mycket större urval än om det går att lita på att bedömningsnivån inte påverkas över tid. Det bästa sättet att undvika jämförelseproblemen är förstås om ärendena kan maskeras så att det inte alls framgår till vilket år de hör. Men det är nästan omöjligt att maskera ärendena på det sättet och det kräver förstås också extra resurser. Ett svårt dilemma Att göra en helt oantastlig mätning av hur den rättsliga kvaliteten utvecklats är mycket resurskrävande och metodologiskt problematiskt. Därför är det inte alls förvånande att myndigheterna tvekar att göra en separat mätning som uppfyller kraven. Det kan vara lockande för dem att i stället använda de lokala ärendeuppföljningarna, som görs inom ramen för kvalitetsutvecklingsmodellen. Myndigheterna står inför ett svårt dilemma. Ska de försöka anpassa de lokala ärendeuppföljningarna så att de kan användas för att mäta hur den rättsliga kvaliteten har utvecklats? Risken är då att de kommer att fungera sämre ur ett utvecklingsperspektiv och troligen inte heller kommer att fungera särskilt bra för att mäta resultaten. Eller ska de satsa stora resurser på ett separat system för att mäta den rättsliga kvaliteten på ett mer rättvisande sätt? Risken är ändå stor att de inte uppnår metodologisk perfektion, vilket gör att resultaten ändå kommer att kunna ifrågasättas. ISF ser ingen självklar lösning på detta dilemma. Kanske är det bäst att behålla det rena utvecklingssyftet i modellerna och acceptera att det inte kommer att gå att bedöma den rättsliga kvalitetens utveckling med säkerhet åtminstone inte heltäckande för alla förmåner och för varje år. Förutom de lokala ärendeuppföljningarna innehåller myndigheternas kvalitetsutvecklingsmodeller även andra delar. Med hjälp av de rättsliga kvalitetsuppföljningarna och kvalitetsindikatorerna går det att åtminstone föra ett resonemang om den rättsliga kvalitetsutvecklingen. Det blir långtifrån någon säker bedömning, men kanske är det inte rimligt att kräva att myndigheterna ska komma längre när det gäller uppföljningen av rättslig kvalitet? 9

10 ISF:s rekommendationer och förslag Regeringen bör ta ställning till vad de vill få ut av myndigheternas redovisning av den rättsliga kvaliteten i exempelvis årsredovisningen. Eftersom säkra bedömningar av hur kvaliteten har utvecklats är resurskrävande kan det handla om att i stället fokusera kraven på en kvalitativ redovisning av hur myndigheterna arbetar för att förbättra kvaliteten. Om regeringen vill ha en redovisning av hur kvaliteten har utvecklats bör kraven preciseras. Denna precisering bör både gälla med vilken grad av säkerhet myndigheterna ska bedöma utvecklingen, vilka av förmånerna som ska omfattas och hur långa tidsserierna ska vara. I kraven bör regeringen väga in att säkra bedömningar av utvecklingen är resurskrävande. Detta gäller särskilt om en bedömning ska göras varje år för var och en av myndigheternas samtliga förmåner. Ska det dessutom gå att uttala sig om skillnader mellan kvinnor och män blir det förstås ännu dyrare. Regeringen ställer i regleringsbrevet krav på att myndigheternas kvalitetsredovisning ska vara könsuppdelad. ISF:s granskning visar att både Försäkringskassan och Pensionsmyndigheten följer detta krav i viss utsträckning, men i intervjuerna påpekar de att det är orimligt att följa kravet fullt ut. Regeringen bör också ta ställning till hur den totala informationsförsörjningen när det gäller kvalitetsinformation om myndigheterna ska organiseras. Det gäller till exempel i vilken mån informationen ska krävas in från de direkt berörda myndigheterna Försäkringskassan och Pensionsmyndigheten och i vilken mån den ska hämtas från mer oberoende granskare som exempelvis ISF. Försäkringskassan bör ta ställning till vilket syfte kvalitetsutvecklingsmodellen ska ha. Det är svårt att kombinera kvalitetsutveckling och resultatuppföljning i samma modell. Försöken att anpassa de lokala ärendeuppföljningarna till att användas för resultatuppföljning riskerar att gå ut över modellens funktion som utvecklingsinstrument. Dessutom kommer de lokala ärendeuppföljningarna inte att kunna bidra till några tillräckligt säkra bedömningar av hur den rättsliga kvaliteten har utvecklats. Om Försäkringskassan vill mäta hur den rättsliga kvaliteten har utvecklats krävs en separat mätning med en annan metodologisk ansats. Pensionsmyndigheten har ännu inte förändrat de lokala ärendeuppföljningarna på samma sätt som Försäkringskassan. Myndigheten håller än så länge fast vid att syftet med de lokala ärendeuppföljningarna främst är att utveckla kvaliteten. Däremot finns en tendens på myndigheten att de riktade kvalitetsuppföljningarna kommer att breddas och omfatta alla förmåner. Syftet är att bättre kunna uttala sig om nivån på den rättsliga kvaliteten. Om detta är ett försök att mäta den rättsliga kvaliteten är det viktigt att Pensionsmyndigheten beaktar de metodologiska problem som är förknippade med sådana mätningar. 10

11

12 adress Box 202, Stockholm besöksadress Fleminggatan 7 telefon fax e-post registrator@inspsf.se webb