Svårt att kombinera kvalitetsutveckling och resultatuppföljning

ISF GRanSkaR och analyserar RappoRt 2018:1 Svårt att kombinera kvalitetsutveckling och resultatuppföljning En granskning av kvalitetsutvecklingsmodellerna på Försäkringskassan och Pensionsmyndigheten sf

ISF GRANSKAR OCH ANALYSERAR RAPPORT 2018:1 Svårt att kombinera kvalitetsutveckling och resultatuppföljning En granskning av kvalitetsutvecklingsmodellerna på Försäkringskassan och Pensionsmyndigheten En rapport från Inspektionen för socialförsäkringen Stockholm 2018

Inspektionen för socialförsäkringen (ISF) är en statlig myndighet som arbetar för en rättssäker och effektiv socialförsäkring som är hållbar för samhället och ger trygghet för individen. ISF:s rapporter har olika fokus: ISF Granskar och analyserar innehåller en omfattande granskning och analys ur flera olika perspektiv. Avsikten är att presentera så långtgående slutsatser som möjligt och lämna rekommendationer på önskvärda förändringar. ISF Redovisar presenterar fakta utan att analysera denna på djupet. Det kan till exempel handla om att redovisa statistik, en rättslig observation eller en sammanställning av existerande kunskap. ISF Kommenterar fokuserar på att synliggöra något som ISF tycker behöva uppmärksammas. Det kan till exempel handla om att kommentera en pågående debatt, effekterna av rättstillämpningen eller att synliggöra olösta problem. ISF Föreslår lämnar mer fullständiga och konkreta förslag till ändrade regler eller andra förändringar som skulle kunna få socialförsäkringen att fungera bättre. Publikationen kan läsas online, laddas ner och beställas på www.inspsf.se Inspektionen för socialförsäkringen Tryckt av Elanders Sverige AB Stockholm 2018 ISBN: 978-91-88098-87-0

Innehåll Innehåll Generaldirektörens förord... 7 Sammanfattning... 9 1 Inledning... 21 1.1 Avgränsningar... 22 1.2 Metod... 23 1.3 Kvalitetsutvecklingsmodellerna i korthet... 25 1.3.1 Lokala ärendeuppföljningar av den rättsliga kvaliteten i dialog med handläggaren... 26 1.3.2 Riktade kvalitetsuppföljningar inom områden där det kan finnas brister i den rättsliga kvaliteten... 28 1.3.3 Indikatorer som följer utvecklingen inom områden med koppling till rättslig kvalitet... 29 1.3.4 Analyser från lokal nivå till myndighetsnivå... 31 1.3.5 Myndigheternas kvalitetsdefinitioner... 33 2 Bra grundtankar i modellerna men detaljerna är svårbedömda... 35 3 Konflikt mellan utveckling och resultatuppföljning... 37 4 Modellerna fungerar dåligt för resultatuppföljning... 41 4.1 Det finns krav på att redovisa kvalitet... 45 4.1.1 Regeringen ställer krav på redovisning av hur kvaliteten har utvecklats... 45 4.1.2 Myndigheterna har interna mål för den rättsliga kvaliteten... 46 4.2 Det är svårt med jämförbarheten i Försäkringskassans uppföljning... 47

Innehåll 4.2.1 Ojämn bedömningsnivå i granskningen... 49 4.2.2 Förändringar i mätmetod försvårar jämförbarheten över tid... 52 4.3 Det är svårt och resurskrävande att mäta rättslig kvalitet... 55 4.3.1 Granska båda mätåren vid samma tillfälle... 56 4.3.2 Använd oberoende granskare som vet vad som är godkänd kvalitet... 57 4.3.3 Använd samma granskningsformulär för båda mätåren... 58 4.3.4 Genomtänkt urval för varje förmån... 60 4.3.5 Kvalitativa bedömningar måste komplettera mätningen... 61 4.3.6 Det är meningslöst med en kvantitativ sammanvägning av olika förmåners resultat... 63 4.3.7 Motsvarar den stora resursåtgången nyttan?... 64 4.4 Modellens övriga delar räcker inte för att bedöma kvalitetsutvecklingen... 66 4.4.1 Kvalitetsindikatorerna är inga resultatmått... 67 4.4.2 De rättsliga kvalitetsuppföljningarna är inte heltäckande... 68 5 Modellerna kan bidra till kvalitetsutveckling... 71 5.1 Lokala uppföljningar med handläggare är en bra grund för kvalitetsutveckling... 73 5.2 Modellen förändras ständigt på Försäkringskassan... 75 5.2.1 Lärande och utveckling i fokus från början... 75 5.2.2 Tillåtet att aggregera resultat från Väksten... 77 5.2.3 Specialistens roll för Väkstenuppföljningarna har förtydligats... 81 5.2.4 Urvalet av ärenden i Väksten... 85 5.2.5 Tidpunkter då Väksten ska göras... 90 5.3 Modellens övriga delar... 92 5.3.1 De rättsliga kvalitetsuppföljningarna har fått en stark ställning... 92 5.3.2 Kvalitetsindikatorerna kan inte brytas ned på teamnivå... 95

Innehåll 6 Jämställdhetsperspektivet kan kräva mycket resurser... 99 7 Rekommendationer och förslag... 105 7.1 Regeringen bör ge tydligare signaler om vilken information som behövs... 106 7.2 Försäkringskassan måste bestämma vad modellen ska användas till... 108 7.3 Pensionsmyndigheten måste ta hänsyn till metodproblemen... 109 Referenser... 111

Generaldirektörens förord Generaldirektörens förord Försäkringskassan och Pensionsmyndigheten utgör navet i administrationen av det svenska välfärdssystemet. Vid sidan av den allmänna inkomstpensionen hanterar myndigheterna över 50 förmåner och en tredjedel av de statliga utgifterna. Sammantaget har myndigheternas agerande en avgörande betydelse både för enskilda medborgare och för samhällsekonomin som helhet. Båda myndigheterna arbetar med modeller för att följa upp och utveckla kvaliteten i handläggningen. ISF har, på regeringens uppdrag, granskat dessa modeller. Granskningen har fokuserat på den rättsliga kvaliteten definierad som förmågan att utifrån tillräckliga beslutsunderlag fatta korrekta beslut i försäkringsärendena eftersom denna är avgörande både för rättssäkerheten och för legitimiteten i socialförsäkringssystemet. Modellerna togs i första hand fram som ett instrument för kvalitetsutveckling, och ISF bedömer att de kan fungera väl för detta ändamål. Men modellerna har i ökad utsträckning även börjat användas för resultatuppföljning. Detta är inte helt oproblematiskt, och granskningen tydliggör att det är svårt att kombinera utveckling och uppföljning i samma modell. Även om granskningen bara studerat Försäkringskassans och Pensionsmyndighetens modeller för kvalitetsutveckling är resultaten allmängiltiga. I många verksamheter ställs höga krav på både kvalitet, verksamhetsutveckling och resultatuppföljning. Detta gäller inte minst statlig, skattefinansierad verksamhet. I syfte att säkerställa verksamhetens kvalitet och ett effektivt resursutnyttjande kan det vara frestande att öka kraven på kvalitetsmätningar och resultatuppföljning. Men även om intentionerna är goda är det inte självklart att resultatet blir det avsedda. Orsakerna är flera. 7

Generaldirektörens förord Det är svårt för myndigheterna att mäta den rättsliga kvaliteten på ett tillförlitligt sätt. Detta beror på att sådana mätningar måste bygga på bedömningar av kvaliteten i ärenden som myndigheten redan har handlagt. För att göra sådana mätningar tillförlitliga behövs strikt kontrollerade studier som kräver omfattande resurser. Det måste självklart finnas ett relativt stort mått av både kvalitetsutveckling och resultatuppföljning för att säkra en god utveckling. Exempelvis anser ISF att de lokala ärendeuppföljningar som är en del av modellerna kan bidra till att kvaliteten utvecklas. Men det hindrar inte att det sannolikt finns en gräns där ytterligare krav på att följa upp, mäta och redovisa utvecklingen blir kontraproduktiva, genom att det tränger undan myndighetens ordinarie verksamhet på ett sätt som inte kan motiveras. Mot bakgrund av detta finns det anledning för både regeringen och myndigheterna att noga överväga vilka uppföljningar, indikatorer och resultatmätningar som är nödvändiga och prioritera bland dessa. Regeringen behöver vara tydlig med vilken redovisning man vill ha, med hänsyn både till svårigheterna med och kostnaderna för att mäta den rättsliga kvaliteten på ett tillförlitligt sätt. Resurserna är inte oändliga, och även om intentionerna är goda kan det vara värt att påminna om att det goda kan bli det bästas fiende. Rapporten är skriven av Magnus Medelberg (projektledare) och Mimmi Diamant. Berit Hamrén har också medverkat i granskningen. Stockholm januari 2018 Maria Hemström Hemmingsson 8

Sammanfattning Sammanfattning Inspektionen för socialförsäkringen (ISF) har på regeringens uppdrag granskat Försäkringskassans och Pensionsmyndighetens nya modeller för att följa upp och utveckla kvaliteten i handläggningen. Modellerna har en bred definition av begreppet kvalitet. ISF har koncentrerat granskningen till den rättsliga kvaliteten. I detta sammanhang är rättslig kvalitet förmågan att fatta korrekta beslut i försäkringsärendena utifrån tillräckliga beslutsunderlag. Svårt att kombinera kvalitetsutveckling och resultatuppföljning i samma modell Enkelt uttryckt är Försäkringskassans och Pensionsmyndighetens modeller för att följa upp och utveckla kvaliteten i handläggningen ganska lika. De består av följande: Uppföljningar på lokal nivå av redan handlagda ärenden som innebär att en specialist eller den närmaste chefen går igenom ärendena med den berörda handläggaren. Fördjupade rättsliga kvalitetsuppföljningar där ett begränsat område granskas djupare. Dessa görs på central nivå och består ofta av granskning av redan handlagda ärenden i någon aktuell rättslig fråga inom en viss förmån. Kvalitetsindikatorer som följs löpande. Det kan exempelvis handla om antalet ärenden där den försäkrade begär omprövning och hur många ärenden som ändras i omprövningen. En av huvudfrågorna i ISF:s granskning är om det är möjligt att kombinera utveckling och uppföljning i samma modell. ISF:s bedömning är att modellerna kan vara ett bra instrument för att utveckla kvaliteten. Men ISF bedömer att det är svårt att samtidigt 9

Sammanfattning använda dem för uppföljning. Detta gäller åtminstone om man med uppföljning menar resultatuppföljning. Exempelvis att det med tillräcklig säkerhet ska kunna gå att uttala sig om hur den rättsliga kvaliteten utvecklats för myndigheternas olika förmåner. I Försäkringskassans regleringsbrev finns det krav på att kvalitetens utveckling ska redovisas i årsredovisningen. Försäkringskassan har dessutom för 2017 satt upp ett internt mål om att den rättsliga kvaliteten ska förbättras i merparten av myndighetens förmåner. Detta mål följs upp i myndighetens verksamhetsuppföljning. Några motsvarande krav på redovisning av kvalitetsutvecklingen finns inte i Pensionsmyndighetens regleringsbrev. Men myndigheten har ett internt mål för 2017 om att kvaliteten ska ha en acceptabel nivå eller bättre i alla förmåner. Försäkringskassan har använt modellen i fyra år. Under denna period har Försäkringskassan anpassat de lokala ärendeuppföljningarna på olika sätt för att kunna använda dem för att följa upp resultat. Dessa uppföljningar är en central del av modellen. Det främsta exemplet på dessa anpassningar är att det nu är tillåtet att aggregera kvantitativa resultat från de lokala ärendegranskningarna. När modellen skapades var tanken att dessa resultat inte skulle aggregeras. Ett annat exempel är att urvalet av ärenden till de lokala uppföljningarna har centraliserats. Det begränsar de lokala enheternas möjligheter att själva välja ärenden utifrån vilka områden de bedömer är mest angelägna att utveckla. Därmed riskerar anpassningarna av ärendeuppföljningarna för att använda dem till resultatuppföljning att göra dem mindre ändamålsenliga ur ett utvecklingsperspektiv. Pensionsmyndigheten har använt modellen i mindre än två år. Enligt myndigheten är modellen ännu inte införd fullt ut. Den granskning ISF har gjort visar att än så länge håller myndigheten fast vid ursprungssyftet att de lokala ärendeuppföljningarna inte ska användas för resultatuppföljning. På grund av uppdragets komplexitet har ISF i första hand koncentrerat granskningen till Försäkringskassan. Men den principiella diskussionen om att kombinera kvalitetsutveckling och resultatuppföljning i samma modell gäller även Pensionsmyndigheten. 10

Sammanfattning Unga modeller och hög förändringstakt försvårar ISF:s bedömning På båda myndigheterna är modellerna unga. Det är naturligt att modellerna justeras en del när de börjar användas i skarpt läge. Men på Försäkringskassan har förändringstakten varit högre än vad som kan förklaras av detta. En förklaring är den förändring som gjorts i myndighetens styrning sedan den nya generaldirektören tillträdde hösten 2015. Förändringen har inneburit att myndigheten har återgått till mål- och resultatstyrning, med bland annat skarpa mål för den rättsliga kvaliteten. Dessutom har myndigheten bytt kvalitetsdefinition. Den nya definitionen fokuserar mer på rättssäkerheten medan begrepp som kundernas behov och bemötande har tagits bort. Sammantaget innebär detta att det är svårt för ISF att dra säkra slutsatser om hur väl modellerna fungerar som instrument för kvalitetsutveckling. Det gäller både hur väl modellerna fungerar i dag och hur de kan komma att fungera i framtiden. Det krävs en längre tid av stabilitet i modellerna för att kunna dra säkrare slutsatser. Däremot är det tydligt för ISF att grundprinciperna i modellerna är väl genomtänkta och att det finns en potential att de kan vara viktiga instrument för att utveckla kvaliteten på myndigheterna. Lokala kvalitetsuppföljningar är en bra grund för kvalitetsutveckling På båda myndigheterna är ärendeuppföljningar på lokal nivå en central del av modellen. I dessa uppföljningar går den berörda handläggaren och en specialist eller den närmaste chefen igenom ärenden som redan har handlagts. Genomgången görs i dialog, antingen vid uppföljningstillfället eller senare vid en återkoppling. Dessa lokala granskningar är grunden i modellerna. Det har inneburit en högre acceptans på lokal nivå jämfört med tidigare modeller, där kvalitetsgranskningen av ärendena gjordes på en mer central nivå. Bristen på lokal förankring var ett skäl till att Försäkringskassan 2012 lade ned sin tidigare modell den kontinuerliga kvalitetskontrollen. Det var också ett skäl till att Pensionsmyndigheten lade ned motsvarande granskningar 2015. I stället införde båda myndigheterna de lokala ärendeuppföljningarna som nu är en central del av kvalitetsutvecklingsmodellerna. Den högre acceptansen och närheten till handläggarna och det produktionsnära stödet innebär större möjligheter att åtgärda de problem 11

Sammanfattning och ta till vara den utvecklingspotential som de som dagligen jobbar med försäkringsärendena ser. ISF:s intervjuer med de lokala handläggningsorganisationerna bekräftar att modellerna ur detta avseende fungerar relativt väl. Alla anser att de lokala uppföljningarna fungerar avsevärt bättre än de tidigare mer centrala granskningarna av ärenden. Däremot är det långt ifrån självklart hur de lokala ärendeuppföljningarna ska organiseras mer i detalj. Här finns mängder av frågor att ta ställning till. Vem ska välja ut vilka ärenden som ska granskas? Vilka ska vara närvarande när granskningen görs? Ska granskningarna göras enskilt mellan specialist och handläggare eller ska en hel grupp handläggare och deras ärenden diskuteras vid ett gemensamt möte med specialisten? I vilken mån ska enhetschefen delta? Vem ska göra den slutliga bedömningen av kvaliteten? I dessa avseenden har olika tillvägagångssätt använts och ISF kan inte ta ställning till vilket som fungerar bäst. Det är tänkbart att det ur ett utvecklingsperspektiv är bäst att de lokala enheterna själva får välja vilket sätt som fungerar bäst för just dem. Samtidigt är det troligt att det för att följa upp resultatet är bäst att enheterna gör likadant. Det beror på att bedömningen av ärendenas kvalitet sannolikt kan påverkas av hur granskningarna genomförs. Detta är ett exempel på att det kan uppstå konflikter mellan utvecklingsperspektivet och uppföljningsperspektivet. Det är tydligt att de lokala ärendegranskningarna upplevs positivt i handläggningsorganisationen. Samtidigt ska granskningarnas betydelse för att utveckla kvaliteten inte överdrivas. De intervjuade framhåller ofta att dessa granskningar är bra, men att den kvalitetsutveckling som följer av det dagliga arbetet är minst lika viktig. Med detta avses bland annat kontakterna mellan specialister och handläggare i samband med särskilt svårbedömda ärenden eller i samband med att nya vägledningar kommer. Lokala ärendeuppföljningar är olämpliga som resultatmått De lokala ärendeuppföljningarna är inte ändamålsenliga som mått på hur den rättsliga kvaliteten utvecklas för myndigheten som helhet. Ett skäl till att dessa granskningar fungerar dåligt för att följa upp resultat är att det är svårt att kalibrera granskarna så att de håller en jämn bedömningsnivå, både över tid och mellan olika enheter. 12

Sammanfattning Svårigheterna att kalibrera granskarna var ett problem som förföljde den tidigare kontinuerliga kvalitetskontrollen vid Försäkringskassan under de 10 år som systemet användes. Svårigheterna gjorde att det ofta var tveksamt om de resultatförändringar som noterades berodde på faktiska resultatförändringar eller på förändringar i hur granskarna bedömde ärendena. Dessa problem var också en av orsakerna till att systemet lades ned. När Försäkringskassans nya kvalitetsutvecklingsmodell skapades var tanken att inga kvantitativa resultat från de lokala kvalitetsgranskningarna skulle aggregeras. Eftersom fokus låg på kvalitetsutveckling snarare än resultatuppföljning var det bara de kvalitativa analyserna som skulle användas för att dra slutsatser på myndighetsnivå. Men nu har det blivit tillåtet att aggregera resultaten och ett it-stöd håller på att utvecklas för detta ändamål. Följden har blivit att kalibreringsproblemen kommit i fokus igen. Det finns många indikationer på att jämförbarheten i de lokala kvalitetsgranskningarna är osäker. Försäkringskassan påpekar själv detta i flera kvalitetsanalyser. I ett par avvikelserapporter till den månatliga uppföljningen står att resultaten inte kan jämföras med tidigare år. Även de intervjuer ISF har gjort bekräftar samma sak. ISF bedömer att det är mycket tveksamt om det någonsin går att kalibrera fram en så jämn bedömning i de lokala granskningarna att de kan aggregeras till ett resultatmått som med tillräcklig säkerhet visar hur den rättsliga kvaliteten har utvecklats på hela myndigheten. Ett annat skäl till att det kan vara svårt att bedöma hur kvaliteten har utvecklats är att det kan ha gjorts förändringar i frågedokument eller hjälptexter som påverkar jämförbarheten. Även ändringar i vilka som gör granskningarna eller hur de gör dem kan påverka jämförbarheten. Dessa ändringar görs ofta för att utveckla bedömningsinstrumentet så att den rättsliga kvaliteten kan analyseras på ett bättre sätt. Förändringarna görs alltså med ett gott syfte, men medför att jämförelser bakåt i tiden blir osäkra. 13

Sammanfattning Modellens övriga delar räcker inte för att kompensera bristerna Det är tänkt att inte bara de lokala ärendeuppföljningarna ska användas i bedömningen av hur kvaliteten har utvecklats. Men modellens övriga delar räcker inte för att kompensera för bristerna i de lokala ärendeuppföljningarna när utvecklingen ska bedömas. De rättsliga kvalitetsuppföljningarna är en fördjupad granskning av ett avgränsat område. Uppföljningarna är ett kunskapsunderlag för att närmare analysera vilka kvalitetsbrister som finns inom området. Därmed är uppföljningarna viktiga som ett underlag för att hitta lösningar på problemen och för att utveckla kvaliteten. Ofta är det område som granskas i de rättsliga uppföljningarna bara delar av en förmån. Försäkringskassan gör knappt tio rättsliga kvalitetsuppföljningar per år. Det innebär att det bara är en liten del av Försäkringskassans hela ärendehandhandläggning som granskas under ett år. Dessutom är det bara ett fåtal av de rättsliga uppföljningarna som handlar om hur kvaliteten har utvecklats. De allra flesta ger bara en ögonblicksbild av den rättsliga kvaliteten. Uppföljningarna har därför ett begränsat värde när det gäller att bedöma hur den rättsliga kvaliteten i Försäkringskassans utvecklats totalt sett. De kvalitetsindikatorer som också är en del av modellen är relativt heltäckande ur aspekten att i stort sett alla förmåner ingår och att utvecklingen följs löpande för dessa förmåner. Deras brist är just att de är indikatorer och inget mått på kvalitetsutvecklingen i sig. Ett exempel på en kvalitetsindikator är uppgifter om antalet ärenden som går till omprövning och andelen ärenden som ändras vid omprövningen. Om detta analyseras tillsammans med indikatorn andelen ansökningar från de försäkrade som beviljats respektive fått avslag går det att göra många intressanta iakttagelser om eventuella förändringar i den rättsliga kvaliteten. Men det finns många faktorer som kan ha påverkat indikatorerna. Därför är det oftast svårt att dra säkra slutsatser om hur den rättsliga kvaliteten har förbättrats eller försämrats. 14

Sammanfattning Den ökade inriktningen på resultatuppföljning kan gå ut över utvecklingssyftet Det finns risker med att försöka anpassa kvalitetsutvecklingsmodellen för att kunna användas för resultatuppföljning på det sätt som Försäkringskassan gör. En risk med att använda de lokala ärendeuppföljningarna för resultatuppföljning är att granskarna i högre utsträckning väljer att blunda för kvalitetsbrister i den egna lokala enheten. Så länge som uppföljningarna i första hand används för lärande och utveckling är det säkert mindre problematiskt att peka på utvecklingsbehov inom den egna enhetens verksamhet. Men om uppföljningarna blir en viktig del i bedömningen om Försäkringskassan uppfyller sina verksamhetsmål kan det hela komma i ett annat läge. Om granskarna, medvetet eller omedvetet, anpassar sina bedömningar på ett sådant sätt att de undviker att lyfta fram den egna enhetens kvalitetsproblem försämras förstås möjligheterna att åtgärda kvalitetsbristerna. Dessutom riskerar även resultatjämförelserna att bli missvisande. I Försäkringskassans tidigare modell den kontinuerliga kvalitetskontrollen fanns under den period när granskningarna gjordes lokalt en tendens att de lokala granskarna undvek att fälla enhetens egna ärenden. Detta visade sig när enheternas ärenden slumpades ut på granskare vid samtliga enheter i stället för att bedömas lokalt. Då försämrades resultaten totalt sett. En annan anpassning i den nya modellen som innebär en risk är de ändrade principerna för urvalet av ärenden. Från början gällde att urvalet i ärendegranskningarna skulle göras lokalt. Då kunde till och med den enskilde handläggaren välja vilka ärenden som skulle granskas. Tanken var att fokusera på de ärenden där det fanns mest problem och störst möjligheter till en positiv kvalitetsutveckling. Nu styrs urvalet av ärenden mer centralt för att granskningen ska ge en rättvisande beskrivning av förmånen totalt sett. Detta urval har säkert fördelar ur ett resultatuppföljningsperspektiv, men det är inte säkert att det är optimalt för att utveckla förmånens rättsliga kvalitet. 15

Sammanfattning Men ISF:s intervjuer med Försäkringskassans lokala organisation har inte visat på något utbrett missnöje med de förändringar som gjorts i de lokala ärendegranskningarna för att kunna använda dem för resultatuppföljning. Alla intervjuade är fortfarande positiva till kvalitetsutvecklingsmodellen, även om många tvivlar på möjligheterna att kunna göra rättvisande resultatjämförelser. Att mäta rättslig kvalitet kräver mycket resurser ISF bedömer att det enda sättet att åstadkomma någorlunda säkra bedömningar av hur den rättsliga kvaliteten har utvecklats är att göra en separat mätning. En sådan mätning behöver vara mer centralt baserad och genomföras under strikt kontrollerade former. Men att göra en sådan mätning är en metodologisk utmaning och kräver stora resurser. Dessutom kommer inte heller en sådan mätning att kunna ge några helt säkra svar. Det kommer alltid att behövas kvalitativa bedömningar som ett komplement. Det grundläggande problemet är att den rättsliga kvaliteten knappast kan bedömas på något annat sätt än genom att granska redan handlagda ärenden. En sådan mätning blir kostsam. Varje enskild ärendegranskning tar en hel del tid i anspråk och det krävs stora urval för att uppnå en tillräcklig statistisk säkerhet. ISF har förståelse för att myndigheterna tvekar inför att bygga separata modeller för resultatuppföljning. Det kan kräva alltför mycket resurser att ha dubbla system av ärendegranskningar, ett lokalt baserat för utvecklingsändamål och ett centralt baserat för uppföljningsändamål. Frågan om att göra en separat riksmätning av den rättsliga kvaliteten har nyligen diskuterats på Försäkringskassan. Men för närvarande verkar denna fråga inte finnas på dagordningen, enligt vad som framkommit i ISF:s granskning. Förutom att det krävs stora urval finns även andra mer metodologiska problem. Om resultatet ska redovisas i årsredovisningen är det särskilt viktigt att objektiviteten i mätningen inte kan ifrågasättas. Detta gäller i synnerhet nu eftersom Försäkringskassan har fokuserat hårt på att förbättra den rättsliga kvaliteten. Försäkringskassan har satt upp ett internt mål för 2017 om att den rättsliga kvaliteten i handläggningen ska ha utvecklats positivt för merparten av förmånerna jämfört med 2016. Dessutom finns ett mål om att kvaliteten totalt sett ska bedömas som god senast 2021. 16

Sammanfattning Flera intervjuade har tagit upp att de kvalitetsbedömningar som görs är osäkra och en av dem pekar på risken att det går politik i de mål som satts upp och att detta kan komma att påverka bedömningarna. Därför är det viktigt, inte minst för Försäkringskassan själv, att bedömningarna vilar på en säker grund. Annars kan det uppstå tvivel kring de bedömningar som gjorts om kvaliteten utvecklas i en positiv riktning i linje med de mål som satts upp. De risker som finns med en mätning av den rättsliga kvalitetens utveckling har främst att göra med om granskarna är oberoende och hur man åstadkommer en jämn bedömningsnivå för de år som ska ingå i jämförelsen. Det är säkert svårt att finna helt oberoende granskare inom myndigheten, men de bör inte vara direkt inblandade i den ärendehandläggning som bedömningen avser. Likaså är det svårt att garantera att bedömningsnivån för årets ärenden kommer vara densamma som bedömningsnivån var ett år tidigare för förra årets ärenden. Det sistnämnda är ett problem även om granskarna är helt oberoende. Dessa risker kan minimeras om mätningen genomförs på ett kontrollerat sätt. En mätning av hur kvaliteten utvecklats mellan olika år bör exempelvis genomföras så att ärenden från alla undersökningsår granskas vid samma tillfälle och i en slumpvis ordning. Men en nackdel är att en mätning där alla år granskas vid samma tillfälle kräver mycket större urval än om det går att lita på att bedömningsnivån inte påverkas över tid. Det bästa sättet att undvika jämförelseproblemen är förstås om ärendena kan maskeras så att det inte alls framgår till vilket år de hör. Men det är nästan omöjligt att maskera ärendena på det sättet och det kräver förstås också extra resurser. Ett svårt dilemma Att göra en helt oantastlig mätning av hur den rättsliga kvaliteten utvecklats är mycket resurskrävande och metodologiskt problematiskt. Därför är det inte alls förvånande att myndigheterna tvekar att göra en separat mätning som uppfyller kraven. Det kan vara lockande för dem att i stället använda de lokala ärendeuppföljningarna, som görs inom ramen för kvalitetsutvecklingsmodellen. 17

Sammanfattning Myndigheterna står inför ett svårt dilemma. Ska de försöka anpassa de lokala ärendeuppföljningarna så att de kan användas för att mäta hur den rättsliga kvaliteten har utvecklats? Risken är då att de kommer att fungera sämre ur ett utvecklingsperspektiv och troligen inte heller kommer att fungera särskilt bra för att mäta resultaten. Eller ska de satsa stora resurser på ett separat system för att mäta den rättsliga kvaliteten på ett mer rättvisande sätt? Risken är ändå stor att de inte uppnår metodologisk perfektion, vilket gör att resultaten ändå kommer att kunna ifrågasättas. ISF ser ingen självklar lösning på detta dilemma. Kanske är det bäst att behålla det rena utvecklingssyftet i modellerna och acceptera att det inte kommer att gå att bedöma den rättsliga kvalitetens utveckling med säkerhet åtminstone inte heltäckande för alla förmåner och för varje år. Förutom de lokala ärendeuppföljningarna innehåller myndigheternas kvalitetsutvecklingsmodeller även andra delar. Med hjälp av de rättsliga kvalitetsuppföljningarna och kvalitetsindikatorerna går det att åtminstone föra ett resonemang om den rättsliga kvalitetsutvecklingen. Det blir långtifrån någon säker bedömning, men kanske är det inte rimligt att kräva att myndigheterna ska komma längre när det gäller uppföljningen av rättslig kvalitet? ISF:s rekommendationer och förslag Regeringen bör ta ställning till vad de vill få ut av myndigheternas redovisning av den rättsliga kvaliteten i exempelvis årsredovisningen. Eftersom säkra bedömningar av hur kvaliteten har utvecklats är resurskrävande kan det handla om att i stället fokusera kraven på en kvalitativ redovisning av hur myndigheterna arbetar för att förbättra kvaliteten. Om regeringen vill ha en redovisning av hur kvaliteten har utvecklats bör kraven preciseras. Denna precisering bör både gälla med vilken grad av säkerhet myndigheterna ska bedöma utvecklingen, vilka av förmånerna som ska omfattas och hur långa tidsserierna ska vara. I kraven bör regeringen väga in att säkra bedömningar av utvecklingen är resurskrävande. Detta gäller särskilt om en bedömning ska göras varje år för var och en av myndigheternas samtliga förmåner. Ska det dessutom gå att uttala sig om skillnader mellan kvinnor och 18

Sammanfattning män blir det förstås ännu dyrare. Regeringen ställer i regleringsbrevet krav på att myndigheternas kvalitetsredovisning ska vara könsuppdelad. ISF:s granskning visar att både Försäkringskassan och Pensionsmyndigheten följer detta krav i viss utsträckning, men i intervjuerna påpekar de att det är orimligt att följa kravet fullt ut. Regeringen bör också ta ställning till hur den totala informationsförsörjningen när det gäller kvalitetsinformation om myndigheterna ska organiseras. Det gäller till exempel i vilken mån informationen ska krävas in från de direkt berörda myndigheterna Försäkringskassan och Pensionsmyndigheten och i vilken mån den ska hämtas från mer oberoende granskare som exempelvis ISF. Försäkringskassan bör ta ställning till vilket syfte kvalitetsutvecklingsmodellen ska ha. Det är svårt att kombinera kvalitetsutveckling och resultatuppföljning i samma modell. Försöken att anpassa de lokala ärendeuppföljningarna till att användas för resultatuppföljning riskerar att gå ut över modellens funktion som utvecklingsinstrument. Dessutom kommer de lokala ärendeuppföljningarna inte att kunna bidra till några tillräckligt säkra bedömningar av hur den rättsliga kvaliteten har utvecklats. Om Försäkringskassan vill mäta hur den rättsliga kvaliteten har utvecklats krävs en separat mätning med en annan metodologisk ansats. Pensionsmyndigheten har ännu inte förändrat de lokala ärendeuppföljningarna på samma sätt som Försäkringskassan. Myndigheten håller än så länge fast vid att syftet med de lokala ärendeuppföljningarna främst är att utveckla kvaliteten. Däremot finns en tendens på myndigheten att de riktade kvalitetsuppföljningarna kommer att breddas och omfatta alla förmåner. Syftet är att bättre kunna uttala sig om nivån på den rättsliga kvaliteten. Om detta är ett försök att mäta den rättsliga kvaliteten är det viktigt att Pensionsmyndigheten beaktar de metodologiska problem som är förknippade med sådana mätningar. 19

Inledning 1 Inledning I denna rapport avrapporterar Inspektionen för socialförsäkringen (ISF) uppdraget från regeringen att granska Försäkringskassans och Pensionsmyndighetens kvalitetsutvecklingsmodell. Kärnan i uppdraget är följande: ISF ska analysera respektive myndighets kvalitetsutvecklingsmodell för att se om de på ett ändamålsenligt sätt visar kvaliteten i handläggningen. Av redovisningen ska även framgå fördelar och nackdelar med det nya sättet att följa och utveckla kvaliteten. 1 I ISF:s uppdrag ingår att redovisa fördelar och nackdelar med myndigheternas modell för att följa och utveckla kvaliteten. Rapporten behandlar följande huvudfrågor: Går det att förena kvalitetsuppföljning och kvalitetsutveckling i en och samma modell? Hur fungerar modellerna för resultatuppföljning, exempelvis för att bedöma hur kvaliteten i handläggningen har utvecklats? Hur fungerar modellerna i arbetet med att utveckla kvaliteten i handläggningen? 1 Socialdepartementet (2016b), s. 4. 21

Inledning 1.1 Avgränsningar På grund av uppdragets komplexitet har det varit nödvändigt för ISF att avgränsa uppdraget. Kvalitet är ett komplext begrepp som innehåller flera olika aspekter. ISF har i denna granskning valt att begränsa frågan till den rättsliga kvaliteten. I detta sammanhang innebär rättslig kvalitet att fatta korrekta beslut i försäkringsärendena utifrån tillräckliga beslutsunderlag. ISF har i första hand koncentrerat granskningen till Försäkringskassan. Pensionsmyndigheten kommenteras i första hand i de fall myndighetens modell skiljer sig från Försäkringskassans i någon intressant aspekt. Det finns flera skäl till att ISF har koncentrerat granskningen till Försäkringskassan. Ett skäl är att Pensionsmyndigheten bara har använt sin modell i knappt två år och att de inte betraktar den som fullt ut införd. Vid våra intervjuer uttrycktes en viss förvåning över att ISF redan fått i uppdrag att granska modellen. Ett annat skäl är att Försäkringskassan successivt har förändrat de lokala ärendeuppföljningarna så att de ska kunna användas för resultatuppföljning. Pensionsmyndigheten håller än så länge fast vid grundtanken att de lokala uppföljningarna främst ska användas för kvalitetsutveckling. Det innebär att svårigheterna att kombinera utveckling och resultatuppföljning i samma modell syns mycket tydligare på Försäkringskassan. Men den principiella diskussionen om dessa svårigheter gäller även för Pensionsmyndigheten. På ett övergripande plan är Försäkringskassans och Pensionsmyndighetens kvalitetsutvecklingsmodeller ganska lika. De består av tre olika delar, vilka beskrivs i avsnitt 1.3. Denna granskning handlar i första hand om en av dessa delar, nämligen de lokala uppföljningarna av redan handlagda ärenden som innehåller en dialog mellan handläggaren och en specialist eller den närmaste chefen. Att ISF främst koncentrerat granskningen till de lokala ärendeuppföljningarna beror på att de är en central del av modellen och att det främst är där som konflikten mellan utveckling och resultatuppföljning visar sig. De lokala ärendeuppföljningarna i dialogform är dessutom ett nytt inslag i myndigheternas kvalitetsmodeller jämfört 22

Inledning med tidigare modeller. De övriga delarna i modellen har i en eller annan form funnits även tidigare, det vill säga fördjupade rättsliga granskningar inom vissa utvalda områden och att följa hur ett antal kvalitetsindikatorer utvecklas. På Pensionsmyndigheten ingår kvalitetsindikatorerna i det vidare begreppet datadrivet förbättringsarbete (se avsnitt 1.3.3). Men denna granskning omfattar bara kvalitetsindikatorerna. ISF:s analys av de lokala ärendegranskningarna handlar om hur de fungerar för kvalitetsutveckling och för resultatuppföljning givet hur dessa analysinstrument är konstruerade i dag. Detta innebär att ISF inte närmare undersökt om de frågeformulär som används vid de lokala ärendegranskningarna verkligen omfattar alla de kontroller som bör göras för att ett ärende ska vara handlagt med hög rättslig kvalitet. En sådan analys hade varit intressant att göra men hade krävt en omfattande rättslig analys för varje förmån. Slutligen är en viktig avgränsning att ISF inte analyserat hur den automatiserade handläggningen omfattas av och följs upp i modellerna för kvalitetsutveckling. Eftersom myndigheternas handläggning automatiseras i allt större utsträckning är detta en viktig fråga, men som ligger utanför ramen för denna studie. 1.2 Metod ISF:s granskning baseras på dokumentstudier, intervjuer och andra kontakter med Försäkringskassan och Pensionsmyndigheten. Dokumentstudierna omfattar en stor mängd dokument om hur modellerna för kvalitetsutveckling har tagits fram och hur de används i dag. På båda myndigheterna har ISF intervjuat personer på en central nivå som varit med och utvecklat eller som i dag arbetar med kvalitetsutvecklingsmodellerna. Intervjuer har gjorts både med de som kan modellerna i deras helhet och de som är specialiserade på de olika delarna i modellerna. Dessutom har intervjuer gjorts inom förmånerna assistansersättning och sjukpenning på Försäkringskassan och inom förmånen bostadstillägg på Pensionsmyndigheten. På Försäkringskassan har intervjuer gjorts på lokal nivå med handläggare, specialister, lokala försäkringssamordnare och första linjens 23

Inledning chefer, samt på central nivå med en verksamhetsutvecklare, en controller och en chef. På Pensionsmyndigheten har intervjuer gjorts med handläggare, första linjens chef och chefen för hela förmånen. Sammanlagt har 21 intervjuer genomförts, varav 14 på Försäkringskassan och 7 på Pensionsmyndigheten. I många fall intervjuades flera personer samtidigt, till exempel två eller tre handläggare. Intervjuerna har spelats in och därefter transkriberats. Förutom dessa intervjuer har ISF även hämtat in information från ett antal andra personer på myndigheterna i kortare samtal eller via mejlkonversationer. ISF har valt att närmare undersöka assistansersättning, sjukpenning och bostadstillägg eftersom dessa förmåner har ett komplicerat regelverk där den rättsliga kvaliteten ofta är i fokus. Detta innebär att kvalitetsutvecklingsmodellernas ändamålsenlighet inte har undersökts i förmåner med ett mindre komplicerat regelverk. Det bör också påpekas att intervjuerna på den lokala nivån bara har gjorts på en ort per förmån för de förmåner som analyserats närmare. Det är svårt att säga i vilken mån dessa intervjuer speglar förhållandena i den lokala organisationen som helhet, men det har i viss mån fångats upp genom att ISF har ställt frågor om skillnader mellan olika enheter och områden. En sista reservation är att granskningen har komplicerats av att kvalitetsmodellen inte är införd fullt ut på Pensionsmyndigheten. Dessutom pågår förändringar i modellen hela tiden på Försäkringskassan. Detta gör till exempel att det är svårt att slå fast modellernas faktiska effekter i arbetet med att utveckla kvaliteten i handläggningen. Ett annat exempel är att det är svårt att bedöma hur långt Försäkringskassan tänker gå när det gäller att använda kvantitativa resultat från de lokala ärendeuppföljningarna i årsredovisningen eller i sin interna uppföljning av kvalitetsmålen. 24

Inledning 1.3 Kvalitetsutvecklingsmodellerna i korthet Försäkringskassan och Pensionsmyndigheten har under de senaste åren arbetat fram varsin kvalitetsutvecklingsmodell. 2 Modellerna är grunden i myndigheternas arbete med att följa upp och utveckla kvaliteten i handläggningen. Enkelt beskrivet är Försäkringskassans och Pensionsmyndighetens modeller ganska lika. De består av följande: Uppföljningar på lokal nivå av redan handlagda ärenden som inbegriper att specialist eller närmaste chef går igenom ärendena med berörd handläggare Fördjupade rättsliga kvalitetsuppföljningar där ett begränsat område granskas djupare. Dessa görs på en central nivå och består ofta av aktgranskningar av någon aktuell rättslig fråga inom en viss förmån. Kvalitetsindikatorer som följs löpande. Det kan exempelvis handla om antalet ärenden där den försäkrade begär omprövning och hur många ärenden som ändras efter omprövning. Både Försäkringskassan och Pensionsmyndigheten betonar att kvalitetsutvecklingsmodellen är en helhet där alla tre delar spelar en viktig roll. En viktig skillnad mellan myndigheterna är att Försäkringskassan använt modellen under fyra år medan Pensionsmyndigheten använt sin modell i knappt två år. I intervjuerna betonar Pensionsmyndigheten att modellen inte är införd fullt ut utan att den fortfarande är under uppbyggnad. Även på Försäkringskassan pågår förändringar av modellen, men dessa beror i högre grad på att hela styrningen av myndigheten håller på att förändras. En annan skillnad är att Försäkringskassan är en större myndighet med betydligt fler förmåner. Av dessa förmåner är det dessutom fler som kräver komplicerade bedömningar med ett stort bedömningsutrymme. 2 Pensionsmyndigheten kallar sin modell för kvalitetsmodell och inte kvalitetsutvecklingsmodell. Eftersom regeringsuppdraget använder begreppet kvalitetsutvecklingsmodell används i första hand detta uttryck även i ISF:s rapport. 25

Inledning 1.3.1 Lokala ärendeuppföljningar av den rättsliga kvaliteten i dialog med handläggaren På båda myndigheterna är ärendeuppföljningar på lokal nivå en central del av modellen. I dessa uppföljningar går den berörda handläggaren och en specialist eller den närmaste chefen igenom redan handlagda ärenden. Genomgången görs i dialog, antingen vid uppföljningstillfället eller senare vid en återkoppling. Uppföljningen på lokal nivå på Försäkringskassan kallas Väksten och består i dag av ett Excelverktyg med ett antal frågor om kvaliteten i ärendet. Frågorna i Väksten bygger till största delen på respektive förmåns kontrollstruktur. Alla förmåner har en egen kontrollstruktur som beskriver bland annat förmånens villkor för rätten till ersättning och villkor för ersättningens storlek. Den beskriver både de manuella kontrollerna som ingår som moment i handläggningen och applikationskontrollerna som är inbyggda i olika it-stöd. I Väksten finns bara frågor om de manuella kontrollerna. Förutom frågor om det förmånsspecifika regelverket innehåller Väksten även frågor om tillämpningen av förvaltningslagen, samt frågor om service och bemötande. Väkstenverktyget är för varje förmån uppdelat i kvalitetsområden. Flera kontroller eller frågor samlas under ett kvalitetsområde och det är kvalitetsområdet som helhet som bedöms, inte de enskilda frågorna. Det görs heller ingen kvalitetsbedömning av hela ärendet. I assistansersättning finns det exempelvis 18 kvalitetsområden. I de flesta av dessa kvalitetsområden finns en eller flera frågor om nyckelkontrollerna är gjorda eller inte. En nyckelkontroll är enligt Försäkringskassan de kontroller (moment) i handläggningen som bedöms ha avgörande betydelse för att säkerställa att rätt beslut fattas och rätt ersättning betalas ut. 3 Ett exempel på ett kvalitetsområde inom assistansersättningen är grundläggande behov. Kvalitetsområdet grundläggande behov innehåller uppemot tio olika frågor. Att utreda grundläggande behov är en nyckelkontroll och en delfråga under denna kontroll är: Har bedömning gjorts av tidsåtgång för vart och ett av de godtagna grundläggande hjälpbehoven?. Vid uppföljningen görs en bedömning av om kvalitetsområdet är en styrka eller ett utvecklingsområde. För att 3 Försäkringskassan (2017a), s. 13. 26

Inledning ett kvalitetsområde i ett ärende ska kunna bedömas som en styrka måste alla nyckelkontroller vara gjorda. Däremot är det inte säkert att kvalitetsområdet bedöms som en styrka även om alla nyckelkontroller är gjorda. Detta gäller om det finns brister som inte har med nyckelkontrollerna att göra. Alla handläggare ska genomföra kvalitetsuppföljningar med stöd av Väksten av minst fyra egna ärenden under varje tolvmånadersperiod. Vid varje uppföljningstillfälle ska en specialist inom försäkringen eller någon med motsvarande kompetens delta. Kvalitetsuppföljningen görs i dialog, vilket innebär att handläggaren får möjlighet till reflektion över egna styrkor och utvecklingsområden samt om handläggarna har rätt förutsättningar att utföra sitt arbete. 4 Uppföljningarna kan både göras individuellt med en handläggare i taget eller i grupp med deltagande av exempelvis ett team av handläggare, en specialist och en chef samtidigt. På Pensionsmyndigheten kallas uppföljningarna på lokal nivå för Uppföljning i linjen och utgörs av ett frågeformulär i Word. Grundtanken är att varje handläggare ska följas upp på 3 5 ärenden två gånger per år. Till skillnad mot Försäkringskassans uppföljningar ska uppföljningarna i linjen göras av medarbetarens chef. Uppföljningen är därmed ett utryck för att första linjens chef har ett uttalat ansvar för kvaliteten i handläggningen. Om chefen anser att det behövs kan även en pensionssamordnare delta. Pensionssamordnaren är ett slags motsvarighet till specialisten på Försäkringskassan. Syftet med uppföljningen är att hitta individuella utvecklingsområden och Pensionsmyndigheten menar att uppföljningarna i linjen ger första linjens chef förutsättningar att kunna ta sitt kvalitetsansvar och coacha och utveckla sina medarbetare, samt identifiera mer övergripande utvecklingsområden för sin grupp. 5 Frågorna i Pensionsmyndighetens uppföljningsverktyg bygger på kriterierna materiellt och formellt rätt, samt bemötande. Inom bostadstillägg finns inom området materiell riktighet exempelvis frågan Har rätt förmögenhet lagts till grund för beslutet?. 4 Försäkringskassan (2017a), s. 16. 5 Pensionsmyndigheten (2015), s. 47f. 27

Inledning Varje fråga besvaras med en positiv eller negativ kommentar. Dessutom ska hela ärendet sammanfattas i en helhetsbedömning som kan vara god, acceptabel, otillräcklig eller otillfredsställande. 1.3.2 Riktade kvalitetsuppföljningar inom områden där det kan finnas brister i den rättsliga kvaliteten Båda myndigheterna gör också riktade kvalitetsuppföljningar på central nivå av exempelvis förmåner där kvaliteten behöver analyseras närmare. Dessa uppföljningar består oftast av en granskning av akter från redan handlagda ärenden. Granskningarna görs av personer med en hög rättslig kompetens och fördjupar bilden av kvaliteteten inom ett begränsat område. På Försäkringskassan kallas dessa granskningar för fördjupade rättsliga kvalitetsuppföljningar. På Försäkringskassan väljs områden dels utifrån en risk- och konsekvensanalys, dels utifrån regeringsuppdrag och myndighetsgemensamma prioriteringar. Tanken är att valet av områden åtminstone delvis ska utgå från de indikationer på kvalitetsbrister som uppmärksammats i kvalitetsutvecklingsmodellen. Inför varje år presenteras de planerade uppföljningarna i en plan. Det är rättschefen som i samråd med avdelningscheferna beslutar vilka uppföljningar som ska göras. Oftast är det omprövare och processförare som står för själva granskningen av akter i de rättsliga kvalitetsuppföljningarna. Men även specialister, rättsliga experter och verksamhetsutvecklare har deltagit i granskningarna. Rättsavdelningen sammanställer den rättsliga granskningen och ansvarar för analysen. Förutom analysen innehåller de rättsliga uppföljningarna en bilaga med rekommendationer och åtgärder. Åtgärderna är tidsbestämda och fördelade på de berörda avdelningarna inom myndigheten. Åtgärdsplanen beslutas av generaldirektören. På Pensionsmyndigheten kallas motsvarande granskningar för riktade kvalitetsuppföljningar. Det är i huvudsak omprövare som granskar akter i de riktade kvalitetsuppföljningarna. Områden för de riktade kvalitetsuppföljningarna väljs utifrån identifierade risker eller kända fel. Exempel på underlag för detta val är enligt Pensionsmyndigheten resultaten från riskanalyser, lämnade kundsynpunkter, analys av omprövnings- eller återkravsverksamheten 28

Inledning eller att nya processer eller nya regler införts. 6 Några områden återkommer ständigt. Ett exempel är bostadstillägg, där det under flera år gjorts en granskning med liknande upplägg. Det beror på att det funnits brister i kvaliteten i denna förmån sedan myndigheten bildades. De riktade kvalitetsuppföljningarna ska enligt Pensionsmyndigheten komplettera den regelbundna kvalitetsuppföljning som sker i linjen och ge ett kvantitativt mått på riktigheten i handläggningen. 7 De riktade kvalitetsuppföljningarna innehåller ibland förslag på åtgärder medan de i andra fall låter kvalitetsrådet utarbeta förslag till förbättringar utifrån den riktade uppföljningen tillsammans med verksamheten. 8 Enligt de intervjuer som ISF har genomfört sker nu en förskjutning mot att alla förmåner ska omfattas i de riktade kvalitetsuppföljningarna oavsett hur stora riskerna för fel är. Enligt intervjuerna är ett skäl till detta att myndigheten ska kunna uttala sig om nivån på kvaliteten i årsredovisningen och i den interna uppföljningen. 1.3.3 Indikatorer som följer utvecklingen inom områden med koppling till rättslig kvalitet Den tredje delen av modellerna skiljer sig mera åt mellan myndigheterna. En del som finns på båda myndigheterna är att löpande följa utvecklingen för olika indikatorer med koppling till kvaliteten i handläggning. Inom det rättsliga området kan det exempelvis handla om statistik från omprövningsverksamheten och om andelen beviljanden och avslag inom vissa förmåner. Försäkringskassan kallar denna del av modellen för kvalitetsuppföljning med stöd av kvalitetsindikatorer. 9 Indikatorerna kan vara både gemensamma för myndigheten eller specifika för förmånen och de ska om möjligt redovisas uppdelade på kön. Exempel på indikatorer inom rättssäkerhetsområdet är statistik om avslagsfrekvenser, omprövningar, återkrav och från den interna försäkringskontrollen. 6 Pensionsmyndigheten (2015). 7 Pensionsmyndigheten (2017b), s. 5. 8 Pensionsmyndigheten (2016b) och Pensionsmyndigheten (2017b). 9 Försäkringskassan (2017a), s. 20. 29

Inledning Kvalitetsindikatorerna ger enligt Försäkringskassan information om systematiska avvikelser som kan vara svåra att upptäcka genom andra kvalitetsuppföljningar. 10 Om det är möjligt ska indikatorerna användas i kvalitetsanalysen som teamen och förmånerna gör. Enligt Försäkringskassan ska en enskild kvalitetsindikator inte ses som ett resultatmått och behöver därför alltid analyseras tillsammans med andra kvalitetsindikatorer och kvalitetsuppföljningar. 11 Pensionsmyndigheten kallar motsvarande del av modellen för datadrivet förbättringsarbete. Det är den minst utvecklade delen av modellen. Enligt myndigheten håller de på att utveckla ett system med indikatorer som liknar Försäkringskassans system. Det pågår diskussioner om hur systemet ska utformas, exempelvis om vilka indikatorer det är meningsfullt att följa. Men i det datadrivna förbättringsarbetet ingår även en del som inte finns med i modellen på Försäkringskassan. Pensionsmyndigheten beskriver det som att på djupet kunna analysera utfallet i de övriga delarna av modellen. Myndigheten beskriver att tanken är att använda statistik och system som redan finns på myndigheten för att utveckla förmågan att göra datadrivna analyser. 12 I en intervju nämns även begreppet big data i detta sammanhang. Det datadrivna förbättringsarbetet handlar om många olika typer av analyser som är svåra att beskriva på ett sammanfattade sätt. Ett exempel på en sådan analys, eller snarare ett analysinstrument, är simuleringsmodellen för ärendeslaget bostadstillägg. Simuleringsmodellen används bland annat för att analysera regelförändringar, göra urval till efterkontroller och analysera felorsaker i kontroller. Andra exempel som Pensionsmyndigheten nämner är datadrivna analyser av återkravs- och omprövningsverksamheten. En gemensam nämnare för analyserna inom det datadrivna förbättringsarbetet är att de mer direkt syftar till att förbättra kvaliteten än den del som handlar om att följa hur vissa indikatorer utvecklas. Liknande analyser finns även på Försäkringskassan, men Försäkringskassan räknar inte dem som en del av kvalitetsutvecklingsmodellen. 10 Försäkringskassan (2017a), s. 20. 11 Försäkringskassan (2017a). 12 Pensionsmyndigheten (2015), s. 49f. 30