STATISTISKA CENTRALBYRÅN RAPPORT 1(5) Rammeverk: Rutin för intern uppföljning av korrigeringar i levererad statistik felrapportering E-post: mats.bergdahl@scb.se Statistiska centralbyrån, Processavdelningen Sammanfattning Sedan 2009 har SCB en rutin för att följa upp de korrigeringar som görs i levererad statistik i syfte att lära sig av de fel som inträffar. Rutinen är nu väl etablerad och efter drygt fyra år har 368 fel rapporterats. De vanligaste typerna av fel är: - Felaktig (manuell) överföring av data - Fel vid uppdatering/ändring av program - Felaktig text vid presentationen - Bristande outputgranskning Den samlade analysen har identifierat följande grundorsaker som särskilt viktiga: - Omfattande manuell hantering av rutinmoment - Produktionssystem som är osystematiskt utvecklade över tiden och otillräckligt dokumenterade - Centrala rutiner används inte i tillräcklig utsträckning 1. Rutinens utformning Chefen för den enhet som ansvarar för statistiken ansvarar också för rapporteringen enligt följande rutin: - Mallen för uppföljning av rapporterade fel ska fyllas i senast två veckor efter det att felet upptäckts och skickas till den gemensamma brevlådan. - Processansvarig för Utvärdera och återkoppla ansvarar för att brevlådan bevakas och fördelar rapporterna på relevant processområde. - Processansvarig för Utvärdera och återkoppla stämmer av inkomna rapporter mot den fel-logg som förs av publiceringsspecialisterna och påminner vid behov enhetschefen om att rapportering ska ske. - Relevant processansvarig kontaktar rapportören, normalt inom en vecka. Då ska informationen om grundorsaken till felet gemensamt beskrivas och övriga eventuella frågetecken klaras ut. - Processansvarig vidtar vid behov åtgärder för att stärka den generella processen utifrån den inkomna informationen. - Processansvarig för Utvärdera och återkoppla ansvarar för att en årlig sammanställning och analys görs. Analysen görs i samverkan mellan samtliga Processansvariga och Kvalitetschefen. - Resultatet av analysen presenteras och diskuteras i Ledningsgruppen. - Vid behov kan särskilda insatser sättas in för att följa upp specifika fel som inträffar, detta hanteras i särskild ordning.
STATISTISKA CENTRALBYRÅN RAPPORT 2(5) 2. Huvudsakliga typer av fel Det kan konstateras att varje produkt inom sitt ansvarsområde vidtar åtgärder för att undvika likartade fel i sin produktion vid senare tillfällen. Den samlade analysen syftar till att identifiera mönster i de uppkomna felen och deras grundläggande orsaker där riskerna kan minskas inom de SCBgemensamma metoderna, verktygen och arbetssätten. Processansvariga kategoriserar de fel som inrapporterats och har identifierat följande huvudsakliga typer av fel: - Felaktig (manuell) överföring av data - Fel vid uppdatering/ändring av program - Felaktig text vid presentationen - Bristande outputgranskning Dessa feltyper är i stort desamma som identifierades vid samtliga årliga analyser, men förhållandet mellan dem har varierat över åren. Bl.a. har den manuella överföringen av data och annan information identifierats som en än mer framträdande feltyp under 2012 än under tidigare år. Bristande outputgranskning ska egentligen inte ses som en isolerad feltyp utan hänger ihop med fel som uppstått tidigare i produktionsprocessen. Outputgranskningen sker i ett sent skede av statistikproduktionsprocessen och syftar till att vara det sista ledet i kvalitetssäkringsrutinerna. Det har under de senaste åren framträtt väldigt tydligt att rutinerna inom detta område brustit och många av de fel som uppstått borde ha fångats upp av en systematisk outputgranskning enligt de rutiner som existerar inom SCB. 3. Identifierade grundorsaker Processansvariga inom SCB har utifrån den lämnade informationen och efter återkontakter med dem som rapporterat felen, identifierat de grundorsaker som ligger bakom och då fokuserat på att identifiera generella mönster i orsakerna. Dessa orsaker är särskilt viktiga att åtgärda för att minska riskerna för att liknande fel inträffar på andra håll i statistikproduktionen. De generella grundorsaker som identifierats är: 3.1. Omfattande manuell hantering av rutinmoment Överföring av data mellan olika delsystem i produktionen och från slutberäkningar till tabeller som ska publiceras sker ofta manuellt. Ett stort antal fel av detta slag har noterats i själva färdigställandet av den slutliga statistikrapporten där manuell hantering idag är norm. Uppdateringar mellan produktionsomgångar görs på flera olika ställen och följdändringar är inte alltid uppenbara. Dokumentation saknas ofta om vilka ändringar som ska ske var. Denna grundorsak framträdde under 2012 ännu tydligare än vid tidigare tillfällen och vikten av att minska riskerna inom detta område förstärks också av den rapport SCB fått från Riksrevisionen. I den rapporten uppmanas SCB tydligt att minimera de manuella inslagen i produktionsmiljön.
STATISTISKA CENTRALBYRÅN RAPPORT 3(5) 3.2. Produktionssystem som är osystematiskt utvecklade över tiden och otillräckligt dokumenterade Många produkters produktionssystem har utvecklats under lång tid och på vitt skilda sätt; ofta enligt olika principer, i olika programvaror och inte av en systemutvecklare. Systemen är ofta dåligt eller inte alls dokumenterade, då lång erfarenhet av att använda systemen tidigare funnits på enheten. Det som främst saknas är dokumentation kring systemens helhet eller produktionsflöde. Vid ändringar i produktionssystemen genomförs inte test och kontroller av ändringar i tillräcklig omfattning. Att dokumentation av system och den löpande produktionsprocessen ofta saknas eller är bristfällig innebär att personberoendet blir väldigt stort och risken för fel ökar kraftigt när personal byts ut eller när ändringar behöver ske under tidspress. 3.3. Centrala rutiner används inte i tillräcklig utsträckning I Verksamhetsstödet finns många gemensamma verktyg, metoder och arbetssätt beskrivna som syftar till att kvalitetssäkra och effektivisera statistikproduktionen. Särskilt fokus har under åren lagts på användningen av checklistan för test vid ändringar i produktionssystem och checklistan för outputgranskning. Att dessa checklistor inte använts på ett korrekt sätt har medfört att felaktig information publicerats vid många tillfällen och i flera fall har användningen brustit för båda samtidigt. Betydelsen av att följa dessa checklistor har kommunicerats vid flera tillfällen inom organisationen och en viss ökning av användningen kan noteras, men ligger fortfarande under 50 % för båda checklistorna. 4. Åtgärder på kort och längre sikt Nedan beskrivs kortfattat ett antal åtgärder som korrekt tillämpade minskar risken för fel. 4.1. Testa och dokumentera enligt existerande checklistor/mallar Uppdateringar och ändringar ska dokumenteras och testas. Instruktioner eller annan dokumentation för uppdateringar mellan produktionsomgångar bör finnas på produktnivå. De checklistor och mallar för detta som finns tillgängliga inom Verksamhetsstödet och Förvaltningsmodellen (FMOD) ska tillämpas av produkterna. Vid större ändringar ska SCB:s Tesmodell (TMOD) följas. En fortsatt kommunikation kring rutinerna kommer att ske för att öka kännedomen och under 2013 kommer också att särskilt stöd att erbjudas till de enheter som rapporterat flest fel. Ett Elektroniskt stöd för användningen av checklistan kommer också att färdigställas under 2013 vilket kommer att underlätta användning och uppföljning. En rutin med tillhörande checklista för publiceringsgranskning är också under framtagande, vilket bör stärka kvalitetssäkringen i det skedet av produktionen.
STATISTISKA CENTRALBYRÅN RAPPORT 4(5) 4.2. Stärka outputgranskningen Den SCB-gemensamma checklista som finns framtagen ska tillämpas av produkterna, och produkterna kan behöva se över hur resurserna för detta moment är allokerade. Produktspecifika checklistor som bygger på checklistan för outputgranskning ska tas fram vid behov. Ett elektroniskt stöd för checklistan är under framtagande vilket också kommer att möjliggöra uppföljning av checklistans användning. 4.3. Förbättringar på längre sikt På längre sikt är SCB:s inriktning mot en standardiserad produktionsmiljö det huvudsakliga sättet att minska riskerna i statistikproduktionen. Där ger användningen av gemensamt utvecklade, ordentligt testade och väl förvaltade IT-verktyg, statistiska metoder och arbetssätt tillsammans med en bred användning av förvaltningsmodellen en förutsättning för en stabil och kvalitetssäkrad statistikproduktion. På längre sikt är det också viktigt att eliminera onödig manuell överföring av information genom att nyttja centrala verktyg som byggs upp kring gemensamma dataformat och som stödjer flödet av information mellan de olika delprocesserna. Dvs överföring av data ska göras manuellt enbart där den inte går att automatisera på rimligt sätt, såsom t.ex. för valda resultatsiffror i kommenterande text. Systemen ska också byggas så att redan existerande information återanvänds och så att manuella uppdateringar mellan produktionsomgångar ska behöva göras på endast ett ställe. För specialbearbetningar och liknande engångsinsatser där manuella inslag kan vara svåra att undvika, behöver bästa möjliga stöd ges i gemensamma rutiner för kvalitetssäkring. 5. Erfarenheter Rutinen är nu väl etablerad och accepterad av medarbetarna och informationen tillsammans med den analys som görs årligen ger en bra grund för att förstås var de stora riskerna i verksamheten finns. Ett antal erfarenheter av olika slag har gjorts under de drygt fyra år som rutinen funnits på plats: - Det finns alltid en risk med fokusering på fel och att det uppfattas som ett sätt att leta syndabockar. Kommunikationen och hanteringen har därför under hela tiden varit inriktad på att detta är ett led i ett förbättringsarbete med fokus på processerna. - Avgränsningen till fel som når ut till användare och kunder ger en tydlighet om vad som ska rapporteras och ett tillräckligt totalt underlag för att identifiera de väsentligaste feltyperna och orsakerna. Rapporteringen blir hanterbar för alla inblandade. - Det är viktigt att rapporteringen upplevs som enkel för att den ska bli av. - Det är viktigt med återkoppling till de som rapporterar, därför är den delen i rutinen grundläggande för att ge legitimitet till ansatsen. - Det är svårt att få bra underlag att bedöma konsekvenser i ett bredare perspektiv av de fel som inträffar, ofta tonas de ned i rapporterna. - Antalet fel som rapporteras ska ses som en grov indikator, inte som en mätning, och bör allmänt inte ges särskilt stor betydelse.
STATISTISKA CENTRALBYRÅN RAPPORT 5(5)