Uppfattningar om förvaltningen 1 (11) Bilaga 2 Metod Uppdrag och genomförande Enligt uppdraget ska Statskontoret genomföra en lämplig form av undersökning om allmänhetens och företagens syn på kvaliteten i offentlig verksamhet. I redovisningen av uppdraget ska även en beskrivning av motsvarande arbete i Danmark, Finland och Norge, i syfte att undersöka förutsättningarna för att jämföra resultaten med dessa länder, ingå. I uppdraget ingår också att kartlägga och analysera de medborgar- och brukarundersökningar som genomförs i kommuner och landsting. Vid genomförandet av uppdraget har Statskontoret valt att dela in projektet i fyra delar. I följande bilaga kommer de metodologiska övervägandena för respektive del, förutom den internationella jämförelsen, att diskuteras. Allmänhetens uppfattningar om kvaliteten i offentlig verksamhet Den första delen i uppdraget avser allmänhetens uppfattningar om kvalitet i offentlig verksamhet. Denna del av projektet bygger på SOM-institutets befolkningsundersökningar. SOM-institutet genomför årligen återkommande befolkningsundersökningar (sedan 1986 nationellt i Sverige, sedan 1992 regionalt i Västsverige och sedan 2001 regionalt i Skåne). Population och urval Undersökningarna riktar sig till ett representativt urval av befolkningen i åldrarna 16 85 år. I urvalsramen till undersökningen ingår även utländska medborgare. När det gäller ålder har urvalsramen varierat något mellan åren. Den nedre gränsen har sedan undersökningarna startades varit 15 eller 16 år. Den övre gränsen för har dock förskjutits uppåt från 75 år till i dag 85 år. Insamlingsmetod Datainsamlingen för SOM-undersökningarna sker via postala enkäter. Huvuddelen av frågorna i respektive undersökning har fasta svarsalternativ. Några enstaka frågor besvaras genom att respondenten själv får skriva ett kort svar. Undersökningarna är omfattande med en mängd frågor som rör politik, medier och livsstil. I undersökningarna ingår också en mängd bakgrundsfrågor, vilket ger möjlighet till fördjupade analyser. Trots omfattningen på frågeformuläret är svarsfrekvensen relativt hög, i snitt ungefär 60 procent. En anledning till att SOM-undersökningarna fortsatt kan redovisa en för medborgarundersökningar hög svarsfrekvens är följden av ett omfattande påminnelsearbete. Under fältperioden sker påminnelsearbetet postalt samt per telefon.
Uppfattningar om förvaltningen 2 Svarsfrekvens och bortfall SOM-institutet genomför och redovisar årligen omfattande bortfallsanalyser av det insamlade materialet. Trots en sviktande svarsfrekvens visar analyser att representativitet i materialet är hög. Andelen kvinnor som besvarar undersökningen är generellt sett högre, precis som andelen äldre. Bortfallet skulle för analyserna här kunna bli ett problem eftersom kvinnor och äldre i högre grad har kontakt med offentlig verksamhet jämfört med andra grupper. Resultaten av bortfallsanalyserna pekar dock på att skillnaderna inte är så stora att det metodologiskt finns anledning att vikta materialet. 1 I kvalitetsbedömningen av ett insamlat enkätmaterial är det viktigt att se till representativiteten i materialet lika väl som till svarsfrekvensen. Det är visserligen viktigt med en så hög svarsfrekvens som möjligt, men samtidigt kan ett representativt material med en något lägre svarsfrekvens också anses acceptabel. Frågeutformning SOM-undersökningarna är utformade som en vetenskaplig omnibusundersökning, det vill säga att flera uppdragsgivare deltar i en och samma undersökning. De frågor som Statskontoret medverkar med i undersökningen har utformats i samarbete med SOM-institutet. Frågan är uppbyggd på så vis att den enskilde får bedöma ett antal myndigheters arbete på en femgradig skala: mycket bra, ganska bra, varken bra eller dåligt, ganska dåligt och mycket dåligt. Därutöver finns två svarsalternativ där den svarande kan välja att avstå från att ta ställning: ingen uppfattning och känner ej till myndigheten. Svarsalternativen där en svarande kan avstå från att ta ställning är viktiga av två anledningar. För det första minimerar det antalet ogenomtänkta svar. För det andra ger det oss en möjlighet att mäta i vilken utsträckning som de svarande faktiskt känner till de namngivna myndigheterna (så kallad name recognition). Ett sådant upplägg gör det möjligt att mäta tre saker: Kännedom om den specifika myndigheten/verksamheten. Individens villighet att bedöma myndighetens/verksamhetens prestation. Individens bedömning av myndighetens/verksamhetens prestation/funktionssätt. I undersökningen lyder frågan om de statliga myndigheterna: Hur anser Du att följande myndigheter sköter sitt arbete?, medan frågan om verksamheter lyder: Hur tycker Du att den verksamhet fungerar som bedrivs på följande områden i det landsting/region eller kommun där Du bor?. Frågan inkluderar fem myndigheter och fyra verksamhetsområden per mättillfälle (år). De myndigheter som har valts ut till frågan är sådana som stora grupper av befolkningen kan antas ha en uppfattning om eller ha kontakt med, till exempel Försäkringskassan, Arbetsförmedlingen, Centrala studiestödsnämnden (CSN), Polisen och Skatteverket (som alla ingick i undersökningen år 2010). För att mätningarna ska ge ett tillräckligt underlag krävs ett
Uppfattningar om förvaltningen 3 antal mätpunkter, i första hand under en treårsperiod. Genom att under en treårsperiod rullande ställa frågor om ett antal myndigheter, ökar vi urvalet av myndigheter vilket också ger bättre möjligheter att bryta ned och analysera skillnader i uppfattning/kännedom mellan olika undergrupper. För att systematiskt kunna följa befolkningens syn på och uppfattning om offentlig verksamhet krävs också att myndigheter och verksamheter där ansvaret faller på den kommunala eller regionala/landstingsnivån undersöks. På lokal nivå är det i vissa fall svårare för den enskilde att veta vilken myndighet som har ansvaret för utförandet av verksamheten, om det är kommunen/regionen/landstinget eller eventuellt en entreprenör som sköter verksamhet åt kommunen/regionen/landstinget. På denna nivå är det i första hand relevant att bedöma hur specifika verksamheter fungerar snarare, än hur en enskild myndighet fungerar. I 2010-års undersökning inkluderades frågor om grundskolan, sjukvården, äldreomsorgen och räddningstjänsten. Företagens uppfattningar om kvaliteten i offentlig verksamhet Den andra delen i uppdraget innebär att genomföra en undersökning av hur företag uppfattar kvaliteten i offentlig verksamhet. Statistiska centralbyrån (SCB) har på uppdrag av Statskontoret genomfört själva datainsamlingen i form av en enkätundersökning riktad till företag i Sverige. Population och urval Urvalsramen till undersökningen utgörs av Företagsregistret. Företagsregistret, som administreras av SCB, innehåller uppgifter om samtliga företag i Sverige, inklusive den verksamhet som drivs av stat, landsting och kommuner. I registret finns uppgifter om alla företag i Sverige fördelade per bransch, region, storlek, ägandeform, juridisk form och nystartade företag. Syftet med undersökningen är att studera företags uppfattningar om kvalitet i offentlig verksamhet. Av denna anledning kommer endast företag som inte är offentligrättsliga att inkluderas i urvalsramen. Urvalsramen till undersökningen är gjord med utgångspunkt i juridisk form och sektorskod. Urvalsramen har definierats som samtliga företag med minst en anställd som inte är offentligrättsliga. Enheter med följande sektorskod har efter diskussion med SCB uteslutits ur undersökningen: 31, 32, 41, 42, 62, 71, 72, 81, 82 samt enheter ned följande juridiska form: 53, 61, 62, 63, 91, 96. Avgränsningarna avser bland annat stiftelser och kyrkor. Efter dessa avgränsningar består urvalsramen av 243 793 företag (juridiska enheter).
Uppfattningar om förvaltningen 4 Tabell 1 Antal företag i ramen efter sektorskod Sektor Antal företag 110 208 470 120-140 143 211-233 461 240-250 784 500 6 611 33 929 TOTALT: 243 793 Tabell 2 Antal företag i ramen efter juridisk form. Juridisk Form Antal företag 10 33 125 21-22 805 31 10 934 41 38 42-43 66 49 195 142 51 2 895 54 5 72 597 81-88 12 92 102 93 53 94-99 19 TOTALT: 243 793 Det kan finnas skäl att anta att skillnader i uppfattningar om offentlig verksamhet är beroende av företagets storlek. För att kunna jämföra uppfattningar mellan olika stora företag har urvalet till undersökningen stratifierats i tre grupper utifrån antalet anställda: 1 19, 20 99 och 100 eller fler anställda. För att urvalet ska vara så geografiskt representativt som möjligt har stratifiering också gjorts per län. Efter diskussion med SCB bestämdes att urvalet skall omfatta cirka 4 000 företag, vilket slutligen kom att bli 4 064 företag. I tabell 3 redovisas det totala antalet företag i urvalsramen samt antalet företag i urvalet.
Uppfattningar om förvaltningen 5 Tabell 3 Antal företag i urvalet per stratum och (antal företag i ramen per stratum) Storlek, antal anställda Län 1-19 20-99 100- TOT Sthlm 75 (64 195) 70(4 166) 60(1 103) 205(69 464) Uppsala 75(6 910) 70(382) 47(47) 192(7 339) Södermanland 75(5 459) 70(273) 37(37) 182(5 769) Östergötland 75(8 948) 70(500) 60(99) 205(9 547) Jönköping 75(7 613) 70(630) 60(105) 205(8 348) Kronoberg 75(3 970) 70(326) 60(64) 205(4 360) Kalmar 75(5 350) 70(312) 55(55) 200(5 717) Gotland 75(1 570) 60(60) 8(8) 143(1 638) Blekinge 75(2 892) 70(165) 23(23) 168(3 080) Skåne 75(27 997) 70(1 748) 60(357) 205(30 102) Halland 75 (7 373) 70 (415) 60 (65) 205 (7 853) Västra Götaland 75 (36 415) 70 (2 450) 60(434) 205(39 299) Värmland 75(5 843) 70(326) 56(56) 201(6 225) Örebro 75(5 444) 70(348) 60(72) 205(5 864) Västmanland 75(5 296) 70(300) 60(61) 205(5 657) Dalarna 75(6 230) 70(366) 52(52) 197(6 648) Gävleborg 75(5 968) 70(352) 49(49) 194(6 369) Västernorrland 75(5 126) 70(264) 43(43) 188(5 433) Jämtland 75(3 556) 70(171) 22(22) 167(3 749) Västerbotten 75(5 478) 70(303) 49(49) 194(5 830) Norrbotten 75(5 131) 70(323) 48(48) 193(5 502) Riket 1 575(226 764) 1 460(14 180) 1 029(2 849) 4 064(243 793) Kommentar: Eftersom man erfarenhetsmässigt måste räkna med något högre bortfallsfrekvens bland de mindre företagen än bland de större består urvalet av något fler företag från storleksgrupp 1 och 2 än från storleksgrupp 3. Genom att stratifiera urvalet på företagsstorlek och på geografi (län) får vi en mer korrekt bild av företagen i Sverige. Om urvalet till undersökningen skulle baseras på ett obundet slumpmässigt urval (OSU) finns det en risk att grupper som vi uppfattar som analytiskt viktiga inte kommer med i urvalet för att de numerärt är för få. Det finns också relativt stora skevheter i fördelningen av företagen i Sverige (det finns betydligt fler företag i vissa delar av landet) vilket man tar hänsyn till genom viktning. I samband med analys har materialet sedan viktats enlig följande: w j = ( n N h ( h) ( h) s var + n öt ) Insamlingsmetod Undersökningen har genomförts i form av en enkätundersökning. Datainsamlingen har genomförts genom att samtliga 4 064 utvalda företag fått ett postalt utskick med uppgift om en webbsida där enkäten finns att hämta samt inloggningsuppgifter. Efter tre veckor fick de företag som inte besvarat undersökningen en påminnelse. I påminnelsen fanns förnyad information om var enkäten fanns att tillgå samt inloggningsuppgifter. Dessutom fick samtliga företag som ännu inte hade besvarat undersökningen motsvarande enkät som fanns att tillgå på webben i pappersform samt ett svarskuvert.
Uppfattningar om förvaltningen 6 Efter ytterligare en vecka fick de som fortsatt inte besvarat undersökningen en andra påminnelse, denna gång enbart med information om var undersökningen fanns att tillgå digitalt. Att en blandning av insamlingstekniker (postal och webb) har valts har flera orsaker. För det första är det i dag ännu inte möjligt att genomföra en undersökning enbart elektroniskt. Dels saknas register med tillgängliga e-postadresser, vilket i sig innebär att till exempel information måste distribueras postalt, dels är vanan att besvara enkäter elektroniskt ännu inte tillräckligt etablerad. Forskning på området visar att det finns nackdelar med att blanda olika insamlingstekniker. En anledning är att svarsmönstren systematiskt skiljer sig åt beroende på hur data samlas in. Frågor som rör förtroende för myndigheter är till exempel ett område som är känsligt. Respondenter är betydligt mer positiva i sina bedömningar, det vill säga har högre förtroende, när frågorna ställs via telefon jämfört med i en elektronisk enkät. Att det finns systematiska skillnader i svarsmönster kan dels bero på själva insamlingstekniken, dels på skillnader mellan vilka grupper som vid valmöjlighet väljer att använda den ena eller andra insamlingstekniken. Det bör dock noteras att de analyser som är gjorda på detta område är baserade på befolkningsundersökningar och inte på undersökningar av företag. Enkätutformning Arbetet med enkätundersökningen pågick under oktober och november 2010. I förhandsarbetet har projektgruppen tagit del av andra liknade undersökningar som genomförts av bland annat Statistiska Centralbyrån, Skatteverket, Tillväxtverket och olika intresseorganisationer. Under arbetets gång har projektgruppen också haft kontakt med OECD (Regulatory Policy Division) för avstämning av motsvarande arbete internationellt. Enkäten har utformats för att dels möjliggöra jämförelser, i den mån det går, med andra liknande undersökningar, dels ge möjlighet till jämförelse mellan allmänhetens och företagens uppfattningar om kvaliteten i offentlig verksamhet. Utkast till enkäten har stämts av med en intern referensgrupp samt projektgruppen för uppdraget att utveckla redovisningen av den offentliga sektorns utveckling m.m. samt med Sveriges kommuner och landsting (SKL). Vid utformandet och genomförandet av datainsamlingen har samråd sökts med Näringslivets regelnämnd (NNR). SCB har också gjort en mätteknisk genomgång av enkäten. Enkäten syftar till att mäta företagens uppfattningar om offentlig verksamhet. Vad en enskild medarbetare tycker eller anser är inte av intresse. Vid utformningen av enkäten har syftet varit att försöka belysa så många olika aspekter av uppfattningar som möjligt men också de olika kontakter som företag har med offentlig verksamhet. Enkäten är utformad så att frågorna som rör kontaktfrekvens och typ av kontakt avser tolv namngivna myndigheter. I övriga frågor får företagen göra en samlad bedömning av sina erfarenheter av myndighetskontakter.
Uppfattningar om förvaltningen 7 Inflödesmönster och svarsfrekvens Undersökningen gick i fält den 17 januari 2011 och datainsamlingen avslutades den 1 mars 2011. När datainsamlingen avslutades var svarsfrekvensen 46 procent. Det innebär att totalt 1 876 företag har besvarat undersökningen. I tabell 4 redovisas inflöde och svarsfrekvens för undersökningen. Tabell 4 Inflöde och svarsfrekvens Antal utsända Antal inkomna Procent inkomna Första utskicket 4 051 Första påminnelsen 3 303 748 19 Andra påminnelsen 2 746 1305 32 Avslut 1876 46 Kommentar: Urvalet bestod ursprungligen av 4 064 företag, 13 företag var vid utskick inte längre aktiva (nedlagda, fusionerade m.m.), urvalet bestod vid utskick av 4 051 företag. Erfarenheter från andra liknade undersökningar som Statskontoret tagit del av, visar att det kan vara svårt att nå en svarsfrekvens över 50 procent. Att det är svårt att få företag att svara på denna typ av undersökningar kan till del antas bero på frågorna. Intresset för att bedöma och utvärdera offentlig verksamhet är begränsad. En annan aspekt som har betydelse för svarsfrekvensen är svårigheten att veta vem på företaget som enkäten ska ställas till. Efter diskussioner med SCB beslutades att den som bedömdes mest lämpad att rikta undersökningen till är den verkställande direktören eller motsvarande på företaget. Svarsfrekvensen på 46 procent i Statskontorets undersökning kan jämföras med andra likande undersökningar. I Statskontorets rapport Uppfattningar om statsförvaltningen (2009:1) redovisas svarsfrekvenser för de brukarundersökningar som en rad statliga myndigheter genomför. Resultaten från ett antal av dessa undersökningar redovisas i tabell 5. Noteras bör att de svarsfrekvenser som redovisas i tabell 5 avser brukarundersökningar. Svarsfrekvensen för brukarundersökningar är generellt sett högre jämfört med undersökningar som bygger på representativa urval (medborgarundersökningar och företags- eller befolkningsundersökningar).
Uppfattningar om förvaltningen 8 Tabell 5 Svarsfrekvenser för ett antal myndigeters brukarundersökningar Myndighet Svarsfrekvens Allmänna reklamationsnämnden 48 procent Boverket 62 procent (företag, politiker och medier) Exportkreditnämnden 35 procent Konkurrensverket 76 procent (berörde företag som varit berörda av ett beslut eller gjort en anmälning) Konkurrensverket 69 procent (berörde företag som varit berörda av ett beslut eller gjort en anmälning) Naturvårdsverket 63 procent (företag registrerade som producenter hos Naturvårdsverket) Patent- och registreringsverket 21 procent Patent- och registreringsverket 40 procent Patent- och registreringsverket 37 procent Sjöfartsverket 14 procent Skatteverket 40 procent Statistiska centralbyrån 52 procent (frivillig undersökning) Tullverket 41 procent Tullverket 71 procent Vägverket 60 procent Källa: Uppfattningar om statsförvaltningen (Statskontoret 2009:1) Bortfall 4 064 företag utgjorde det slutliga urvalet till undersökningen. 19 företag definierades bort eftersom de inte längre var aktiva. Elva företag hörde av sig och meddelade att de inte hade för avsikt att besvara enkäten. Nio postreturer inkom till SCB som inte var möjliga att åtgärda. Totalt blev bortfallet 54 procent (eller 2 169 företag). En annan aspekt som ska beaktas vid bedömningen av nivån på svarsfrekvensen är hur bortfall ser ut i olika grupper. I undersökningen riktad till företag har urvalet stratifierats på geografi och storlek på företagen. SCB har i sin tekniska redovisning analyserat bortfallet fördelat per län samt per storlek på företag (tre grupper). Sett till län varierar svarsfrekvensen mellan 38 procent (Stockholms län) till 55 procent (Västra Götalandsregionen). Skillnaden i svarsfrekvens mellan länen bör noteras och beaktas i tolkningen av resultaten. Detsamma gäller även skillnaden i svar mellan olika stora företag. Högst andel svarande finns i gruppen medelstora företag (20 99 anställda). I denna grupp har 50 procent besvarat undersökningen. I gruppen små företag (1 19 anställda) är svarsfrekvensen 42 procent och i gruppen med 100 anställda eller fler har 44 procent svarat. Även i detta avseende bör skillnaderna i svarsfrekvens noteras och beaktas, däremot är det inget skäl i sig att avfärda materialet. Statskontoret har gjort en genomgång av andra liknande undersökningar och det visar sig att svarsfrekvensen för denna undersökning ligger i nivå med andra motsvarande undersökningar. Kommuners och landstings medborgar- och brukarundersökningar Kartläggningen av kommuners och landstings arbete med medborgar- och brukarundersökningar bygger till stor del på två enkäter: en riktad till kommuner och en riktad till landsting. Enkäterna har tagits fram av Statskontoret
Uppfattningar om förvaltningen 9 och stämts av med Sveriges Kommuner och Landsting (SKL). I samband med detta har SKL också bidragit med material och information om hur kommunerna arbetar med medborgardialog och vilka olika verktyg som används i dialogen. De båda enkäterna innehöll fyra frågor: Har kommunen/landstinget under de senaste fem åren genomfört någon form av medborgarundersökning? Hur har undersökningen/-arna genomförts? Har kommunen/landstinget under de senaste fem åren genomfört brukarundersökningar inom något eller några av följande kommunala verksamhetsområden? Inom de områden där kommunen/landstinget genomför brukarundersökningar, i vilken utsträckning är undersökningarna (enkätformuläret) utformade på ett sätt som möjliggör jämförelser mellan olika verksamheter? Enkäterna skickades till samtliga 290 kommuner och 20 landsting och regioner. 15 landsting besvarade enkäten (svarsfrekvens: 71 procent), medan. Kommunenkäten besvarades av 207 kommuner (svarsfrekvens: 71 procent). I syfte att studera kommunernas och landstingens arbete mer på djupet har vi dessutom valt att göra intervjuer med företrädare för ett tjugotal kommuner och landsting. I valet av kommuner och landsting har vi tagit hänsyn till storlek och om kommunen eller landstinget arbetar strategiskt med medborgar- och brukarundersökningar. Samtliga kommuner och landsting som ingår i undersökningen har i enkäten uppgett att de arbetar med antingen medborgar- eller brukarundersökningar eller både och. Följande kommuner och landsting ingår i den fördjupade studien: Kommuner: Borås Haninge Linköping Luleå Malmö Nacka Norrköping Salem Stockholm Umeå Örkelljunga Göteborg Klippan Lomma Lycksele Mariestad Nordanstig Nyköping Sollentuna Tyresö Vara
Uppfattningar om förvaltningen 10 Landsting och regioner: Norrbottens läns landsting Region Skåne Västra Götalandsregionen Region Halland Stockholms läns landsting Eftersom undersökningen är relativt omfattande har vi avgränsat arbetet till de undersökningar som kommuner och landsting genomför inom områdena förskola, barnomsorg, grundskola, gymnasieskola, hälso- och sjukvården, socialtjänst och äldreomsorg. Det finns flera anledningar till detta. För det första görs det flest undersökningar inom dessa områden. Våra sonderande intervjuer med ett mindre antal kommuner och landsting pekade också på att det framför allt var inom dessa områden som man hade kommit långt i sitt arbete med att använda undersökningarna som verktyg för styrning, uppföljning och utveckling av verksamheten. Intervjuer har gjorts med företrädare på både central nivå och på förvaltningsnivå. I vissa kommuner och landsting har intervjuer gjorts på båda nivåerna, medan vi i andra bara gjort intervjuer på förvaltningsnivån. I samtliga fall har vi dock gjort intervjuer på förvaltningsnivån. I huvudsak är det utvecklingsdirektörer, kvalitetschefer, utvecklingsledare, kvalitetsutvecklare, förvaltningschefer, kvalitetssamordnare eller motsvarande som har intervjuats. Det har av resurs- och tidsskäl inte varit möjligt att genomföra intervjuer med företrädare på utförarnivå. Därutöver har vi också gjort vissa kompletterande intervjuer med företrädare för SKL och SCB. Merparten av intervjuerna har genomförts via telefon, men i vissa fall har vi också gjort besöksintervjuer. Intervjuerna har varit inriktad på generella frågor om hur den egna kommunen eller landstinget arbetar med medborgar- och brukarundersökningarna: I vilket syfte görs undersökningarna? Vilka frågor ingår i undersökningarna? Vilka kompletterande undersökningar gör man inom kommunen/ landstinget? I vilken utsträckning är frågorna standardiserade för att möjliggöra jämförelser mellan verksamheter och med andra kommuner/landsting? Hur ser man på möjligheten att jämföra resultat med andra kommuner/ landsting och ser man något behov av nationell samordning? Är undersökningar effektiva verktyg för att fånga upp vad brukarna har för uppfattning om verksamheten? Hur används undersökningarna i styrningen och uppföljningen av verksamheten? Är undersökningarna effektiva verktyg för att styra, utveckla och effektivisera verksamheten?
Uppfattningar om förvaltningen 11 I samband med intervjuerna har vi också samlat in och analyserat ett antal av de medborgar- och brukarundersökningar som kommuner och landsting använder sig av. Syftet har varit att analysera vilken typ av frågor och svarsskalor som kommuner och landsting använder sig av, men också att belysa likheter och skillnader i population, urval, insamlingsmetod, svarsfrekvenser etc mellan undersökningarna. 1 Se resonemang Nilsson, Åsa (2010) Den nationella SOM-undersökningen 2010 i Holmberg, Sören och Weibull, Lennart (red) Nordiskt ljus. Göteborg: SOM-institutet, Göteborgs universitet.