Statistiska synpunkter på politiska opinionsundersökningar

Transkript

1 Demokratidagen, SCB, Statistiska synpunkter på politiska opinionsundersökningar Jan Wretman 1

2 Bakgrund Allmänheten har inflytande genom allmänna val vart fjärde år. Vad anser allmänheten för övrigt i politiska frågor? Det hoppas man få grepp om genom olika slag av politiska opinionsundersökningar. (Språkfråga: Kan man kalla detta för mäta demokrati?) 2

3 Exempel på olika slags frågor: Vilket parti skulle du rösta på om det vore val idag? (Väljarbarometer) Vad anser du i en specifik samhällsfråga? Hur stort är ditt förtroende för olika partiledare? Hur påverkas allmänheten av händelser inom politiken? 3

4 Intresse riktat mot: Läget vid ett visst tillfälle. Förändring från tidigare tillfälle. Olika kategorier av medborgare. Olika regioner. 4

5 Vem utför undersökningarna? Vanligen kommersiella undersökningsföretag. Undantag: PSU, som utförs av SCB. 5

6 Olika uppdragsgivare: De styrande Ett visst politiskt parti TV eller dagstidning Undersökningsföretagets egna initiativ? 6

7 Exempel på väljarbarometrar: Ipsos (DN) TNS-SIFO (SvD) Demoskop (Expressen) United Minds (Aftonbladet) Novus (TV4) Sentio SKOP YouGov SCB (PSU) 7

8 Exempel på partisympatier maj 2012 S V Mp M C Fp Kd Sd Övr Sifo 36,7 5,3 9,2 27,7 4,5 5,3 3,6 6,6 1,2 Demo 35,5 5,7 10,2 30,1 4,8 4,7 3,4 4,6 1,1 UM 34,6 5,6 8,2 29,7 4,6 6,7 3,2 6,4 1,0 Novus 36,6 6,1 8,2 28,3 4,5 6,2 4,2 4,6 1,3 PSU 37,3 5,9 8,1 28,6 4,7 5,5 3,7 5,4 0,8 8

9 Vid politiska opinionsundersökningar gäller det att: Definiera en målpopulation Utforma frågor Göra ett urval av personer Kontakta de utvalda personerna Ställa frågorna Bearbeta insamlade data; beräkna skattningar Presentera resultatet 9

10 Urval och datainsamling kan göras på olika sätt. Vanliga uppläggningar: Personurval. Telefonintervju. Telefonnummerurval. Telefonintervju. Personurval från en i förväg rekryterad webbpanel av personer. Webbenkät. 10

11 Hur beräknas skattningar? Inte så mycket information om hur man gör. (Undantag PSU) Antagligen ofta ett vägningsförfarande, för att uppnå någon sorts representativitet. 11

12 Undersökningsresultat är alltid mer eller mindre osäkra Man vill kunna generalisera från stickprov till målpopulation. Kan man säga något om hur stor osäkerheten är? 12

13 Statistiker tänker i termer av: Urvalsförfarande? Sannolikhetsurval eller icke-sannolikhetsurval? Målpopulation? Täckning? Bortfall? Frågeformulering? Mätfel? Hur beräknades skattningar? 13

14 Två klasser av urvalsförfaranden: Sannolikhetsurval Icke-sannolikhetsurval 14

15 Sannolikhetsurval: Urval från en urvalsram, som helst stämmer överens med målpopulationen. Varje person i urvalsramen ska ha en känd sannolikhet (större än noll) att bli utvald. 15

16 Allt annat är icke-sannolikhets- Självrekrytering Kvoturval Snöbollsurval urval, t.ex. Man håller på tills man fått ett i förväg bestämt antal svarande, men utan att registrera antalet misslyckade kontaktförsök. 16

17 För- och nackdelar med sannolikhetsurval Sannolikhetsurval med litet bortfall lärs ut i statistikundervisningen som det önskvärda. Det finns statistisk teori, bl.a. för beräkning av felmarginaler (konfidensintervall). Ofta dyra och tidskrävande undersökningar. I praktiken ofta så stora bortfall att det ändå inte går att beräkna felmarginaler. 17

18 Snabbt och billigt. För- och nackdelar med ickesannolikhetsurval Kan ge bra resultat men det saknas teoretisk grund. Behandlas inte i statistikundervisningen. Går inte att beräkna felmarginaler. Det finns ingen vedertagen form av kvalitetsdeklaration. 18

19 Vad skulle en kvalitetsdiskussion kunna omfatta vid icke-sannolikhetsurval? Hur har urvalet gjorts? Finns anledning att tro att de svarande skiljer sig från målpopulationen m.a.p. (a) den aktuella undersökningsvariabelns fördelning och (b) relevanta bakgrundsvariabler? forts. 19

20 Kvalitetsdiskussion, forts. Hur var det med personers villighet att medverka? Kan frågornas formulering ha påverkat svaren? Finns de andra mättekniska problem? Hur har skattningar beräknats? 20

21 När resultat nu presenteras, slås man ofta av brist på information Man får inte veta hur urvalet har gått till. (Undantag: PSU) Antagligen oftast icke-sannolikhetsurval? (Undantag: PSU) Oklara begrepp som riksrepresentativt urval och liknande används ofta. forts. 21

22 Brist på information, forts. Andelen misslyckade kontaktförsök redovisas inte. Ofta sägs det att en förändring ligger inom eller utom felmarginalen. Obegripligt för mig hur man kan beräkna felmarginaler, när man har icke-sannolikhetsurval. Det verkar som om man tror att allmänhet och beställare är ointresserade av kvalitet. 22

23 Slutord Undersökningsföretagen arbetar under ekonomisk press. Gör ofta undersökningar som inte uppfyller de akademiska statistikernas stränga krav. Kvaliteten kan variera, men ifall man lägger ner mycket arbete, kan resultaten bli bra, även om man inte har någon teoretisk grund att stödja sig på. forts. 23

24 Slutord, forts. Jag föreställer mig att väljarbarometrarna är en sorts flaggskepp för undersökningsföretagen, och att man där lägger ner mycket arbete för att få så bra resultat som möjligt. Men metodinformationen skulle kunna vara tydligare. 24