Handisam. Beräkningsunderlag för undersökningspanel

Transkript

1 Beräkningsunderlag för undersökningspanel Kund Mottagare Ann Dahlberg Författare Johan Bring Granskare Gösta Forsman STATISTICON AB Östra Ågatan UPPSALA Wallingatan STOCKHOLM vxl:

2 Johan Bring 2 Innehållsförteckning 1 INLEDNING ANTAL SVARANDE PERSONER PER UNDERGRUPP ANTALET PERSONER I PANELEN ANTALET PERSONER SOM BEHÖVER TILLFRÅGAS FÖRSLAG PANEL PANELENS REPRESENTATIVITET? SLUTSATSER FRÅN BERÄKNINGARNA BILAGA 1 PRESENTATION AV HANDISAMS FEM ALTERNATIV... 17

3 Johan Bring 3 1 INLEDNING har fått i uppdrag av regeringen att ta fram en undersökningspanel bestående av personer med funktionsnedsättning. Det är ett led i arbetet med en ny strategi för funktionshinderspolitiken och arbetet att förbättra möjligheten att följa upp det arbete och den utveckling som sker inom politikområdet. Syftet är att öka möjligheten att mer systematiskt mäta hur enskilda individer upplever funktionshinderspolitiken och hur man som individ påverkas i olika situationer. Panelen ska vara ett verktyg och ett stöd i s uppdrag att följa upp den nationella funktionshinderspolitiken och förhoppningen är att den ska bli ett komplement till offentlig statistik. Panelen ska också kunna vara ett stöd för andra organisationer som vill få en bättre bild av vad personer med funktionsnedsättning anser i olika frågor. Panelen ska bestå av ett relevant urval av enskilda personer med funktionsnedsättning i olika åldrar och med varierande förutsättningar. önskar nu hjälp med statistiska beräkningar för att kunna besluta om omfattning och sammansättning av denna panel. Statisticons uppdrag är att bistå med beräkningar rörande: 1. Hur stort antal individer en panel behöver bestå av för att anses vara representativ i förhållande till befolkningen i övrigt, det vill säga utifrån ålder, kön etc. 2. Hur stor en panel behöver vara beroende på hur stort antal funktionsnedsättningar/diagnoser som det ska vara möjligt att bryta ned informationen på. Dessa beräkningar skall göras utifrån fem olika alternativ. (Dessa alternativ finns presenterade i bilaga 1) I figuren nedan illustreras grovt den selektion som kommer att ske tills vi i slutändan får svar från en viss målgrupp (t.ex. synskadade personer över 50 år).

4 Johan Bring 4 Figur 1, Schematisk bild över selektionsprocessen för att till slut få ett antal svarande inom en viss undergrupp. Tillfrågade att delta i panelen Går med i panelen Svarar i en viss undersökningen Svarar inom en viss undergrupp 2 ANTAL SVARANDE PERSONER PER UNDERGRUPP Samtliga av föreslagna alternativ har samma struktur. De är uppbyggda kring tre variabler: a) Antal grupper med olika funktionsnedsättningar (4st-11st) b) Kön (två grupper) c) Ålder (en eller flera åldersgrupper) s olika alternativ skiljer sig åt genom att ha olika många undergrupper. Vi börjar med att illustrera för ett enkelt eget alternativ (alt 0) Alt 0:

5 Johan Bring 5 Grupper av med olika funktionsnedsättning: Hörselskadade och synskadade (2 grupper) Kön: Män och kvinnor (2 grupper) Ålder: Under 45år och över 45 år (2 grupper) I detta alternativ får vi åtta olika undergrupper 2*2*2=8. Vi kan illustrera detta i en tabell där varje undergrupp blir en cell i tabellen. Tabell 1, Exempel på undergrupper Män Hörselskadade 16-45år Hörselskadade 45+år Synskadade 16-45år Synskadade 45+år Kvinnor I s största alternativ (alt 1) skulle vi få en tabell med 10*6*2=120 celler. Om man vill ha en panel som möjliggör att samla in tillförlitlig information från varje undergrupp så måste panelen alltså dimensioneras så att det finns tillräckligt många individer i varje cell. Om vi t.ex. vill veta vad hörselskadade män över 45 år tycker i en viss fråga så måste panelen innehålla ett tillräckligt stort antal medlemmar inom denna grupp. Om vi börjar med att försöka besvara hur många man måste ha i en enskild cell för att kunna få ett statistiskt bra underlag från den gruppen. Vi antar tills vidare också att deltagarna i panelen har blivit utvalda genom ett slumpmässigt urval från den aktuella målpopulationen. Ett vanligt sätt att tänka när man funderar över en urvalsstorlek är i termer av felmarginaler. Om vi antar att vi har en ja/nej fråga typ Anser ni att kollektivtrafiken behöver förbättras för hörselskadade? Svaren från en sådan fråga presenteras i regel i procent t.ex. 47% svarade Ja. Om vi antar att man har en felmarginal på 10% skulle det innebära att om man gjorde en totalundersökning bland den aktuella gruppen skulle

6 Felmarginal Dokumenttyp Klass Projekt Kund Johan Bring 6 procentsiffran hamna någonstans i intervallet 47%+/-10% dvs i intervallet 37% - 57%. Skulle vi ha en felmarginal på 5% skulle vi säga att sanningen ligger någonstans i intervallet 42% - 52%. Så, ju mindre felmarginal desto säkrare är resultaten. I opinionsundersökningar brukar man tillfråga ca 1000 personer vilket ger en felmarginal på 2-3%. I figur 2 illustreras hur felmarginalen sjunker beroende på hur många som svarar på undersökningen. Figur 2, Hur felmarginalen sjunker för skattningar av andelar beroende på antalet svarande i en undersökning Antal svarande Figuren visar hur felmarginalen sjunker kraftigt i början men att kurvan sedan planar ut. Det finns alltså en avtagande nytta att inkludera fler och fler i undersökningen.

7 Johan Bring 7 Vilken felmarginal som behövs är förstås beroende av vilken fråga som skall besvaras. När man skall uttala sig om skillnaden mellan de politiska blocken så kan man förstå att de inte kan ha en högre felmarginal än kanske 2-3 %. Om man däremot vill ha en grov uppfattning om folkets uppfattning i en viss fråga så kanske t.o.m. en felmarginal på 15% kan vara helt acceptabel. Så hur många personer som behövs i panelen är delvis avhängigt vilken typ av frågor som man avser att ställa och vilken precision som krävs i resultaten. Vi bedömer att den typ av frågor som avser att ställa inte kräver svar med felmarginaler på 2-3% utan snarare att det räcker med en felmarginal på 10-15%. Sammanfattning felmarginal För att skattningarna ska bli tillförlitliga i de undergrupper som man vill studera måste man se till att få tillräckligt många svarande i dessa. Osäkerheten i svaren kan beskrivas med hjälp av felmarginalen som blir lägre ju fler som svarar. Vår bedömning är att en felmarginal runt 10% kan vara rimlig för den typ av frågor som ni avser att ställa. Tabell 2, Exempel på felmarginal i relation till antal svarande. Antal svarande Felmarginal 50 14% % 200 7% 400 5% 3 ANTALET PERSONER I PANELEN I föregående avsnitt diskuterades hur många svarande man kan behöva i en viss undergrupp. Detta avsnitt berör hur många personer man vill ha i panelen totalt.

8 Johan Bring 8 Om vi nu tittar på s första alternativ. Alternativen finns i bilaga sist i rapporten. Alt. 1: Tio grupper av funktionsnedsättningar, nedbrytning på 3-6 ålderskategorier samt kön: I detta alternativ skulle det kunna bli så mycket som 120 olika undergrupper. Om vi antar att man kräver en felmarginal på 10% för den grupp som man undersöker så innebär det att man skulle behöva minst 100 svarande inom respektive cell. Då man inte kan räkna med att alla inom panelen svarar kanske man vill ha dubbelt så många inom den aktuella målgruppen för att kunna hantera ett visst bortfall. Om vi då antar att man vill ha minst 200 personer i varje cell så skulle det innebära att man skulle behöva minst personer i panelen! Vissa undergrupper kommer dock vara väldigt ovanliga så för att få minst 200 personer i varje cell så skulle man behöva rekrytera många många fler än personer. Denna ambitionsnivå skulle alltså kräva mycket stora resurser. Alt. 2: Samma funktionsnedsättningsgrupper som alt 1, uppdelat på kön men ingen åldersindelning. Med detta alternativ får vi 10*2=20 undergrupper. Med tanken om ca 200 tillgängliga personer per undergrupp skulle det behövas minst personer i panelen ifall de är jämnt fördelad. Alt. 3: Sju grupper med funktionsnedsättning, nedbrytning på 3-6 åldersgrupper samt kön: I detta alternativ har vi 7*2*(3-6) = 42 till 84 undergrupper. Med samma resonemang som ovan får vi en panel på individer. Alt 4: Fyra grupper av funktionsnedsättningar, nedbrytning på 3-6 åldersgrupper samt kön.

9 Johan Bring 9 I detta alternativ har 4*2*(3-6) = 24 till 48 undergrupper vilket då ger ca i panelen. Alt 5: Samma grupper av funktionsnedsättningar som alt 4, uppdelat på kön men ingen åldersindelning I det sista alternativet har vi 8 undergrupper vilket ger i panelen. Antalet åldersgrupper I de olika alternativen ovan variera antalet åldersgrupper. Med tanke på de stora urvalen som krävs så är vår rekommendation att inte ha ambitionen att kunna presentera resultaten på många olika åldersgrupper. Vilka grupper som vore intressant att dela upp resultaten på beror helt på frågeställning och syfte. För vissa frågor (t.ex. diskotekbesök) så kan det vara intressant med an finare åldersindelning i de yngre åldrarna. Vissa funktionshinder förekommer mest i de äldre åldersklasserna och då kan en finare åldersindelning vara viktig i de äldre åldersklasserna. För andra frågeställningar kan pensionsåldern vara en viktig åldersgräns att dela upp panelen i. Vi tror att man i rekryteringen skall försöka skapa panelen så att åldersfördelningen till stor del speglar den aktuella funktionshinderpopulationen men att man inte skall ha ambitionen att kunna särredovisa resultaten på finare åldersintervall. Så t.ex. för gruppen med nedsatt hörsel skall man rekrytera fler äldre än yngre så att panelen speglar populationens sammansättning. Men, skulle den primära frågeställningen vara att jämföra yngre hörselskadade med äldre hörselskadade så skulle man rekrytera ungefär lika många från respektive grupp. Sammanfattning antal personer i panelen. Ett förslag är att för varje viktig undergrupp ha 200 personer tillgängliga i panelen. I så fall blir den totala panelstorleken 200 multiplicerat med antalet undergrupper. Vill man t.ex. kunna dela upp på män och kvinnor för fyra

10 Johan Bring 10 olika funktionsnedsättningsgrupper blir det 200 gånger 8 vilket ger en panel på personer. Skulle man nöja sig med en felmarginal på 14% så halveras antalet svarande från 100 till 50 och därmed också antalet personer som behövs i panelen. 4 ANTALET PERSONER SOM BEHÖVER TILLFRÅGAS Om vi antar att rekryteringen till panelen sker genom ett slumpmässigt utskick till hela Sveriges befolkning. Antalet som behöver tillfrågas beror då på dels hur vanligt förekommande de olika undergrupperna är i populationen samt folks benägenhet att ställa upp. Svarsfrekvensen på seriösa enkätundersökningar kan grovt sägas ligga runt 50%. Folks benägenhet att gå med i en panel är i regel lägre. Intresset för att vara med i en panel beror på frågeställning samt incitamenten för att vara med. Kommersiella paneler har i regel någon form av belöning till de som deltar i respektive undersökning. Om vi antar att en av fyra i den aktuella målgruppen ställer upp så innebär det att man måste fråga fyra gånger fler personer än vad som behövs i panelen. Om vi inte behövde bekymra oss om undergrupper så skulle vi t.ex. tillfråga personer ifall vi vill ha en panel på personer. Men om vi nu vill ha tag i t.ex. kvinnor under 50 år med nedsatt hörsel? Då måste vi ta hänsyn till hur stor del av befolkningen som tillhör denna grupp. I åldrarna år har ca 12% av kvinnorna nedsatt hörsel. Prevalensen är lägre i de yngre åldrarna så vi kan anta en prevalens på 5% bland de yngre än 50år. Detta skulle innebära att vi behöver fråga ca 100 kvinnor i åldern år för att få tag i fem stycken med nedsatt hörsel. Så om vi nu i panelen vill ha 200 kvinnor i denna grupp så måste vi fråga kvinnor i ålder år i befolkningen. Beräkningarna går till så här:

11 Johan Bring 11 Så om vi frågar kvinnor i åldern så kommer ca 5% att ha nedsatt hörsel, dvs ca 800 personer. Ifall sedan en av fyra (25%) väljer att vara med i panelen får vi i slutändan ca 200 personer i denna grupp till panelen. I detta exempel hade vi en relativt vanlig funktionsnedsättning samt ett stort åldersintervall. Skulle vi ha små åldersintervall och mer ovanliga funktionsnedsättningar skulle det bli väldigt stora siffror. Skulle vi sänka svarsfrekvensen till t.ex. 10% och prevalensen till 1% så skulle vi behöva fråga Notera att dessa siffror då bara rör hur många vi måste fråga för att fylla cellen med kvinnor med hörselnedsättning i åldern år. Vill vi sedan få 200 hörselskadade män i åldern så måste vi fråga lika många till. Om vi också vill ha 200 rörelsehindrade kvinnor i samma åldersgrupp (kvinnor år) så kan man rekrytera dessa samtidigt som man rekryterar hörselskadade kvinnor. Antag att prevalensen av rörelsehindrade i denna grupp är 10% så får vi: Så om vi skulle tillfråga kvinnor i åldern för att få 200 hörselskadade till panelen (enligt beräkningarna tidigare) kommer vi samtidigt att kunna rekrytera 400 rörelsehindrade (eftersom vi lyckas rekrytera 200 per som vi tillfrågar). Vi kan följaktligen rekrytera personer med olika funktionsnedsättningar på samma gång. Och om vi är intresserade av flera grupper av

12 Johan Bring 12 funktionsnedsättningar så är det den gruppen med lägst prevalens som styr hur många vi måste fråga. För att räkna ut hur många vi måste fråga för att få t.ex. 200 personer i varje undergrupp gör vi så här. 1) Bestäm antalet åldersgrupper (t.ex. 2) 2) Bestäm om vill kunna bryta ner på kvinnor och män (2 grupper). 3) Vi får då 4 olika kombinationer i detta exempel. 4) För de diagnosgrupper (t.ex. rörelsehindrade, hörselskadade, synskadade) som vi vill ha med skall vi nu bestämma prevalensen i varje undergrupp. (se tabellen nedan med hypotetiska siffror) Tabell 3, Prevalensen av olika funktionshinder i olika grupper. -50 år Över 50 år Män Rörelsehindrade 12% Hörselskadade 6% Synskadade 2% Rörelsehindrade 16% Hörselskadade 16% Synskadade 3% Kvinnor Rörelsehindrade 10% Hörselskadade 5% Synskadade 1% Rörelsehindrade 17% Hörselskadade 15% Synskadade 3% Vi ser nu att i varje cell är det de synskadade som har lägst prevalens. Hur många vi måste tillfråga ur befolkningen styrs nu av att få ihop 200 synskadade eftersom det är den svåraste gruppen att få tag i. Med ett antagande om 25% svarsfrekvens skulle vi få följande siffror. Tabell 4, Antalet som behöver tillfrågas givet prevalenserna i tabell år Över 50 år Män Kvinnor

13 Johan Bring 13 Totalt blir det ca personer som skall tillfrågas för att få minst 200 av varje diagnosgrupp i varje undergrupp. Skulle vi inte bry oss om att kunna dela upp på kön och ålder så skulle det bli prevalensen i den totala befolkningen som styr antalet. Antag att det finns 2% synskadade i befolkningen. I så skulle det behövas tillfrågas personer för att få 200 svarande inom denna kategori. Dessa beräkningsexempel visar att det blir väldigt svårt skapa den perfekta panelen med 200 personer i varje tänkbar undergrupp. Men det finns nu flera vägar att gå. Man kan dels reducera antalet undergrupper (vilket i princip är vad s olika alternativ gör) eller man kan minska på ambitionsnivån att ha 200 personer i varje grupp. Eller kanske välja en helt annan ansats. Sammanfattning hur många som måste tillfrågas. Antalet som måste tillfrågas beror på a) Hur många man vill ha i en viss grupp. b) Svarsfrekvensen c) Prevalensen av den specifika funktionsnedsättningen. Skulle vi t.ex. vilja ha 100 personer över 50 år med synnedsättning och att prevalensen av synnedsättning i denna åldersgrupp är 2% och svarsfrekvensen 33% så behöver vi tillfråga personer ( = (100/(0.33*0.02)) Dessa beräkningar bygger på att man gör ett slumpmässigt urval ur svenska befolkningen.

14 Johan Bring 14 5 FÖRSLAG PANEL Alternativ 5 inkluderar fyra typer av funktionshinder. Om vi använder undersökningen Funktionsnedsattas situation på arbetsmarknaden från 2008 så får vi följande prevalenser i befolkningen år. Tabell 5, Prevalensen av olika funktionsnedsättningar Funktionsnedsättning Prevalens Hörselnedsättning 1,3% Synnedsättning 0,9% Rörelsenedsättning 4,7% Svåra besvär av ängslan, oro eller ångest % Källa: Funktionsnedsattas situation på arbetsmarknaden (2008). 1. Baserat på ULF-undersökningen. Det innebär att om vi väljer ut 100 personer slumpmässigt så kommer ca. en person ha hörselnedsättning, ca. en synnedsättning och ca fem personer rörelsenedsättning. Om vi skulle nöja oss med att ha 100 personer från varje funktionsnedsättningsgrupp i panelen och att vi är optimistiska och tror på att 50% av de tillfrågade kommer att gå med i panelen så skulle vi behöva fråga personer. Då har vi inte tagit hänsyn till kön. Skulle vi vilja ha 100 män och 100 kvinnor inom varje grupp så får vi fråga personer. Vårt förslag är att man ser till att ha både kvinnor och män i panelen men att man inledningsvis nöjer sig att kunna redovisa resultaten på total nivå och inte har ambitionen att få tillförlitliga resultat uppdelat per kön. 6 PANELENS REPRESENTATIVITET? Beräkningarna av felmarginaler ovan har baserats på antagandet att vi a) Gjort ett slumpmässigt urval ur populationen samt b) Att bortfallet är slumpmässigt (dvs det är inte en viss typ av människor som väljer att inte svara.). I praktiken finns det risk att vi kan få problem med båda dessa aspekter.

15 Johan Bring 15 Att välja ett slumpmässigt urval ur populationen. Om vi väljer ett slumpmässigt urval ur den svenska befolkningen så får vi på samma gång ett slumpmässigt urval ur populationen av funktionshindrade i Sverige. Men beräkningarna ovan visade att vi måste göra väldigt stora urval för att komma åt tillräckligt många inom de olika undergrupperna. Så ett alternativ är att försöka välja från andra urvalsramar. För vissa funktionshinder kan det finnas olika register som skulle kunna användas. Sen är väl risken att dessa register inte är helt representativa. Så här får man från fall till fall bedöma hur pass vältäckande respektive register är. Men skulle man kunna hitta vissa undergrupper där det finns mer specifika register så skulle detta underlätta rekryteringen avsevärt. Bortfallet Ett annat problem som kan göra urvalet icke-representativt är bortfallet. I beräkningarna ovan användes en svarsfrekvens på 25% vilket innebär ett bortfall på 75%. Så med det exemplet så kanske det inte spelar så stor roll ifall vårt ursprungliga urval är representativt för vi har i princip ingen kontroll över bortfallets snedvridande effekt. De 25% som väljer att vara med i en panel kan vara precis lika icke-representativa som t.ex. de 25% som väljer att vara medlemmar i en viss handikapporganisation. Så om det finns väldigt höga krav på representativitet så måste man både ha ett slumpmässigt urval ur den aktuella målpopulationen och ett ickesnedvridande bortfall. För att bortfallet inte skall bli snedvridande så krävs det antingen att det är mycket litet eller att bortfallet är slumpmässigt, dvs att de som inte vill vara med inte skiljer sig från de som vill vara med. Så oavsett hur vi gör så kommer det att bli problem med att få en riktigt bra representativitet. Så om vår grupp som kommer med i panelen inte är representativ för hela målpopulationen så innebär det att de felmarginaler som vi illustrerade inte blir helt korrekta. Vår osäkerhet om vad hela

16 Johan Bring 16 målpopulationen egentligen anser blir då större än vad felmarginalen visar eftersom de svarande inte är helt representativa för målpopulationen. En aspekt att beakta är att panelen kan vara ett bättre instrument för att följa förändringar över tiden jämfört att ge en exakt bild vid ett specifikt tillfälle. Dvs även om panelen inte är representativ för målpopulationen och därmed ger något missvisande am andelen i populationen som t.ex. svarar JA så kan panelen i många fall ge en representativ bild av förändringar över tid. Då samma personer tillfrågas vid olika tillfällen ger detta ett bra instrument för att följa förändringar över tid. 7 SLUTSATSER FRÅN BERÄKNINGARNA Beräkningarna ovan visar att det krävs väldigt stora urval och en väldigt stor panel ifall man vill kunna uttala sig om många enskilda undergrupper med bra statistisk precision. Men metodproblemen är förmodligen så stora att man aldrig kommer att kunna tala om bra statistisk precision i vedertagna vetenskapliga termer. Vi anser därför att ambitionen om en perfekt panel som kan användas för att utvärdera många olika politiska beslut inte är realistisk i nuläget. På något sätt måste vi sänka ambitionsnivån vilket dock inte hindrar att man kan göra något bra och värdefullt. Ingen tydlig frågeställning och uppdragsgivare Vår erfarenhet är att en undersöknings kvalité blir mycket bättre om det finns en tydlig uppdragsgivare och en tydlig frågeställning. Vi ser en risk med detta projekt att så inte är fallet här. Gruppen funktionshindrade är väldigt heterogen. En möjlig väg framåt är att skapa separata paneler för respektive funktionshindersgrupp. Vill man sedan ställa en fråga till flera grupper så skickar man bara frågan till flera paneler.

17 Johan Bring 17 8 BILAGA 1 PRESENTATION AV HANDISAMS FEM ALTERNATIV Alt. 1: Tio grupper av funktionsnedsättningar 1, nedbrytning på 3-6 ålderskategorier samt kön: Nedsatt rörelseförmåga Nedsatt syn Nedsatt hörsel, dövhet och dövblindhet Nedsatt kognitiv förmåga Besvär i andningsorgan, allergier eller överkänslighet för vissa födoämnen Sjukdomar och andra funktionsstörningar i matsmältningskanalen eller inkontinens Funktionsnedsättning på grund av psykiska sjukdomar Nedsatt röst och talfunktion Läs och skrivsvårigheter Andra funktionsnedsättningar Alt. 2: Samma funktionsnedsättningsgrupper som alt 1, uppdelat på kön men ingen åldersindelning. Alt. 3: Sju grupper med funktionsnedsättning 2, nedbrytning på 3-6 åldersgrupper samt kön: Svår värk i nacke, axlar, skuldror, rygg eller i leder *Neuropsykiatriska diagnoser Svåra besvär av ängslan, oro eller ångest Rörelsehinder Nedsatt syn Nedsatt hörsel *Medicinska diagnoser *dessa grupper finns inte i ULF-underlaget. Alt 4: Fyra grupper av funktionsnedsättningar 3, nedbrytning på 3-6 åldersgrupper samt kön. Hörselnedsättning Synnedsättning Rörelsenedsättning Svåra besvär av ängslan, oro eller ångest Alt 5: Samma grupper av funktionsnedsättningar som alt 4, uppdelat på kön men ingen åldersindelning 1 Indelningen kommer från s riktlinjer 2 Indelningen kommer från SCB:s undersökning om levnadsförhållanden (ULF) mer info under 3 Indelningen kommer från Statens Folkhälsoinstituts Folkhälsoenkät, för mer info se: