Kvantitativa (analys) metoder

Transkript

1 Kvantitativa (analys) metoder Roland Sjöström Statistik, SPSS, analysmetoder Vad är standardavvikelse och varians Vad händer om ni får dubbelt så många svar? Medelfel? Vad innebär 95% sannolikhet Varför är det riskfyllt/olämpligt att leta resultat i redan insamlade data? Hur många kombinationsmöjligheter finns i en enkät Korstabeller, medelvärdesskillnader etc (ni är duktiga på matte) Hur många av dessa kombinationer ska trilla ut som signifikanta trots att de inte är det? Vilken roll får slumpen spela? Roland Sjöström 2 Mål med fö & labbar Ge övergripande kunskaper för att kunna lägga upp en kvantitativ analys Betoning på multivariat analys Förstå och kunna tolka utskrifter från SPSS Förbättra magkänslan Kunna tillämpa några kvantitativa analysmetoder på egna insamlade data Känna till grunderna i multivariat analys Korstabeller Medelvärdesanalyser, ANOVA, t-test, (F-test) sanalys/korrelation Labmtrl Roland Sjöström 3 Inlämningsuppgift i kvantitativa (statistiska) analysmetoder Mål med uppgiften: att ni ska diskutera och reflektera över hur multivariata analysmetoder kan användas i kvantitativa undersökningar. I grupper om ca fyra personer ska ni: Konstruera en kvantitativ kursvärdering med minst 10 och max 15 frågor samt förklara hur svaren ska analyseras. Ett bivillkor är att förslag till analys endast ska innehålla multivariata analysmetoder såsom korstabeller, skillnader i medelvärden mellan olika grupper, regressionsanalyser etc. Minst en av frågorna ska kunna fungera som beroende variabel i en multipel regressionsanalys. Betygsnivåer: G, VG För G krävs en någorlunda ingående användning av minst två analysmetoder eller en mer översiktlig användning av tre analysmetoder. Avgörande för G är hur väl ni har motiverat val av frågor och förslag till analys. För VG krävs att såväl korstabeller som skillnader i medelvärden mellan olika grupper och regressionsanalys finns med i analysförslaget använda på ett begåvat sätt och med tydlig beskrivning av hur analysen ska utföras och tolka Roland Sjöström 4 Mål med en undersökning Metod Ge bra rekommendationer Dra bra slutsatser Göra bra analyser & tolkningar Samla rätt data med hög kvalitet Vilken roll får slumpen spela? Ska man kunna lita på slutsatserna? Stor/liten Ju större betydelse (risk) undersökningen har desto mindre roll får/bör slumpen spela Metod är ett systematiskt sätt att undersöka verkligheten på. en guide som talar om hur man ska göra eller har gjort Det innebär inte att alla metoder klarar en kritisk granskning lika bra. Hur? Varför? Vanligt fel hur och varför blev det just dessa frågor i enkäten? Roland Sjöström Roland Sjöström 6 1

2 Tolkning av data Mål i förarbetet Ha rätt perspektiv Förstå sitt undersökningsområde Praktiskt och teoretiskt Fördjupa sig inom rätt frågeområden Inte för få Bra balans Ställa rätt frågor Självklart? Kvalitativ intervju ett intervjutillfälle? (Ställa frågor rätt) Roland Sjöström Roland Sjöström 8 Kvalitativa data All statistik handlar om. Data som inte på en meningsfullt sätt går att översätta i sifferform Skilja mellan orka/tycka och precision i analysen Roland Sjöström Roland Sjöström 10 Målpopulation Representativitet De företag/organisationer/individer som ska beskrivas och analyseras. Ramfel nettopopulation per målpopulation bruttopopulation analysgrupp Undersöka björnar undertäckning övertäckning Roland Sjöström Roland Sjöström 12 2

3 Inferensproblem Inferensproblem, forts Inferens är att dra slutsatser om en målpopulation på grundval av resultaten från de enheter i målpopulationen som faktiskt har undersökts - gäller alla undersökningar där inte samtliga enheter har undersökts - representativa (bedömning görs på förhand) Urvalets storlek - Två grupper ska undersökas, ftg resp 500 ftg, vi har resurser att genomföra 100 intervjuer - Hur ska vi fördela dem? inomformulärsbortfall => svars % varierar mellan frågor (mindre än ca 70% bearbetningsbara svar => skepsis) minska bortfall - bra formulär, säkra deltagande (t.ex. ringa), belöning?, påminnelse analys av bortfall Roland Sjöström Roland Sjöström 14 Analys strategi (operativ) syfte Mätteknik Hur ska insamlade data analyseras? Intervjuer Enkätdata Vad ställer detta för krav på dataunderlaget? Vem ska t.ex. avgöra vilka faktorer som är viktiga? Respondenten? Vad händer om man frågar respondenten om vilka faktorer som är viktigast t.ex. påverkar attityden till något? Vad betyder begreppet viktigt? Betyder viktigt samma för samtliga respondenter? Om inte vad mäts då? Hur hantera skillnader mellan olika respondenter? Jmfr lön Undersökaren? Hur gör man då? Inleds med en reflektion över hur data ska analyseras Handlar om konsten att inte förstöra en del av informationsinnehållet i ett svar genom att mäta på fel sätt operationalisering av begrepp användning av variabler (kan bara anta ett värde) mätskalor konstruktion av enskilda frågor konstruktion av hela formulär Roland Sjöström Roland Sjöström 16 Variabel Skalor Flervalsfrågor Viktigaste konkurrenterna - utgår från preciserade uppgiften (de konkreta undersökningsfrågorna), ansats, metod för datainsamling - Nominalskala bör vara uttömmande och uteslutande 0 man 0 kvinna - Ordinalskala (rangordningar - hur göra) 0 inst helt 0 inst delvis 0 varken eller Roland Sjöström Roland Sjöström 18 3

4 Skalor, forts Konstruktion av enskilda frågor - Intervallskala inst. inte alls inst. helt - Kvotskala, intervallskala med absolut nollpunkt (omsättning? tid?) Mäta Intention eller faktisk handling Ekomat Många kan tänka sig 3% av inköp Slentrian, bråttom Miljöbil? Större inköp, viktigare - öppna frågor - "ingen åsikt/uppfattning" - möjlighet att lägga till Roland Sjöström Roland Sjöström 20 Konstruktion av enskilda frågor, forts Laddade ord & ledande frågor Hur ska en fråga formuleras? Påstående? Ändpunkter i skala? Väntevärde? (Idol) Frågor avgr i tid och rum i övrigt neutrala Inte tillåta förbjuda Roland Sjöström Roland Sjöström 22 Ingen uppfattning Respondentens tre nivåer 30-50% ej svar Leveranstid, pris Strategier Helhetsbedömningar Helhetsbedömning Senaste projektet hur mkt bidrog olika gruppmedlemmar till slutresultatet? Varför bidrog de med just så mkt? Svårbedömt Hur mkt bidrog du själv? Vad var det som gjorde att du bidrog med just så mkt? Roland Sjöström Roland Sjöström 24 4

5 Konstruktion av formulär - Instruktioner (vid enkät) - Ordningsföljd logisk för respondenten - Ej inleda med känsliga frågor för respondenten - Tidsordning - Fakta & kännedom, allmän åsikt, specifik åsik, skäl för åsik, intensitet i åsikt - Filterfrågor - Kontrollfrågor - Provintervjuer Bakgrundsfrågor Program/arbetsplats Närmaste chef Etc Kontrollvariabler Kön Ålder Anställningstid Etc Frågor i block Enkätstruktur Blocken motsvarar ofta preciserade frågor Inleds oftast med ett antal detaljfrågor (påståenden) Blocket avslutas med en helhetsfråga Avslutningsblock med en eller flera helhetsfrågor som motsvarar syftet Roland Sjöström Roland Sjöström 26 Frågors ordningsföljd Laddade ord & ledande frågor Komplexitet Början och slut av uppräkning melodifestivalen 5-6 alternativ Överspillningseffekten Frågor avgr i tid och rum i övrigt neutrala Inte tillåta - förbjuda Roland Sjöström Roland Sjöström 28 Prövning av formulär Validitet och reliabilitet - intressant för respondenten - begripligt språk för respondenten - fri från ledande inslag - ej väcka försvarsinstinkter - fri från oavsiktliga emotionelt, socialt, politiskt etc laddade ord - tidsåtgång Respondenten som "expert" (öppningsfråga) Tänk psykiatri och tester Det instrument (frågeformulär) som ni tar fram och den datainsamling som ni ska göra ska passa syftet. Validitet och reliabilitet är inte entydiga begrepp Författare lägger delvis olika innebörd och tyngdpunkt beroende på tillämpningsområde Roland Sjöström Roland Sjöström 30 5

6 Validitet (giltighet) Om mätmetoden verkligen mäter den egenskap (det uppdrag/syfte) man avser att mäta (mäter det som är relevant) Test Om de slutsatser som genererats från undersökningen överensstämmer med verkligheten och därmed om rekommendationer är värda något. att använda rätt sak (teori/modell) vid rätt tillfälle jämför t.ex. med busskort. De är giltiga i vissa situationer men inte i andra. Man kan använda busskortet på en buss men inte i en taxi. (Rätt modeller t.ex. egen analysmodell) Be någon insatt person verifiera resultaten Olika typer av validitet Begreppsvaliditet (teoretisk validitet) fungerade modellerna (analysmodellen bra) innehållsvaliditet (content validity) Heltäckande? Ofta stort antal tänkbara frågor- i testet plats för ett fåtal. Med innehållsvaliditet avses hur bra urvalet av frågor är. Det är oftast inte möjligt att få ett kvantitativt mått på innehållsvaliditet, den bedöms i stället av experter på ett mer eller mindre subjektivt sätt. Empirisk validitet (samtidig och prediktiv validitet) Vid samtidig validitet görs en mätning vid t.ex. intervjutillfället. Vid prediktiv validitet görs mätningen långt senare. Ett exempel på prediktiv validitet är hur väl högskoleprovet förutsäger senare framgång vid högskolestudier Roland Sjöström Roland Sjöström 32 Reliabilitet (tillförlitlighet mäta på ett tillförlitligt sätt) Relationen validitet och reliabilitet Får vi samma resultat om undersökningen genomförs på nytt, eller har den påverkats av slumpmässiga eller tillfälliga faktorer Kan jag lita på hantverkaren som bygger om mitt dusch? Vad kan hända om hantverkaren inte är pålitlig? Vilka slutsatser kan dras om de baseras på mätningar som man inte kan lita på? parallella tester, split-half, test-retest (upprepade mätningar på samma personer!?) Antag att vi vill mäta företags lönsamhet. mäta lönsamheten (pris minus rörliga kostnader) per produkt är inte tillräckligt. Det hjälper inte att hävda att mätningarna var mycket noggranna. Hög reliabilitet är alltså ingen garanti för att få hög validitet. Mäta företagens totala intäkter samt produktions- och fasta kostnader. Då mäter vi något som är mer relevant. Antag vidare att vi gör vår mätning genom att be någon i organisationen som inte arbetar med ekonomisk redovisning att uppskatta företagets intäkter och kostnader. Vår mätning görs då med låg tillförlitlighet (låg reliabilitet). Även om vi mätte rätt sak så blev mätningen så dålig att vi inte fick ett bra mått. Låg reliabilitet medför alltså alltid låg validitet. Följande två regler är bra att komma ihåg: Hög reliabilitet garanterar inte hög validitet. Hög validitet förutsätter hög reliabilitet (däremot kan begreppsvaliditeten vara bra, men det räcker inte) Roland Sjöström Roland Sjöström 34 Statistik, SPSS, analysmetoder Val av analysmetoder nominal skalnivå ordinal en (beroende variabel) intervall kvot Skalnivå nominal prediktor (x) Chi-två Cont. coeff ordinal stopp nominal intervall Diskriminant analys Skalnivå prediktor (x) stopp stopp Spearman s Rank korr. intervall Skalnivå nominal prediktor (x) med dummy var. (0/1) ordinal stopp intervall s analys Roland Sjöström Roland Sjöström 36 6

7 ingen (beroende variabel) Val av analysmetoder Analys av skillnader nominal Faktoranalys med dummy var. Klusteranalys skalnivå ordinal överkurs intervall kvot Faktoranalys Klusteranalys Chi-två test Män/kvinnor resturang 1/2 Utan väntevärde är tabellen svårtolkad 2 = (O-E)2 E = (O)2 - N E Ur tabell testvärde (95% nivån) ca 4 för fyrfältare ca 9 för niofältare nästan 16 för 16 fältare (eg. 15) Roland Sjöström Roland Sjöström 38 Chi-två för fyrfältare Korstabell Mindre tillförlitligt Korrigeras med Yates kontinuitets korrektion Ingen av cellerna får ha lägre förväntat värde än 5 Om så är fallet använder SPSS Fisher s exakta test för 2x2 tabeller Hur tolkas en korstabell? Vanlig miss Fisher s exakta sannolikhetstest P=(a+b)!(c+d)!(a+c)!(b+d)!/N!a!b!c!d! a b c d Roland Sjöström Roland Sjöström 40 Frihetsgrad?? Roland Sjöström Roland Sjöström 42 7

8 Medelfel och konf intervall Medelfel och konf intervall, forts. Exemplet testförsäljning Avsikten med denna test kan vara flera men här koncentrerar vi oss på volymen. Anta att det krävs en viss minsta volym för att produkten ska anses bli lönsam och för att företaget därför ska gå vidare till en fullskaleförsäljning. Testförsäljningar är dessutom ofta kostsamma och företagen försöker begränsa dem till ett fåtal marknader. Antag att företag X bedriver testförsäljning på tre marknader. Kravet för att produkten ska gå vidare till fullskaleförsäljning är att den i genomsnitt säljs i minst 100 exemplar per marknad. Marknad 1 Marknad 2 Marknad 3 Antal sålda produkter Medelvärdet i denna testförsäljning är klart över 100, närmare bestämt 112. Målet borde vara uppfyllt och det borde bara vara att gå vidare. Men, på grund av den stora spridningen visar det sig att testförsäljningen inte har uppfyllt målet med 95 procents sannolikhet Roland Sjöström Roland Sjöström 44 Standardavvikelse T-test Standardavvikelsen: Σ(X-x) i 2 s= (n-1) är ca 23 (19 om vi räknar med n istället för n-1 eftersom det är så få fall). Det medför att medelfelet s/ n är 8 (6) För att testa signifikansnivån görs en t-test. t=(x-µ)/medelfelet=( )/6=2 Det kritiska värdet för denna test erhålls ur en tabell för t- fördelning där antalet frihetsgrader är n-1, dvs 2 och alfa=0,05. Det kritiska värdet är 4,3 och eftersom det beräknade värdet inte överstiger det kritiska värdet måste hypotesen att målet var uppfyllt förkastas. (Det kritiska värdet är ca 4 för få frihetsgrader och ca 2 för +100 frihetsgrader.) Först vid 80 procent (istället för 95) är testförsäljningen "signifikant", dvs man kan med 80 procents säkerhet påstå att försäljningen kommer att uppgå till minst 100 enheter i snitt per marknad Roland Sjöström Roland Sjöström 46 Analys av enskilda medelvärden trubbigt instrument Jämföra två medelvärden Människor är olika trygga eller otrygga positiva eller skeptiska benägenhet att uttrycka vad de egentligen anser etc en del instämmer i det mesta medan andra tar avstånd en tredje grupp svara alltid någonstans mitt emellan Medelvärden tenderar alltså att bli ett mycket trubbigt instrument annat än för återkommande undersökningar där avsikten är att mäta avvikelser från tidigare undersökningar Tre olika grundläggande förutsättningar Känd varians i mätningarna (sample); ovanligt i m.u. Varians okänd men antas vara lika Varians okänd men antas vara olika För att testa skillnader mellan två medelvärden använder man sig vanligtvis av en t-test. Den andra och tredje situationen innebär att man måste räkna ut medelvärde och medelfel för de två grupperna. Detta görs på motsvarande sätt som för ett medelvärde. Skillnaden i t-testet är att man jämför skillnader i medelvärde och dividerar med det totala medelfelet Roland Sjöström Roland Sjöström 48 8

9 Jämföra två medelvärden, forts Variansanalys (Anova) Σ (X 1 -x 1 ) 2 + Σ (X 2 -x 2 ) 2 s 12 = (n 1 +n 2-2) Medelfel olika beroende på om samma varians eller ej (Om variansen är lika i de båda grupperna blir medelfelet lika med s/ n 1 +n 2. Är variansen olika blir medelfelet lika med (s 12 /n 1 )+(s 22 /n 2 ), dvs roten ur summan. ) t-värdet räknas ut på motsvarande sätt: t=(x 1 -x 2 ) /s 12 Det kritiska värdet är, som tidigare nämnts, ca 2 för stora sampel (+100 observationer/frihetsgrader). Om t-värdet överstiger det kritiska värdet är medelvärdena olika Roland Sjöström 49 I sin enklaste variant ett F-test som är en direkt vidareutveckling av t-testet Två centrala begrepp Mellangruppsvarians (skillnader mellan grupperna) a variansen för alla som ingår i undersökningen i relation till det totala genomsnittet Inomgruppsvarians (skillnader inom grupperna) a variansen inom de olika grupperna i relation till deras respektive genomsnitt mellangruppsvarians F-test= inomgruppsvarians Roland Sjöström 50 Variansanalys, forts Om t.ex. kvinnor och män verkligen har samma åsikt så är inomgruppsvariansen densamma. Ju mer mellangruppsvariansen överstiger inomgruppsvariansen desto större är chansen att de har olika uppfattning => att nollhypotesen kan förkastas Tre grupper, t.ex. olika utbildningsprogram ger samma tolkning En grupp kan medföra att nollhypotesen förkastas => viktigt att gå vidare i analysen (t.ex. Bonferroni-test) OBS: Variansen lika Roland Sjöström Roland Sjöström 52 Analys av likheter Korrelations- och enkel regressionsanalys Används ofta som substitut Stora likheter En avgörande skillnad Korrelation - gemensam varians - prediktering av värde bästa skattning utan regression?? linjära samband sanalys Anses ha använts första gången av Francis Galton ( ) samband mellan föräldrars och barns längd tendens mot mitten kallades regression inom geovetenskap regression då strandlinjen förskjuts utåt; drar sig tillbaka inom biologi och beteendevetenskap betyder regression tillbakagång till mera primitiva funktions- eller utvecklingsnivåer hos en individ eller ett organ. I statistiska sammanhang betyder regression att en storhet beror av en eller flera storheter. Kopplingen till "tillbakagång" är att alla värden relateras till medelvärdet, dvs man mäter avvikelser från det förväntade värdet som är medelvärdet Roland Sjöström Roland Sjöström 54 9

10 Linjär regression Multipel regression Flera variabler R 2 Multikollinearitet Någon eller några variabler är överflödiga Y ^ Y e Y=¾+ßX x 1 =a+b 2 x 2 +b 3 x 3 analysera R 2 Lösning Ta bort beroende variabler Ta bort de beroende komponenterna i variablerna - regression på faktorer X Stegvis regression Stabilitetstest Ta bort första variabeln, gör om analys, övriga in i samma ordning Roland Sjöström Roland Sjöström Roland Sjöström Roland Sjöström 58 Variabel saknas Missing values Roland Sjöström Roland Sjöström 60 10

11 ANOVA g Model Sum of Squares df Mean Square F Sig. 112, ,255 65,017,000 a 257, , , ,490 69,514,000 b 190, , , ,174 62,773,000 c 161, , , ,057 51,489,000 d 153, , , ,028 45,224,000 e 144, , , ,236 39,302,000 f 140, ,973 a. Predictors: (Constant), Rimliga priser b. Predictors: (Constant), Rimliga priser, Tillräckligt varierat utbud c. Predictors: (Constant), Rimliga priser, Tillräckligt varierat utbud, Trevlig inredning d. Predictors: (Constant), Rimliga priser, Tillräckligt varierat utbud, Trevlig inredning, Diskinlämningen fungerar bra e. Predictors: (Constant), Rimliga priser, Tillräckligt varierat utbud, Trevlig inredning, Diskinlämningen fungerar bra, Bra öppettider f. Predictors: (Constant), Rimliga priser, Tillräckligt varierat utbud, Trevlig inredning, Diskinlämningen fungerar bra, Bra öppettider, Trevlig personal g. Dependent Variable: Som helhet nöjd Roland Sjöström Roland Sjöström 62 Slut Roland Sjöström 63 11