Inferens på rangordningar En Monte Carlo-analys

Transkript

1 Örebro Universitet Handelshögskolan Statistik C, kandidatuppsats 15 HP Handledare Sune Karlsson Examinator Niklas Karlsson Vårterminen 2015 Inferens på rangordningar En Monte Carlo-analys Lars Bohlin

2 Sammanfattning I den här uppsatsen studeras metoder för inferens på rangordningar. Ett urval respondenter ombeds att rangordna ett antal objekt från det de tycker bäst om till det de tycker sämst om. Kan vi utifrån deras svar dra några slutsatser om hur objekten rangordnas i hela populationen? Parvisa er av olika slag utvärderas. Fokus ligger på två problem. Det ena problemet är hur resultaten påverkas av att analytikern baserar val av objekt att a utifrån deskriptiv statistik från sitt urval. Det andra problemet är att familywise error rate (FWER), dvs andel urval med minst ett aktigt ifikant hypoest, blir hög om vi väljer att a en stor del av de möjliga kombinationerna. Vi föreslår en metod för att hantera det första problemet där statistikans p-värden betingas på urvalets rangordning. Urvalets rangordning definierar vi från objektens genomsnittliga rangtal i urvalet. Den föreslagna metoden utvärderas och jämförs med vanligt med hjälp av Monte Carlo-simuleringar. I simuleringarna utvärderas även Holm Bonferoni justering för att hantera problemet med för hög FWER för såväl det vanliga som det betingade et. Vi finner att styrkan i genomsnitt är något högre för det betingade et, men att styrkan varierar med avseende på vilka objekt i populationens rangordning som as. Det vanliga et är väldigt svagt när man ar objekt som ligger nära varandra men betydligt starkare när vi ar objekt som ligger långt ifrån varandra. Samma skillnad finns när vi använder det betingade et men den är inte alls lika stor. Det betingade et blir därför starkare än det vanliga et när objekten är nära varandra i populationens rangordning men svagare när objekten ligger långt ifrån varandra. Om vi begränsar oss till att a objekt som ligger intill varandra i urvalets rangordning kommer det betingade et att vara starkare än det vanliga et även om vi Holm Bonferioni justerar det. Dock är styrkan även på det betingade et svagare än vid ning av alla tio kombinationer trots att justeringen som krävs är betydligt mindre när vi bara gör fyra er.

3 Innehåll 1 Inledning Bakgrund Andel respondenter som föredrar ena objektet, på urvalets rangordning Tecken på urvalets rangordning P-värden vid enkelsidigt P-värden vid dubbelsidigt Utvärdering av olika varianter av vid analys av rangordningar Frestelsen att a den största avvikelsen Test av samtliga kombinationer under antagandet att H 0 är sann Utvärdering av ens styrka vid falsk H 0 när samtliga kombinationer as Utvärdering av strategi att endast a intilliggande objekt, H 0 sann Utvärdering av strategi att endast a intilliggande objekt vid falsk H Slutsatser och diskussion Referenser Appendix 1 Utvärdering av statistika för på urvalets rangordning Appendix 2 P-värden för på urvalets rangordning... 44

4 1 Inledning I den här uppsatsens argumenteras för att p-värden vid hypoestning bör betingas på hur analytikern valde sin metod. Mer specifikt analyserar vi hur p-värden påverkas av att man väljer vilka er att utföra efter att ha studerat deskriptiv statistik från sitt urval. I någon mening kan man säga att analytikerns beteende endogeniseras i analysen. Detta är ett oerhört komplext problem och vi väljer därför ett relativt enkelt problem som tillämpning. Vi använder et som är ett av de enklare statistiska en och vi applicerar det på relativt hanterbara problemet att rangordna 5 objekt. Vi analyserar således olika metoder för att göra inferens på rangordningar. Det är ganska vanligt att i enkätundersökningar be respondenter rangordna eller värdera ett antal olika alternativ. Några exempel kan vara produktutveckling där ett urval potentiella konsumenter ombeds rangordna eller betygsätta ett antal nyutvecklade produkter. Andra exempel kan vara enkätundersökningar där företagare tillfrågas om vilka faktorer som är viktigast för ett gott företagsklimat eller kursutvärderingar där studenter ombeds värdera de olika böckerna på litteraturlistan. Utifrån svaren kan vi skapa en rangording för urvalet genom att beräkna genomsnittsbetyg för de olika alternativen. Men vilka slutsatser kan vi dra om hur hela populationen rangordnar de olika alternativen? När respondenterna får rangordna två olika produkter eller fenomen är et det naturliga et. Vid betygsättning av två olika fenomen är även Wilcoxons teckenrang möjligt. Om vi har fler än två alternativ som ska utvärderas är det svårare att hitta en tillfredställande metod. En möjlighet är Fridmans två vägs Anova. Det et kommer dock enbart att a nollhypotesen om att populationen är indifferent mellan alla objekten mot alternativhypotesen att minst ett objekt har en avvikande preferens, utan att tala om vilket/vilka objekt som avviker. I den här uppsatsen kommer vi att utvärdera olika metoder att avgöra vilket/vilja objekt som avviker när Fridmans har förkastat sin nollhypotes. För att ta reda på vilka objekt som avviker kan man a objekten parvis med eller Wiloxons teckenrang. I den här uppsatsen kommer vi dock att begränsa oss till olika varianter av. Men om respondenterna rangordnar flera objekt uppkommer två problem vid användande av parvisa. Om man ar alla kombinationer kommer en stor mängd hypoteser att as simultant varvid risken är stor att något av en ger ifikant resultat av ren slump. I det fallet bör man därför beräkna andelen urval med minst ett ifikant, en s.k familywise error rate (FWER). Testmetodiken bör sedan justeras så att FWER inte överstiger ifikansnivån. Problemet med FWER har diskuterats bland annat av Bonferroni (1936), Dunn (1961) och Holm (1979). De rekommenderar att p-värdena justeras uppåt vid simultan ning av ett flertal hypoteser. I denna uppsats kommer Holms variant av Bonferoni justering att utvärderas, med tillämning på parvisa av rangordningar. Holm föreslog en metod som innebär att det minsta P-värdet multipliceras med antalet hypoteser som utvärderas, det näst minsta med antalet hypoteser minus ett, det tredje minsta med antalet hypoteser minus 2, och så vidare. Det största P- värdet kommer därmed att multipliceras med 1, dvs. vara ojusterat. P-värdena utvärderas sedan sekventiellt, med början från det p-värde som hade lägst värde före justeringen. Så snart man ej förkastar en nollhypotes ska även resterande, med högre p värden före justeringen, inte förkastas. Om man inte utvärderar dem sekventiellt kan man hamna i en situation där man inte förkastar en nollhypotes som före justeringen hade ett högre p-värde än en nollhypotes som man har förkastat. I det följande kommer denna metod att benämnas -justering. 1

5 Om man väljer ut en kombination eller ett fåtal av de möjliga kombinationerna finns risk att man väljer vilka objekt som ska as efter att ha tittat på deskriptiv statistik från sitt urval. Om man gör det påverkas sannolikhetsfördelningarna hos statistikan och p-värdena blir inte tillförlitliga. Efter att ha tittat på deskriptiv statistik från sitt urval kan det vara frestande att välja de par som, kanske av ren slump, verkar ha stora skillnader i rangordning i just detta urval. Standardrekommendationen är därför att man alltid ska bestämma vilka man kommer att utföra innan man tittar på den deskriptiva statistiken från urvalet. 1 Problemet med den rekommendationen är att det, i en granskning av studien, är väldigt svårt att kontrollera att analytikern inte tittade på deskriptiv statistik av sina data, innan han bestämde vilka han skulle utföra. Förmodligen efterlevs rekommendationen väldigt sällan. Att börja med att studera en deskriptiv statistik av sina data är för många analytiker en naturlig arbetsgång. I den här uppsatsen tar vi därför en motsatt ansats. Vi utgår ifrån att vi studerar den deskriptiva statistiken från urvalet och baserar metodiken på den informationen. Vi börjar med att ta fram urvalets rangordning av objekten baserat på urvalets genomsnittliga rangtal för varje objekt. Denna information används sedan både för att beräkna betingade p-värden och för att avgöra vilka som kommer att utföras. Syftet med uppsatsen är att skapa en metod som är robust mot problemet att analytikern väljer ut vilka er som ska göras baserat på resultatet från det enskilda urvalet samt att utvärdera olika strategier för att välja ut vilka objekt som as. I det följande kallar vi erna där p-värdena s på urvalets rangordning för betingade et. Med hjälp av Monte Carlo-simuleringar kommer vi att utvärdera såväl det vanliga som det betingade et med eller utan justering. När metoden baseras på information från det enstaka urvalet är det teoretiskt sett ganska svårt att definiera nollhypotes och mothypotes. I de här uppsatsen väljer vi att se den betingade ansatsen som ett alternativt sätt att utvärdera det vanliga ets hypoteser. Vi ar således nollhypotesen om att båda objekten är lika populära mot alternativ hypotesen att en majoritet i populationen föredrar ett av objekten. Denna definition kan ifrågasättas på teoretiska grunder men vi menar att om vi kan visa att ets storlek understiger ifikansnivån i en population där vanliga ets nollhypotes är uppfyllt har vi visat att metoden i praktiken fungerar för att utvärdera det vanliga ets hypoteser. När vi väljer vilka par som kommer att as väljer vi de par som hamnat på platserna intill varandra i rangordningen. Om samtliga dessa blir ifikanta har vi visat att urvalets rangordning sammanfaller med populationens. I det fallet kan samtliga andra relationer mellan objekten härledas. Har vi visat att A är bättre än B och B är bättre än C följer av det att A är bättre än C. Om endast någon/några er blir ifikanta kan vi åtminstone använda den till att dela in objekten i grupper. Testar vi 5 objekt och endast får ifikans mellan objekten på plats 3 och 4 i rangordningen kan vi med hög sannolikhet hävda att objekt 1, 2 och 3 rangordnas före objekt 4 och 5. Även om vi inte kan fastställa rangordningen inom de båda grupperna kan vi dela in objekten i en populär grupp och en mindre populär grupp. Nästa avsnitt består av en litteraturöversikt, i avsnitt 3 redovisas en Monte Carlo-studie för att beräkna sannolikheten att en enskild respondent har föredragit objektet på plats v före objektet på plats w i urvalets rangordning. Eller med andra ord, vi beräknar den förväntade andelen av 1 Se exempelvis Altman 1991, sektion om multipla jämförelser. 2

6 respondenterna som rangordnat objektet på en viss plats i rangordningen före objektet på en annan bestämd plats givet att populationen är indifferent mellan samtliga objekt. I appendix 1 finns en redogörelse av fördelningsegenskaperna hos en standardiserad statistika baserad på dessa sannolikheter. I avsnitt 4 använder vi istället statistikan; antal respondenter som föredrar ena objektet. Vi simulerar kumulativa fördelningen av denna statistika vilken ger oss ets p-värden. Dessa p värden jämförs med ets p-värden. I avsnitt 5 utvärderas de metoder som föreslagits i denna uppsats och jämförs med med hjälp av Monte Carlo-simuleringar. Här utvärderas även -justering för att hantera FWER problemet. Avsnitt 6 slutligen ger en sammanfattande diskussion. 3

7 2 Bakgrund För att undersöka populationens rangordning av ett flertal objekt, genom urvalsundersökningar, kan man tänka sig olika typer av frågede. Den metod som presenteras i denna uppsats är avsedd för en frågede där respondenterna ombeds rangordna ett antal objekt. Vi utgår i uppsatsen ifrån att det är 5 objekt som ska rangordnas och att respondenterna ombeds sätta en 5 a på det de tycker bäst om 4 a på det näst bästa etc. En alternativ frågede är att fråga om objekten ett i taget och be respondenterna betygsätta dem. I det följande kommer dessa båda deer att benämnas rangordning respektive betygsättning. Fördelen med betygsättning skulle kunna vara att man även skulle kunna fånga styrkan i preferenserna. Hur mycket föredrar respondenten det ena objektet framför det andra. Men det är kanske också dess nackdel. Enligt den neoklassiska nyttoteorin, utvecklad av bl a Slutsky(1915), Hicks (1939) och Debrau (1959) är preferenser ett ordinalt fenomen 2. Individer kan rangordna två objekt eller två varukorgar men kan inte uttala sig om nyttoskillnaden däremellan. Ska vi förhålla oss till denna teori kring preferenser bör därför även en frågede baserad på betygsättning räknas om till rangordningar så att vi inte drar nytta av en styrka i preferenserna som inte är tillförlitlig. Ett som ibland ansätts direkt på betygskalan, vid parvis jämförelse av värderade objekt är Wilcoxons teckenrang, där differensen mellan betygen för respektive objekt rangordnas. Det anses ofta att detta är en godtagbar procedur för variabler mätta på ordinalskala. Men vi måste då trots allt göra antagandet att intervallen mellan betyg satta av olika individer går att jämföra. Vilket för oss en bit från den rena ordinalskalan mot intervallskalan. Ett annat sätt att uttrycka i grunden samma problem, är att en ren ordinalskala är oförändrad av en logaritmisk transformation. Om vi beräknar logaritmen av ett antal tal kommer deras ordningsföljd att vara oförändrad. Men om vi beräknar logaritmen av betygen innan vi applicerar Wilcoxons teckenrang kommer det att påverka utfallet. 3 Jag skulle därför argumentera för att Wilcoxons teckenrang är tveksam att använda om vi menar att preferenser och nytta är rent ordinala fenomen. Dessa problem med att analysera en frågede baserad på betygsättning talar för användandet av en frågede baserad på rangordning. Ska vi göra inferens på dessa rangordningar måste vi förhålla oss till vad det är vi gör inferens om. Arrow (1951) visade att det är teoretiskt omöjligt att finna ett sätt att aggregera individuella preferenser till en social rangordning mellan alternativen givet ett antal rimliga krav på en samhällelig nyttofunktion och en samhällelig sprocess. Enligt Arrow har vi ingen möjlighet att undersöka populationens gemensamma rangordning av de olika alternativen eftersom en sådan inte kan definieras. Så det vi gör inferens på kan inte vara något annat än vilka individuella preferenser som är vanligast i populationen, vilket ur en filosofisk utgångspunkt är en något annorlunda frågeställning. För ett företag som ska göra en kundundersökning är den kanske dock mer intressant. Kanske företaget intresserar sig mer för hur många som kommer att köpa deras produkt än hur väl produkten tillfredsställer en samhällelig nyttofunktion. Utifrån människors kognitiva förmåga att värdera olika objekt enligt den neoklassiska nyttoteorin, finns goda argument för en frågede baserad på rangordning snarare än betygsättning. Standardmetoderna för att analysera rangordningar är, vid rangordning av 2 objekt, och Friedmans två vägs ANOVA vid analys av fler än 2 objekt (Friedman 1937). Friedmans kallas ibland också för Friedman of randomized block des (Wackerly et al 2008) eftersom 2 För en genomgång av denna teori se exempelvis Jehle et all Se exempelvis Altman 1991, sektion om analys av snedfördelad data med icke-parametriska metoder. 4

8 variabelvärdena rangordnas inom ett block. I vår tillämpning här, blir blocket den enskilda respondentens värdering av studieobjekten och variabelvärdet blir värderingen av de enskilda objekten. I detta fall är variabelvärdena därför rangordnade inom blocket redan från respondentens svar. Ibland, exempelvis i R, kallas detta för Friedmans ranksumme då det baseras på ranksumman för varje objekt De generella hypoteserna för Friedmans är: H 0 : Sannolikhetsfördelningarna av de k variablerna är identiska. H 1 : Minst 2 av sannolikhetsfördelningarna av de k variablerna skiljer sig åt med avseende på läge. Applicerat på tillämpningen i denna uppsats skulle det innebära H 0 : Samtliga k objekt värderas lika av populationen. H 1 : Minst 2 av objekten skiljer sig åt med avseende på de vanligaste preferenserna i populationen. Eftersom Friedmans inte kan tala om för oss vilka objekt som avviker behöver vi gå vidare och göra parvisa jämförelser mellan objekten. För att göra det kan vi välja mellan olika varianter av och teckenrang. Tecken är att föredra före teckenrang, om vi menar att ett tredje irrelevant alternativ inte ska kunna påverka utfallet i en jämförelse av två objekt. Använder vi gör det inte det, använder vi teckenrang kommer det tredje alternativets placering i de individuella rangordningarna att påverka differensen mellan rangtalen och därmed ets utfall. I den här uppsatsen kommer vi därför enbart att utvärdera olika typer av. 5

9 3 Andel respondenter som föredrar ena objektet, på urvalets rangordning Vi studerar alltså fallet där respondenterna ombeds rangordna 5 objekt genom att sätta en 5 a på det de tycker bäst om, 4 a på det näst bästa etc. När vi studerar preferenser genom urvalsundersökningar behöver vi hålla isär tre typer av rangordningar. Vi har den enskilda individens rangordning, vi har hela populationens genomsnittliga rangordning och vi har det enskilda urvalets genomsnittliga rangordning. I denna uppsats genererar vi individernas rangordningar genom att dra slumptal från fem olika normalfördelningar. I dessa fördelningar använder vi alltid standardavvikelsen 1 men vi varierar medelvärdet. Vi definierar populationens rangordning som rangordningen mellan de fem fördelningarnas väntevärden. Vi slumpar fram ett urval av n individuella rangordningar och definierar urvalets rangordning genom att beräkna det genomsnittliga rangtalet för varje objekt i det specifika urvalet. I detta avsnitt ska vi studera fördelningarna under H 0. Vi gör det genom att slumpvis dra individer ur en population där populationen som helhet är indifferent mellan alla fem objekt. Vi implementerar detta genom att använda medelvärdet 1 i alla 5 normalfördelningarna. I det vanliga et baseras statistikan på att halva urvalet bör föredra vartdera objektet om nollhypotesen är uppfylld. Men om man väljer ut vilka par man ska a efter att ha tagit fram deskriptiv statistik från urvalet kommer väntevärdet av andel respondenter som föredrar vartdera objektet att avvika från 50 % även om nollhypotesen är uppfylld och därmed kommer ets p-värde inte vara tillförlitligt. Det ger oss ett skäl att betinga p-värdet på urvalets rangordning. I tabell 3.1 redovisas väntevärdet för andel respondenter som föredrar objektet på en viss plats i urvalets rangordning före ett objekt på en annan plats i urvalets rangordning givet olika urvalsstorlekar. Tabellen framställdes genom att slumpa fram 2 miljoner urval. Därefter beräknas för varje par av positioner i det enskilda urvalets rangordning andelen respondenter som föredrar objektet på placering v före objektet på placering w. Baserat på alla de 2 miljoner urvalen beräknas sedan väntevärdena för dessa andelar vilka redovisas i tabell 3.1. Tabell 3.1 Väntevärde för andel respondenter som föredrar objekt på plats v före objekt på plats w i urvalets rangordning under H 0. Rangordning Urvalsstorlek, n v w ,57 0,55 0,54 0,53 0,53 0,52 0,52 0,52 0,51 0,51 0,51 0, ,62 0,58 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0,52 0,52 0, ,67 0,62 0,60 0,58 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0, ,73 0,66 0,63 0,62 0,59 0,58 0,57 0,56 0,55 0,54 0,54 0, ,55 0,54 0,53 0,52 0,52 0,52 0,52 0,51 0,51 0,51 0,51 0, ,60 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0,52 0,52 0,52 0, ,67 0,62 0,60 0,58 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0, ,55 0,54 0,53 0,52 0,52 0,52 0,52 0,51 0,51 0,51 0,51 0, ,62 0,58 0,57 0,56 0,55 0,54 0,54 0,53 0,53 0,52 0,52 0, ,57 0,55 0,54 0,53 0,53 0,52 0,52 0,52 0,51 0,51 0,51 0,51 Vi kan se att när urvalsstorleken ökar går väntevärdena mot 50 procent. Ju större urvalsstorlek desto mindre skulle problemet vara att kika på sina data innan man väljer ut ett par av objekt att utföra ett 6

10 vanligt på. Och därmed desto mindre skäl att betinga beräkningen av p-värdet på urvalets rangordning. Vid av andelar där binomialfördelningens antaganden är uppfylld kan en standard normalfördelad statistika användas. En motsvarande statistika för detta skulle kunna skrivas som: B v,w = p v,w π v,w,n π v,w,n (1 v,w,n) n Där p v,w är andelen i urvalet som föredrar objektet på plats v före objektet på plats w. n är urvalsstorleken π v,w,n är den förväntade andelen som föredrar ett objekt på plats v före ett objekt på plats w vid urvalsstorleken n om populationen är indifferent mellan samtliga objekt i undersökningen. Om binomialantagandena vore uppfyllda skulle varje statistika B v,w vara standard normalfördelad. P.g.a. av beroende som uppkommer av att vi har rangordnat objekten kommer den dock inte att vara det. I appendix 1 studeras därför denna statistikas egenskaper vid olika urvalsstorlekar. I praktiken torde det dock vara enklare att använda antal respondenter som statistika. En sådan statistika utvärderas i nästa avsnitt. 7

11 4 Tecken på urvalets rangordning I detta avsnitt beräknas kumulativa fördelningar för andelen urval där ett visst antal respondenter föredrar ett objekt före ett annat, betingade på dessa objekts plats i urvalets rangordning. Vi beräknar den relativa frekvensen urval där ett visst antal respondenter föredrar objekten på en specifik plats i det urvalets rangordning före objektet på en annan plats i deras rangordning. Utifrån fördelningen av relativa frekvenser kan vi skapa kumulativa fördelningar vilka ger oss p-värden för betingade på urvalets rangordning, där vi använder antal respondenter som statistika. Beräkningarna baserades på 2 miljoner slumpvisa urval. 4.1 P-värden vid enkelsidigt Tabell 4.1a redovisar den kumulativa fördelningen för den relativa frekvensen av urval, där ett visst antal respondenter föredrar objektet på plats v i det egna urvalets rangordning, för en urvalsstorlek av 20 respondenter. Tabell 4.1b redovisar motsvarande fördelning för en urvalsstorlek av 60 respondenter och enkelsidigt. Tabell 4.1a P-värden för antalet respondenter som föredrar objektet på plats v, urvalsstorlek 20, enkelsidig text Plats i rangordningen Tecken v w Antal respondenter 0 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,999 1,000 1,000 1,000 0,999 1,000 1,000 0,999 1,000 0,999 0, ,983 0,995 0,999 1,000 0,979 0,994 0,999 0,979 0,995 0,983 0, ,885 0,955 0,985 0,996 0,859 0,944 0,985 0,859 0,955 0,885 0, ,628 0,804 0,911 0,972 0,562 0,763 0,911 0,562 0,804 0,628 0, ,316 0,530 0,719 0,880 0,236 0,459 0,720 0,237 0,530 0,316 0, ,112 0,257 0,445 0,685 0,062 0,191 0,445 0,063 0,257 0,112 0, ,030 0,091 0,205 0,427 0,011 0,054 0,206 0,011 0,091 0,030 0, ,006 0,023 0,069 0,205 0,001 0,010 0,069 0,001 0,023 0,006 0, ,001 0,004 0,017 0,073 0,000 0,001 0,017 0,000 0,004 0,001 0, ,000 0,001 0,003 0,019 0,000 0,000 0,003 0,000 0,001 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 Tabell 4.1b P-värden för antalet respondenter som föredrar objektet på plats v, 8

12 urvalsstorlek 60, enkelsidig text Plats i rangordningen Tecken v w Antal respondenter 14 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 0, ,999 1,000 1,000 1,000 0,999 1,000 1,000 0,999 1,000 0,999 0, ,995 0,999 1,000 1,000 0,994 0,998 1,000 0,994 0,999 0,995 0, ,979 0,993 0,998 1,000 0,974 0,991 0,998 0,973 0,993 0,979 0, ,934 0,976 0,992 0,998 0,918 0,969 0,992 0,918 0,976 0,934 0, ,839 0,931 0,974 0,993 0,804 0,914 0,974 0,804 0,931 0,839 0, ,690 0,843 0,931 0,979 0,631 0,809 0,931 0,632 0,844 0,689 0, ,507 0,709 0,850 0,946 0,431 0,655 0,851 0,431 0,709 0,506 0, ,330 0,544 0,728 0,884 0,253 0,474 0,729 0,253 0,544 0,329 0, ,192 0,377 0,576 0,787 0,127 0,304 0,576 0,127 0,376 0,191 0, ,100 0,235 0,417 0,659 0,055 0,172 0,417 0,055 0,235 0,100 0, ,048 0,133 0,274 0,514 0,021 0,086 0,274 0,021 0,132 0,047 0, ,021 0,068 0,164 0,370 0,007 0,038 0,163 0,007 0,067 0,021 0, ,008 0,031 0,088 0,245 0,002 0,015 0,088 0,002 0,031 0,008 0, ,003 0,013 0,043 0,149 0,001 0,005 0,043 0,001 0,013 0,003 0, ,001 0,005 0,019 0,083 0,000 0,002 0,019 0,000 0,005 0,001 0, ,000 0,002 0,008 0,042 0,000 0,000 0,008 0,000 0,002 0,000 0, ,000 0,001 0,003 0,020 0,000 0,000 0,003 0,000 0,001 0,000 0, ,000 0,000 0,001 0,008 0,000 0,000 0,001 0,000 0,000 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,001 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 Av platsskäl utlämnas en del av de rader som enbart innehåller ettor och nollor. Fördelningarna ger oss sannolikheten för att detta antal respondenter eller fler föredrar objektet på plats v, givet att populationen är indifferent mellan alla fem objekten. Därmed ger den oss det enkelsidiga betingade ets p-värden. Som en jämförelse finns även det vanliga ets p-värden med i tabellerna. 9

13 4.2 P-värden vid dubbelsidigt Tabell 4.2 redovisar också en kumulativ fördelning för relativa frekvensen urval där ett visst antal respondenter föredrar objektet på plats v i det egna urvalets rangordning, men den här gången ackumulerad från båda svansarna. I nedre delen av fördelningen, dvs övre halvan av tabellen, ger tabellen sannolikheten att få ett visst antal respondenter som föredrar objekt v eller ett antal som är mindre än så. I övre delen av fördelningen, dvs nedre halvan av tabellen, ger tabellen sannolikheten att få ett visst antal respondenter som föredrar objekt v eller ett antal som är större än så. Tabell 4.2a Kumulativ fördelning för frekvensen urval där ett visst antal respondenter föredrar objektet på plats v, ackumulerad från båda svansarna, urvalsstorlek 20. Plats i rangordningen v w Antal respondenter 0 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,001 0,000 0,000 0,000 0,001 0,000 0,000 0,001 0,000 0, ,017 0,005 0,001 0,000 0,021 0,006 0,001 0,021 0,005 0, ,115 0,045 0,015 0,004 0,141 0,057 0,015 0,141 0,045 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,627 0,804 0,911 0,972 0,562 0,763 0,910 0,562 0,805 0, ,315 0,530 0,719 0,880 0,236 0,459 0,719 0,236 0,530 0, ,112 0,257 0,445 0,684 0,062 0,190 0,444 0,062 0,257 0, ,030 0,091 0,205 0,427 0,011 0,054 0,205 0,011 0,091 0, ,006 0,023 0,069 0,204 0,001 0,010 0,069 0,001 0,023 0, ,001 0,004 0,017 0,073 0,000 0,001 0,017 0,000 0,004 0, ,000 0,001 0,003 0,019 0,000 0,000 0,003 0,000 0,001 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 I tabell 4.3a beräknas sannolikheten att antalet respondenter som föredrar ett visst objekt är lika med antalet i förta kolumnen eller är ett antal som avviker lika mycket eller mer från halva urvalsstorleken. Sannolikheten för 13 respondenter i tabell 4.3 a anger således sannolikheten att antingen 7 eller färre föredrar objekt v eller att 13 eller fler gör det. Därmed blir sannolikheterna symmetriska kring 10. Dessa sannolikheter kommer vi att använda som p-värden för det dubbelsidiga betingade et. I sista kolumnen visas p-värden från det dubbelsidiga et som en jämförelse. Tabell 4.3 b anger samma typ av P-värden för urvalsstorleken 60. För denna typ av dubbelsidiga p-värden vid andra urvalsstorlekar se appendix 2. 10

14 Eftersom vi nästan alltid förkastar nollhypotesen på den övre delen av fördelningen, dvs att fler än hälften föredrar det objekt som hamnat högst i rangordningen, blir p-värdena på den nedre halvan av tabellen snarlika p-värdena från den enkelsidiga en. P- värdena på övre halvan av tabellen blir en spegelbild av p-värdena på nedre halvan. I praktiken innebär detta sätt att definiera ett dubbelsidig att vi kommer att få ifikans i exakt samma situationer som det enkelsidiga et ger ifikans så länge vi förkastar på den övre delen av fördelningen. Detta dubbelsidiga ger dock en möjlighet, om än väldigt osannolik, att förkasta även i nedre delen. Om vi skulle ha ett urval där endast 6 respondenter föredrar objektet på plats fyra i urvalets rangordning före objektet på sista platsen kommer det dubbelsidiga ets p-värde att bli 0,030 och det enkel ets p-värde blir 1. Detta fall inträder om de respondenter som föredrar objekt fem sällan har några av de övriga tre objekten mellan fyran och femman, medan de som föredrar objekt fyra ofta har de tre andra objekten mellan fyran och femman. I det fallet är det dubbelsidiga et att föredra om vi vill att de övriga tre objekten inte ska påverka jämförelsen mellan fyran och femman. Eftersom detta är ett mycket osannolikt fall blir det dock i praktiken oftast egalt om vi väljer enkelsidigt eller dubbelsidigt. Därmed är det betingade et också robust mot att analytikern använder enkelsidigt för att sänka sitt p-värde och baserar olikhetstecknet på urvalets deskriptiva statistik. Tabell 4.3a P-värden för antalet respondenter som föredrar objektet på plats v urvalsstorlek 20, dubbelsidig text. Plats i rangordningen Tecken v w Antal respondenter 0 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,001 0,003 0,019 0,000 0,000 0,003 0,000 0,001 0,000 0, ,001 0,004 0,017 0,073 0,000 0,001 0,017 0,000 0,004 0,001 0, ,006 0,023 0,069 0,205 0,001 0,010 0,069 0,001 0,023 0,006 0, ,030 0,091 0,205 0,427 0,011 0,054 0,206 0,011 0,091 0,030 0, ,113 0,257 0,445 0,685 0,063 0,191 0,445 0,064 0,257 0,113 0, ,332 0,535 0,720 0,880 0,257 0,465 0,721 0,257 0,535 0,332 0, ,743 0,849 0,926 0,975 0,703 0,820 0,926 0,703 0,849 0,744 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,743 0,849 0,926 0,975 0,703 0,820 0,926 0,703 0,849 0,744 0, ,332 0,535 0,720 0,880 0,257 0,465 0,721 0,257 0,535 0,332 0, ,113 0,257 0,445 0,685 0,063 0,191 0,445 0,064 0,257 0,113 0, ,030 0,091 0,205 0,427 0,011 0,054 0,206 0,011 0,091 0,030 0, ,006 0,023 0,069 0,205 0,001 0,010 0,069 0,001 0,023 0,006 0, ,001 0,004 0,017 0,073 0,000 0,001 0,017 0,000 0,004 0,001 0, ,000 0,001 0,003 0,019 0,000 0,000 0,003 0,000 0,001 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 11

15 Tabell 4.3b P-värden för antalet respondenter som föredrar objekt v urvalsstorlek 60, dubbelsidig text. Plats i rangordningen Tecken v w Antal respondenter 13 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,001 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,001 0,008 0,000 0,000 0,001 0,000 0,000 0,000 0, ,000 0,001 0,003 0,020 0,000 0,000 0,003 0,000 0,001 0,000 0, ,000 0,002 0,008 0,042 0,000 0,000 0,008 0,000 0,002 0,000 0, ,001 0,005 0,019 0,083 0,000 0,002 0,019 0,000 0,005 0,001 0, ,003 0,013 0,043 0,149 0,001 0,005 0,043 0,001 0,013 0,003 0, ,008 0,031 0,088 0,245 0,002 0,015 0,088 0,002 0,031 0,008 0, ,021 0,068 0,164 0,370 0,007 0,038 0,163 0,007 0,067 0,021 0, ,048 0,133 0,274 0,514 0,021 0,086 0,274 0,021 0,132 0,048 0, ,101 0,236 0,417 0,659 0,057 0,173 0,417 0,057 0,235 0,101 0, ,197 0,378 0,577 0,787 0,134 0,306 0,577 0,133 0,378 0,196 0, ,351 0,551 0,730 0,884 0,280 0,483 0,731 0,280 0,550 0,351 0, ,573 0,733 0,858 0,948 0,514 0,685 0,858 0,513 0,733 0,572 0, ,851 0,912 0,957 0,986 0,827 0,895 0,957 0,827 0,913 0,850 0, ,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1, ,851 0,912 0,957 0,986 0,827 0,895 0,957 0,827 0,913 0,850 0, ,573 0,733 0,858 0,948 0,514 0,685 0,858 0,513 0,733 0,572 0, ,351 0,551 0,730 0,884 0,280 0,483 0,731 0,280 0,550 0,351 0, ,197 0,378 0,577 0,787 0,134 0,306 0,577 0,133 0,378 0,196 0, ,101 0,236 0,417 0,659 0,057 0,173 0,417 0,057 0,235 0,101 0, ,048 0,133 0,274 0,514 0,021 0,086 0,274 0,021 0,132 0,048 0, ,021 0,068 0,164 0,370 0,007 0,038 0,163 0,007 0,067 0,021 0, ,008 0,031 0,088 0,245 0,002 0,015 0,088 0,002 0,031 0,008 0, ,003 0,013 0,043 0,149 0,001 0,005 0,043 0,001 0,013 0,003 0, ,001 0,005 0,019 0,083 0,000 0,002 0,019 0,000 0,005 0,001 0, ,000 0,002 0,008 0,042 0,000 0,000 0,008 0,000 0,002 0,000 0, ,000 0,001 0,003 0,020 0,000 0,000 0,003 0,000 0,001 0,000 0, ,000 0,000 0,001 0,008 0,000 0,000 0,001 0,000 0,000 0,000 0, ,000 0,000 0,000 0,003 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,001 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0, ,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 0,000 Av platsskäl utlämnas en del av de rader som enbart innehåller nollor. Hur förhåller sig då det betingade ets p-värden till ets p-värden? Vi utgår ifrån ett dubbelsidigt. Antag att man har en urvalsstorlek om 20 personer och väljer ut ett par objekt att a efter att ha tittat på deskriptiv statistik från sitt urval. Antag också att 14 respondenter föredrar objektet på plats v i urvalets rangordning. P-värdet i vanligt dubbelsidigt blir då 0,115. I det här fallet kommer det dubbelsidiga betingade et att ge lägre p- värde än det vanliga et i alla fall utom där de båda objekten ligger på 1 a respektive 4 e, 1 a respektive 5 e eller 2 a respektive 5 e plats i urvalets rangordning. Betingning leder alltså till att vi kommer att få 12

16 svårare att förkasta nollhypotesen om objekten ligger långt ifrån varandra men lättare att göra det om de ligger nära jämfört med den traditionella beräkningen av P-värden för et. Den föreslagna metoden för på rangordning är därmed enligt följande: Be respondenterna rangordna objekten från det objekt de anser ha den högsta kvaliteten till det objekt de anser ha den lägsta. Rangordna samtliga objekt i undersökningen utifrån respondenternas genomsnittliga rangtal. För de kombinationer som väljs ut för att as räknas antalet respondenter som föredrar det av de båda objekten som hamnade högst i urvalets rangordning. Därefter kan man avläsa ett p-värde ur de tabeller som redovisas här på objektens plats i rangordningen. Om man väljer det restriktivt betingade et används dock detta värde endast när det är högre än det vanliga ets p-värde. Om det uppstår ties i urvalets rangordning, dvs om två objekt får exakt samma genomsnittliga rangtal föreslår vi ett dubbelsidigt vanlig mellan dessa båda objekt. Ett svårare avgörande blir det när ett av tie objekten ska jämföras med ett annat objekt. Om exempelvis första och andra objektet i urvalets rangordning har samma rangtal och man vill a ett av dessa mot objektet på plats 3 är det svårt att avgöra om man ska använda p-värdet för jämförelse mellan objekt 2 och 3 eller för jämförelse mellan objekt 1 och 3. Om man väljer att utvärdera från 1 och 3 får man högre p värden än om man väljer att utvärdera från 2 och 3. Vill man vara mer restriktiv väljer man därför att använda 1 och 3. Att använda medelvärdet mellan dem kan vara en kompromiss. I våra simuleringar görs detta val slumpmässigt vilket innebär att våra resultat bör hamna mitt emellan de resultat man får givet det valet. Och ganska nära resultatet av att använda medelvärdet mellan dem. Dessutom händer det så pass sällan att det uppstår ties att valet av strategi inte bör ha haft någon större påverkan på resultatet i Monte Carlo-simuleringarna. 13

17 5 Utvärdering av olika varianter av vid analys av rangordningar I detta avsnitt redovisas en Monte Carlo- studie för att utvärdera olika varianter av parvisa för att avgöra vilka objekt som är populärare än andra. Vi utvärderar det vanliga et och det betingade et i båda fallen med eller utan -justering. Om ej annat anges baseras simuleringarna på repetitioner. Grundproblemet här är alltså att om vi börjar med att ta fram en deskriptiv statisk av vårt urval med medelrangtal för de olika objekten finns det en frestelse att välja ut de objekt som avviker mest ifrån varandra eftersom det verkar mest sannolikt att vi då kan visa en skillnad. Avsnitt 5.1 illustrerar det problemet genom att beräkna frekvens urval som aktigt förkastar en sann nollhypotes givet den strategin. I avsnitt 5.2 och 5.3 väljer vi strategin att a alla möjliga kombinationer av objekt. I avsnitt 5.2 studeras fallet då populationen är indifferent mellan samtliga objekt. Urvalens rangordningar slumpas fram på ett sätt där alla möjliga rangordningar har samma sannolikhet. I avsnitt 5.3 studeras fallet där vissa objekt är populärare än andra. Där slumpas rangordningarna fram genom att rangordna slumptal genererade från fördelningar med olika medelvärden. Avsnitt 5.4 utvärderar strategin att a de objekt som hamnat intill varandra i urvalets rangordning, givet att nollhypotesen är uppfylld och i 5.5 görs motsvarande för populationer som ej är indifferenta mellan samtliga objekt. Syftet med 5.2 och 5.3 är dels att kunna utvärdera det enskilda ets egenskaper genom att varje kombination redovisas, dels att visa behovet av -justering om man faktiskt väljer att a alla kombinationer. Syftet i 5.4 och 5.5 är att utvärdera strategin att endast a intilliggande objekt. Genom att minska totala antalet er krävs inte lika stor -justering vilket leder till en större styrka, genom att välja just dessa objekt minskar styrkan, åtminstone i det vanliga et, eftersom de har lägsta sannolikheten att bli ifikanta. Därmed kan det vara intressant att se om denna strategi ger en större eller lägre styrka än strategin att a alla kombinationer. 5.1 Frestelsen att a den största avvikelsen Hur påverkas ets faktiska storlek om vi väljer ut de objekt vars genomsnittliga rangtal avviker mest ifrån varandra? Tabell 5.1 redovisar frekvensen förkastade sanna nollhypoteser vid ett antal olika urvalsstorlekar vid av objekt på plats 1 mot objekt på plats 5 i urvalets rangordning. Tabell 5.1 Frekvens förkastade sanna nollhypoteser vid av objekt på plats 1 mot objekt på plats 5 Vanligt Urvalsstorlek 1 % 5 % 1 % 5 % 20 1,9 20,5 0,3 1,9 60 4,4 14,9 0,8 4, ,7 20,2 0,7 4,0 Vi ser som väntat att sannolikheten att aktigt förkasta nollhypotesen ligger långt över ifikansnivån om vi använder ett vanligt. Givet att vi har gluttat på våra data kan vi därför inte på ett tillförlitligt sätt a dessa objekt med det vanliga et. Samtidigt är det kanske just dessa båda objekt vi vill a, om de andra objekten ser ut att vara relativt lika. Fördelen med det betingade et är att det ger oss en möjlighet att a dessa objekt även efter det 14

18 att vi tittat på vår deskriptiva statistik. Vi ar helt enkelt om skillnaden mellan dem är så stor att vi vågar förkasta nollhypotesen trots att vi valt ut att a det bästa objektet mot det sämsta. I tabell 5.1 ser vi att det betingade ets storlek ligger under ifikansnivån även om vi medvetet ar första objektet mot det sista. 5.2 Test av samtliga kombinationer under antagandet att H0 är sann I tabell redovisas det individuella ets faktiska storlek, familywise error rate (FWER), dvs. andelen urval med minst ett ifikant för dubbelsidiga er vid urvalsstorleken 60 samt andelen urval med ett visst antal ifikanta. FWER redovisas dels för samtliga urval och dels uppdelat på om urvalen gav ifikans i Friedmans eller ej visar motsvarande resultat för enkelsidiga er. Storleken på de individuella dubbelsidiga et och betingade et är något lägre än vald ifikansnivå. Detta beror på att fördelningarna är diskreta. Det finns inget antal respondenter som exakt svarar mot en ifikansnivå på 5 %. Tabell samtliga 10 er utförs, H0 sann, n = 60, 2-tailed 1 % ifikansnivå 5 % ifikansnivå Vanligt vanligt Vanligt vanligt Betingad Det individuella ets faktiska storlek, procent 0,6 0,7 0,0 0,1 2,7 3,7 0,3 0,3 Familywise error rate, FWER, procent Samtliga 5,5 6,0 0,4 0,5 21,2 25,7 2,4 2,9 Friedman. 90,1 88,7 23,1 23,5 97,9 97,7 33,9 19,5 Friedman ej. 4,7 5,2 0,2 0,3 17,3 22,0 0,8 2,0 Antal ifikanta, procentuell andel av urvalen 0 94,5 94,0 99,6 99,5 78,8 74,3 97,6 97,1 1 5,0 5,2 0,4 0,5 16,3 18,1 2,3 2,9 2 0,5 0,7 0,0 0,0 3,9 5,3 0,1 0,0 3 0,1 0,1 0,0 0,0 0,8 1,7 0,0 0,0 4 0,0 0,0 0,0 0,0 0,1 0,5 0,0 0,0 5 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 För såväl det vanliga om det betingade et krävs -justering för att få en FWER som understiger ifikansnivån. I de icke justerade en är FWER knappt 10 gånger så stor som de individuella ernas storlek. Vi kan se att justeringen i det här fallet är aningen restriktiv. FWER i de justerade erna understiger storleken på det individuella et. I de urval där Friedman ger ifikans ser vi att de obetingade en hittar minst ett ifikant par i den absoluta majoriteten av fallen. -justering leder dock till att andelen av dessa urval där vi hittar minst ett ifikant par sjunker rejält. 15

19 Tabell samtliga 10 er utförs, H0 sann, n = 60, 1-tailed 1 % ifikansnivå 5 % ifikansnivå Vanligt vanligt Vanligt vanligt Betingad Det individuella ets faktiska storlek, procent 1,4 0,7 0,1 0,1 9,3 3,7 0,6 0,3 Familywise error rate, FWER, procent Samtliga 11,5 6,0 1,0 0,5 54,3 25,8 5,6 2,5 Friedman. 98,8 88,2 42,3 25,2 100,0 97,8 59,5 30,3 Friedman ej. 10,6 5,3 0,6 0,3 52,0 22,1 2,8 1,0 Antal ifikanta, procentuell andel av urvalen 0 88,5 94,0 99,0 99,5 45,7 74,2 94,4 97,5 1 9,7 5,2 1,0 0,5 29,4 18,2 5,1 2,2 2 1,5 0,7 0,0 0,0 15,2 5,3 0,5 0,2 3 0,2 0,1 0,0 0,0 6,8 1,7 0,0 0,0 4 0,0 0,0 0,0 0,0 2,3 0,5 0,0 0,0 5 0,0 0,0 0,0 0,0 0,6 0,1 0,0 0,0 För det vanliga enkelsidiga et är storleken större än ifikansnivån. Detta är en illustration av att man ej bör bestämma riktningen på ett enkelsidigt utifrån deskriptiv statistik i sitt urval. Gör man det blir p-värdet inte tillförlitligt. För det betingade et får vi i stort sett samma storlek vid dubbelsidigt som enkelsidigt, vilket illustrerar att vi i det fallet (nästan) alltid förkastar på samma. Eftersom vi här betingar ets p-värde på den deskriptiva statistiken är det inte ett problem att bestämma riktningen på mothypotesen utifrån densamma. I resten av uppsatsen kommer endast dubbelsidiga hypoester att redovisas. Motivet till det är att resultaten ändå sammanfaller för de betingade en och att enkelsidiga inte bör användas för vanliga utan någon relevant förhandsinformation om vilken riktning et bör ha. Tabell ger motsvarande resultat för en urvalsstorlek om 20 respondenter. Kvalitativt kan vi dra liknande slutsatser. Med en lägre urvalsstorlek blir hoppen större i den diskreta fördelningen. I de flesta fall leder det till en lägre storlek på en, för den vanliga en vid 5 % ifikansnivå får vi dock en större storlek då närmast möjliga utfall ligger närmare 5 % i det fallet. ( 5 respektive 15 respondenter har p-värdet 0,041 vid vanligt dubbelsidigt ) Tabell ger motsvarande resultat för urvalsstorleken 200. Här hamnar storleken betydligt närmare ifikansnivåerna då fördelningen mer och mer liknar en kontinuerlig fördelning ju större urval vi har. De kvalitativa slutsatserna angående skillnaderna i FWER mellan de olika metoderna blir snarliga i de tre urvalsstorlekarna. 16

20 Tabell samtliga 10 er utförs, H0 sann, n = 20, 2-tailed 1 % ifikansnivå 5 % ifikansnivå Vanligt vanligt Vanligt vanligt Betingad Det individuella ets faktiska storlek, procent 0,3 0,3 0,0 0,0 4,2 1,9 0,3 0,2 Familywise error rate, FWER, procent Samtliga 2,4 3,0 0,4 0,4 30,1 15,0 2,4 2,1 Friedman. 70,6 67,9 23,4 18,8 99,8 85,0 33,4 28,4 Friedman ej. 1,8 2,4 0,2 0,2 26,7 11,5 0,9 0,8 Antal ifikanta, procentuell andel av urvalen 0 97,6 97,0 99,6 99,6 69,9 85,0 97,6 97,9 1 2,2 2,7 0,4 0,4 21,3 11,8 2,2 1,9 2 0,1 0,3 0,0 0,0 6,6 2,4 0,1 0,1 3 0,0 0,0 0,0 0,0 1,8 0,6 0,0 0,0 4 0,0 0,0 0,0 0,0 0,4 0,1 0,0 0,0 5 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 Tabell samtliga 10 er utförs, H0 sann, n = 200, 2-tailed 1 % ifikansnivå 5 % ifikansnivå Vanligt vanligt Vanligt vanligt Betingad Det individuella ets faktiska storlek, procent 0,9 0,8 0,1 0,1 4,0 4,2 0,4 0,4 Familywise error rate, FWER, procent Samtliga 7,7 7,3 0,8 0,7 29,3 29,4 3,4 3,6 Friedman. 95,4 89,6 36,6 29,5 99,6 98,3 42,1 22,2 Friedman ej. 6,8 6,5 0,5 0,4 25,5 25,7 1,3 2,6 Antal ifikanta, procentuell andel av urvalen 0 92,3 92,7 99,2 99,3 70,7 70,6 96,6 96,4 1 6,7 6,3 0,8 0,7 20,9 20,4 3,1 3,5 2 0,8 0,8 0,0 0,0 6,3 6,1 0,2 0,1 3 0,1 0,1 0,0 0,0 1,7 2,1 0,0 0,0 4 0,0 0,0 0,0 0,0 0,4 0,6 0,0 0,0 5 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 17

21 5.3 Utvärdering av ens styrka vid falsk H0 när samtliga kombinationer as För att generera ett datamaterial där populationen har en relativt svag preferens för ett av objekten men är indifferenta mellan de övriga, drogs 5 slumptal från normalfördelningar med standardavvikelsen 1. För objekt A drogs ett slumptal ur en normalfördelning med medelvärde 1,2. För objekt B, C, D och E drogs slumptalen från normalfördelningar med medelvärde 1. Därefter skapades rangtal baserat på storleken på slumptalet för respektive objekt. I det här fallet är således populationen indifferent mellan objekt B, C, D och E men har en preferens för objekt A. A ligger alltså på första plats i populationens rangordning men kommer att hamna på olika platser i de enskilda urvalens rangordningar. Observera alltså att bokstäverna här syftar på ett specifikt objekt och inte på det objektets plats i urvalens rangordningar. Innebörden av detta är att när vi nedan redovisar resultaten av erna mellan specifika objekt exempelvis objekt A och B kommer de att ligga på olika platser i de olika urvalsrangordningarna. I det betingade et innebär det att de utvärderas utifrån olika kolumner i P-värdes tabellen i olika urval. Och i vissa urval kommer B att ligga före A även om A rangordnas före B av hela populationen. Tabell visar andelen förkastade nollhypoteser för de olika kombinationerna av objekt vid våra olika. Här ska vi alltså förkasta nollhypotesen för de fyra kombinationer av objekt där A ingår men inte förkasta den för de övriga kombinationerna. På de fyra övre raderna är den huvudsakliga slutsatsen att samtliga er är relativt svaga med en så svag preferens i populationen, men att de ökar med större urvalsstorlek. De justerade erna är givetvis svagare. Jämförelsen mellan det vanliga och det betingade et försvåras av att deras storlek under nollhypotesen avviker. Går vi till de sanna nollhypteserna på de sista 6 raderna ser vi att -justerade en förkastar en betydligt lägre andel sanna nollhypoteser än ifikansnivån vilket förklaras av deras justeringar uppåt av P-värdena. Det vanliga et förkastar ungefär samma andel här som deras storlek när samtliga objekt var lika populära i populationen. Det betingade et förkastar dock något fler vilket beror på beroendet mellan de olika betingade erna. 18

22 Tabell Andel förkastade nollhypoteser, 1, , n=20 Jämförelse av objekt: Vanligt 1 % ifikansnivå 5 % ifikansnivå justerat Vanligt justerat justerat justerat A B 0,6 0,6 0,1 0,1 6,8 3,0 0,6 0,5 A C 0,6 0,6 0,1 0,1 6,6 3,0 0,6 0,5 A D 0,6 0,7 0,1 0,1 6,8 3,0 0,6 0,5 A E 0,6 0,6 0,1 0,1 6,7 3,0 0,6 0,5 B C 0,3 0,4 0,1 0,1 4,2 2,2 0,3 0,3 B D 0,3 0,4 0,0 0,1 4,1 2,2 0,3 0,3 B E 0,3 0,4 0,0 0,0 4,2 2,2 0,3 0,3 C D 0,2 0,4 0,0 0,0 4,2 2,1 0,2 0,3 C E 0,3 0,4 0,0 0,1 4,1 2,2 0,3 0,3 D E 0,3 0,4 0,0 0,1 4,2 2,2 0,3 0,3 Tabell Andel förkastade nollhypoteser, 1, , n=60 Jämförelse av objekt: Vanligt 1 % ifikansnivå 5 % ifikansnivå justerat Vanligt justerat justerat justerat A B 3,1 2,7 0,4 0,4 9,2 9,8 1,7 1,5 A C 3,1 2,7 0,4 0,4 9,1 9,7 1,7 1,5 A D 3,0 2,7 0,4 0,4 9,1 9,7 1,7 1,5 A E 3,0 2,7 0,4 0,4 9,1 9,7 1,7 1,5 B C 0,6 1,0 0,0 0,1 2,7 4,7 0,3 0,4 B D 0,6 1,0 0,0 0,1 2,8 4,7 0,3 0,5 B E 0,6 1,0 0,0 0,1 2,7 4,7 0,3 0,4 C D 0,6 1,0 0,0 0,1 2,7 4,7 0,3 0,5 C E 0,6 1,0 0,1 0,1 2,7 4,7 0,3 0,4 D E 0,6 1,1 0,0 0,1 2,7 4,7 0,3 0,4 Tabell Andel förkastade nollhypoteser, 1, , n=200 Jämförelse av objekt: Vanligt 1 % ifikansnivå 5 % ifikansnivå justerat Vanligt justerat justerat justerat A B 14,9 12,8 3,9 3,7 32,1 29,2 9,6 9,4 A C 15,2 13,0 4,0 3,7 32,3 29,2 9,7 9,5 A D 15,0 12,8 4,0 3,6 32,2 29,1 9,7 9,4 A E 15,1 12,9 4,0 3,7 32,3 29,2 9,7 9,5 B C 0,9 1,9 0,1 0,2 4,0 7,4 0,4 1,0 B D 0,9 1,9 0,1 0,2 4,0 7,3 0,4 1,0 B E 0,8 1,8 0,1 0,2 4,0 7,3 0,4 1,0 C D 0,9 1,8 0,1 0,2 4,0 7,4 0,4 1,0 C E 0,9 1,9 0,1 0,2 4,0 7,4 0,4 1,0 D E 0,9 1,8 0,1 0,2 4,0 7,4 0,4 1,0 19