Datorövning 1: Fördelningar

Transkript

1 Lunds tekniska högskola Matematikcentrum Matematisk statistik FMS012/MASB03: MATEMATISK STATISTIK, 9 HP, VT-17 Datorövning 1: Fördelningar I denna datorövning ska du utforska begreppen sannolikhet och fördelningar genom numeriska exempel i Matlab. Du behöver en Matlab-installation som inkluderar Statistics Toolbox. De extra filer du behöver finns att ladda ner från kursens hemsida fms012/f 1 Förberedelseuppgifter 1. Läs igenom denna handledning. 2. Förvissa dig om att du förstår vad täthetsfunktion och fördelningsfunktion är och hur de förhåller sig till varandra. 3. Redovisas vid laborationens start! Skriv upp täthetsfunktionen för X N (μ, σ)-fördelad s.v. och skissa upp den. Ange väntevärde och standardavvikelse för X. 4. Redovisas vid laborationens start! Om X har en standardnormalfördelning, vad är då μ och σ? 2 Relativa frekvenser och fördelningar I denna del ska vi använda numeriska exempel i Matlab för att studera koncepten sannolikhet och fördelning. Målet är att du ska få en intuitiv känsla för sannolikhetsresonemang, snarare än att konfronteras med teori. Data-undersökning För att illustrera syftet använder vi artificiella data som är simulerade från en statistisk fördelning. Detta i motsats till verkliga data där det inte finns några etiketter som säger vilken fördelning det är. Trots att vi vet hur data genererades är det ändå användbart och man använder ofta simulerade data i skattningar och test i mer komplicerade situationer. För att skaffa dig ett slumpmässigt dataset med 50 värden, skriv >> data=randn(1,50) Uppgift: Vilken fördelning kommer ditt slumpmässiga stickprov från (använd help randn)? Vilka värden har parametrarna i den? Skriv ner täthetsfunktionen.

2 2 DATORÖVNING 1, FMS012/MASB03 VT-17 En god regel, när man står inför ett nytt datamaterial, är att rita upp det på några olika sätt. Vi börjar med att göra ett histogram: >> hist(data) Uppgift: Ser det ut som du väntade dig? Jämför med täthetsfunktionen. Använd nu kommandot >> figure(2) % Ritar i ett nytt fönster >> plot(data,'.') och relatera det till histogrammet. Uppgift: Jämför histogrammet med ploten. Hur syns egenskaperna hos data i histogrammet, och tvärtom? Ett annat sätt är att rita de sorterade data, med ordningsnumret på y-axeln: >> figure(3) >> plot(sort(data),1:length(data),'.') Uppgift: Jämför denna plot med figure(1) och figure(2). Hur hänger de ihop med varandra? Uppgift: Välj ut några datapunkter i figure(2) och försök hitta dem i de andra två figurerna. I figure(3) kan vi t.ex. avläsa hur många av observationerna som är mindre än eller lika med ett visst tal. Uppgift: Välj x = 1.1 och försök avgöra i figuren (det går att zooma) hur många av värdena som är mindre än eller lika med 1.1. När antalet observationer i stickprovet ökar kan vi tolka kvoten som sannolikheten att få ett värde mindre än eller lika med x. Kvoten kan beräknas så här: >> ratio = sum(data<=1.1) / length(data) Uppgift: Stämmer det med din uppskattning från figuren?

3 DATORÖVNING 1, FMS012/MASB03 VT-17 3 För att förstå hur data<=1.1 fungerar så jämför vi det med ursprungsdata: >> data >> data<=1.1 Vad är det som händer? Uppgift: Pröva med några andra värden på x. Hur borde andelen ändra sig när x ökar respektive minskar? Jämför med figuren. Den omvända proceduren, hitta det värde x som motsvarar en given sannolikhet, dvs en given kvantil, är ofta viktigare. Vi återkommer till det lite senare. Vi kan naturligtvis låta datorn välja ett stort antal värden att undersöka och sedan försöka få en överblick. Eftersom vi har ett ändligt antal observationer så blir antalet, eller andelen, observationer som än mindre än eller lika med ett visst x-värde en stegfunktion som vi kan rita upp: >> figure(4) >> stairs(sort(data),(1:length(data))/length(data),'-') >> grid on Figuren bör likna Figur 1 i handledningen och din egen figure(3), bortsett från y-skalan. Den visar hur värdena är fördelade och denna typ av figur kallas empirisk fördelningsfunktion (empirical distribution function 1. För ett värde på x-axeln, t.ex. 1.1, hittar vi, på y-axeln, andelen värden som är mindre än eller lika värdet på x-axeln. Uppgift: Kolla att andelen värden som är mindre än eller lika med 1.1 stämmer med det du fick fram tidigare. Större stickprov. Fördelningsfunktionen för en slumpvariabel Låt oss nu studera ett större datamaterial, t.ex observationer från samma fördelning som tidigare. Vi simulerar data och ritar dem i en ny figur: >> data=randn(1,2000); >> figure(5) >> hist(data) >> figure(6) >> stairs(sort(data),(1:length(data))/length(data),'.-') >> grid on Uppgift: Jämför histogrammet med det i figure(1). Hur förändrades det när du fick fler observationer? 1 Fördelningsfunktioner kallas ofta cumulative distribution functions.

4 4 DATORÖVNING 1, FMS012/MASB03 VT Figur 1: Empirisk fördelningsfunktion, ett exempel Uppgift: Jämför den empiriska fördelningsfunktionen med den i figure(4). Hur förändrades den? Uppgift: Vad blir nu andelen värden som är mindre än eller lika med 1.1? Med många observationer närmar sig resultatet fördelningsfunktionen, dvs, för en slumpvariabel X, funktionen F X (x) = P(X x). I vårt fall valdes X från en normalfördelning; vi hade X N(0, 1). Vi ritar in den teoretiska fördelningsfunktionen, normcdf, i samma figur som de två empiriska: >> x=linspace(-4,4,500); % 500 värden jämnt fördelade mellan -4 och 4 >> figure(4) >> hold on % Fortsätt rita fler saker i samma figur. >> plot(x,normcdf(x),'r') >> hold off % Sluta rita i samma figur. >> figure(6) >> hold on % Fortsätt rita fler saker i samma figur. >> plot(x,normcdf(x),'r') >> hold off % Sluta rita i samma figur. För alla fördelningsfunktioner F X, har vi att F X (x) 1 när x och att F X (x) 0 när x. Uppgift: Tolka figuren. Vad är det på x- och y-axlarna?

5 DATORÖVNING 1, FMS012/MASB03 VT-17 5 Uppgift: Jämför hur bra de empiriska fördelningsfunktionerna följer den teoretiska i de två figurerna. Vad hände när antalet observationer ökade? Uppgift: Läs av P(X 1.1) ur den teoretiska fördelningsfunktionen i figuren och jämför med dina tidigare skattningar. Jämför också med det exakta värdet som kan fås med normcdf(1.1). Kvantiler Begreppet kvantil är viktigt. Kvantilen kan definieras på olika sätt men vi (och många andra) använder följande definition: kvantilen är det tal x α som uppfyller P(X x α ) = 1 α (1) där α är ett tal mellan 0 och 1 (vanliga val är: 0.05, 0.01, 0.001). Uppgift: Läs av kvantilen x 0.05 där α = 0.05 ur dina figurer, med hjälp av definitionen (1). Både som skattningar i de två empiriska fördelningsfunktionerna och exakt i den teoretiska. Jämför med det exakta värdet, som kan fås med norminv(1-0.05). Uppgift: Experimentera med att ändra antalet observationer. Simulera nya slumptal, rita nya histogram och empiriska fördelningsfunktioner, samt skatta P(X 1.1) och x Uppgift: Använd ett mycket litet dataset, t.ex. 5 observationer och gör om simuleringarna och skattningarna några gånger. Verkar de tillförlitliga? Uppgift: Använd ett större dataset, t.ex. 100 observationer och gör om simuleringarna och skattningarna några gånger. Verkar de mer tillförlitliga nu? Hur datasetets storlek påverkar osäkerheten i uppskattningarna kommer vi tillbaka till under hela resten av kursen. Andra fördelningar Vi ska nu rita upp några normalfördelningar, N (μ, σ), och se hur de ändrar sig när vi ändrar på parametrarna μ och σ.

6 6 DATORÖVNING 1, FMS012/MASB03 VT-17 >> close all % stäng alla gamla figurer >> x = linspace(0,10,1000); % Genererar 1000 tal jämnt utspridda % mellan 0 och 10. >> figure(1) >> plot(x,normpdf(x,2,0.5)) % N(2, 0.5) >> hold on % Lås plotten, övriga ritas i samma bild. >> plot(x,normpdf(x,7,0.5),'r') % N(7, 0.5) i rött >> plot(x,normpdf(x,5,2),'g') % N(5, 2) i grönt >> plot(x,normpdf(x,5,0.2),'y') % N(5, 0.2) i gult >> hold off % Lås upp plotten >> xlabel('x') >> title('täthetsfunktioner, f(x)') >> figure(2) >> plot(x,normcdf(x,2,0.5)) >> hold on >> plot(x,normcdf(x,7,0.5),'r') >> plot(x,normcdf(x,5,2),'g') >> plot(x,normcdf(x,5,0.2),'y') >> hold off >> xlabel('x') >> title('fördelningsfunktioner, F(x)') Uppgift: Vad händer med fördelningen när μ ändras? Vad representerar μ i fördelningen? Uppgift: Vad händer med fördelningen när σ ändras? Vad respresenterar σ i fördelningen? Uppgift: Fördelningsfunktionen är ju integralen av täthetsfunktionen. Relatera dem till varandra i figuren. Hur ändrar sig, t.ex. fördelningsfunktionen när x ligger nära μ jämfört med när x ligger långt från μ? Hur ser täthetsfuktionen ut då (stor eller liten?) Uppgift: Experimentera med andra värden på μ och σ och se vad som händer. Du kan behöva ändra x för att för att få plats i figuren (tips: det allra mesta av en normalfördelning ryms inom μ ± 4σ). Jfr. Uppgift 6.7: Elförbrukningen (kwh) vid en kemisk tillverkningsprocess varierar från dag till dag som en s.v. X N (180, 5). Uppgift: Rita upp fördelningsfunktionen för X och avläs sannolikheten att elförbrukningen en viss dag är minst 170 kwh. Jämför med det exakta värdet 1-normcdf(170,180,5).

7 DATORÖVNING 1, FMS012/MASB03 VT-17 7 Uppgift: Utnyttja figuren för att bestämma P(170 X 195). Jämför med exakta värdet normcdf(195,180,5)-normcdf(170,180,5). Uppgift: Läs av 1 %-kvantilen för elförbrukningen i figuren. Jämför med det exakta värdet norminv(1-0.01,180,5).