Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar

LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK LABORATION 3 MATEMATISK STATISTIK AK FÖR F OCH FYSIKER, FMS012/MASB03, VT17 Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar Syftet med den här laborationen är att du skall bli mer förtrogen med följande viktiga områden inom matematisk statistik Stora talens lag Centrala gränsvärdessatsen Punktskattningar 1 Förberedelseuppgifter Som förberedelse till laborationen bör du läsa igenom kapitel 5, 6 och 11 samt hela laborationshandledningen. Till laborationens start har du med dig lösningar till förberedelseuppgifterna. a) Redogör för Stora talens lag. b) Redogör för Centrala gränsvärdessatsen. c) Låt X vara antal ögon vid ett tärningskast med p X (k) = 1/6 för k = 1, 2, 3, 4, 5, 6. Vilken ungefärlig fördelning har summan av antalet ögon vid n oberoende kast då n är stort? (Behövs i avsnitt 3. Centrala gränsvärdessatsen) d) Givet data x 1, x 2,...,x n som är oberoende och exponentialfördelade med väntevärde a, dvs med täthetsfunktionen 1 1 a e x/a, x 0. Härled ML- och MK-skattningarna av a. (Behövs i avsnitt 4.1. ML- och MK-skattning) e) Antag att Z N (μ, σ). Vilken fördelning har R = A + Z då A är ett reellt tal? f) Antag attφär rektangelfördelad på intervallet (0, 2π). Beräkna E(φ). (Behövs i avsnitt 5. Överlagring av vågor med samma frekvens) g) Beräkna exakta värden på E(cosφ) och E(sinφ) dåφhar fördelning enligt föregående uppgift. (Behövs i avsnitt 5. Överlagring av vågor med samma frekvens) h) Antag att X och Y är oberoende med fördelningen N (0,σ). Då kan man visa att Z = X 2 +Y 2 är Exp(1/2σ 2 )-fördelad. Använd detta för att härleda fördelningen för R = Z. (Behövs i avsnitt 5. Överlagring av vågor med samma frekvens) i) Antag att x 1, x 2,...,x n är oberoende observationer av en Rayleighfördelad s.v. med täthetsfunktion f X (x) = x b 2 e x2 /2b 2 ; x 0. Härled ML-skattningen av b. (Behövs i avsnitt 5. Överlagring av vågor med samma frekvens) 1 I kursboken används parameternλ, men här väljer vi att använda väntevärdet (och standardavvikelsen) a = 1/λ.

2 Laboration 3, Matstat AK för F och fysiker, VT17 2 Stora talens lag Stora talens lag säger att om X n är medelvärdet av n likafördelade oberoende stokastiska variabler X 1,...,X n med ändlig varians, så gäller P( X n μ X >ε) 0 då n för varjeε > 0, vilket också kan uttryckas som att X n μ X i sannolikhet. Enkelt sagt så kommer medelvärdet av n variabler att avvika från väntevärdet allt mindre då n växer. Ett sätt att illustrera detta är att kasta en tärning många gånger och se att de succesiva medelvärdena konvergerar mot väntevärdet. Simulera först 100 tärningskast. ÐÓÓÖ Ö Ò ½ ½¼¼µ ½µ Funktionen ÐÓÓÖ avrundar nedåt. Tänk ut att varje element i verkligen har en fördelning som ett tärningskast. Ett sätt att räkna ut de succesiva medelvärdena är följande. Ö ÙÑ ÙÑ µº» ½ ½¼¼µ Funktionen ÙÑ ÙÑ ger en vektor där element i är summan av de i första elementen i inparametern, i vårt fall. Notationen º» betyder elementvis division och ½ ½¼¼µ är en vektor med talen 1 t o m 100. Tänk ut att Ö innehåller de succesiva medelvärdena. Plotta dem. ÔÐÓØ Öµ Gör om alltihop med fler kast, t ex 1000 st. Ser allt ut som du väntat dig? Svar:... 3 Centrala gränsvärdessatsen Börja med att hitta på en diskret sannolikhetsfunktion med några möjliga utfall, t ex den likformiga fördelningen över 1 t o m 6, dvs ett tärningskast. Mata sedan in denna sannolikhetsfunktion i form av en vektor. Ô ¼ ½ ½ ½ ½ ½ ½» Nollan finns där för att det blir lättare att hålla reda på saker och ting om det första elementet i vektorn är sannolikheten för att utfallet är noll. Välj gärna någon annan sannolikhetsfunktion än ovanstående förslag. Rita upp sannolikhetsfunktionen med kommandot Ö. Ö ¼ Ð Ò Ø Ôµ¹½ Ôµ Funktionen Ð Ò Ø ger längden av en vektor. Som du vet kan sannolikhetsfunktionen för en summa av två oberoende diskreta stokastiska variabler beräknas genom en diskret faltning, se formelsamlingen. I Matlab finns en funktion, ÓÒÚ, som utför just en sådan faltning (faltning heter convolution på engelska). Ô¾ ÓÒÚ Ô Ôµ Ô ÓÒÚ Ô¾ Ô¾µ Ô ÓÒÚ Ô Ô µ

Laboration 3, Matstat AK för F och fysiker, VT17 3 Här blir Ô alltså sannolikhetsfunktionen för en summa av åtta stycken oberoende stokastiska variabler vardera med sannolikhetsfunktionen Ô. Rita upp dessa nya sannolikhetsfunktioner. När börjar det likna en normalfördelning? Räkna nu ut väntevärde och standardavvikelse för en stokastisk variabel med sannolikhetsfunktionen Ô. ÑÙ ÙÑ ¼ µº Ôµ Ñ ÕÖØ ÙÑ ¼ µ¹ñùµº ¾ º Ôµµ Funktionen ÙÑ ger summan av elementen i en vektor, notationen º ¾ betyder elementvis kvadrering av en vektor och ÕÖØ är kvadratroten. Vi kan nu jämföra sannolikhetsfunktionen Ô med den approximativa normalfördelning N (nμ, nσ) (där n = 4) som vi får ur centrala gränsvärdessatsen. Ö ¼ Ð Ò Ø Ô µ¹½ Ô µ ÓÐ ÓÒ ÜÜ ¼ ¼º ¼ ÔÐÓØ ÜÜ ÒÓÖÑÔ ÜÜ ÑÙ ÕÖØ µ Ñ µµ ÓÐ Ó Kommandot ÓÐ ÓÒ gör att det man ritat inte tas bort vid nästa plottning. Approximeras Ô väl av normalfördelningen? Pröva också vad som händer om Ô är en mycket sned fördelning, Ô º º º º º º º Hur många komponenter behövs det nu i summan för att fördelningen väl ska kunna approximeras med en normalfördelning? 4 Punktskattningar 4.1 ML- och MK-skattning Vi skall i den här uppgiften titta lite närmare på två av de vanligaste skattningsmetoderna i statistiken, nämligen ML- och MK-skattning. Vi skall bl.a. se att ML-skattning är ett maximeringsproblem medan MK-skattning kan ses som ett minimeringsproblem. I filen Ñ Ø Ø º Ø har vi 150 mätningar av livslängden (enhet: timmar) av en viss komponent i en bil. Livslängden hos varje komponent antages vara oberoende av varandra. Ladda in data och gör en första undersökning av livslängderna.

4 Laboration 3, Matstat AK för F och fysiker, VT17 ÐÓ Ñ Ø Ø º Ø ÔÐÓØ Ñ Ø Ø ³ ³µ Ø Ñ Ø Ø µ Vi är intresserade av att skatta väntevärdet a för komponenten. En variant att göra detta på är att göra en ML-skattning av a. För att kunna göra en ML-skattning måste vi ha en uppfattning vilken fördelning data har. Från liknande experiment som gjorts tidigare har det visat sig att fördelningen för livslängden hos en viss komponent är approximativt exponentialfördelade (med parameter a enligt förberedelseuppgift 4). Alltså, vi antar att livslängden är exponentialfördelad och ställer upp log-likelihoodfunktionen. Hur ser den ut? Svar: l(a) = ln L(a) =... Det finns en m-fil, ÅÄ ÜÔ, som beräknar l(a). Studera m-filens Matlabkommandon och förvissa dig om att den verkligen ger rätt funktion! (ØÝÔ ÅÄ ÜÔ) Rita upp l(a), då 30 a 150. Hur ser funktionen ut och vilket värde på a motsvarar MLskattningen? (Du kan zooma in på delar av figuren för att se tydligare.) Ð Ò Ô ¼ ½ ¼ ¾¼¼µ Ä ÅÄ ÜÔ Ñ Ø Ø µ ÔÐÓØ Äµ Ö Svar:... Nu går vi över och tittar på hur en MK-skattning av a ser ut. Fördelen med MK jämfört med ML är att fördelningen för data ej behöver vara känd. Börja nu med att ställa upp förlustfunktionen, Q(a). Svar: Q(a) =... Programmet Åà ÜÔ är skrivet för att beräkna Q(a). Titta på Matlabkommandona för att kolla att det stämmer! Rita ut Q(a), vilket värde på a motsvarar MK-skattningen? É Åà ÜÔ Ñ Ø Ø µ ÔÐÓØ Éµ Svar:... Både ML- och MK-skattningen av a är enkel att beräkna, se förberedelseuppgift 4). Beräkna aml och amk och jämför med dina figurer. Svar:...

Laboration 3, Matstat AK för F och fysiker, VT17 5 4.2 Skattningen a är en stokastisk variabel! Om vi skulle ta 150 nya mätningar av livslängden hos ovanstående komponenter (dvs ett nytt stickprov) så skulle skattningen av a med säkerhet bli annorlunda, dvs skattningen kan ses som en stokastisk variabel. För att illustrera detta tänker vi oss att vi tar 1000 stickprov med 150 mätningar i varje stickprov. Eftersom vi inte har 1000 riktiga stickprov så får vi nöja oss med att simulera data. Genom att utnyttja funktionen ÜÔÖÒ kan vi enkelt generera exponentialfördelade slumptal. Vi sätter själva det sanna väntevärdet till 100, dvs a = 100 ÐÔ ÜÔÖÒ ½¼¼ Ü ÜÔÖÒ ½ ¼ ½¼¼¼µ Kolonn nummer i i matrisen Ü motsvarar stickprov i. Nu skall vi skatta a för varje stickprov. Det kan göras enkelt enligt Ø Ñ Ò Üµ Element i i vektorn Ø innehåller skattningen av a för stickprov i. Plotta Ø! Hur ser det ut? Vilken ungefärlig fördelning har skattningen av a? Använd dig av kommandona Ø och ÒÓÖÑÔÐÓØ och dina nyförvärvade kunskaper om Stora talens lag och Centrala gränsvärdessatsen för att ta reda på detta.

6 Laboration 3, Matstat AK för F och fysiker, VT17 5 Rayleighfädande radiokanal En tillämpning av centrala gränsvärdessatsen 5.1 Bakgrund och viss bakomliggande teori Vid digitaltransmission över en transmissionskanal kodas 0:or och 1:or på olika sätt. När man använder modulationssystemet 2-PSK (Phase Shift Keying) kodas 0:a och 1:a först till en s.k. basbandssignal enligt följande. ( 0:a s(t) = A sin 2π t ) ( = A sin 2π t ), t [0, ), 1:a s(t) = A sin ( 2π t ) +π = A sin ( 2π t ), t [0, ), där A är amplituden på basbandssignalen och är tidsavståndet mellan sända bitar (kallas bitperioden nedan). Bitperioden är kring 5 mikrosekunder för en GSM-telefon. Vågformerna moduleras sedan, mha amplitudmodulering i en s.k. modulator, upp på bärvågsfrekvens och sänds från sändaren till mottagaren antingen via kabel eller via radio. På signalens väg mot mottagaren kommer den förutom att dämpas även att störas av bl.a. additivt brus. Som ett av de första blocken i mottagaren sitter en s.k. demodulator som modulerar ner signaler från ett snävt frekvensintervall runt rätt bärvågsfrekvens till basbandsfrekvens och sedan lågpassfiltrerar resultatet. Då har i princip basbandssignalen ovan återskapats. En modell för signalen efter demodulatorn att bli ( 0 sänd mottagen signal r(t) = A r sin 2π t ) + Y (t), t [0, ), T ( b 1 sänd mottagen signal r(t) = A r sin 2π t ) +π + Y (t), t [0, ), där Y (t) är en slumpmässig brussignal, en s.k. stokastisk process och där A r är amplituden hos den återskapade basbandssignalen. I mottagaren, efter demodulatorn, sitter en detektor som vid tidpunkten tar beslut om det var en 0:a eller 1:a som sänts. För att kunna göra det har detektorn via en känd testsignalsekvens synkroniserat sig med avseende på bitperiodernas tidslägen, en s.k. koherent detektor. Man kan visa se kurser i Stokastiska processer och Digital transmissionsteori att beslutssignalen i den optimala detektorn (dvs den detektor som minimerar P(felaktigt beslut)) vid tidpunkt är B( ) = A r + Z, om 0 sänd, B( ) = A r + Z, om 1 sänd, där bruset Z kan antas vara normalfördelat Z N (0,σ) eftersom det beror på den slumpmässiga brussignalen under hela bitperioden och hur den tagit sig in i beslutssignalen. Notera att B( ) N (A r,σ) om 0:a sänd och B( ) N ( A r,σ) om 1:a sänd, se förberedelseuppgift 5). Om B( ) > 0 beslutas att 0:a sänd och om B( ) < 0 beslutas att 1:a sänd. Som man förstår så kan bruset göra så att felaktigt beslut tas. Varför?... Hjälper det att skruva upp förstärkningen på demodulatorns utgång så att A r blir större?... Är det något annat som också blir proportionellt större?... Genom att välja A i förhållande till dämpningen i kabeln respektive radioförbindelsen så kan man se till att A r σ så att sannolikheten för felbeslut minimeras. Tyvärr betyder en stor amplitud mycket signalenergi så därför måste man i verkligheten göra en kompromiss mellan signalenergi och sannolikheten för felaktigt beslut. Vid goda överföringsförhållanden kan man dock passa på att s.k. adaptivt minska signalenergin men ändå bibehålla en låg s.k. bitfelshalt. I en radiokanal får man utöver dämpning p.g.a. långa sträckor eller hinder även dämpning av den mottagna signalen p.g.a s.k. flervägsutbredning, även kallad snabb fädning (fading på engelska).

Laboration 3, Matstat AK för F och fysiker, VT17 7 På vägen från radiosändaren till radiomottagaren kommer radiosignalerna att ta olika långa vägar genom luften (en viss del av signalen kommer att ta raka vägen från sändaren till mottagaren, medan andra kommer att studsa mot marken och byggnader etc.) och anlända vid mottagaren med olika faslägen. Därför kommer de flervägsutbredda radiosignalerna att interferera med varandra vid mottagarantennen. Flervägsutbredningsförhållandena kan ändras under en bitperiod, om mottagare och sändare rör sig snabbt i förhållande till varandra eller om reflekterande föremål av betydelse rör sig snabbt, t.ex. lågflygande flygplan, vingar hos vindkraftverk, passerande bilar. Detta bortser vi dock från i teorin nedan. Om bärvågens frekvens är ca 1 GHz så kommer en bitperiod på ca 5 mikrosekunder att omfatta ca fem tusen perioder hos bärvågen. De skillnader i gångtid som uppstår mellan de flervägsutbredda radiosignalerna kan därför vara så stora att de ger interferensfenomen på bärvågsfrekvensen utan att de behöver vara så stora att signaler utsända under en bitperiod nämnvärt påverkar den mottagna signalen under nästa bitperiod. Sådana skillander i gångtid och motsvarande fasläge hos ett stort antal adderade vågor och hur deras resulterande amplitud blir skall vi nu studera i nästa avsnitt. 5.2 Överlagring av vågor med samma frekvens - En tillämpning av centrala gränsvärdessatsen Antag att vi adderar ett stort antal vågor, t.ex. ljus eller ljudvågor, som alla har samma amplitud, A och frekvens f, men där faserna kan vara olika, S N (t) = A sin(2πft +φ k ), därφ k är oberoende rektangelfördelade stokastiska variabler på intervallet 0 till 2π. Om vi använder additionsreglerna för trigonometriska funktioner får vi S N (t) = A cosφ k sin(2πft)+ A sinφ k cos(2πft) = = A sin(2πft) cosφ k + A cos(2πft) sinφ k. I förberedelseuppgifterna har du visat att E(cosφ k ) = E(sinφ k ) = 0. Vidare gäller det att E(cos 2 φ k ) = 2π 0 cos 2 φ k 1 2π dφ k = 1 2, V (cosφ k ) = E(cos 2 φ k ) (E(cosφ k )) 2 = 1 2. På samma sätt följer att V (sinφ k ) = 1 2. Eftersom vi har överlagrat ett stort antal vågor kan vi utnyttja Centrala Gränsvärdessatsen som ger att summorna ovan är approximativt normalfördelade X N = A cosφ k Y N = A sinφ k N N (0, A 2 ), N N (0, A 2 ). Vidare gäller det att C( N i=1 cosφ i, N j=1 sinφ j) = 0.

8 Laboration 3, Matstat AK för F och fysiker, VT17 Att kovariansen verkligen blir 0 kan man övertyga sig om genom följande beräkning C( cosφ i, sinφ j ) = i=1 j=1 = C(cosφ i, sinφ j ) = i=1 j=1 E(cosφ j sinφ j ) = 0, j=1 C(cosφ j, sinφ j ) = j=1 eftersom E(cosφ j sinφ j ) = 2π 1 0 cosφ j sinφ j 2π dφ j = 2π 1 0 2 sin 2φ 1 j 2π dφ j = 0. Notera att C(cosφ i, sinφ j ) = 0 då i j, eftersom fasvinklarna är en följd av oberoende stokastiska variabler. (Dubbelsumman ovan kan alltså reduceras till en enkel summa.) Då summorna är approximativt normalfördelade med kovariansen 0, kan vi anta att de också är oberoende. Nu följer det att S N (t) = X N sin(2πft)+y N cos(2πft) = XN 2 + Y N 2 cos(2πft +ψ) = A N cos(2πft +ψ), där A N = X 2 N + Y 2 N, cosψ = Y N X 2 N + Y 2 N, sinψ = X N X 2 N + Y 2 N. Nu är X N och Y N approximativt normalfördelade och oberoende. Enligt förberedelseuppgifterna gäller det att A N = XN 2 + Y N 2 är Rayleighfördelad med täthetsfunktionen f AN (x) = x x2 e 2b b2 2, där b 2 = A 2 N 2. Vi ser här att signalamplituden (A N ), som motsvarar A r i radiofallet i förra stycket, kan bli väldigt liten vid olyckliga omständigheter vilket gör att sannolikheten för felaktigt beslut kan bli mycket stort. För att komma runt sådana problem blir man tvungen att använda sig av någon typ av felkorrigerande kod som klarar av att rätta till enstaka felaktiga beslut. Vi skall inte diskutera kodningsteori mer här, utan vi hänvisar den intresserade till kurser i Radiosystem och Radioteknik, Digital transmissionsteori, Informationsteori och Kodningsteknik.

Laboration 3, Matstat AK för F och fysiker, VT17 9 5.3 Uppgift På institutionen för tillämpad elektroteknik har det gjorts flera mätningar på flervägsutbredning. Den mätning som vi skall titta på har gjorts enligt följande. En lång känd testsekvens har sänds från en radiosändare (bärvågsfrekvens 1800 MHz). Man har sedan gått omkring med en mobil mottagare och mätt upp mottagen signalstyrka i mobilen (enhet: db). Avståndet mellan sändare och mottagare har varit ungefär konstant så att mottagen signalstyrka skulle varit konstant om inte flervägsutbredningen funnits. Vidare har den utsända signaleffekten varit stor så att bruset Z kan försummas, dvs variationen i mottagen signalstyrka beror bara på flervägsutbredningen. I filen Ò finns de data du skall titta på. Endast amplituden visas, dvs vi är inte intresserad om det är 0 (+R) eller 1 ( R) som är sänd utan bara amplituden R. Eftersom mätningarna har enheten db (standard inom radiovärlden) så får vi transformera dem till linjär skala innan vi kan undersöka fördelningen för mottagen signalstyrka. ÐÓ Ò Ò ½¼º Ò»½¼µ ÔÐÓØ Ò µ Plotta histogrammet (kom ihåg att normera så att histogrammet kan jämföras med teoretisk täthetsfunktion vars area under funktionen är 1) och jämför med olika Rayleighfördelningar. Funktionen Ö ÝÐÔ ger dig täthetsfunktionen för en Rayleighfördelning ÐÔ Ö ÝÐÔ Ü ¼ º½ ½ Ö ÝÐÔ Ü µ Ò Ü Ø Ò Üµ Ø Ò» Ð Ò Ø Ò µ º½µ ÔÐÓØ Ü Ü Ø ³ ³µ ºººº Ö ÝÐÔ Ü µ º º º Vilken Rayleighfördelning ser ut att passa bäst? I stället för att leta sig fram bland lämpliga värden på b bör man man i stället göra en ML-skattning av b. Bestäm denna (se förberedelseuppgift 4)). Ser det ut som om mottagen signalstyrka är Rayleighfördelad, dvs är det rimligt att använda denna modell som är baserad på centrala gränsvärdessatsen?