Stokastiska vektorer och multivariat normalfördelning Johan Thim johanthim@liuse 3 november 08 Repetition Definition Låt X och Y vara stokastiska variabler med EX µ X, V X σx, EY µ Y samt V Y σy Kovariansen CX, Y definieras enligt CX, Y E X µ X Y µ Y och korrelationen mellan X och Y enligt ρx, Y CX, Y σ X σ Y Både kovarians och korrelation är ett mått på linjärt beroende mellan X och Y där korrelationen är normerad så det går att jämföra olika fall Vi listar lite kända egenskaper i Om CX, Y 0 kallas X och Y för okorrelerade ii CX, Y EXY EXEY iii Om X och Y är oberoende så är CX, Y 0 iv CX, X V X m n v C a 0 + a i X i, b 0 + b j Y j i m n a i b j CX i, Y j i vi ρx, Y med likhet om och endast om det finns ett linjärt samband mellan X och Y Observera att CX, Y 0 inte nödvändigtvis innebär oberoende Låt till exempel X vara rektangelfördelad enligt X Re, och definiera Y X Uppenbarligen beroende variabler, men CX, Y EXY EXEY EX 3 0 EY EX 3 så X och Y är okorrelerade ˆ x 3 dx 0,
Vektorer av stokastiska variabler Låt X X X X n T vara en vektor vars komponenter är stokastiska variabler Vi strävar efter att skriva vektorer som kolonnvektorer Det faller sig naturligt att definiera väntevärdet av X genom väntevärdesvektorn EX EX EX EX n T På samma sätt definierar vi väntevärdet av en matris av stokastiska variabler Variansen blir lite konstigare så vi introducerar kovariansmatrisen mellan två vektorer av samma dimension Låt Y Y, Y,, Y n T och definiera CX, Y enligt c c c n CX, Y CX, Y CX, Y n c c c n CX, Y CX, Y CX, Y CX, Y n c n c n c nn CX n, Y CX n, Y CX n, Y n där c ij är kovariansen mellan X i och Y j En stor anledning att blanda in vektorer och matriser är givetvis att få tillgång till maskineriet från linjär algebra Kovariansen mellan två vektorer X och Y kan då lite mer kompakt skrivas CX, Y EX EXY EY T EXY T EXEY T, där T innebär transponering En produkt A xy T brukar kallas för den yttre produkten och består av element a ij x i y j, i, j,,, n Detta är alltså inte skalärprodukten X T Y Låt A, B R n n vara matriser Då är AX en linjärkombination av X, X,, X n och BY en linjärkombination av Y, Y,, Y n Dessutom kan alla linjärkombinationer skrivas på detta sätt Vidare gäller nu tack varje linjäriteten att EAX AEX och CAX, BY EAXBY T EAXEBY T AEXY T B T AEXEY T B T ACX, Y B T Notationen covx, Y är också vanligt förekommande, och i fallet då Y X skriver vi ofta C X covx CX, X Exempel Låt X X X T vara en stokastisk variabel med EX T och C X 4 Hitta en prediktor X ax + b så att E X EX och V X X är minimal Lösning Vi ser direkt att så a + b Vidare gäller att så V X ax b V EaX + b aex + b a + b och EX, X ax + b a X X a X X a 4 Minimum sker uppenbarligen när a, vilket ger att b 4 b, a a C X a a + 4a + 4 a +
3 Skattningar för kovarians och korrelation Om vi har ett stickprov x k, y k, k,,, n, där X k, Y k är stokastiska variabler med samma fördelning, så skattar vi kovariansen C med och korrelationen med ρ ĉ s x s y n ĉ n n x k xy k y k n n k x k xy k y n k x k x / n n k y k y / Av tradition betecknar man ofta ρ r En naturlig fråga i detta skede är om vi kan säga något om fördelningen för den skatta korrelationen under något lämpligt antagande om det slumpmässiga stickprovet Vi återkommer i fallet med normalfördelning i nästa avsnitt 4 Multivariat normalfördelning Pain has a face Allow me to show it to you Pinhead Vi har stött på den flerdimensionella normalfördelningen tidigare, men vi kan formulera det hela lite mer kompakt på följande sätt Multivariat normalfördelning Definition Vi säger att Y har en multivariat normalfördelning om det finns en konstant vektor µ R n och en konstant matris A R n m så att Y µ + AX, där X är en vektor med stokastiska variabler, X X X X m T, och X i N0, är oberoende Är definitionen vettig? Ja, den reducerar åtminstone till det förväntade resultatet om n : Y µ + σ X där X N0, Vidare gäller så klart att EY µ + EAX µ och C Y AC X A T AA T eftersom C X är identitetsmatrisen variablerna är oberoende om har varians Låt X N, Exempel Bestäm väntevärde och varians för Y X + X 3
Lösning Vi skriver Y X X T AX Då blir och Är det klart att Y N0, 5? EY AEX T 0 C Y AC X A T T 5 Sats Om Y har väntevärdesvektorn µ och en kovariansmatris Σ som uppfyller att det Σ 0 så gäller att Y har multivariat normalfördelning om och endast om Y har den simultana täthetsfunktionen f Y y, y,, y n π n/ detσ exp y µt Σ y µ, y R n Bevis Eftersom kovariansmatrisen Σ alltid är positivt semidefinit varför? och vi antar att determinanten Σ : det Σ 0, så är Σ positivt semidefinit och då finns alltid en inverterbar matris A R n n sådan att Σ AA T Definiera Y AX + µ, där X X X X n T och X k N0, är oberoende Täthetsfunktionen för X ges då av f X x, x,, x n exp π n/ xt x, x R n Enligt transformationssatsen för flerdimensionella stokastiska variabler så kommer f Y y f X A y µ dx, x,, x n dy, y,, y n eftersom X A Y µ Vi ser att jacobianen ges av så f Y y dx, x,, x n dy, y,, y n A A, π n/ A exp π n/ AAT / exp π n/ AAT / exp A y µ T A y µ y µt A T A y µ y µt Σ y µ, där vi utnyttjat att A A / A T / AA T / Omvänt, om Y är normalfördelad så säger definitionen att det finns en matris A R n m och en vektor µ R n så att Y AX + µ för X X X X m T där X k N0, är oberoende Faktum är att m n är nödvändigt då Σ AA T antas vara inverterbar, eftersom n rankaa T min{ranka, ranka T } ty vid produkter av matriser vinner alltid den med lägst rank och ranka T ranka, så ranka n eftersom vi har n kolonner Argumentet ovan visar nu att täthetsfunktionen ges av uttrycket i satsen 4
Exempel Låt X, X N0, vara oberoende och definiera Y X X, X + X Bestäm täthetsfunktionen för Y Lösning Vi skriver Y Y X A X, där A Då blir och Således blir det C Y Alltså blir ty C Y µ Y E X A X 0 AC X A T A 0 9 och y y 9 C Y 9 A 0 0 A T AA T 5 5 f Y y, y 6π exp 5y 8 y y + y 5 y y 9 5y y y + y Sats Låt Z d + BY, där Y är multivariat normalfördelad Då är även Z multivariat normalfördelad Bevis Följer direkt från definitionen Sats För Y Nµ, Σ gäller att komponenterna i Y är oberoende om och endast om Σ är en diagonalmatris under förutsättning att A är inverterbar Bevis Kravet på att A ska vara inverterbar följer av att om så icke är fallet så är fördelningen degenererad eftersom Ax 0 har oändligt många lösningar Det är alltså självklart i detta läge att komponenterna i Y inte kan vara oberoende Så antag nu att det A 0 Den ena riktningen är mer eller mindre självklar eftersom om komponenterna i Y är oberoende kommer CY i, Y j 0 för i j och CY i, Y i σi, så C Y blir en diagonalmatris Antag nu att C Y är en diagonalmatris, säg σ 0 0 0 σ 0 0 0 σn 5
Eftersom C Y AA T kommer C Y att vara inverterbar, vilket innebär att samtliga σi 0 Inversen C Y är även den en diagonalmatrisen med diagonalelementen σ i Således blir den simultana täthetsfunktionen f Y y π n/ exp det C Y y µt Σ y µ exp n y j µ j σ π n j y j µ j σ σ σ n n exp y j µ j n f Yj y j σ j π σ j Eftersom den simultana täthetsfunktionen ges av produkten av täthetsfunktionerna för Y j följer det att variablerna är oberoende 6