Statistiska metoder för säkerhetsanalys

Transkript

1 F10: Intensiteter och Poissonmodeller

2 Frågeställningar Konstant V.v.=Var Cyklister Poissonmodeller för frekvensdata Vi gör oberoende observationer av de (absoluta) frekvenserna n 1, n 2,..., n k från den s.v. N. Exempel: N = antal olyckor under ett år. N = antal orkaner under ett år. N = antal fel på ett system under en månad. Ibland har vi ett tidsperspektiv, dvs n 1,..., n k är uppmätta i tidsperioderna efter varandra. Exempel: n 1,..., n 10 = antal olyckor under år 2000, 2001,..., 2009.

3 Frågeställningar Konstant V.v.=Var Cyklister Frågeställningar: Antag att E(N) är konstant m. Vad är en lämplig fördelning för N? Kanske Po(m)? Hur kan vi testa om E(N) är konstant? Ska modellen vara N i Po(m) eller N i Po(m i ) för i = 1,..., k? Modellval med hjälp av Likelihoodfunktionen och Deviance. Hur kan vi modellera hur m i påverkas av andra variabler? Poissonregression.

4 Frågeställningar Konstant V.v.=Var Cyklister Test av Poissonfördelning konstant väntevärde Ex: MC-förare Antalet dödade MC-förare (och passagerare) i Sverige under perioden var: Antalet omkomna mc förare (Källa: Trafikverket) år

5 Frågeställningar Konstant V.v.=Var Cyklister Ex: MC-förare (forts) Modell: N i = antal döda MC-förare år i, i = 1,..., 23 (där i = 1 betyder 1990) med E(N i ) = m i. Är det rimligt att modellera data med en Poissonfördelning med konstant intensitet, dvs N i Po(m) där m 1 =... = m 23 = m? Tänkbara test: q 2 -test. Kräver tyvärr ett större datamaterial än vi har här. Utnyttja att Po(m) N(m, m) om m > 15 och kolla om data ser normalfördelade ut. Vi har m = i=1 n i = 41.9 > 15 så det borde fungera. Utnyttja att i en Poissonfördelning gäller att E(N) = V(N) = m så att vi borde få x/s 2 1.

6 Frågeställningar Konstant V.v.=Var Cyklister Ex: MC-förare (forts): Ungefär normalfördelat? Probability Normal Probability Plot Data Ja, det ser hyfsat normalfördelat ut så det är inte uppenbart fel med en Poissonfördelning.

7 Frågeställningar Konstant V.v.=Var Cyklister Ex: MC-förare (forts): Är väntevärdet och variansen lika stora? Utnyttja att i en Poissonfördelning gäller att E(N) = V(N) = m så att vi borde få (V(N)) (E(N)) = s2 x 1 k = k 1 i=1 (n i n) 2 1 k k i=1 n 1. i Gör alltså ett konfidensintervall för kvoten och undersök om det innehåller 1. Vi har x = 41.9 och s 2 = 66.8 så det verkar inte helt lovande.

8 Frågeställningar Konstant V.v.=Var Cyklister Konfidensintervall för kvoten: Man kan visa att om N är approximativt normalfördelad, där m är stort, så är (k 1)s2 /s 2 (xi x) 2 m = x/m x s 2 q2 (k 1) och ett konfidensintervall för m/s 2 får genom 21 a/2 (k 1)s2 1 a = P (q (k 1) x ( x = P s 2 q2 1 a/2 (k 1) k 1 ) m s 2 q2 a/2 (k 1) ) (k 1) m s 2 x s 2 q2 a/2 k 1

9 Frågeställningar Konstant V.v.=Var Cyklister Ex: MC-förare (forts): Eftersom vi har k = 23, x = 41.9 och s 2 = 66.8 får vi ett 95 % konfidensintervall som ( ) 41.9 I m/s 2 = 66.8 q (23 1), q (23 1) 23 1 ( 41.9 = , ) 22 = (0.31, 1.05) Eftersom intervallet täcker över 1 kan vi inte förkasta att E(N) = V(N). Ja, data skulle kunna komma från en Poissonfördelning med konstant intensitet.

10 Frågeställningar Konstant V.v.=Var Cyklister Ex: Cyklister Antalet dödade cyklister i Sverige under perioden var Antalet omkomna cyklister (Källa: Trafikverket) år Är det rimligt att modellera data med en Poissonfördelning med konstant intensitet, dvs N i Po(m) där m 1 =... = m 23 = m?

11 Frågeställningar Konstant V.v.=Var Cyklister Ex: Cyklister (forts): Ungefär normalfördelat? Probability Normal Probability Plot Data Ja, x = 43.3 > 15 och det ser hyfsat normalfördelat ut så det är inte uppenbart fel med en Poissonfördelning.

12 Frågeställningar Konstant V.v.=Var Cyklister Ex: Cyklister (forts): Är väntevärdet och variansen lika stora? Vi har x = 43.3 och s 2 = så det verkar tveksamt. Vi får ett 95 % konfidensintervall som ( ) 43.3 I m/s 2 = q (23 1) 43.3, q (23 1) 23 1 ( 43.3 = , ) 22 = (0.08, 0.25) Eftersom intervallet inte täcker över 1 kan vi förkasta att E(N) = V(N). Nej, data skulle visserligen kunna vara Poissonfördelade men intensiteten är inte konstant. Det ser ju ut som om intensiteten avtar med tiden. Hur kan vi modellera och testa det?

13 Exempel LR-test Sverige vs USA MC-förare Val mellan två modeller Vi väljer mellan två modeller, där den ena är en förenkling av den andra. Exempel: MC-förare Är antalet dödade MC-förare varje år poissonfördelat med konstant väntevärde eller varierar väntevärdena från år till år? Exempel: Cyklister Är antalet dödade cyklister varje år poissonfördelat med konstant väntevärde eller avtar väntevärdena med tiden? Exempel: Sverige vs USA År 1998 dog ca n U = personer i USA i bilolyckor. Motsvarande siffra i Sverige var ca n S = 500. Total körsträcka detta år uppskattades i USA till t U = (km) och i Sverige till t S = (km). Är det lika farligt att färdas en km i Sverige som i USA?

14 Exempel LR-test Sverige vs USA MC-förare Modellval Likelihood ratio-test (LR-test) Vi väljer mellan två modeller: Complex med parameteruppsättning j complex Simple med parameteruppsättning j simple där simple är ett specialfall av complex. Likelihoodfunktionen Likelihoodfunktionen för respektive modell är L(j complex ) = P(att få observerade data j complext ) L(j simple ) = P(att få observerade data j simple ). Det gäller att L(j complex ) > L(j simple ) men är skillnaden tillräckligt stor (statistisk signifikant) för att välja den komplexa modellen? Vi vill inte ha fler parametrar i modellen än nödvändigt.

15 Exempel LR-test Sverige vs USA MC-förare Likelihood-kvot Betrakta kvoten mellan likelihoodfunktionerna med de skattade parametrarna (maximum!): LR = L(j simple ) L(j complex ). Deviance Man kan visa att om den simpla modellen är korrekt så gäller att DEV = 2 ln(lr) = 2(ln L(j complex ) ln L(j simple )) q2 (p q), p = antal parametrar i den komplexa modellen q = antal parametrar i den simpla modellen Förkasta alltså den simpla modellen till förmån för den komplexa om DEV > q 2 a(p q).

16 Exempel LR-test Sverige vs USA MC-förare Exempel: Sverige vs USA Två tänkbara modeller: Modell 1 ( simple ) Samma intensitet: N u = antal döda i USA Po(l t u ) N s = antal döda i Sverige Po(l t s ). j simple = l, q = 1. ML-skatta l. Modell 2 ( complex ) Olika intensiteter N u = antal döda i USA Po(l u t u ) N s = antal döda i Sverige Po(l s t s ). j complex = (l u, l s ), p = 2. ML-skatta l u och l s.

17 Exempel LR-test Sverige vs USA MC-förare Ex: Sverige vs USA (forts) Modell 1: ML-skattning: L(l) = P(N u = n u l) P(N s = n s l) = e ltu (lt u) nu n u! l(l) = ln L(l) = ln tnu u l(l) = n u + n s l l = n u + n s t u + t s = ts ns n u! n s! lnu+ns e l(tu+ts) e (lt s) ns lts = tnu u n s! ts ns n u! n s! + (n u + n s ) ln l l(t u + t s ) (t u + t s ) = = ln L(l ) = ln tnu u ts ns n u! n s! + (n u + n s ) ln l l (t u + t s ) = ln tnu u ts ns n u! n s! + (n u + n s ) ln l (n u + n s )

18 Exempel LR-test Sverige vs USA MC-förare Ex: Sverige vs USA (forts) Modell 2: ML-skattningar: L(l u, l s ) = P(N u = n u l u ) P(N s = n s l s ) = e (l ut lutu u ) nu n u! = tnu u ts ns n u! n s! lnu u l ns s e lsts (l st s ) ns n s! e lutu lsts l(l u, l s ) = ln tnu u ts ns n u! n s! + n u ln l u + n s ln l s l u t u l s t s l(l u, l s ) l u l(l u, l s ) l s = n u l u t u = 0 l u = n u t u = = n s l s t s = 0 l s = n s t s = = =

19 Exempel LR-test Sverige vs USA MC-förare Ex: Sverige vs USA (forts) Modell 2: Likelihood (forts) ln L(l u, l s ) = ln tnu u ts ns n u! n s! + n u ln l u + n s ln l s l ut u l s t s = ln tnu u ts ns n u! n s! + n u ln l u + n s ln l s (n u + n s ) Deviance: Modell 1 vs 2 Vi får nu jämförelsen ) DEV = 2 ln LR = 2 (ln L(l complex ) ln L(l simple ) = 2 (ln L(l u, l s ) ln L(l )) = 2 (n u ln l u + n s ln l s (n u + n s ) ln l ) =...

20 Exempel LR-test Sverige vs USA MC-förare Ex: Sverige vs USA (forts) ( DEV = ln ln ( ) ln ) = 27.1 DEV > q 2 a(p q) = q (2 1) = 3.84 Vi kan förkasta den simpla modellen på signifikansnivå 5 %. Det är alltså signifikant farligare att köra bil i USA jämfört med i Sverige. Anmärkning: DEV = 2 ln LR L complex = e 27.1/2 L simple dvs e 27.1/2 = gånger troligare att få exakt de data vi fick med den komplexa modellen jämfört med den simpla.

21 Exempel LR-test Sverige vs USA MC-förare Ex: MC-förare (igen) Vi vill testa om väntevärdet i poissonfördelningen kan vara konstant eller om varje år har ett eget väntevärde. Simple: N i Po(m). ML-skattning m = n = q = 1 Complex: N i Po(m i ). ML-skattningar m i = n i. p = 23. Resultat: DEV =... = 2 ( 23 ) n i ln n i 23 n ln n = 34.2 i=1 DEV > q 2 a(p q) = q (23 1) = 33.9 Den komplexa modellen är alltså (med nöd och näppe) signifikant bättre än den simpla. Väntevärdet är inte konstant! Man kan nog ana en liten ökning över tid. Hur kan vi avgöra det?

22 Modell Tolkning MC Cyklister Poissonregression Modellera hur m i beror på andra faktorer. Vid k tillfällen mäter vi både N och p andra variabler. N: responsvariabel (beroende variabel), N i Po(m i ) x 1,..., x p : förklarande variabler (oberoende variabler). Exempel: N = antal trafikdödade, x 1 = tiden, x 2 = antal bilar,... Modell Eftersom m i är väntevärdet i en Poissonfördelning måste den vara positiv. Det kan vi garantera med en log-linjär modell: ln m i = b 0 + b 1 x 1i b p x pi, i = 1,..., k Med p = 0 får vi ln m i = b 0 dvs m i = e b 0 = m och konstant väntevärde.

23 Modell Tolkning MC Cyklister Exempel: En förklarande variabel: Med p = 1 och en variabel x får vi modellen: ln m i = b 0 + b 1 x i m i = e b 0+b 1 x i = e b0 ( ) e b xi 1 Här kallas e b 1 för rate ratio för variabeln x. Om x ökar med 1 enhet ska väntevärdet m multipliceras med e b 1. Om b 1 = 0 är e b 1 = 1, dvs ingen förändring. Väntevärdet beror inte på x!. Om b 1 > 0 är e b 1 > 1, dvs väntevärdet ökar när x ökar. Om b 1 < 0 är e b 1 < 1, dvs väntevärdet minskar när x ökar.

24 Modell Tolkning MC Cyklister Ex: MC-förare (igen) Vi vill undersöka om antalet döda ändras (ökar eller minskar) med tiden. Modell: N t = antal döda år t, X t = tiden räknat från år 1990 = t, ln m t = b 0 + b 1 X t = b 0 + b 1 t ML-skattningen av b 0 och b 1 måste lösas numeriskt: b 0 = 3.60 eb 0 = 36.7, b 1 = eb 1 = Antalet döda MC-förare ökar med, i medeltal, 1.2 % per år.

25 Modell Tolkning MC Cyklister Ex: MC-förare (forts) 80 Antalet omkomna mc förare (Källa: Trafikverket) Observationer µ t = µ ln µ t = β 0 + β 1 t år Är ökningen signifikant?

26 Modell Tolkning MC Cyklister Ex: MC-förare (forts) Modeller: Simple: m t = m, dvs konstant (1 parameter). Komplex: ln m t = b 0 + b 1 t, dvs ändras med tiden (2 parametrar). 22 DEV =... = 2 n t (b0 + b 1 t ln m ) = 5.72 t=0 DEV > q (2 1) = 3.84 Ja, ökningen över tid är signifikant.

27 Modell Tolkning MC Cyklister Ex: Cyklister (igen) Vi vill undersöka om antalet döda ändras (ökar eller minskar) med tiden. Modell: N t = antal döda år t, X t = tiden räknat från år 1990 = t, ln m t = b 0 + b 1 X t = b 0 + b 1 t, b 0 = 4.31 eb 0 = 74.3, b 1 = eb 1 = 0.95 Antalet döda cyklister minskar med, i medeltal, 5 % per år. Är minskningen signifikant? DEV =... = > q (2 1) = 3.84 Ja, minskningen över tid är signifikant.

28 Modell Tolkning MC Cyklister Ex: Cyklister (forts) Antalet omkomna cyklister (Källa: Trafikverket) Observationer µ t = µ ln µ t = β 0 + β 1 t år