Bayes statistik - utan förkunskaper - utan tårar

Transkript

1 Bayes statistik - utan förkunskaper - utan tårar Lars Olsson Geostatistik AB Bayes 1 1

2 Webbinariekurs Introduktionskurs för geotekniker Webbinarium 1. Fredagen den 21 nov 2014 kl 15:00 15:30 Vad säger mig det jag ser? En introduktion med illustrerande exempel ur medicinen där vi klargör grundprinciperna. Webbinarium 2. Torsdagen den 4 dec 2014 kl 15:00 15:30* Bayes och geotekniken Hur skall jag väga ihop geoteknisk ingenjörserfarenhet och fältmätningar? * 14:45 15:00 Kort statistikrepetition Bayes 1 2

3 Sannolikhet I det här kursavsnittet behövs inga större förkunskaper i statistik. Vi kommer dock att använda ordet sannolikhet. Vi nöjer oss just nu med att säga: Sannolikhet är ett mått på hur troligt det är att ett påstående är sant Sannolikhet kan ta värden mellan 0 och 1 Gränsvärdena: 0 betyder att påståendet definitivt är falskt 1 betyder att påståendet definitivt är sant Bayes 1 3

4 Vad säger mig det jag ser? Är det svaret på min fråga? En gång* kom en man till sin läkare och frågade: Jag har fullt med utslag i ansiktet. Är det smittkoppor?!? *För länge sedan, säg före Då var fortfarande smittkoppor fortfarande en realitet Bayes 1 4

5 Hur troliga är utslagen? Läkaren svarar: Av dem som har smittkoppor får 90% utslag som ser ut som Era Den omedelbara patientreaktionen: Jag vet att jag har utslag! Vad jag vill veta är om jag har smittkoppor Bayes 1 5

6 En annan möjlighet Men säger läkaren det kan också vara vattkoppor. Utslagen ser likadana ut. Av dem som fått vattkoppor får 80% sådana utslag Patienten: Men då är det väl troligare att jag har smittkoppor än vattkoppor! Det är ju fler som får utslag om de har smittkoppor Bayes 1 6

7 Vad är troligast? Det är ungefär lika troligt att få utslagen när man har vattkoppor (80%) som när man har smittkoppor (90 %) Vad skall läkaren svara patienten? Sannolikheten att det är smittkoppor är: 90 % 90% /(90% + 80%) = 53 % Något annat, men vad? Kanske: Det är 90%/ 80% = 1,13 gånger troligare att du har smittkoppor än att du har vattkoppor Bayes 1 7

8 Läkarens funderingar och svar Läkaren inser att man måste ta hänsyn till både o hur troligt det är med utslag om man har sjukdomen och till o hur vanlig sjukdomen är Efter att ha slagit upp lite data om sjukdomars förekomst (prevalens) och lite handräknande på ett papper svarar han: Sannolikheten att det är smittkoppor när man som Ni uppvisar symptomen är 1,1% Bayes 1 8

9 Hur kommer man till det svaret? Sjukdomsstatistiken säger att sannolikheten för en slumpvist vald person att få smittkoppor är 0,001 och att sannolikheten för vattkoppor är 0,1. Intuitivt känns det som det vore troligare att det är vattkoppor. Vi väger sannolikheten att visa upp koppor (om man har sjukdomen) med sjukdomens sannolikhet 0,90 x 0,001 = 0,0009 (smittkoppor) 0,8 x 0,1 = 0,08 (vattkoppor) Vi vet att personer måste ha en av sjukdomarna, så summan av de respektive sannolikheterna måste bli 1. Vi normaliserar med summan av värdena ovan och får P(smittkoppor) = 0,0009/0,0809 = 0,011 P(vattkoppor) = 0,08/ 0,0809 = 0, Bayes 1 9

10 Beräkningsgången enligt Bayes observationer symptom förhandskunskap Likelihood P(symptom sjukdomen) àpriori-sannolikhet P(sjukdom) Bayes teorem Sammanvägning förhandskunskap och observationer àposteriori-sannolikhet P(sjukdomen symptomen) Bayes 1 10

11 Beräkningsgången med formler Vi vill veta sannolikheten att vår hypotes (att man har smittkoppor) är sann om man har observerat utslagen: p(smittkoppor utslag) Vi kan ange sannolikheten att få utslagen om man har smittkoppor: p(utslag smittkoppor) Vi har en uppfattning om sannolikheten att en slumpvis vald person har smittkoppor: p(smittkoppor) Bayes teorem: likelihood àpriorisannolikhet P(smittkoppor utslag) = àposteriorisannolikhet (betingad på att vi observerat utslag) P(utslag smittkoppor)" P(smittkoppor) normaliseringskonst. Normaliseringskonstant Bayes 1 11

12 Ibland behövs inte nämnaren* Om vi inte är intresserade av de absoluta sannolikheterna utan bara skall välja mellan alternativ behöver man inte alltid normaliseringskonstanten i nämnaren. Läkaren i vårt exempel skall ställa en diagnos: smittkoppor eller vattkoppor. Diagnosen bör baseras på den hypotes som är troligast. P(vattkoppor utslag) = 0,80 x 0,1/konstant P(smittkoppor utslag) = 0,90 x 0,001/konstant P(vattkoppor utslag)/ P(smittkoppor utslag) = (0,80 x 0,1)/ (0,90 x 0,001) = 88,9 Det är alltså betydligt troligare att det rör sig om vattkoppor, även om det inte är absolut uteslutet att det är smittkoppor *den kan ibland vara riktigt jobbig att beräkna Bayes 1 12

13 Principerna i bayesiansk Vi har en utsaga (hypotes) statistik Om den är sann, så kan vi säga hur troligt det är att vi kommer att göra vissa observationer Vi har också en allmän uppfattning om hur troligt det är att utsagan är sann (àpriori-sannolikheten) När vi gjort observationer vill vi ha den sammanvägda sannolikheten för att utsagan är sann àposteriori = likelihood x àpriori x (1/k) Bayes 1 13