Osäkerhet. Probabilistiska resonemang. Sannolikhet. Osäkerhet. ! Osäkerhet! Grundläggande sannolikhetslära. ! Bayesianska nätverk

Transkript

1 Probabilistiska resoemag Osäkerhet! Osäkerhet! Grudläggade saolikhetslära! Stokastiska variabler! Bayes teorem! Bayesiaska ätverk! Kostruktio! Iferes! Agete har ästa aldrig tillgåg till hela saige om omgivige! Ofullstädig eller felaktig förståelse av världe, jfr qualificatio problem! Exempel:! Mål: cykla hem efter jobbet! Om ite: Jag måste jobba, Jag blir bortbjude, Cykel stule eller pukterad, Huset bruit er, Jag blir bortrövad etc etc! Ka mildra målet: komma hem ågåg! Eller resursera: jag sticker u ia jag blir bortrövad och cykel stule! Ratioella beslut fattade baserat på hur viktigt målet är jämfört med de kostad det iebär att å målet i termer av hur troligt det är att ma lyckas Osäkerhet Saolikhet Diagosregel d Lufttomt(d Pukterig(d Ite korrekt eftersom alla lufttomma däck ite pukterade d Lufttomt(d Pukterig(d IgeVetil(d IgeSlag(d ItePumpat(d!! qualificatio Fukar ite med d Pukterig(d Lufttomt(d eftersom det ka vara pyspuka, ypukat etc Om iget oförutsett iträffat så: Icke-mooto logik d Lufttomt(d MPukterig(d Pukterig(d Vill ha ågot i stil med: d Lufttomt(d 0,8 Pukterig(d! Saolikhete för pukterig givet att däcket är lufttomt är 0,8! Detta betyder att 80% av alla lufttomma däck har pukterig ite att vi har 80% pukterig, dvs satser är saa eller falska med viss saolikhet.! Grad av saig hateras med Fuzzy logic

2 Beslutsteoretisk aget Stokastiska variabler! Räka ut saolikheter för uvarade tillståd baserat på percept och hadlig! Räka ut utfallssaolikheter för hadligar baserat på hadligsbeskrivigar och uvarade tillståd! Välj hadlig med högst förvätad yttighet givet saolikhete att lyckas och iformatio om hadligars yttighet E beslutsteoretisk aget ka ite med säkerhet välja e hadlig, utföra de och vara säker på utfallet Stokastiska variabler! P(a beteckar saolikhete att de stokastiska variabel a är sa, ovillkorligt! Stokastiska variabler skrivs med iledade versal, ex Pukterig! I boke beteckas okäda stokastiska variabler med lite bokstav, P(a, vilket vi gör här också! Stokastisk variabel, X, har saolikhet för olika värde ur e värdedomäe <x 1, x 2, x >! Valig domä är <true, false>! P(Pukterig=true = 0,2! Logiska koektiv! P(Pukterig = true Cykelpump= false = 0,99 Kovetioer Saolikhetsfördelig! P(X=true skrivs P(x och P(X=false skrivs P( x,! P(Pukterig=true skrivs som P(pukterig! P(cykelpump pukterig = 0,1! Stokastisk variabels värdedomä ka ha fler olika värde! P(Däcket=pukterat = 0,2! P(Däcket=opumpat = 0,3! P(Däcket=helt = 0,5! P beteckar e vektor av saolikheter! P(Däcket = <0,2, 0,3, 0,5>! För domäe <true, false> beteckar P(Cykelpump alla värde, dvs P(Cykelpump=true och P(Cykelpump=false! P(Cykelpump, Pukterig beteckar alla kombiatioer av värde! P(cykelpump, Pukterig beteckar de fall då Cykelpump=true meda Pukterig är atige true eller false

3 Grudläggade axiom Betigad saolikhet! 0! P(a! 1! P(true = 1; P(false = 0! För variabel D med domäe d 1,..d gäller:! i= 1 P( D = = 1! P(a! b = P(a + P(b P(a " b d i! Saolikhete att a är sa givet att b är sa teckas P(a b! P(pukterig luft = 0,8, förutsatt att vi bara vet lufttomt! P(pukterig luft cykelpump = 0,01, om vi vet mer! Betigad saolikhet ka defiieras i termer av ovillkorlig saolikhet P(a b = P(a"b P(b! Produktregel a b P(a"b = P(a bp(b P(a"b = P(b ap(a Kedjeregel Sammaslage saolikhetsfördelig, 1! Produktregel för P P(A,B = P(A BP(B P(A = a 1 " B = b 1 = P(A = a 1 B = b 1 # P(B = b 1 P(A = a 1 " B = b 2 = P(A = a 1 B = b 2 # P(B = b 2! Ka också skrivas P(a 1,a 2,...,a = P(a a "1,...,a 1 P(a "1,...,a 1 fortsätt applicera P(a 1,a 2,...,a = P(a a "1,...,a 1 P(a "1 a "2..,a 1...P(a 2 a 1 P(a 1 P(a 1,a 2,...,a = # P(a i a i"1,...,a 1 Kedjeregel! P(Pukterig beteckar såväl P(pukterig som P( pukterig, ex P(Pukterig = <0,6, 0,4> P(Pukterig Pukterig=true 0,6 Pukterig=false 0,4! För två variabler med tvåvärd värdedomä (t.ex. true, false blir det 2 x 2 = 4 värde, ex P(Pukterig, Luft beteckar alla kombiatioer av de stokastiska variablera Pukterig och Luft

4 Sammaslage saolikhetsfördelig, 2 Oberoede! Tabelles värde måste summeras till 1! Ur tabelle fås t.ex.: luft P(Pukterig, Luft luft pukterig 0,1 0,4 pukterig 0,4 0,1 P( pukterig" luft = 0,4 P(Pukterig" luft = 0,1+ 0,4 = 0,5 P( pukterig luft = P( pukterig" luft P( luft = 0,4 0,4 + 0,1 = 0,8! P(Pukterig, Luft ger tabell med 2x2=4 värde! Fler variabler P(Pukterig, Luft, Cykelpump ger tabell med 2x2x2=8 värde! För biära stokastiska variabler har vi 2 värde! P(Tärig=6 Tärig=1 = P(Tärig=6, dvs saolikhete för att få 6 är oberoede av tidigare tärigskast! P(Pukterig, Sol är också oberoede och ka skrivas som P(Pukterig!P(Sol med 2+2 värde! P(Pukterig, Sol, Tadvärk, FredPåJorde är oberoede, dvs P(Pukterig!P(Sol!P(Tadvärk!P(FredPåJorde! Ger tabell med =8 värde istället för 2 4 =16 värde Bayes teorem Bayes teorem, 2 P(a "b = P(a bp(b P(a "b = P(b ap(a P(a bp(b = P(b ap(a P(b ap(a P(a b = P(b P(B AP(A P(A B = P(B Produktregel Bayes teorem Bayes teorem för flervärda variabler! Fördele med Bayes teorem är de låter oss uttrycka diagossambad i termer av kausalsambad! Kausalsambad, P(a b, b orsakar a, me vi vill ofta diagostisera utifrå observatioer! Exempel P(rödaPrickar mässlig = 0,8 (kausalsambad P(mässlig = 0,3 (ovillkorligt P(rödaPrickar = 0,5 Diagostisera mässlig utifrå patiet med röda prickar: P(mässlig rödaprickar = P(rödaPrickar mässligp(mässlig 0,8 " 0,3 = P(rödaPrickar 0,5

5 Mer Bayes Mer geerell Bayes P(a b = P(b ap(a P(b! Om vi har flera möjliga orsaker till e viss observatio! Eftersom vi har disjukta hädelser som fyller hela utfallsrummet ka P(b teckas som: P(b = P(aP(b a + P( ap(b a o 2 o 1 s o o 3 P(a b = a a b P(b ap(a P(aP(b a + P( ap(b a P(s = " P(o i P(s o i P(o k s = P(s o P(o k k " P(o i P(s o i Exempel, Kahema & Tversky, 1972! Stad med två taxibolag: Blå har 85%, Gröa har 15%! Taxi ibladad i smitigsolycka! Vitte säger att de var grö! Test visar att vittet bladar ihop gröt och blått 20% av falle! Hur tillförlitligt är vittet? P(grö vittargrö P(vittarGrö grö = 0,8 P(vittarGrö blå = 0,2 P(vittarGrö gröp(grö P(grö vittargrö = P(vittarGrö P(vittarGrö = P(gröP(vittarGrö grö + P(blåP(vittarGrö Blå 0,15 " 0,8 P(grö vittargrö = 0,15 " 0,8 + 0,85 " 0,2 = 0,41 Normaliserig, 1 P(vittarGrö gröp(grö P(grö vittargrö = P(vittarGrö P(vittarGrö blåp(blå P(blå vittargrö = P(vittarGrö! I båda falle har vi P(vittarGrö i ämare och egetlige är vi mest itresserade av vilke av dessa som är mest saolik! Vi ormaliserar och iför: " = 1 P(vittarGrö

6 Normaliserig, 2 Exempel. Är e idivid med röda prickar marsia eller ite? P(marsia = 0,2 P( marsia =1" P(marsia = 0,8 P(rödaPrickar marsia = 0,96 P(rödaPrickar marsia = 0,26 OBS! P(rödaPrickar marsia # 1" P(rödaPrickar marsia Till skillad frå P(rödaPrickar marsia =1" P( rödaprickar marsia P(rödaPrickar marsia $ P(marsia P(marsia rödaprickar = P(rödaPrickar P(rödaPrickar marsia $ P( marsia P( marsia rödaprickar = P(rödaPrickar 1 Normalisera och iför % = P(rödaPrickar P(marsia rödaprickar = % $ P(rödaPrickar marsia $ P(marsia = 0,96 $ 0,2 $% = 0,19 $% P( marsia rödaprickar = % $ P(rödaPrickar marsia $ P( marsia = 0,26 $ 0,8 $% = 0,21$% Normaliserad Bayes P(Y X="P(X YP(Y där! är e ormaliserigskostat som ser till att P(Y X summeras till 1! P(X Y kausalsambad, ex mässlig ger röda prickar! Vi har också P(a "b P(a b = = # $ P(a"b P(b Jämför med Bayes P(a b = P(b ap(a P(b = # $ P(b a $ P(a Exempel, taligekäig Villkorligt oberoede, 1 Ma vill välja det mest saolika ord som e viss ljudsigal svarar mot P(Ord Sigal = P(Sigal Ord " P(Ord = # " P(Sigal Ord " P(Ord P(Sigal P(Ord ager hur valigt ett visst ord är (i e viss kotext P(Sigal Ord är de akustiska modelle och ager vilke ljudsigal ett ord oftast ger upphov till Ex: P( räv räv = 0,7 P( oäv räv = 0,1 P( rev räv = 0,2 P(mässlig rödaprickar " feber = # $ P(rödaPrickar " feber mässligp(mässlig! Skalar ite upp eftersom vi har kombiatioer av värde, geerellt P(X 1,X 2,,X Y ger 2 värde! Me både röda prickar och feber beror på mässlig så vi ka ata att röda prickar (feber ite påverkas av om ma har feber (röda prickar eller ite, givet att vi vet mässlig. De är villkorligt oberoede P(mässlig rödaprickar " feber = # $ P(rödaPrickar mässlig $ P( feber mässlig $ P(mässlig

7 Villkorligt oberoede, 2 Naive Bayes Geerellt:! Om variablera X och Y är villkorligt oberoede givet variabel Z så gäller att: P(X, Y Z = P(X Z! P(Y Z! Vi har också variatera: P(X Y, Z = P(X Z och P(Y X, Z = P(Y Z om X och Y villkorligt oberoede givet Z P(Feber Mässlig RödaPrickar = P(Feber Mässlig dvs saolikhete för feber givet att ma har mässlig påverkas ite av om ma har röda prickar eller ej! Om e orsak ka ge upphov till flera olika effekter så ka ma förekla de sammaslaga saolikhetsfördelige P(Mässlig,RödaPrickar,Feber = produktregel = P(Mässlig " P(RödaPrickar,Feber Mässlig Villkorligt oberoede ger : P(Mässlig,RödaPrickar,Feber = P(Mässlig " P(Feber Mässlig " P(RödaPrickar Mässlig Mer geerellt P(Orsak, Effekt 1,Effekt 2,...Effekt = P(Orsak # P(Effekt i Orsak! Kallas Naive Bayes eftersom de också iblad aväds är effektera ite är villkorligt oberoede Tolkig av saolikhet Bayesiaska ätverk! Frekvetialister! Saolikheter baseras på experimet! Subjektivister! Saolikheter kommer ur agetes övertygelse! Objektivister! Saolikhetera är objektiva saigar! Stokastiska variabler represeterade som oder i ett ätverk! Riktade läkar mella par av oder! E tabell med villkorssaolikheter som ager effekte på e od frå förälderodera! Grafe har iga riktade cykler (DAG

8 Exempel Bayesiaskt ätverk! Are skriver ett pythoprogram me iget häder i föstret. Cursor blikar i skalföstret. Bug eller datorkrasch?! Stokastiska variabler Bug! Bug!!! -föstret! Operativsystemet! Skalföstret Tcsh Övergågssaolikheter Bayesiaskt ätverk Ovillkorlig Ett beroede Tsch P(tsch P( tsch P(dator P( dator T 0,9 0,1 0,9 0,1 F 0,01 0,99 Beror av två stokastiska variabler Bug P(idle, Bug P( idle, Bug T T 0,9 0,1 T F 0,2 0,8 F T 0,8 0,2 F F 0,001 0,999 P(dator 0,9 P(tsch T F 0,9 0,01 Tcsh Tsch Os P(tsch Os T 0,9 F 0,01 P(bug Bug 0,8 Bug P(idle, Bug T T 0,9 T F 0,2 F T 0,8 F F 0,001 Idle P(exec Idle T 0,9 F 0,05

9 Iferes i bayesiaskt ätverk, 1 Iferes i bayesiaskt ätverk, 2! Det bayesiaska ätverket beskriver domäe P(X 1 =v 1, X 2 =v 2, X =v ka beräkas utifrå föräldraras påverka t.ex. P(dator idle exec bug tsch os = P(dator!P(bug!P(os dator!p(tsch os! P(idle dator bug!p( exec idle=0,9"0,8"0,9"0,9"0,9"0,1=0,053 Bug! Mer geerellt: P(X 1,X 2,...,X = " P(X i Parets(X i om ode X i bara beror av oder ovaför, dvs Parets(X i # { X i$1,...,x 2,X 1 } dvs villkorligt oberoede! I pythoprogrammerigsätet får t.ex. ite Idles fuktioalitet beror av att Os fugerar, dvs P( Tsch, Os, Idle, Bug, = P( Idle Tcsh Iferes i bayesiaska ät, 3 Iferes i bayesiaska ät, 4! Betigade saolikheter P(a b="!p(a b eller mer geerellt P(A B="!P(A,B där P(A,B kommer ur sambadet för föräldrars påverka! Exempel P(exec bug. Beror av såväl som Idle som räkas ut geom att summera över alla möjliga värde, dvs true och false Bug P(exec bug = " # $ P(exec Idle # $ P(Idle bug, # P( # P(bug Idle P(idle bug, # P( # P(bug = % $ P(idle bug, # P( # P(bug = % # (P(idle bug & dator # P(dator # P(bug + P(idle bug& dator # P( dator # P(bug = % # (0,9 # 0,9 # 0,8 + 0,8 # 0,1# 0,8 = % # 0,712 P( idle bug, = % # (0,1# 0,9 # 0,8 + 0,2 # 0,1 # 0,8 = % # 0,088 P(Idle bug, = %# < 0,712, 0,088 >=< 0,89, 0,11 > P(exec bug = " # (P(exec idle # 0,89 + P(exec idle # 0,11 = " # (0,9 # 0,89 + 0,05 # 0,11 = " # 0,80595 P( exec bug = " # (P( exec idle # 0,89 + P( exec idle # 0,11 = " # (0,1# 0,89 + 0,95 # 0,11 = " # 0,1935 P( bug =< 0,8055, 0,1934 > Tcsh

10 Iferes i bayesiaska ätverk, 4 Iferes i bayesiaska ät, 5! Diagos! Frå effekt till orsak P( dator exec! Kausalitet! Frå orsak till effekt P(exec dator! Iterkausalitet! Mella orsaker till samma effekt P( dator bug idle! Bladad iferes P(bug exec dator! Beräkigstugt och det geerella fallet är NP-komplett! Villkorliga oberoede gör det iblad lättare! Ofta approximativa lösigar Sammafattig, 1 Sammafattig, 2! Stokastisk variabel A med saolikhet att vara sa P(A=true, skrivs också P(a! Iga problem, t.ex. P(a=0,8, eller P(A = <0,8 0,2>! P(A,B ger tabell med 4 (2 2 värde! stokastiska variabler P(X 1, X ger 2 värde.! Problem!! Oberoede P(Tärig=6 Tärig = 1 = P(Tärig=6 a a b 0,2 0,3 b 0,4 0,1! Bayes teorem, frå kausal(orsaksambad till diagossambad P(b ap(a P(a b = = "P(b ap(a P(b P(A B = "P(B AP(A! Villkorligt oberoede P(Orsak Obs 1...Obs = P(Orsak Obs 1...P(Orsak Obs! kombierat med kedjeregel P(Orsak,Obs 1...Obs = P(OrsakP(Orsak Obs 1...Obs! ger Naive Bayes P(Orsak,Obs 1...Obs = P(Orsak P(Orsak Obs i "

11 Sammafattig, 3! Bayesiaskt ätverk tar häsy till beroede mella variabler och Bug 1 värde vardera Os, Tcsh och 2 värde vardera 4 värde Totalt 12 värde Bug Tcsh! Jämför: 6 stokastiska variabler ger 2 6 = 64 värde