Artificiell intelligens Probabilistisk logik

Transkript

1 Probabilistiska resoemag Artificiell itelliges Probabilistisk logik Are Jösso HCS/IDA Osäkerhet Grudläggade saolikhetslära Stokastiska variabler Bayes teorem Bayesiaska ätverk Kostruktio Iferes Osäkerhet Osäkerhet Agete har ästa aldrig tillgåg till hela saige om omgivige Ofullstädig eller felaktig förståelse av världe, jfr qualificatio problem Exempel: Mål: cykla hem efter jobbet Om ite: Jag måste jobba, Jag blir bortbjude, Cykel stule eller pukterad, Huset bruit er, Jag blir bortrövad etc etc Ka mildra målet: komma hem ågåg Eller resursera: jag sticker u ia jag blir bortrövad och cykel stule Ratioella beslut fattade baserat på hur viktigt målet är jämfört med de kostad det iebär att å målet i termer av hur troligt det är att ma lyckas Diagosregel d Lufttomt(d Pukterig(d Ite korrekt eftersom alla lufttomma däck ite pukterade d Lufttomt(d Pukterig(d IgeVetil(d IgeSlag(d ItePumpat(d qualificatio Fukar ite med d Pukterig(d Lufttomt(d eftersom det ka vara pyspuka, ypukat etc Om iget oförutsett iträffat så: Icke-mooto logik d Lufttomt(d MPukterig(d Pukterig(d

2 Saolikhet Beslutsteoretisk aget Vill ha ågot i stil med: d Lufttomt(d 0,8 Pukterig(d Saolikhete för pukterig givet att däcket är lufttomt är 0,8 Detta betyder att 80% av alla lufttomma däck har pukterig ite att vi har 80% pukterig, dvs satser är saa eller falska med viss saolikhet. Grad av saig hateras med Fuzzy logic Räka ut saolikheter för uvarade tillståd baserat på percept och hadlig Räka ut utfallssaolikheter för hadligar baserat på hadligsbeskrivigar och uvarade tillståd Välj hadlig med högst förvätad yttighet givet saolikhete att lyckas och iformatio om hadligars yttighet E beslutsteoretisk aget ka ite med säkerhet välja e hadlig, utföra de och vara säker på utfallet Stokastiska variabler Kovetioer Stokastiska variabler P(a beteckar saolikhete att de stokastiska variabel a är sa, ovillkorligt Stokastiska variabler skrivs med iledade versal, ex Pukterig I boke beteckas okäda stokastiska variabler med lite bokstav, P(a, vilket vi gör här också Stokastisk variabel, X, har saolikhet för olika värde ur e värdedomäe <x 1, x 2, x > Valig domä är <true, false> P(Pukterig=true = 0,2 Logiska koektiv P(Pukterig = true Cykelpump= false = 0,99 P(X=true skrivs P(x och P(X=false skrivs P( x, P(Pukterig=true skrivs som P(pukterig P(cykelpump pukterig = 0,1

3 Saolikhetsfördelig Grudläggade axiom Stokastisk variabels värdedomä ka ha fler olika värde P(Däcket=pukterat = 0,2 P(Däcket=opumpat = 0,3 P(Däcket=helt = 0,5 P beteckar e vektor av saolikheter P(Däcket = <0,2, 0,3, 0,5> För domäe <true, false> beteckar P(Cykelpump alla värde, dvs P(Cykelpump=true och P(Cykelpump=false P(Cykelpump, Pukterig beteckar alla kombiatioer av värde P(cykelpump, Pukterig beteckar de fall då Cykelpump=true meda Pukterig är atige true eller false 0 P(a 1 P(true = 1; P(false = 0 För variabel D med domäe d 1,..d gäller: i= 1 P( D = = 1 P(a b = P(a + P(b P(a b d i a b Betigad saolikhet Kedjeregel Saolikhete att a är sa givet att b är sa teckas P(a b P(pukterig luft = 0,8, förutsatt att vi bara vet lufttomt P(pukterig luft cykelpump = 0,01, om vi vet mer Betigad saolikhet ka defiieras i termer av ovillkorlig saolikhet Produktregel P(a b = P(a b P(b P(a b = P(a bp(b P(a b = P(b ap(a Produktregel för P P(A,B = P(A BP(B P(A = a 1 B = b 1 = P(A = a 1 B = b 1 P(B = b 1 P(A = a 1 B = b 2 = P(A = a 1 B = b 2 P(B = b 2 Ka också skrivas P(a 1,a 2,...,a = P(a a 1,...,a 1 P(a 1,...,a 1 fortsätt applicera P(a 1,a 2,...,a = P(a a 1,...,a 1 P(a 1 a 2..,a 1...P(a 2 a 1 P(a 1 P(a 1,a 2,...,a = P(a i a i 1,...,a 1 Kedjeregel

4 Sammaslage saolikhetsfördelig, 1 Sammaslage saolikhetsfördelig, 2 P(Pukterig beteckar såväl P(pukterig som P( pukterig, ex P(Pukterig = <0,6, 0,4> P(Pukterig Pukterig=true 0,6 Pukterig=false 0,4 För två variabler med tvåvärd värdedomä (t.ex. true, false blir det 2 x 2 = 4 värde, ex P(Pukterig, Luft beteckar alla kombiatioer av de stokastiska variablera Pukterig och Luft Tabelles värde måste summeras till 1 Ur tabelle fås t.ex.: luft P(Pukterig, Luft luft pukterig 0,1 0,4 pukterig 0,4 0,1 P( pukterig luft = 0,4 P(Pukterig luft = 0,1+ 0,4 = 0,5 P( pukterig luft = P( pukterig luft P( luft = 0,4 0,4 + 0,1 = 0,8 Oberoede Bayes teorem P(Pukterig, Luft ger tabell med 2x2=4 värde Fler variabler P(Pukterig, Luft, Cykelpump ger tabell med 2x2x2=8 värde För biära stokastiska variabler har vi 2 värde P(Tärig=6 Tärig=1 = P(Tärig=6, dvs saolikhete för att få 6 är oberoede av tidigare tärigskast P(Pukterig, Sol är också oberoede och ka skrivas som P(Pukterig P(Sol med 2+2 värde P(Pukterig, Sol, Tadvärk, FredPåJorde är oberoede, dvs P(Pukterig P(Sol P(Tadvärk P(FredPåJorde Ger tabell med =8 värde istället för 2 4 =16 värde P(a b = P(a bp(b P(a b = P(b ap(a P(a bp(b = P(b ap(a P(b ap(a P(a b = P(b P(B AP(A P(A B = P(B Produktregel Bayes teorem Bayes teorem för flervärda variabler

5 Bayes teorem, 2 Mer Bayes Fördele med Bayes teorem är de låter oss uttrycka diagossambad i termer av kausalsambad Kausalsambad, P(a b, b orsakar a, me vi vill ofta diagostisera utifrå observatioer Exempel P(rödaPrickar mässlig = 0,8 (kausalsambad P(mässlig = 0,3 (ovillkorligt P(rödaPrickar = 0,5 Diagostisera mässlig utifrå patiet med röda prickar: P(a b = P(b ap(a P(b Eftersom vi har disjukta hädelser som fyller hela utfallsrummet ka P(b teckas som: P(b = P(aP(b a + P( ap(b a a a b P(mässlig rödaprickar = P(rödaPrickar mässligp(mässlig 0,8 0,3 = P(rödaPrickar 0,5 P(a b = P(b ap(a P(aP(b a + P( ap(b a Mer geerell Bayes Exempel, Kahema & Tversky, 1972 Om vi har flera möjliga orsaker till e viss observatio Stad med två taxibolag: Blå har 85%, Gröa har 15% Taxi ibladad i smitigsolycka o 1 o 2 s o Vitte säger att de var grö Test visar att vittet bladar ihop gröt och blått 20% av falle Hur tillförlitligt är vittet? o 3 P(s = P(o i P(s o i P(o k s = P(s o P(o k k P(o i P(s o i P(grö vittargrö P(vittarGrö grö = 0,8 P(vittarGrö blå = 0,2 P(vittarGrö gröp(grö P(grö vittargrö = P(vittarGrö P(vittarGrö = P(gröP(vittarGrö grö + P(blåP(vittarGrö Blå 0,15 0,8 P(grö vittargrö = 0,15 0,8 + 0,85 0,2 = 0,41

6 Normaliserig, 1 P(vittarGrö gröp(grö P(grö vittargrö = P(vittarGrö P(vittarGrö blåp(blå P(blå vittargrö = P(vittarGrö I båda falle har vi P(vittarGrö i ämare och egetlige är vi mest itresserade av vilke av dessa som är mest saolik Vi ormaliserar och iför: α = 1 P(vittarGrö Normaliserig, 2 Exempel. Är e idivid med röda prickar marsia eller ite? P(marsia = 0,2 P( marsia =1 P(marsia = 0,8 P(rödaPrickar marsia = 0,96 P(rödaPrickar marsia = 0,26 OBS! P(rödaPrickar marsia 1 P(rödaPrickar marsia Till skillad frå P(rödaPrickar marsia =1 P( rödaprickar marsia P(rödaPrickar marsia P(marsia P(marsia rödaprickar = P(rödaPrickar P(rödaPrickar marsia P( marsia P( marsia rödaprickar = P(rödaPrickar 1 Normalisera och iför α = P(rödaPrickar P(marsia rödaprickar = α P(rödaPrickar marsia P(marsia = 0,96 0,2 α = 0,19 α P( marsia rödaprickar = α P(rödaPrickar marsia P( marsia = 0,26 0,8 α = 0,21 α Normaliserad Bayes Exempel, taligekäig P(Y X=αP(X YP(Y där α är e ormaliserigskostat som ser till att P(Y X summeras till 1 P(X Y kausalsambad, ex mässlig ger röda prickar Vi har också P(a b P(a b = = α P(a b P(b Jämför med Bayes P(a b = P(b ap(a P(b = α P(b a P(a Ma vill välja det mest saolika ord som e viss ljudsigal svarar mot P(Sigal Ord P(Ord P(Ord Sigal = = α P(Sigal Ord P(Ord P(Sigal P(Ord ager hur valigt ett visst ord är (i e viss kotext P(Sigal Ord är de akustiska modelle och ager vilke ljudsigal ett ord oftast ger upphov till Ex: P( räv räv = 0,7 P( oäv räv = 0,1 P( rev räv = 0,2

7 Villkorligt oberoede, 1 Villkorligt oberoede, 2 P(mässlig rödaprickar feber = α P(rödaPrickar feber mässligp(mässlig Skalar ite upp eftersom vi har kombiatioer av värde, geerellt P(X 1,X 2,,X Y ger 2 värde Me både röda prickar och feber beror på mässlig så vi ka ata att röda prickar (feber ite påverkas av om ma har feber (röda prickar eller ite, givet att vi vet mässlig. De är villkorligt oberoede P(mässlig rödaprickar feber = α P(rödaPrickar mässlig P( feber mässlig P(mässlig Geerellt: Om variablera X och Y är villkorligt oberoede givet variabel Z så gäller att: P(X, Y Z = P(X Z P(Y Z Vi har också variatera: P(X Y, Z = P(X Z och P(Y X, Z = P(Y Z om X och Y villkorligt oberoede givet Z P(Feber Mässlig RödaPrickar = P(Feber Mässlig dvs saolikhete för feber givet att ma har mässlig påverkas ite av om ma har röda prickar eller ej Naive Bayes Tolkig av saolikhet Om e orsak ka ge upphov till flera olika effekter så ka ma förekla de sammaslaga saolikhetsfördelige P(Mässlig,RödaPrickar,Feber = produktregel = P(Mässlig P(RödaPrickar,Feber Mässlig Villkorligt oberoede ger : P(Mässlig,RödaPrickar,Feber = P(Mässlig P(Feber Mässlig P(RödaPrickar Mässlig Mer geerellt P(Orsak, Effekt 1, Effekt 2,...Effekt = P(Orsak P(Effekt i Orsak Kallas Naive Bayes eftersom de också iblad aväds är effektera ite är villkorligt oberoede Frekvetialister Saolikheter baseras på experimet Subjektivister Saolikheter kommer ur agetes övertygelse Objektivister Saolikhetera är objektiva saigar, beroede på objektet, ex. P(Myt=kroa =0,5

8 Bayesiaska ätverk Exempel Stokastiska variabler represeterade som oder i ett ätverk Riktade läkar mella par av oder E tabell med villkorssaolikheter som ager effekte på e od frå förälderodera Grafe har iga riktade cykler (DAG Are skriver ett pythoprogram me iget häder i föstret. Cursor blikar i skalföstret. Bug eller datorkrasch? Stokastiska variabler Bug -föstret Operativsystemet Skalföstret Bayesiaskt ätverk Övergågssaolikheter Bug Ovillkorlig P(dator P( dator 0,9 0,1 Ett beroede Tsch OS P(tsch OS P( tsch OS T 0,9 0,1 F 0,01 0,99 OS Tcsh Exec Beror av två stokastiska variabler Bug P(idle, Bug P( idle, Bug T T 0,9 0,1 T F 0,2 0,8 F T 0,8 0,2 F F 0,001 0,999

9 Bayesiaskt ätverk Iferes i bayesiaska ät, 1 OS P(tsch T 0,9 F 0,01 P(dator 0,9 OS P(bug Bug 0,8 Bug P(idle, Bug T T 0,9 T F 0,2 Det bayesiaska ätverket beskriver domäe P(X 1 =v 1, X 2 =v 2, X =v ka beräkas utifrå föräldraras påverka t.ex. P(dator idle exec bug tsch os = P(dator P(bug P(os dator P(tsch os P(idle dator bug P( exec idle=0,9 0,8 0,9 0,9 0,9 0,1=0,053 F T 0,8 Bug Tcsh Tsch Os P(tsch Os T 0,9 F 0,01 F F 0,001 Exec Exec Idle P(exec Idle T 0,9 F 0,05 OS Tcsh Exec Iferes i bayesiaska ät, 2 Iferes i bayesiaska ät, 3 Mer geerellt: P(X 1,X 2,...,X = P(X i Parets(X i om ode X i bara beror av oder ovaför, dvs Parets(X i { X i 1,...,X 2,X 1 } dvs villkorligt oberoede I pythoprogrammerigsätet får t.ex. ite Idles fuktioalitet beror av att Os fugerar, dvs P(Exec Tsch, Os, Idle, Bug, = P(Exec Idle Betigade saolikheter P(a b=α P(a b eller mer geerellt P(A B=α P(A,B där P(A,B kommer ur sambadet för föräldrars påverka Exempel P(exec bug. Beror av såväl som Idle som räkas ut geom att summera över alla möjliga värde, dvs true och false OS Bug Tcsh Exec

10 Iferes i bayesiaska ät, 4 P(exec bug = α P(exec Idle P(Idle bug, P( P(bug Idle P(idle bug, P( P(bug = β P(idle bug, P( P(bug = β (P(idle bug dator P(dator P(bug + P(idle bug dator P( dator P(bug = β (0,9 0,9 0,8 + 0,8 0,1 0,8 = β 0,712 P( idle bug, = β (0,1 0,9 0,8 + 0,2 0,1 0,8 = β 0,088 P(Idle bug, = β < 0,712, 0,088 >=< 0,89, 0,11 > P(exec bug = α (P(exec idle 0,89 + P(exec idle 0,11 = α (0,9 0,89 + 0,05 0,11 = α 0,80595 P( exec bug = α (P( exec idle 0,89 + P( exec idle 0,11 = α (0,1 0,89 + 0,95 0,11 = α 0,1935 P(Exec bug =< 0,8055, 0,1934 > Diagos Iferes i bayesiaska ät, 4 Frå effekt till orsak P( dator exec Kausalitet Frå orsak till effekt P(exec dator Iterkausalitet Mella orsaker till samma effekt P( dator bug idle Bladad iferes P(bug exec dator Iferes i bayesiaska ät, 5 Kostruktio av Bayesiaska ätverk Beräkigstugt och det geerella fallet är NP-komplett Villkorliga oberoede gör det iblad lättare Ofta approximativa lösigar 1. Orda de stokastiska variablera, X 1,, X 2. För varje od, till 1. Stoppa i X i i ätverket 2. Lägg i bågar frå de stokastiska variablera X 1,, X i-1 så att P(X i X 1,, X i-1 = P(X i Parets(X i dvs. så att varje od är villkorligt oberoede av de tidigare odera i ätverket, givet sia föräldrar

11 Exempel, 1 Exempel, 2 Mässlig, Feber, Röda prickar, Värk Mässlig Ordig: Mässlig, Feber, RödaPrickar, Värk Värk Ordig: Värk, Feber, RödaPrickar, Mässlig P(Feber Värk P(Feber Värk RödaP P(Feber Mässlig P(Feber Mässlig RödaP P(RödaP Värk, Feber P(RödaP Värk P(RödaP Värk, Feber P(RödaP Feber P(RödaP Värk, Feber P(RödaP Feber P(RödaP Mässlig P(RödaP P(RödaP Mässlig, Feber = P(RödaP Mässlig Feber P(Mässlig Värk, Feber, RödaP P(Mässlig Värk, Feber P(Mässlig Värk, Feber, RödaP P(Mässlig Feber etc P(Mässlig Värk, Feber, RödaP P(Mässlig P(Värk Mässlig P(Värk P(Värk Mässlig, Feber, RödaP = P(Värk Mässlig Variabelval Sammafattig, 1 Kausalsambad sarare ä diagossambad Frå orsak till verka Grudorsak Variabler som påverkas direkt av grudorsake Observerbara effekter Stokastisk variabel A med saolikhet att vara sa P(A=true, skrivs också P(a Iga problem, t.ex. P(a=0,8, eller P(A = <0,8 0,2> P(A,B ger tabell med 4 (2 2 värde stokastiska variabler P(X 1, X ger 2 värde. Problem! Oberoede P(Tärig=6 Tärig = 1 = P(Tärig=6 a a b 0,2 0,3 b 0,4 0,1

12 Sammafattig, 2 Sammafattig, 3 Bayes teorem, frå kausal(orsaksambad till diagossambad P(b ap(a P(a b = = αp(b ap(a P(b P(A B = αp(b AP(A! Villkorligtoberoede P(Orsak Obs 1...Obs = P(Orsak Obs 1...P(Orsak Obs! kombieratmedkedjeregel P(Orsak,Obs 1...Obs = P(OrsakP(Orsak Obs 1...Obs! gernaivebayes P(Orsak,Obs 1...Obs = P(Orsak P(Orsak Obs i Bayesiaskt ätverk tar häsy till beroede mella variabler och Bug 1 värde vardera Os, Tcsh och Exec 2 värde vardera 4 värde Totalt 12 värde Bug OS Tcsh Exec Jämför: 6 stokastiska variabler ger 2 6 = 64 värde Probabilistiskt resoerade över tid Övergågssaolikheter Bayesiaska ätverk beskriver e statisk situatio Världe förädras med tide Robot som går rut i världe Medicisk diagos Taligekäig etc Tillståd som förädras över tid, X t Observatioer vid e viss tidpukt, E t Diskreta observatiostillfälle Sekves av tillståd, X a:b X t-2 P(X t X 0:t-1 = P(X t X 0,X 1,X 2,, X t-2,x t-1 Problem är t ökar X t-1 Markovatagadet. Nuvarade tillståd beror bara av ett ädligt atal tidigare tillståd Första ordiges Markov process, beror bara av föregåede tillståd P(X t X 0:t-1!=!P(X t X t-1 Adra ordiges markovprocess P(X t X 0:t-1 = P(X t X t-2, X t-1! X t X t+1 X t+2 X t-2 X t-1 X t X t+1 X t+2

13 Dold markovmodell (HMM Exempel Tillståde i de valiga markovmodelle observerbara Saolikhete för mässlig beror av om ma har feber eller ite I e dold markovmodell ka ma bara se observatioera, E t X t-2 X t-1 X t X t+1 X t+2 Mässlig t-1 Mässlig t Mässlig t+1 E t-2 E t-1 Tillståde är dolda, hidde E t E t+1 E t+2 Markovatagade för observatioera; de beror bara av uvarade tillståd P(E t X 0:t-1, E 0:t-1 =P(E t X t Feber t-1 Feber t Villkorliga saolikhetstabeller, ex Mässlig t-1 P(Mässlig t Mässlig t-1 T F Feber t+1 Mässlig t P(Feber t Mässlig t T F Sammasatta fördelige Iferes i temporala modeller Atag starttillstådet P(X 0 Övergågsmodelle P(X t X t-1 Observatiosmodelle P(E t X t t P(X 0:t, E 1:t = P(X 0 P(X i X i 1 P(E i X i Filtrerig, P(X t e 1:t Beräka uvarade saolikhet givet alla bevis hittills Predicerig, P(X t+k e 1:t Beräka saolikhete för ett framtida tillståd Smoothig, P(X k e 1:t Beräka saolikhete för ett tidigare tillståd Mest saolika förklarig, argmax x1:t P(x 1:t e 1:t Beräka de sekves av tillståd som geererat observatioera 51 52