Robust Bayes och konkurrerande skolor. Stefan Arnborg, KTH

Transkript

1 Robust Bayes och konkurrerande skolor Stefan Arnborg, KTH

2 * WIRED on Total Information Awareness WIRED (Dec 2, 2002) article "Total Info System Totally Touchy" discusses the Total Information Awareness system. The Total Information Awareness System and related efforts received ~~~ Quote: "People have to move and plan before committing a terrorist act. Our hypothesis is their planning process has a signature." Jan Walker, Pentagon spokeswoman, in Wired, Dec 2, "What's alarming is the danger of false positives based on incorrect data," Herb Edelstein, in Wired, Dec 2, För att skapa fred måste man *veta hur det ser ut *veta hur det fungerar

3 Fred Fred är viktigt för oss. Krig är inte bra för oss. Om jag fick välja va jag vill då skulle jag göra fred. Fred tycker jag om. I Love FRED. Krig är jätte dåligt.av Mikaela.

4 Sun Zi Den som känner sig själv och sin motpart genomgår hundra strider utan fara. Den som känner sig själv men inte sin motpart förlorar en strid för varje seger. Den som varken känner sig själv eller sin motpart är dömd att förlora varje strid.

5 Sun Zi Om han upprättar ett läger på ett lättillgängligt ställe är det för att vinna andra fördelar. Om det rör sig i skogen är han på väg. Många uppsatta hinder på öppen mark betyder att fienden vill vilseleda. När fåglar lättar ligger fienden i bakhåll. Uppskrämda djur betyder att fienden är i rörelse. När dammet yr i höga och tydliga strängar är det vagnar som är på väg. När dammet ligger lågt och jämnt är det fotsoldater. När dammet är utspritt i tunna strängar samlar fienden ved. När dammet är tunt och yr kors och tvärs slår fienden läger

6 Bayes metod f (l D) µ f (D l) f (l) Posterior fås ur prior genom multiplicering med den nya informationens likelihood och normalisering. Vid en serie oberoende observationer: D t = (d 1,d 2,..., d t ) f (l D t ) µ f (d t l) f (l D t -1 ) posterior blir prior för ny observation,

7 Kombination av evidens f (l D) µ f (D l) f (l) f (l {d 1,d 2 }) µ f (d 1 l) f (d 2 l) f (l) Förutsättning: d1 och d2 oberoende betingat av l. Laplace/Bernoulli parallellkombination vid ändligt parameterrum: uttryck alla likelihoods och prior som sannolikhetsvektorer över L Kombinera genom komponentvis multiplikation och normalisering. Formellt: pdf kan betraktas som (singelton) slumpmängd. Kombinationen är snitt av slumpmängder betingad att vara icke-tomma.

8 Bayesiansk Beslutsteori (Savage) Utfall R beror av osäker l med prior f(l) och eget val a: f (R l,a) Nyttan av utfall R är u(r) Observerbarhet: f(d l) Välj a som maximerar förväntad nytta, arg max a : u(r) f (R l,a) f (l D) f (l)dldr Ú

9 Tillämpning: PET-kamera f (l D) µ f (D l) f (l) Camera geometry&noise film scene regularity

10 Chapman-Kolmogorov Dynamiska problem f (l t D t ) µ f (d t l t )Ú f (l t l t -1 ) f (l t -1 D t -1 )dl t-1 Grund för Kalman-filtret, där alla ingående fördelningar är normalfördelningar. Generella fördelningar kan ofta hanteras med partikelfilter (sekvensiell Markov Chain Monte Carlo) Uppskattning av en dynamisk situation: tillstånd l, observationer d, likelihood f(d l), innovation f(l(t) l(t-1)), rekursion/prior i varje steg IMM: flera filter med olika manöverbrus. Klassificerar manövertillstånd.

11 Problem med IMM (Smets Fusion 2004) Om målets klass kan ändras fritt, tex som vid klassning av manövertillstånd, råkar multipla modeller fungera bra: det filter som är bäst anpassat ger klassen. Är också Bayesianskt tolkningsbart. Om målets klass inte kan ändras momentant, t ex klassning av måltyp, är IMM inte bra - utgå i stället från Chapman-Kolmogorov

12 Joint Tracking & Classification Civilflyg, Bombplan, Attackplan (c, b, a) Har olika accelerationsprestanda Tillstånd: position, hastighet, typ : L = R 3 R 3 {c, b,a} Manöverbrus: typ ändras aldrig, f ((p t,v t,c) (p t -1, v t -1,b)) = 0 Acceleration begränsas: Vi har f ((p t,v t,c) (p t -1, v t -1,c)) = 0 då v t - v t -1 > a c

13 Generalisering av Bayes/Kalman Hur gör man när man inte har någon prior? Likelihood går inte att bestämma exakt (imprecision)? Parameterrummet är vagt, dvs inte samma för alla likelihoods (Fuzziness, vagueness)? Parameterrummet(och observationsrummet) har komplex struktur (enkel struktur är t ex Cartesisk produkt av ett antal R och ändliga mängder)?

14 Några ansatser... Robust Bayes: ersätter fördelningar med konvexa mängder av fördelningar (Berger m fl) Dempster/Shafer/TBM: Beskriver imprecision med slumpmängder DSm: Transformerar parameterrum för att beskriva vagueness.(dezert/smarandache) FISST: FInite Set STatistics: Generaliserar observations-och parameterrum till produkt av rum beskriven som slumpmängd (Goodman, Mahler, Ngyuen)

15 Robust Bayes Arbeta med priors och likelihoods som är konvexa mängder av sannolikhets-fördelningar (Berger, de Finetti, Walley,...): imprecisa sannolikheter f (l D) µ f (D l) f (l) F(l D) µ F(D l)f(l) Varje element i posterior består av parallellkombination av ett element i likelihood och ett element i prior. För beslut: använd det element i posterior som har störst entropi (Maxent estimat).

16 Ellsberg s Paradox: Ambiguity Avoidance Urna A innehåller 4 vita och 4 svarta kulor, och 4 av okänd färg (svart eller vit)??? Urna B innehåller 6 vita och 6 svarta kulor? Du får en krona om du drar en svart kula. Ur vilken urna vill du dra den? En precis Bayesian bör först anta hur?-kulorna är färgade och sedan svara. Men en majoritet föredrar urna B även om svart byts mot vit

17 Maximum Entropy - kanonisk pdf i konvex mängd? En obalanserad tärning har medelutfall 4.5 i stället för 3.5. Hur stora är sannolikheterna? Jaynes koncentrationsfenomen: Av alla sekvenser med medelutfall 4.5 har en förbluffande stor andel frekvenser nära den fördelning med medelutfall 4.5 som har högst entropi: arg max p { Â -p i log p i Âip i = 4.5} i i Kan man alltid ersätta en imprecis fördelning med MAXENT-estimatet?

18 Hur används imprecisa sannolikheter? Förväntad nytta för beslutsalternativ blir intervall i stället för punkter: maximax, maximin, maximedel? u Bayesian optimist pessimist a

19 Dempster/Shafer/Smets Beskriv evidens med slumpmängd över L. Sannolikhetsfördelning över 2^ L. Sannolikhet för singelton: Belief som allokeras för alternativet, dvs sannolikhet. Sannolikhet för icke-singelton: Belief som allokeras till mängden alternativ, men som inte kan tillordnas någon av dess delar. Kombineras med snitt betingat av att vara icke-tomt (Dempster s rule).

20 Correspondence DS-structure -- set of probability distributions For a pdf (bba) m over 2^Q, consider all ways of reallocating the probability mass of non-singletons to their member atoms: This gives a convex set of probability distributions over Q. Example: Q={A,B,C} bba A: 0.1 B: 0.3 C: 0.1 AB: 0.5 set of pdfs A: *x B: *(1-x) C: 0.1 for all xœ[0,1] Can we regard any set of pdf:s as a bba? Answer is NO!! There are more convex sets of pdf:s than DS-structures

21 Representing probability set as bba: 3-element universe Black: convex set Blue: rounded up Red: rounded down Rounding up: use lower envelope. Rounding down: Linear programming Rounding is not unique!!

22 Dempster/Shafer/Smets För precis (bayesiansk) belief: samma som Bayes metod. Kombination av precis och imprecis DSstruktur: blir singeltonslumpmängd, dvs precis belief. Så är det inte i Robust Bayes! Kombination av två imprecisa DSstrukturer: Blir imprecis, dock mycket smalare än Robust Bayes.

23 An appealing conjecture Precise pdf can be regarded as (singleton) random set. Bayesian combination of precise pdf:s corresponds to random set intersection (conditioned on non-emptiness) DS-structure corresponds to Choquet capacity (set of pdf:s) Is it reasonable to combine Choquet capacities by (nonempty) random set intersection (Dempster s rule)?? Answer is NO!!

24 Zadeh s Paradoxical Example Patient has headache, possible explanations are M-- Meningitis ; C-- Concussion ; T-- Tumor. Expert 1: P( M )=0 ; P( C )=0.9 ; P( T )=0.1 Expert 2: P( M )=0.9 ; P( C )=0 ; P( T )=0.1 Parallel comb: What is the combined conclusion? Parallel normalized: (0,0,1)? Is there a paradox??

25 Zadeh s Paradox (ctd) One expert (at least) made an error Experts do not know what probability zero means Experts made correct inferences based on different observation sets, and T is indeed the correct answer: f(l o1, o2) = c f(o1 l)f(o2 l)f(l) but this assumes f(o1,o2 l)=f(o1 l) f(o2 l) which need not be true if granularity of L is too coarse (not taking variability of f(oi l) in account). One reason (among several) to look at Robust Bayes.

26 Zadeh s example Robust and Dempster s rule Yager s rule random set union Union rule

27 Robust Combination on Zadeh s ex -- Expert 2 discounted by 10% Robust rule maxent Fixsen/Mahler rule Dempster s rule

28 Robust Combination on Zadeh s ex -- Both discounted by 5% Robust rule maxent Dempster s rule MDS Rounded robust

29 Two imprecise operands o1, o2 (red lines), their pignistic transformations p1, p2 (red crosses), and robust combinations o1*p2 and p1*o2 (blue) o1*p2 p1*o2

30 o1*o2 p1*o2 o1*p2 p1*p2

31 p1*p2 Ã MDS(o1,o2) Ã (p1*o2 «o1*p2) MDS(o1,o2)

32 Consistency of fusion operators Operands Robust rule

33 Consistency of fusion operators DS rule Rounded robust MDS rule Dempster s fusion rule outside robust rounded polytope!! Fixsen/Mahler (MDS compatible with Robust Bayes fusion

34 FInite Set STatistics Särskilt avsedd för problem multiple tracking/multiple sensor Flera tätt flygande mål. Varierar vid MIRV och missilavfyring. Tillstånd är ett variabelt antal tillståndsvektorer för enkla mål: Problem med symmetrier: I FISST är tillståndet en slumpmängd ur Ska inte förväxlas med DS-struktur. L = (R 6 C)U(R 12 C 2 )UL L = R 6 C

35 That s all Folks! Bayesianism har starka normativa anspråk Dempsters regel inkompatibel med synen på DS-struktur som imprecis sannolikhetsfördelning. MDS kompatibelt men underskattar imprecision. Förståelsen av komplexa tillståndsrum otillräcklig: Behövs antingen enklare teori (gränsvärdesteknik för kompakta metriska rum) eller måtteori i ingenjörsutbildningen.