Outline. TSFS06 Diagnos och övervakning Föreläsning 10 - Sannolikhetsbaserad diagnos och Bayesianska nätverk. Sneak-peak. Outline

Transkript

1 TSFS06 Diagnos och övervakning Föreläsning 10 - och Erik Frisk Institutionen för systemteknik Linköpings universitet erik.frisk@liu.se Sneak-peak Antag att residualerna r 1 och r 2 larmar i beslutsstrukturen F 1 F 2 F 3 r 1 0 X X r 2 X 0 X r 3 X X 0 En konsistensbaserad ansats skulle ge de minimala diagnoserna D 1 = OK(C 1 ) OK(C 2 ) OK(C 3 ) {F 3 } D 2 = OK(C 1 ) OK(C 2 ) OK(C 3 ) {F 1 F 2 } kort introducerande demonstration i GeNIe 3 4

2 Konsistensbaserad diagnos Definition (Diagnosis) Givet en modell M och observationer O så är en modtilldelning D en diagnos omm mängden formler är konsistent. M O D 5 Exempel trippel redundans M : y 1 = x + f 1 y 2 = x + f 2 y 3 = x + f 3 OK(S i ) f i = 0 i = D 1 = OK(S 1 ) OK(S 2 ) OK(S 3 ) D 2 = OK(S 1 ) OK(S 2 ) OK(S 3 ) D 3 = OK(S 1 ) OK(S 2 ) OK(S 3 ) O = {y 1 = y 2 = 1 y 3 = 3} Konsistens hos M O D 1 är ekvivalent med att det finns en lösning (x f ) till ekvationerna 1 = x 1 = x 3 = x + f och motsvarande för M O D 2 blir 1 = x 1 = x + f 3 = x 6 Osäkerheter och konsistensbaserad diagnos Trösklar och beslut 8 Konsistens i de två fallen svarar mot att residualerna är exakt 0. r 1 = y 1 y 2 r 2 = y 1 y 3 Problem Med modellfel och mätbrus så är våra residualer aldrig exakt 0 vi trösklar våra residualer Vi avgör om vi är tillräckligt nära konsistens genom att tröskla residualer/teststorheter r(t) > J generera larm r1 r2 r3 r t [s] 8

3 Beslut under osäker information felisoleringsalgoritmen tar ej i beaktande om residualer är långt över sina trösklar eller precis över kvantiseringseffekter som kanske inte är önskvärda vill ha en mer mjuk övergång mellan besluten Beslut under osäker information är ett stort vetenskapligt fält Sannolikheter ett naturligt verktyg (men ej det enda) Konsistensbaserad till sannolikhetsbaserad diagnos Konsistens av ersätts av något i stil med M O D P(D M O) eller P(F i M O) oftast den senare pga. komplexitetsegenskaper. Diagnoser och sannolikheter Antag att residualerna r 1 och r 2 larmar i beslutsstrukturen F 1 F 2 F 3 r 1 0 X X r 2 X 0 X r 3 X X 0 En konsistensbaserad ansats skulle ge de minimala diagnoserna D 1 = OK(C 1 ) OK(C 2 ) OK(C 3 ) D 2 = OK(C 1 ) OK(C 2 ) OK(C 3 ) En sannolikhetsbaserad ansats (med enkelfelsantagande) skulle ge resultat i stil med 0.01 if B i = NF 0.85 if B i = F 1 P(B i O M) = 0.93 if B i = F if B i = F Diagnoser och sannolikheter 0.01 if B i = NF 0.85 if B i = F 1 P(B i O M) = 0.93 if B i = F if B i = F 3 felmoder vs diagnoser P(F i M O) vs. P(D i M O) Vi vill modellera processen så att vi på ett effektivt sätt kan räkna ut storheter i stil med P(D M O) eller P(F i M O) oftast den senare pga. komplexitetsegenskaper. Önskvärt men ofta ej möjligt med explicita uttryck för sannolikhetsfördelningar dynamiska och olinjära modeller x t+1 = f (x t ) + ε t stokastiska filter (E/U)-Kalman Filter partikelfilter

4 13 Tänk ett fall med två fel de möjliga felmoderna är då FM {NF f 1 f 2 f 1 &f 2 }. En residual har konstruerats för att i huvudsak detektera fel f 1 men som också är känslig för fel f 2 Sannolikhet Formel Värde A priori-sannolikhet för fel i P(f i ) i = Falsklarm P(r > J FM = NF ) 0.01 Känslighet för enkelfel f 1 P(r > J FM = f 1 ) 0.99 Känslighet för enkelfel f 2 P(r > J FM = f 2 ) 0.30 Känslighet för dubbelfel f 1 &f 2 P(r > J FM = f 1 &f 2 ) 0.99 Residualen överträder sin tröskel vad är slutsatsen deterministiskt med sannolikheterna 14 forts. Oberoende antas mellan felen dvs. direkta räkningar ger då P(FM = f 1 ) = P(f 1 f 2 ) = P(f 1 )P( f 2 ) P(r > J FM = NF )P(FM = NF ) P(FM = NF r > J) = P(r > J) = P(r > J FM = NF )P( f 1)P( f 2 ) P(r > J) P(FM = f 1 r > J) = P(r > J FM = f 1)P(FM = f 1 ) = P(r > J) = P(r > J FM = f 1)P(f 1 )P( f 2 ) P(r > J) P(FM = f 2 r > J) = P(r > J FM = f 2)P(FM = f 2 ) = P(r > J) = P(r > J FM = f 2)P( f 1 )P(f 2 ) P(r > J) P(FM = f 1 &f 2 r > J) = P(r > J FM = f 1&f 2 )P(f 1 )P(f 2 ) P(r > J) 15 = forts. Sätter man in värden fås att 27.2% if f = NF 55.0% if f = f 1 P(FM = f r > J) = 16.7% if f = f 2 1.1% if f = f 1 &f 2 Behöver ej beräkna P(r > J) Krävdes en del handräkning och exemplet var av väldigt enkel sort. Nu hur generaliserar man detta till mer allmänna problem. 16

5 Förutsättningar begränsningar notation Endast diskreta stokastiska variabler Endast statiska modeller Går att generalisera båda dessa men görs inte i den här kursen Notation Sannolikheten att en stokastisk variabel X (versal) har värdet x i (gemen) skrivs med sannolikhetsfunktionen P(X = x i ) eller kortare P(x i ). Om X endast kan ha värdena Sann eller Falsk skriver vi för P(x) och P( x) P(X = True) och P(X = False). Vill vi beskriva sannolikheterna 27.2% if f = NF 55.0% if f = f 1 P(FM = f r > J) = 16.7% if f = f 2 1.1% if f = f 1 &f 2 så kan en -notation användas P(FM r > J) = Grundläggande samband/operationer Marginalisering P(y) = P(x y) x Kedjeregeln P(x 1... x n ) = P(x i x 1... x i 1 ) i exempelvis med n = 3 P(x 1 x 2 x 3 ) = P(x 1 ) P(x 2 x 1 ) P(x 3 x 1 x 2 ) X och Y oberoende P(x y) = P(x) 20

6 Betingade sannolikheter Viktig operation är att uppdatera sannolikheter (eng. belief) när ny data (evidence) inkommer. ny data kan vara när ett test larmar eller nya mätningar görs Betingad sannolikhet P(x y) = P(x y) P(y) = P(y x)p(x). P(y) P(x) - prior P(x y) - posterior Tolkning: hur förändras kunskapen om X när vi får informationen att Y har värdet y Sannolikhetsbaserade modeller En sannolikhetsbaserad modell för de diskreta stokastiska variablerna X = {X 1... X n } är sannolikhetsfunktionen (joint probability mass function) P(x 1... x n ) som ersätter ekvationerna som relaterar variablerna i en deterministisk modell. I det introducerande exemplet tre boolska variabler A F 1 F 2 har en modell P(a f 1 f 2 ) = P(a f 1 f 2 ) P(f 1 f 2 ) P(f 2 ) = P(a f 1 f 2 ) P(f 1 ) P(f 2 ). Sannolikhetsmodell för det introducerande exemplet Sannolikhet Formel Värde A priori-sannolikhet för fel i P(f i ) i = Falsklarm P(r > J FM = NF ) 0.01 Känslighet för enkelfel f 1 P(r > J FM = f 1 ) 0.99 Känslighet för enkelfel f 2 P(r > J FM = f 2 ) 0.30 Känslighet för dubbelfel f 1 &f 2 P(r > J FM = f 1 &f 2 ) 0.99 P(a f 1 f 2 ) = P(a f 1 f 2 ) P(f 1 f 2 ) P(f 2 ) = P(a f 1 f 2 ) P(f 1 ) P(f 2 ). a f 1 f 2 P(a f 1 f 2 ) False False False False False True False True False False True True True False False True False True True True False True True True

7 Inferens i sannolikhetsmodeller Inferens i det introducerande exemplet Inferens (här) Beräkna sannolikheter för vissa variabler givet värden på andra Inferensuttryck P(x e) = P(F 1 r 1 > J 1 r 3 > J 3 ) P(x e) P(e) = α P(x e) = α z P(x e z) P(f 1 a) = α P(f 1 a) = α P(f 1 f 2 a) = f 2 = α (P(f 1 f 2 a) + P(f 1 f 2 a)) = α( ) = α Motsvarande för P( f 1 a) ger P( f 1 a) = α och alltså P(F 1 a) = α = där normaliseringsfaktorn α bestäms ur 1 = x P(x e) = α x P(x e) Notera att från de inledande räkningarna så är P(FM = f 1 a) = Beror på att FM = f 1 var enkelfelsmoden bara medans f 1 är sann även i dubbelfelsmoden FM = f 1 &f Modell och inferenskomplixitet inferens rättframt utvärdera P(x e) = α z P(x e z) n stycken (binära) variabler ger att P(x 1... x n ) har 2 n värden kombinatorisk explosion Nyckeln är att utnyttja oberoende mellan variabler jmf sannolikhetsmodellen för det introducerande exemplet. Med n oberoende (binära) variabler blir det n parametrar. n P(x 1... x n ) = P(x i ) dvs. exponentiellt antal parametrar har transformerats till linjär tillväxt. P(x 1... x n ) är gles i=1 Här kommer in i bilden 27 28

8 Utnyttja oberoende Oberoende x 1 x 2 helt oberoende x 3 beroende enbart av x 1 och x 2 och x 4 och x 5 är både beroende enbart av x 3 P(x 1 x 2 x 3 x 4 x 5 ) = P(x 1 )P(x 2 )P(x 3 x 1 x 2 )P(x 4 x 3 )P(x 5 x 3 ) vilket ger 10 parametrar istället för = 31. Betingat oberoende P(x 1 x 2 x 3 ) = P(x 1 x 2 x 3 )P(x 2 x 3 )P(x 3 ) = P(x 1 x 3 )P(x 2 x 3 )P(x 3 ) Variablerna X 1 och X 2 ej oberoende men P(x 1 x 2 x 3 ) = P(x 1 x 2 x 3 ) P(x 3 ) = P(x 1 x 3 )P(x 2 x 3 )P(x 3 ) P(x 3 ) = = P(x 1 x 3 )P(x 2 x 3 ). 29 I det introducerande exemplet med felen F 1 F 2 och alarm A så kan beroenden beskrivas med grafen Kedjeregel och beroenden ger att F 1 F 2 A P(a f 1 f 2 ) = P(a f 1 f 2 )P(f 1 f 2 )P(f 2 ) = P(a f 1 f 2 )P(f 1 )P(f 2 ) dvs. en sannolikhetstabell för varje nod i grafen karakteriserar den totala sannolikhetsfunktionen Kedjeregel för n P(x 1... x n ) = P(x i x 1... x i 1 ) = i=1 n P(x i parents(x i )) i=1 30 Bayesianskt nätverk definition Definition (Bayesian network) Let X = {X 1... X n } be a set of random variables with a finite set of values for each variable. A Bayesian network is then a pair B = G P where G is an acyclic directed graph defined on the nodes X and P a set of conditional probability tables one for each node in the graph defined as P(x 1... x n ) = P(x i parents(x i )). n P(x i parents(x i )) i=1 Ett Bayesianskt nätverk är en representation av den totala sannolikhetsfunktionen (joint probability mass function) där beroendena mellan variablerna är explicit uttryckta i den acykliska grafen. 31 Bayesianskt nätverk Det finns ej ett unikt bayes-nät för en given sannolikhetsfunktion Varje variabelordning svarar mot en viss faktorisering av sannolikhetsfunktionen F 1 F 2 P(a f 1 f 2 ) = P(f 1 )P(a f 1 )P(f 2 a f 1 ) principiellt inga hinder mot cykler i beroendegrafen men då tappar man möjligheter att göra effektiva inferensalgoritmer A 32

9 Demonstrera (earthquake.xdsl) Inferens i Burglary JohnCalls Alarm Earthquake MaryCalls B = Burglary E = Earthquake A = Alarm J = JohnCalls M = MaryCalls B J A E M B = Burglary E = Earthquake A = Alarm J = JohnCalls M = MaryCalls där P(Burglary) = och P(Earthquake) = samt B E P(A B E) falsk falsk falsk sann 0.29 sann falsk 0.94 sann sann 0.95 A P(J A) falsk 0.05 sann 0.90 M P(M A) falsk 0.01 sann 0.70 P(b j m) = α e = α e P(b e a j m) = a P(b)P(e)P(a b e)p(j a)p(m a) = a α P(b) e P(e) a P(a b e) P(j a)p(m a) }{{} beror ej på e Algoritmer för inferens Demo XPI fuel injection system Scania (XPI.xdsl) inte ämne för den här kursen kan delas in i två kategorier exakt inferens approximativ inferens exakt inferens NP-svårt variable elimination poly-tree endast en väg mellan två noder poly-trees enkla join-trees slår ihop noder för att få poly-trees 141 variabler 40 svarar mot komponenter som kan gå sönder Resten svarar mot observationer och diagnostester Många variabler har två värden men vissa har upp till 8 möjliga En ventil har exempelvis möjligheterna {Fuel leak Electrical fault Stuck or clogged Wrong pressure Emission fault Corrosion or cavitation Air leak No Fault} P(x 1... x 141 ) har i storleksordningen värden Utvecklat i examensarbetet Modeling of fuel injection system for troubleshooting Cyon. A KTH

10 '((( )'- )'- )'- )'- )'- )'- - ( )*'(('% %)'- %)'- %)'- %)'- / %)'-.. %)'- / )*'((' - ( #$ ) / & )' #)( 0 - ' )( - '(( - (. #$%& % &% '%'(( 1 1 #$ '((%& / / / 1 / /... / &#$ &%' ( -( 0 XPI fuel injection system Scania Grundproblem; ett stort antal parametrar/sannolikheter behöver bestämmas i en sannolikhetsmodell expertkunskap eller mycket data utnyttja strukturen i Bayes-nät men problem dyker upp med nod med många (säg > 4) föräldrar parametriserade noder mallar... XPI-modellen använder sig flitigt av kanoniska modeller den vanligaste är leaky or-noder. Deterministisk funktion För sambandet y = f (x) så blir sannolikhetstabellen { 1 y = f (x) P(y x) = 0 otherwise Exempelvis för or-funktionen så har vi y = x 1 x 2 x 1 x 2 P(y x 1 x 2 ) P( y x 1 x 2 ) false false 0 1 false true 1 0 true false 1 0 true true 1 0 Deterministiska modeller har 0 parametrar 39 40

11 Enkelt felisoleringsexempel (binary) Noisy model F 1 F 2 F 3 R 1 R 2 R 3 F 1 F 2 F 3 r 1 0 X X r 2 X 0 X r 3 X X 0 Noisy Deterministic X 1... X n Z 1 Z n Y x i P(z i x i ) P( z i x i ) False 0 1 True c 1 1 c 1 funktionen är or vid alarm-noderna vi vill kunna modellera falsklarm missad detektion etc. deterministiska modeller räcker inte det var ju osäkerheter som var den ursprungliga anledningen till att vi introducerade sannolikheter 41 0 parametrar i den deterministiska delen 1 parameter (c i ) per variabel linjär tillväxt i parametrar c i = 1 svarar mot deterministisk modell Att residual r 3 reagerar för fel f 1 respektive fel f 2 med sannolikhet 0.9 och 0.6 respektive kan då modelleras med noisy-or där c 1 = 0.9 och c 2 = 0.6. Inga falsklarm dock 42 (binary) Noisy-leaky model Fortsättning på felisoleringsdemodemo X 1... X n Noisy model Deterministic model Z 1 Z n Z l Y Residualnoderna är leaky-or med falsklarmssannolikhet på 0.05 samt icke-ideala tester Illustrera hur BN kan användas vid feldetektion bara felisolering falsklarm Sannolikhetestabell för leak-node tillkommer Om sannolikheten för falsklarm är 0.01 så modelleras det i exemplet genom en noisy-leaky-or enligt tidigare och P(Z l ) = Noisy-leaky-or ofta bara noisy-or Noisy-or kan generaliseras till icke-binära variabler och kallas då noisy-max 43 44

12 Probabilistiska modeller Exakt inferens och komplexitetsproblem TSFS06 Diagnos och övervakning Föreläsning 10 - och Erik Frisk Institutionen för systemteknik Linköpings universitet erik.frisk@liu.se