Tröskling av teststorheter. Översikt. Beslut i brusig och osäker miljö

Transkript

1 Dagens föeläsning SFS6 Diagnos och övevakning Föeläsning 6 - öskling och analys av teststohete öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Eik Fisk Institutionen fö systemteknik Linköpings univesitet eik.fisk@liu.se 9-- Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? Fån föa föeläsningen Pesenteades pincipe fö hu det kan gå till att skapa teststohete Pediktionsfel Paameteskattninga Likelihood Residuale Finns fle och ingen otogonal klassificeing. Fån föa föeläsningen Pediktionsfel Paameteskattninga Likelihood (z) = min θ Θ (z) = ˆθ θ, (y(t) ŷ(t z, θ)) t= ˆθ = ag min θ (y(t) ŷ(t z, θ)) t= (z) = max θ Θ f (z θ), Residuale f (z θ) ä födelningen fö obsevationena = d (p)γ(p)n H (p)l(p)z och anda metode som komme i senae föeläsninga

2 Övesikt öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? öskling av teststohete Fö att kunna ta beslut om noll-hypotesen ska fökastas elle ej kävs att en egel som säge nä nollhypotesen ska fökastas. ypiskt, lama om teststoheten öveskide en töskel, dvs. (z) > geneea ett lam Fö teststohete baseade på likelihood-funktionen L(z) bli det < istället fö >, dvs. (z) = L(z) < geneea ett lam Fundamental fåga Hu välje man töskeln och vad bö man tänka på? 5 6 Beslut i busig och osäke miljö Antag ett test som ska övevaka ett fel. estet kan lama elle inte och systemet kan vaa OK elle OK, dvs fya kombinatione: no lam lam % fel i massflödessenso esiduale Residuals, dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) : MSO 8 5: MSO 67 (*) 6: MSO 75 5 OK Falskalam not OK Missad detektion Idealt ska ödmakeade kombinatione aldig intäffa, men i busiga miljöe kan man som egel inte helt undvika falskalam och missad detektion : MSO t [min] t [min] t [min] 8

3 P(Detect) % fel i massflödessenso pdf Residual distibutions (kde), dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) - : MSO 8 6-7: MSO : MSO 67 (*) : MSO Beslut i busig och osäke miljö p( OK) p(missad detektion) p( not OK) p(falskt alam) Ett alam som ske nä systemet ä felfitt ä ett falskalam (FA). Idealt ä ska p(fa) =. p(fa) = p( > OK) Händelsen att inte lama tots att det ä fel kallas missad detektion (MD). Idealt ska p(md) =. p(md) = p( < OK) öskeln sty kompomissen mellan falskalam och missad detektion. Hu ska den väljas? ypisk avvägning mellan P(FA) och P(D) ROC-kuva.9 Beslut i busig och osäke miljö - ealistiska mål p( OK) p( not OK).8.7 Low theshold.6.5 Balanced theshold.. High theshold P(False Alam) Vi kan lägga oss på valfi plats utefte den hä kuvan via val av töskel. p(missad detektion) p(falskt alam) Falskalam ä nästan helt oacceptabla eftesom de undegäve fötoendet fö diagnossystemet, skapa onödiga utgifte fö epaation av hela komponente (det ä exta svåt att hitta fel på hela komponente), fösäma pestanda genom att hela komponente kopplas bot unde dift, fösäma tillgängligheten genom att ta systemet u dift. Fel med signifikant stolek, dvs de utgö ett hot mot säkehet, maskinskydd, elle öveskide lagkav måste upptäckas. Fö små fel som endast ge gadvis fösäming av pestanda kan det vaa bätte att pioitea få falskalam gentemot att få ba detektion. Ofta specificeas ett kav på falskalam: p(fa) < ɛ.

4 Beslut i busig och osäke miljö Stot fel: p( OK) p( stot fel) Beslut i busig och osäke miljö ydlig sepaation (fö alla möjliga felstoleka): p( OK) p( not OK) ydlig sepaation kävs fö att uppfylla kaven. Om det inte ä sepaeat så måste teststoheten föbättas, modellen utökas elle systemet byggas om. Litet fel: p( OK) p( litet fel) S = {NF } > S = {F } NF F Övelappande födelninga (fö någon möjlig felstolek): p( OK) p( litet fel) p(missad detektion) Fö att maximea sannolikheten fö detektion, väljs den minsta töskeln så att p( > OK) < ɛ. I detta fall ä det alltså födelningen fö det felfia fallet som bestämme töskeln. p(missad detektion) S = {NF, F } > S = {F } NF F X Det senae fallet ä typfallet i den hä kusen. öskelsättning baseat på felfia data Svansens födelning Antag nytt obeoende väde på teststoheten va tiondels sekund och ett kav på max falsklam pe å ge P(FA) = P( > OK) 7 Med en nomalfödelningsappoximation så bli då töskeln 5.. p(fa) ä ett vanligt sätt att specificea pestanda Känslig fö svansens födelning och stationäitet Kävs mycket data fö att få ba uppfattning om svansens födelning Många vekliga fall ä svanstunga x e helt olika födelninga Fö låga falskalamssannolikhete så bli töskelsättningen nämast identisk. 6

5 öskelsättning Övesikt Ofta väldigt höga kav på låg falskalamssannolikhet 9 väldigt mycket data behövs fö att kunna sätta töskeln pålitligt i dessa fall! Käve endast kunskap om yttesta svansen på födelningen. Behövs väldigt mycket data fö att få god uppfattning om svansen. Vid väldigt låga falsklamssannolikhete kan man tex: paametisea upp svansens födelning (exempelvis en exponentiell födelning) och sätt töskeln via den modellen. En tänkba lösning på poblemet ä att göa flea obeoende test. P( < ) = α P( <... N < ) = α N öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? 7 8 öskelsättning baseat på modelleat bus exempel, fots. y(t) = bu(t) + v(t) v(t) N(, σ v ) Nominellt väde på b ä b. U, Y, och V beteckna staplade kolumnvektoe av u, y, och v vid olika tidpunkte. Då kan modellen skivas som: Y = Ub + V En teststohet basead på en paameteskattning: (z) = (ˆb b ) dä ˆb = U U U Y Beakta skattningsfelet i det felfia fallet, dvs. b = b : ˆb b = U U U (Ub + V ) b = U U U V y(t) = bu(t) + v(t) v(t) N(, σ v ) Skattningsfelet i det felfia fallet ä: ɛ = ˆb b = U U U V Skattningsfelet ɛ ä nomalfödelat enligt: E(ɛ) = E( U U U V ) = U U U E(V ) = Cov(ɛ) = E( U U U V ) = (U U) U E(VV )U = U U σ v ɛ N(, σ v U U ) 9

6 p(x) exempel, fots. Skattningsfelet ha en vaians som beo på u! ɛ N(, σ v U U ) fö fix töskel komme falskalamssannolikheten att beo på hu pocessen stys. (Dåligt!) Multiplicea skattningen med U U/σ v : U U σ v (ˆb b ) N(, ) så fås dä (z) χ () (z) = U U σv (ˆb b ) ˆb = U U U Y χ -födelningen x () () (5) Låt x () i N (, ) dä x,..., x N ä obeoende sampel. Då ä i= x i χ (N) χ med N fihetsgade Fö modell Känslighet fö okontollebaa effekte och obusthet Abetsgång - öskelsättning Man vill ha samma falskalamssannolikhet i sitt beslut hela tiden, obeoende av föändinga i insignalen u och tillstånd x, stöninga d, modellfel. Käve att födelningen fö (z) ej föändas! Men teststohetena kan vaa känsliga fö dessa okontollebaa effekte på gund av: modellfel dålig excitation mätbus och modellbus appoximativ avkoppling Robusthet: teststohetens fömåga att uppfylla pestandamål även då modellfel etc. påveka pocessen Något som kallas nomaliseing används fö att säkeställa att födelningen fö (z) ej ändas. Vanlig abetsgång vid val av töskel ä att uppfylla en viss falskalamssannolikhet α. Skapa en teststohet Nomalisea så att du (föhoppningsvis) ha en teststohet k (z) med någolunda konstant vaiation (födelning) fö olika abetspunkte unde H. Givet födelningen på k (z) välj en töskel k så att P( k (z) > k H k ) ɛ (elle på annat sätt beoende på hu kaven ä specificeade) Nu ska vi studea nomaliseingen.

7 % fel i massflödessenso esiduale Residuals, dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) % fel i massflödessenso pdf Residual distibutions (kde), dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) : MSO 8 5: MSO 67 (*) : MSO 75 - : MSO 8 6-5: MSO 67 (*) - 6: MSO : MSO t [min] t [min] - 7: MSO t [min] Övesikt Pincipe fö konstuktion av teststohete öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Design av teststohete baseat på: pediktionsfel likelihood-funktionen paameteskattninga esiduale konsistenselatione, obsevatöe Metodik fö att nomalisea i dessa fall? Hu ba ä min teststohet? 7 8

8 Nomaliseing med pediktionsfel Minns Nomaliseing med likelihood-funktionen (z) = min θ Θ V (θ, z) > c (eject H ) Vi behöve ett mått på modellosäkeheten H fökastas om adp = max θ Θ L(θ z) c W (z) = min θ Θ V (θ, z) = min θ Θ Minimeingen ä öve alla möjliga θ. elle ekvivalent: (y(t) ŷ(t θ)) t= adp = min θ Θ V (θ, z) c (z) = min θ Θ V (θ, z) min θ Θ V (θ, z) > c (eject H ) Med nomaliseing: H fökastas om (z) = max L(θ z) < max L(θ z) c θ Θ θ Θ (z) = max θ Θ L(θ z) max θ Θ L(θ z) < c (z) kallas likelihood atio-test Anda od som används ä maximum likelihood atio elle genealized likelihood atio 9 Neyman-Peason lemma, likelihood kvot Antag hypotesena H : θ = θ H : θ = θ dä pdf fö obsevationena ä den kända födelningsfunktionen f (z θ i ) i de två fallen. En lite slavig fomuleing av Neyman-Peason lemma ä då: Den bästa tänkbaa teststoheten fö dessa hypotese ä (z) = f (z θ ) f (z θ ) Finns genealiseade esultat fö nollhypotese som inte ä singeltons. Me om detta senae i kusen. Nomaliseing med paameteskattning eststoheten kan skapas enligt = (ˆθ N θ ), ˆθ N = ag min θ N (y(t) ŷ(t θ)) Födelningen på skattningen vaiea med gad ev excitation etc. och fö att kunna nomalisea så måste vi på något sätt äkna ut den. t= I det tidigae enkla exemplet så kunde vi äkna ut att ˆb N b N (, σ v U U ) dä U U ä gaden av excitation. Dämed kunde vi nomalisea och sätta töskel. Geneellt ä det svåt att exakt äkna ut skattningens födelning. vå möjlighete: asymptotiska esultat simuleing, Monte-Calo

9 Asymptotisk födelning hos skattning Att exakt äkna ut vilken födelning ˆθ N enligt nedan få ä svåt, och i me kompliceade fall ogöligt. = (ˆθ N θ ), ˆθN = ag min θ N (y(t) ŷ(t θ)) En möjlighet ä att se till att N ä tilläckligt stot, då kan man använda asymptotiska esultat N(ˆθ N θ ) AsN (, P) dä kovaiansen P kan skattas utifån de data som användes vid skattningen. ag ta inte med uttycken hä, men fomena hittas i Modellbygge och simuleing, elle i me detalj i System Identification - heoy fo the use av Lennat Ljung. t= Adaptiva töskla fö esiduale Uppmätta data fån en ventil i luftsystemet i Gipen: R Solid: esidual; Dashed: thesholds ime [s] Man vet att modellen ä bätte/me noggann då man ö sakta på ventilen och säme vid hastiga föändinga av vinkelläget. Utnyttja det! Adaptiv töskel - nomaliseing av esiduale Exempel: linjät system dä G(s) ä modellfel y = ( G(s) + G(s) ) u =H y (p)y + H u (p)u = H y (p) G(p)u δ > G(s) ä en känd öve gäns på stoleken hos modellfelet G(s). Ett sätt att välja en adaptiv töskel: elle me allmänt adp (t) = δ H y (p)u + adp (t) = c W (z) + c dä W (z) ä ett mått på modellosäkeheten. Adaptiv töskel, exempel Man kan även ha dynamiska adaptiva töskla: y = G (s)u = s + a + a u a < δ a G(s) = G (s) G(s) a (s + a) = y G(s)u = G(s)u En adaptiv töskel kan med denna infomation sättas till tex.: δ (z) = c (p + a) u + c 5 6

10 Adaptiva töskla = nomaliseing Adapting the thesholds Exempel: tyckövevakning i g-kaftbyxo i Gipen his Ekvivalent chapte descibes med nomaliseing the thesholds avwhich teststoheten: will be used by the detection system and how they ae detemined. his includes a system appoximation in ode to estimate the dynamics (z) of the PSU adp = unit, c W fom (z) + which c the thesholds (eject Hwill ) be emanated. som ä ekvivalent med. Intoduction (z) (z) = (eject H ) he PSU combined with the canti-g W (z) touses + c has a cetain dynamic behavio, i.e., it takes time to inflate and deflate the anti-g touses when thee is a change in g-load. his dynamic will be efeed to as the PSU dynamic, but descibes the combined dynamics of the PSU and anti-g touses. he static thesholds ae calculated as a diect function of g-load and hence the PSU dynamics ae not taken into consideation. When thee ae apid changes in g-load, the pessue might end up outside one of the thesholds fo a while which esults in false alams, see Figue 8. Hence, befoe a diagnosis statement is made, the thesholds should be adapted to follow the dynamics of the PSU. his only needs to be done fo the static thesholds between the satuated zones descibed in chapte.6. he adapted and static thesholds will be the same in the satuated zones. Exempel: tyckövevakning i g-kaftbyxo i Gipen All data used in the figues in this chapte ae fom faultless PSU:s. 7 Figue. A compehensive view of the OBOG & Anti-g system. ycksatta byxo fö anti-g, exjobb: Pessue Monitoing and Fault Detection. of he an Anti-g PSU Potection System, Kim Andesson (). he PSU is an entiely pneumatic and mechanical unit. It contols the anti-g pessue, as well as the pilot s beathing gas which is povided by the OBOG unit. he ai is fed though the PSU and sent to the touses. he touses will always be filled with a basic amount of ai, called the safety pessue. he safety pessue is needed to make sue full potection is available at a sudden incease of g-load. Övesikt he PSU contains an anti-g valve that pneumatically and mechanically contols the ai supply of ai pessue to the anti-g touses. he pessue given fom the PSU is diectly elated to the level of g-load []. 8 A schematic view of the PSU can be seen in Figue. öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning 8 Residuale Hu ba ä min teststohet? Figue 8. he anti-g pessue (solid line) ends up outside the allowed aea between the static thesholds (dashed lines). 9

11 Utvädeing av teststohete ypiskt utseende på stykefunktione Exempel på två stykefunktione dä θ = : Falsklam = fökasta H nä H ä sann (YP I) Missad detektion = fökasta inte H nä H ä sann (YP II) Signifikansnivå = sannolikhet att fökasta H nä H ä sann. Både falsklam och missad detektion beskivs av: Stykefunktion (powe function) β(θ) = P( (z) θ) beta theta Stykefunktionen ä dämed ett ba instument fö att avgöa pestanda hos ett hypotestest i ett diagnossystem. Eftesom signifikansen ä lika fö båda testen, så följe att testet som motsvaa den heldagna linjen ä bätte. Analytisk beäkning av stykefunktionen Om födelningen fö en teststohet givet felstolek f ä känd beäknas stykefunktionen: β() : β(f ) : β(f ) = P( f ) = P( f ) + P( f ) = = integea gulmakeade omåden - - p( f=) p( f=f) f Notea att man kan alltid välja töskeln så att man få en viss signifikansnivå på testet. Analytisk häledning av stykefunktionen: Paameteskattning Modell: y(t) = bu(t) + v(t) eststohet basead på paameteskattning: (z) = U U σv (ˆb b ), ˆb = U U U Y, v(t) N(, σ v ), vitt U U (ˆb b ) N(b b, ) σ } v {{} =:ɛ Notea att födelningen även fö fall då b b behövs, till skillnad fån vid töskelsättning. Givet en töskel : vilket ä ekvivalent med β(b) = P( (z) = ɛ b) β(b) = P ( ɛ b ) + P ( ɛ b)

12 Analytisk häledning av stykefunktionen: Pediktionsfel y(t) = bu(t) + v(t) eststohet basead på pediktionsfel: Felfitt fall: (z) = y(t) b u(t) σ v (y(t) ŷ(t)) = t= v(t) N(, σ v ), vitt (y(t) b u(t)) t= = b u(t) + v(t) b u(t) σ v vilket implicea, tillsammans med obeoende, att (z) σ v χ (N) = v(t) σ v N(, ) Alltså: Födelning känd och vi kan analytiskt beäkna stykefunktionen i felfitt fall, β(b ). 5 Analytisk häledning av stykefunktionen: Pediktionsfel fots. Häledning av signifikansnivån: Givet en töskel : vilket ä ekvivalent med β(b ) = P( (z) b = b ) P( (z) σ v σ v Men β(b) fö b b ä det me besväligt. Åtekomme till hu man gö då. b = b ) 6 ämföa två teststohete med hjälp av stykefunktionen Nä det inte gå att häleda analytiskt (z) = (y ŷ) = (z) = U U σv (ˆb b ) ˆb = U U U Y (y b u) β (b) (steckad) och β (b) (heldagen) I figuen ä b =. eststoheten basead på paameteskattningen ä bäst av de två. I det hä fallet gå det att visa att det inte finns någon teststohet som ä bätte än (z). (Neyman-Peason Lemma) 7 beta theta Gundpoblemet ä att unde H hitta födelningen fö en teststohet k (z) dä k (z) ä en olinjä funktion. I detta sammanhang kanske en minimeing av en kvadatisk funktion. Analytisk lösning oftast ej möjlig. vå väga som finns att tillgå ä: Slumpa fam data z och se vad k (z) få fö födelning Om möjligt, mät upp (mycket) data itta på histogammet fö k (z). Poblem med sammansatta nollhypotese. 8

13 P(Detect) Bus genom olinjäitet Stykefunktion via simuleinga elle uppmätta data Y = sin(x ) + dä X N(, ) Geneea 5 obeoende obsevatione X, beäkna Y och plotta histogam: 6 5 Monte-Calo simuleing Antag en födelning fö bus i data z. Fixea paameten θ fö vilken vi ska beäkna β(θ). I en dato, geneea en sto mängd dataseie z i, i =,... N Fö vaje dataseie z i, beäkna t i = (z i ). 5 Samla ihop alla N vädena t i i ett histogam = skattning av f (t θ). 6 Genom att använda en fix töskel k, skatta β(θ). 7 Gå tillbaka till steg och fixea ett nytt θ. Stoa mängde uppmätta data istället fö simuleing Simulea fel på uppmätta felfia data Ett sätt att uppskatta stykefunktionena ä att mäta upp mycket data. Ofta ä det omöjligt (inte alltid) att mäta upp data dä man ha fel på pocessen. Ett sätt, som inte alltid ä applicebat ä att mäta upp felfia data och addea felen i eftehand. Exempel: ett föstäkningsfel i senso-signalen (g = ä fel-fitt) y simul (t) = g y uppmätt (t) Inte exakt ätt om man ha åtekopplinga i systemet. ROC-kuvo (Recieve Opeating Chaacteistics) Sannolikheten fö detektion P(D) plottas som funktion av sannolikheten fö falskalam P(FA) fö olika töskelval men fö en given felstolek est est P(False Alam) 5 est tydligt bätte än test 5

14 Sammanfattning öskelsättning svansen på den födelningen fö felfia fallet om födelningen beo på obsevationena, använd nomaliseing elle adaptiva töskla Utvädeing av test mha stykefunktionen koppla till sannolikheten fö falskalam och missad detektion fö att skatta stykefunktionen kävs födelning även fö felfall. Om dessa inte gå att analytiskt beäkna behövs stoa mängde data elle Monte-Calo simuleinga. Nästa föeläsning handla om olinjä esidualgeneeing. SFS6 Diagnos och övevakning Föeläsning 6 - öskling och analys av teststohete Eik Fisk Institutionen fö systemteknik Linköpings univesitet eik.fisk@liu.se