Dagens föreläsning. TSFS06 Diagnos och övervakning Föreläsning 6 - Tröskling och analys av teststorheter. Tröskelsättning och beslut i osäker miljö

Transkript

1 Dagens föeläsning SFS6 Diagnos och övevakning Föeläsning 6 - öskling och analys av teststohete öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Eik Fisk Institutionen fö systemteknik Linköpings univesitet eik.fisk@liu.se 7--7 Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? Fån föa föeläsningen Pesenteades pincipe fö hu det kan gå till att skapa teststohete Pediktionsfel Paameteskattninga Likelihood Residuale Finns fle och ingen otogonal klassificeing. Fån föa föeläsningen Pediktionsfel Paameteskattninga Likelihood (z) = min θ Θ (z) = ˆθ θ, (y(t) ŷ(t z, θ)) t= ˆθ = ag min θ (y(t) ŷ(t z, θ)) t= (z) = max θ Θ f (z θ), Residuale f (z θ) ä födelningen fö obsevationena = d (p)γ(p)n H (p)l(p)z och anda metode som komme i senae föeläsninga

2 Övesikt öskling av teststohete öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? Fö att kunna ta beslut om noll-hypotesen ska fökastas elle ej kävs att en egel som säge nä nollhypotesen ska fökastas. ypiskt, lama om teststoheten öveskide en töskel, dvs. (z) > geneea ett lam Fö teststohete baseade på likelihood-funktionen L(z) bli det < istället fö >, dvs. (z) = L(z) < geneea ett lam Fundamental fåga Hu välje man töskeln och vad bö man tänka på? 5 6 Beslut i busig och osäke miljö Antag ett test som ska övevaka ett fel. estet kan lama elle inte och systemet kan vaa OK elle OK, dvs fya kombinatione: OK not OK no lam Missad detektion lam Falskalam Idealt ska ödmakeade kombinatione aldig intäffa, men i busiga miljöe kan man som egel inte helt undvika falskalam och missad detektion. 7 Beslut i busig och osäke miljö p( OK) p(missad detektion) p( not OK) p(falskt alam) Ett alam som ske nä systemet ä felfitt ä ett falskalam (FA). Idealt ä ska p(fa) =. p(fa) = p( > OK) Händelsen att inte lama tots att det ä fel kallas missad detektion (MD). Idealt ska p(md) =. p(md) = p( < OK) öskeln sty kompomissen mellan falskalam och missad detektion. Hu ska den väljas? 8

3 P(Detect) ypisk avvägning mellan P(FA) och P(D) ROC-kuva.9 Beslut i busig och osäke miljö - ealistiska mål p( OK) p( not OK).8.7 Low theshold p(missad detektion) p(falskt alam).6.5 Balanced theshold.. High theshold P(False Alam) Vi kan lägga oss på valfi plats utefte den hä kuvan via val av töskel. Falskalam ä nästan helt oacceptabla eftesom de undegäve fötoendet fö diagnossystemet, skapa onödiga utgifte fö epaation av hela komponente (det ä exta svåt att hitta fel på hela komponente), fösäma pestanda genom att hela komponente kopplas bot unde dift, fösäma tillgängligheten genom att ta systemet u dift. Fel med signifikant stolek, dvs de utgö ett hot mot säkehet, maskinskydd, elle öveskide lagkav måste upptäckas. Fö små fel som endast ge gadvis fösäming av pestanda kan det vaa bätte att pioitea få falskalam gentemot att få ba detektion. 9 Ofta specificeas ett kav på falskalam: p(fa) < ɛ. Beslut i busig och osäke miljö Stot fel: p( OK) p( stot fel) Beslut i busig och osäke miljö ydlig sepaation (fö alla möjliga felstoleka): p( OK) p( not OK) ydlig sepaation kävs fö att uppfylla kaven. Om det inte ä sepaeat så måste teststoheten föbättas, modellen utökas elle systemet byggas om. Litet fel: p( OK) p( litet fel) S = {NF } > S = {F } NF F Övelappande födelninga (fö någon möjlig felstolek): p( OK) p( litet fel) p(missad detektion) Fö att maximea sannolikheten fö detektion, väljs den minsta töskeln så att p( > OK) < ɛ. I detta fall ä det alltså födelningen fö det felfia fallet som bestämme töskeln. p(missad detektion) S = {NF, F } > S = {F } NF F X Det senae fallet ä typfallet i den hä kusen.

4 öskelsättning baseat på felfia data Svansens födelning Antag nytt obeoende väde på teststoheten va tiondels sekund och ett kav på max falsklam pe å ge P(FA) = P( > OK) 7 Med en nomalfödelningsappoximation så bli då töskeln 5.. p(fa) ä ett vanligt sätt att specificea pestanda Känslig fö svansens födelning och stationäitet Kävs mycket data fö att få ba uppfattning om svansens födelning Många vekliga fall ä svanstunga x e helt olika födelninga Fö låga falskalamssannolikhete så bli töskelsättningen nämast identisk. öskelsättning Övesikt Ofta väldigt höga kav på låg falskalamssannolikhet 9 väldigt mycket data behövs fö att kunna sätta töskeln pålitligt i dessa fall! Käve endast kunskap om yttesta svansen på födelningen. Behövs väldigt mycket data fö att få god uppfattning om svansen. Vid väldigt låga falsklamssannolikhete kan man tex: paametisea upp svansens födelning (exempelvis en exponentiell födelning) och sätt töskeln via den modellen. En tänkba lösning på poblemet ä att göa flea obeoende test. P( < ) = α P( <... N < ) = α N öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet? 5 6

5 öskelsättning baseat på modelleat bus exempel, fots. y(t) = bu(t) + v(t) v(t) N(, σ v ) Nominellt väde på b ä b. U, Y, och V beteckna staplade kolumnvektoe av u, y, och v vid olika tidpunkte. Då kan modellen skivas som: Y = Ub + V En teststohet basead på en paameteskattning: (z) = (ˆb b ) dä ˆb = U U U Y Beakta skattningsfelet i det felfia fallet, dvs. b = b : ˆb b = U U U (Ub + V ) b = U U U V y(t) = bu(t) + v(t) v(t) N(, σ v ) Skattningsfelet i det felfia fallet ä: ɛ = ˆb b = U U U V Skattningsfelet ɛ ä nomalfödelat enligt: E(ɛ) = E( U U U V ) = U U U E(V ) = Cov(ɛ) = E( U U U V ) = (U U) U E(VV )U = U U σ v ɛ N(, σ v U U ) 8 7 exempel, fots. Skattningsfelet ha en vaians som beo på u! ɛ N(, σ v U U ) fö fix töskel komme falskalamssannolikheten att beo på hu pocessen stys. (Dåligt!) Multiplicea skattningen med U U/σ v : U U σ v (ˆb b ) N(, ) så fås dä (z) χ () (z) = U U σv (ˆb b ) ˆb = U U U Y 9 Känslighet fö okontollebaa effekte och obusthet Man vill ha samma falskalamssannolikhet i sitt beslut hela tiden, obeoende av föändinga i insignalen u och tillstånd x, stöninga d, modellfel. Käve att födelningen fö (z) ej föändas! Men teststohetena kan vaa känsliga fö dessa okontollebaa effekte på gund av: modellfel dålig excitation mätbus och modellbus appoximativ avkoppling Robusthet: teststohetens fömåga att uppfylla pestandamål även då modellfel etc. påveka pocessen Något som kallas nomaliseing används fö att säkeställa att födelningen fö (z) ej ändas.

6 Abetsgång - öskelsättning Vanlig abetsgång vid val av töskel ä att uppfylla en viss falskalamssannolikhet α. Skapa en teststohet Nomalisea så att du (föhoppningsvis) ha en teststohet k (z) med någolunda konstant vaiation (födelning) fö olika abetspunkte unde H. Givet födelningen på k (z) välj en töskel k så att % fel i massflödessenso esiduale Residuals, dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) : MSO 8 5: MSO 67 (*) 6: MSO 75 5 P( k (z) > k H k ) ɛ (elle på annat sätt beoende på hu kaven ä specificeade) Nu ska vi studea nomaliseingen : MSO t [min] t [min] t [min] % fel i massflödessenso pdf Residual distibutions (kde), dataset: fyw_af : MSO 65 (*) : MSO (*) : MSO 7 (*) - : MSO 8 6-7: MSO : MSO 67 (*) : MSO Övesikt öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Hu ba ä min teststohet?

7 Pincipe fö konstuktion av teststohete Design av teststohete baseat på: pediktionsfel likelihood-funktionen paameteskattninga esiduale konsistenselatione, obsevatöe Metodik fö att nomalisea i dessa fall? Nomaliseing med pediktionsfel Minns (z) = min θ Θ V (θ, z) > c (eject H ) Vi behöve ett mått på modellosäkeheten W (z) = min θ Θ V (θ, z) = min θ Θ Minimeingen ä öve alla möjliga θ. (y(t) ŷ(t θ)) t= adp = min θ Θ V (θ, z) c elle ekvivalent: (z) = min θ Θ V (θ, z) min θ Θ V (θ, z) > c (eject H ) 5 6 Nomaliseing med likelihood-funktionen Neyman-Peason lemma, likelihood kvot H fökastas om adp = max θ Θ L(θ z) c Antag hypotesena H : θ = θ H : θ = θ Med nomaliseing: H fökastas om (z) = max L(θ z) < max L(θ z) c θ Θ θ Θ (z) = max θ Θ L(θ z) max θ Θ L(θ z) < c (z) kallas likelihood atio-test Anda od som används ä maximum likelihood atio elle genealized likelihood atio dä pdf fö obsevationena ä den kända födelningsfunktionen f (z θ i ) i de två fallen. En lite slavig fomuleing av Neyman-Peason lemma ä då: Den bästa tänkbaa teststoheten fö dessa hypotese ä (z) = f (z θ ) f (z θ ) Finns genealiseade esultat fö nollhypotese som inte ä singeltons. Me om detta senae i kusen. 7 8

8 Nomaliseing med paameteskattning eststoheten kan skapas enligt = (ˆθ N θ ), ˆθ N = ag min θ N (y(t) ŷ(t θ)) Födelningen på skattningen vaiea med gad ev excitation etc. och fö att kunna nomalisea så måste vi på något sätt äkna ut den. t= I det tidigae enkla exemplet så kunde vi äkna ut att ˆb N b N (, σ v U U ) dä U U ä gaden av excitation. Dämed kunde vi nomalisea och sätta töskel. Geneellt ä det svåt att exakt äkna ut skattningens födelning. vå möjlighete: asymptotiska esultat simuleing, Monte-Calo 9 Asymptotisk födelning hos skattning Att exakt äkna ut vilken födelning ˆθ N enligt nedan få ä svåt, och i me kompliceade fall ogöligt. = (ˆθ N θ ), ˆθN = ag min θ N (y(t) ŷ(t θ)) En möjlighet ä att se till att N ä tilläckligt stot, då kan man använda asymptotiska esultat N(ˆθ N θ ) AsN (, P) dä kovaiansen P kan skattas utifån de data som användes vid skattningen. ag ta inte med uttycken hä, men fomena hittas i Modellbygge och simuleing, elle i me detalj i System Identification - heoy fo the use av Lennat Ljung. t= Adaptiva töskla fö esiduale Adaptiv töskel - nomaliseing av esiduale Exempel: linjät system Uppmätta data fån en ventil i luftsystemet i Gipen: y = ( G(s) + G(s) ) u Solid: esidual; Dashed: thesholds dä G(s) ä modellfel R =H y (p)y + H u (p)u = H y (p) G(p)u ime [s] Man vet att modellen ä bätte/me noggann då man ö sakta på ventilen och säme vid hastiga föändinga av vinkelläget. Utnyttja det! δ > G(s) ä en känd öve gäns på stoleken hos modellfelet G(s). Ett sätt att välja en adaptiv töskel: adp (t) = δ H y (p)u + elle me allmänt adp (t) = c W (z) + c dä W (z) ä ett mått på modellosäkeheten.

9 Adaptiv töskel, exempel Adaptiva töskla = nomaliseing Man kan även ha dynamiska adaptiva töskla: y = G (s)u = s + a + a u a < δ a G(s) = G (s) G(s) a (s + a) = y G(s)u = G(s)u En adaptiv töskel kan med denna infomation sättas till tex.: δ (z) = c (p + a) u + c Ekvivalent med nomaliseing av teststoheten: som ä ekvivalent med (z) adp = c W (z) + c (eject H ) (z) = (z) c W (z) + c (eject H ) Övesikt Utvädeing av teststohete öskelsättning och beslut i osäke miljö öskelsättning i ett idealiseat fall Adaptiva töskla Pediktionsfel Likelihood-funktionen Paameteskattning Residuale Falsklam = fökasta H nä H ä sann (YP I) Missad detektion = fökasta inte H nä H ä sann (YP II) Signifikansnivå = sannolikhet att fökasta H nä H ä sann. Både falsklam och missad detektion beskivs av: Stykefunktion (powe function) β(θ) = P( (z) θ) Hu ba ä min teststohet? 5 6

10 ypiskt utseende på stykefunktione Exempel på två stykefunktione dä θ = :.8 Analytisk beäkning av stykefunktionen Om födelningen fö en teststohet givet felstolek f ä känd beäknas stykefunktionen: β(f ) = P( f ) = P( f ) + P( f ) = = integea gulmakeade omåden beta theta Stykefunktionen ä dämed ett ba instument fö att avgöa pestanda hos ett hypotestest i ett diagnossystem. Eftesom signifikansen ä lika fö båda testen, så följe att testet som motsvaa den heldagna linjen ä bätte. 7 β() : β(f ) : - - p( f=) p( f=f) f Notea att man kan alltid välja töskeln så att man få en viss signifikansnivå på testet. 8 Analytisk häledning av stykefunktionen: Paameteskattning Modell: y(t) = bu(t) + v(t) eststohet basead på paameteskattning: (z) = U U σv (ˆb b ), ˆb = U U U Y, v(t) N(, σ v ), vitt U U (ˆb b ) N(b b, ) σ } v {{} =:ɛ Notea att födelningen även fö fall då b b behövs, till skillnad fån vid töskelsättning. Givet en töskel : vilket ä ekvivalent med β(b) = P( (z) = ɛ b) β(b) = P ( ɛ b ) + P ( ɛ b) 9 Analytisk häledning av stykefunktionen: Pediktionsfel y(t) = bu(t) + v(t) eststohet basead på pediktionsfel: Felfitt fall: (z) = y(t) b u(t) σ v (y(t) ŷ(t)) = t= v(t) N(, σ v ), vitt (y(t) b u(t)) t= = b u(t) + v(t) b u(t) σ v vilket implicea, tillsammans med obeoende, att (z) σ v χ (N) = v(t) σ v N(, ) Alltså: Födelning känd och vi kan analytiskt beäkna stykefunktionen i felfitt fall, β(b ).

11 Analytisk häledning av stykefunktionen: Pediktionsfel fots. Häledning av signifikansnivån: Givet en töskel : vilket ä ekvivalent med β(b ) = P( (z) b = b ) P( (z) σ v σ v Men β(b) fö b b ä det me besväligt. Åtekomme till hu man gö då. b = b ) ämföa två teststohete med hjälp av stykefunktionen (z) = (y ŷ) = (z) = U U σv (ˆb b ) ˆb = U U U Y (y b u) β (b) (steckad) och. β (b) (heldagen) I figuen ä b =. eststoheten basead på paameteskattningen ä bäst av de två. I det hä fallet gå det att visa att det inte finns någon teststohet som ä bätte än (z). (Neyman-Peason Lemma) beta.8.6. theta Nä det inte gå att häleda analytiskt Bus genom olinjäitet Gundpoblemet ä att unde H hitta födelningen fö en teststohet k (z) dä k (z) ä en olinjä funktion. I detta sammanhang kanske en minimeing av en kvadatisk funktion. Analytisk lösning oftast ej möjlig. vå väga som finns att tillgå ä: Slumpa fam data z och se vad k (z) få fö födelning Om möjligt, mät upp (mycket) data itta på histogammet fö k (z). Poblem med sammansatta nollhypotese. Y = sin(x ) + dä X N(, ) Geneea 5 obeoende obsevatione X, beäkna Y och plotta histogam:

12 P(Detect) Stykefunktion via simuleinga elle uppmätta data Simulea fel på uppmätta felfia data Monte-Calo simuleing Antag en födelning fö bus i data z. Fixea paameten θ fö vilken vi ska beäkna β(θ). I en dato, geneea en sto mängd dataseie z i, i =,... N Fö vaje dataseie z i, beäkna t i = (z i ). 5 Samla ihop alla N vädena t i i ett histogam = skattning av f (t θ). 6 Genom att använda en fix töskel k, skatta β(θ). 7 Gå tillbaka till steg och fixea ett nytt θ. Stoa mängde uppmätta data istället fö simuleing. Ett sätt att uppskatta stykefunktionena ä att mäta upp mycket data. Ofta ä det omöjligt (inte alltid) att mäta upp data dä man ha fel på pocessen. Ett sätt, som inte alltid ä applicebat ä att mäta upp felfia data och addea felen i eftehand. Exempel: ett föstäkningsfel i senso-signalen (g = ä fel-fitt) y simul (t) = g y uppmätt (t) Inte exakt ätt om man ha åtekopplinga i systemet. 5 6 ROC-kuvo (Recieve Opeating Chaacteistics) Sannolikheten fö detektion P(D) plottas som funktion av sannolikheten fö falskalam P(FA) fö olika töskelval men fö en given felstolek est est Sammanfattning öskelsättning svansen på den födelningen fö felfia fallet om födelningen beo på obsevationena, använd nomaliseing elle adaptiva töskla Utvädeing av test mha stykefunktionen koppla till sannolikheten fö falskalam och missad detektion fö att skatta stykefunktionen kävs födelning även fö felfall. Om dessa inte gå att analytiskt beäkna behövs stoa mängde data elle Monte-Calo simuleinga. Nästa föeläsning handla om olinjä esidualgeneeing P(False Alam) est tydligt bätte än test 7 8

13 SFS6 Diagnos och övevakning Föeläsning 6 - öskling och analys av teststohete Eik Fisk Institutionen fö systemteknik Linköpings univesitet eik.fisk@liu.se