Seminar Rough Sets. Präsentation von Christian Köllner Betreuer: Philipp Bender. Wintersemester 2003 / 04

Transkript

1 Seminar Rough Sets Präsentation von Christian Köllner Betreuer: Philipp Bender Wintersemester 2003 / 04 1

2 2 Rough set theory In den frühen 1980ern von Zdislaw Pawlak eingeführt Ein mathematisches Instrument, um mit Unbestimmtheit und Unsicherheit umzugehen Anwendungen in Bereichen der künstlichen Intelligenz, des maschinellen Lernens, der Entscheidungsanalyse, der Wissensaneignung von Datenbanken, Mustererkennung und vielen weiteren

3 3 Grundbegriff: Informationssystem Attribute Kopfschmerzen Muskelschmerzen Temperatur Entscheidung Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein nein hoch nein e6 nein sehr hoch

4 4 Grundbegriff: Informationssystem Attribute Muskelschmerzen Kopfschmerzen Temperatur Entscheidung Grippe Ein Informationssystem ist: e1 e2 e3 e4 e5 e6 nein nein nein nein normal hoch sehr hoch normal hoch sehr hoch nein nein nein Ein Paar S (U, A) U: Menge von Objekten, das Universum A: Menge von Attributen mit a : U Va für alle a A Temperatur( e3 ) "sehr hoch"

5 5 Grundbegriff: Informationssystem Attribute Muskelschmerzen Kopfschmerzen Temperatur Entscheidung Grippe Ein Informationssystem ist: e1 e2 e3 e4 e5 e6 nein nein nein nein normal hoch sehr hoch normal hoch sehr hoch nein nein nein Ein Paar S (U, A) U: Menge von Objekten, das Universum A: Menge von Attributen mit a : U Va für alle a A Die Menge V a heißt Wertemenge von a. V Temperatur { "normal", "hoch", "sehr hoch" }

6 6 Grundbegriff: Entscheidungssystem Klassifizierung des Universums anhand eines bestimmten Attributes Ein Entscheidungssystem S hat die Form: ( { }) A S U, A d, d d heißt Entscheidungsattribut In unserem Fall: "Grippe" Kann beliebige Trägermenge haben Meistens jedoch binäre Ausprägung

7 7 Minimierung des Systems Entscheidungssystem beinhaltet komplettes Wissen über ein Modell Tabelle kann aber unnötig groß sein: Mehrfach gleiche Zeilen Überflüssige Attribute (dazu mehr gegen Ende der Präsentation) Minimalität erwünscht

8 8 Ununterscheidbarkeit Attribute Kopfschmerzen ununterscheidbar Muskelschmerzen Temperatur Entscheidung Grippe e1 hoch e2 hoch widersprüchlich e3 sehr hoch e4 sehr hoch nein intuitiv widersprüchlich e5 nein nein hoch nein e6 nein nein normal

9 9 Ununterscheidbarkeit Sei S (U, A) ein Informationssystem Für jedes B A ist die Äquivalenzrelation IND A (B) definiert durch: {( ) 2 x, x' U a B a( x) a( x') } IND A ( B) Alle Elemente sind äquivalent, die bezüglich ihrer Attribute in B nicht unterscheidbar (d.h. gleich) sind. IND A (B) heißt B-Ununterscheidbarkeitsrelation

10 10 Ununterscheidbarkeit Attribute Kopfschmerzen Muskelschmerzen Temperatur Entscheidung Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein nein hoch nein e6 nein sehr hoch IND({Grippe}) { {e1, e4, e4, e5}, {e2, e3, e3, e6} }

11 11 Rough Sets Die Äquivalenzrelation induziert eine Partition des Universums. Partitionen definieren bestimmte Teilmengen des Universums. Die Teilmengen, die im Entscheidungsattribut den gleichen Wert haben, sind von Interesse. Ein Konzept wie z.b. "Grippe" kann jedoch aus gegebenen Daten nicht immer scharf definiert werden. Man benötigt unscharfe Mengen, die Rough Sets.

12 12 Rough Sets Kopfschm. Muskelschm. Temp. Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein nein hoch nein e6 normal Klassifizierung in sicherlich gesunde Patienten (e4, e5) sicherlich kranke Patienten (e2, e3) Grenzfälle (e1, e6). Ist die Menge der Grenzfälle nicht leer, so ist die zu klassifizierende Menge unscharf (engl.: rough)

13 13 Mengenapproximation Sei A (U, A) ein Informationssystem und sei B A und X U. Dann heißt BX { x [ x] X } B untere B-Approximation von X. { [ ] } Und BX x x B X φ heißt obere B-Approximation von X.

14 14 Mengenapproximation BX { x [ x] X } BX x [ x] B { φ } X B Elemente von BX sind mit Sicherheit in X. Elemente von BX sind nur eventuell in X. Die Menge BN B (X) BX - BX heißt B- Grenzregion von X. Die Menge U - BX heißt B-Außenregion von X. Sie enthält Elemente, die sicher nicht zu X gehören.

15 15 Mengenapproximation x Temperatur krank x Nein x Ja x Nein x4 > 39 Ja X : B : { x krank( x) Nein } { x1, x3 } { Temperatur } U BX { x4} Ja B X { x1} ( X ) { x2, x3} BN B Nein Ja/Nein

16 16 Ermittlung von Redukten Problem kann auf einen Algorithmus zur Minimierung boolescher Ausdrücke reduziert werden (darum auch NP-hart!) Ausgangspunkt ist die Unterscheidbarkeitsmatrix ((c ij )) c ij { a A a( x ) a( x ) } i, j 1, K, n i j Interpretation: c ij { Menge der Attribute, in denen sich x i von x j unterscheidet }

17 17 Unterscheidbarkeitsmatrix x Temperatur [a] krank [b] x1 x2 x3 x Nein Ja Nein > 39 Ja Informationssystem Unterscheidbarkeitsmatrix x1 x2 x3 x4 x1 Ø x2 { a, b } Ø x3 { a } { b } Ø x4 { a, b } { a } { a, b } Ø

18 18 Unterscheidbarkeitsfunktion Definiere für jedes Attribut a i eine boolesche Variable a i * Setze Setze c { a a } * * ij c ij S ( a,, a ) { c 1 j i n c φ } * * * f, 1 K m ij ij Die Menge aller Primimplikanten *) von f S bestimmt die Menge aller Redukte. *) Wiederholung: Primimplikanten kann man z.b. leicht aus der disjunktiven Minimalform einer Funktion ablesen. Für f x, y, z x y y wären es x y und y z. ( ) z

19 19 Unterscheidbarbeitsfunktion x1 x2 x3 x4 x1 Ø x2 { a, b } Ø x3 { a } { b } Ø x4 { a, b } { a } { a, b } Ø Unterscheidbarkeitsmatrix Unterscheidbarkeitsfunktion f S ( a, b) ( a b) ( a) ( a b) ( b) ( a) ( a b) a b

20 20 Entscheidungsklassen Das Entscheidungsattribut bestimmt eine Partition des Universums: CLASS S ( ) { 1 r( d ) d X, K, X } S S CLASS S (d) heißt Klassifizierung der Objekte in S, bestimmt durch die Entscheidung d. r(d) ist die Anzahl der Werte, die das Entscheidungsattribut annehmen kann. Die Menge X Si heißt i-te Entscheidungsklasse von S.

21 21 B-positive Region Sind X 1 X r(d) die Entscheidungsklassen von S, so heißt POS ( d ) BX1 K B ( d ) B X r B-positive Region von S. Interpretation: Die Menge aller Objekte, die sich eindeutig einer Entscheidung zuordnen lassen.

22 22 Beispiel: B-positive Region Kopfschmerzen Muskelschmerzen Temperatur Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein nein hoch nein e6 nein sehr hoch POS {K.,M.,T.} (d) { e1, e2, e3, e4, e5, e6 } U

23 23 Beispiel: B-positive Region x Temperatur krank x1 x2 x3 x Nein Ja Nein > 39 Ja } keine eindeutige Zuordnung! POS {Temp.} (d) { x1, x4 } U

24 24 Allgemeine Entscheidung Die allgemeine Entscheidung in einem Entscheidungssystem S ist eine Abbildung x a A : U 2 { i x' U : x' IND( A) x d( x' ) i } V d Interpretation: Die Menge aller Entscheidungswerte, die x und die zu x äquivalenten Objekte haben.

25 25 Konsistenz Ein Entscheidungsystem heißt konsistent (deterministisch), falls ( x) 1 x U Dann gilt: POS A (d) U A Es heißt inkonsistent (indeterministisch), falls ( ( x) 1 x U ) x U : ( ) 1 x A Dann gilt: POS A (d) U A

26 26 Algorithmische Konstruktion von Entscheidunsregeln Im Folgenden soll ein Algorithmus zur Konstruktion von Entscheidungsregeln vorgestellt werden: Bilde eine Matrix M d (S) ((c ijd )) durch c d ij φ, falls d( x ) ( ) i d x j ( x ) a( x ), { a A a } i j sonst ( {}) A Beachte: S U, A d, d Also ist ist d nicht in in c ij enthalten! ij

27 27 Algorithmische Konstruktion von Entscheidungsregeln M d (S) heißt entscheidungs-relative Unterscheidbarkeitsmatrix von S. Konstruiere ( * * ) { * a, K, a c 1 i n c φ } d, k f S 1 m ik, ik f heißt (k,d)-relative Unterscheidungsfunktion. Aus den Primimplikanten* lassen sich die Regeln konstruieren. *) Wiederholung: Primimplikanten kann man z.b. leicht aus der disjunktiven Minimalform einer (booleschen) Funktion ablesen. Für f x, y, z x y y wären es x y und y z. ( ) z

28 28 Unterscheidbarkeitsmatrix bilden Kopfschmerzen [k] Temperatur [t] Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein hoch nein e6 nein sehr hoch e7 nein hoch e8 nein sehr hoch nein

29 29 Unterscheidbarkeitsmatrix bilden Kopfschmerzen [k] Temperatur [t] Grippe e1 normal nein e1 e2 e3 e4 e5 e6 e7 e8 e2 hoch e1 Ø {t} {t} Ø Ø {k,t} {k,t} Ø e3 sehr hoch e2 {t} Ø Ø {k,t} {k} Ø Ø {k,t} e4 nein normal e3 {t} nein Ø Ø {k,t} {k,t} Ø Ø {k} e5 nein hoch e4 Ø nein {k,t} {k,t} Ø Ø {t} {t} Ø e6 nein sehr hoch e5 Ø {k} {k,t} Ø Ø {t} Ø Ø e7 nein hoch e6 {k,t} Ø Ø {t} {t} Ø Ø Ø e8 nein sehr hoch nein e7 {k,t} Ø Ø {t} Ø Ø Ø {t} e8 Ø {k,t} {k} Ø Ø Ø {t} Ø

30 30 Entscheidungsfunktionen konstruieren e1 e2 e3 e4 e5 e6 e7 e8 e1 Ø {t} {t} Ø Ø {k,t} {k,t} Ø e2 {t} Ø Ø {k,t} {k} Ø Ø {k,t} e3 {t} Ø Ø {k,t} {k,t} Ø Ø {k} e4 Ø {k,t} {k,t} Ø Ø {t} {t} Ø e5 Ø {k} {k,t} Ø Ø {t} Ø Ø e6 {k,t} Ø Ø {t} {t} Ø Ø Ø e7 {k,t} Ø Ø {t} Ø Ø Ø {t} e8 Ø {k,t} {k} Ø Ø Ø {t} Ø ( ) ( ) t k r t r t r t k r t r t k r t k r t t k t k t t r K

31 31 Entscheidungsregeln bilden Kopfschmerzen [k] Temperatur [t] Grippe e1 normal nein e2 hoch e3 sehr hoch e4 nein normal nein e5 nein hoch nein e6 nein sehr hoch e7 nein hoch e8 nein sehr hoch nein r k t r 1 r r r r r r t k t k t t k t t t

32 32 Entscheidungsregeln bilden R1: Wenn Temperaturnormal, folgt Gippenein R2: Wenn Kopfschmerzen und Temperaturhoch, folgt Grippe R3: Wenn Kopfschmerzen und Temperatursehr hoch, folgt Grippe R4: Wenn Temperaturnormal, folgt Grippenein R5: Wenn Kopfschmerzennein und Temperaturhoch, folgt Grippenein R6: Wenn Temperatursehr hoch, folgt Grippe R7: Wenn Temperaturhoch, folgt Grippe R8: Wenn Kopfschmerzennein und Temperatursehr hoch, folgt Grippenein

33 33 Noch etwas zu Entscheidungsregeln R1: Wenn Temperaturnormal, folgt Gippenein R2: Wenn Kopfschmerzen und Temperaturhoch, folgt Grippe R3: Wenn Kopfschmerzen und Temperatursehr hoch, folgt Grippe R4: Wenn Temperaturnormal, folgt Grippenein R5: Wenn Kopfschmerzennein und Temperaturhoch, folgt Grippenein R6: Wenn Temperatursehr hoch, folgt Grippe R7: Wenn Temperaturhoch, folgt Grippe R8: Wenn Kopfschmerzennein und Temperatursehr hoch, folgt Grippenein R3 wird durch R6 überflüssig. R8 steht mit mit R6 in Konflikt.

34 34 Regelanwendung Umgang mit Konflikten durch "Voting": Bestimme zu jeder zutreffenden Regel den Support - die Anzahl der Objekte, die mit dieser Regel im ursprünglichen Entscheidungssystem klassifiziert werden. Gewichte die möglichen Entscheidungen anhand des Regel-Supports und nimm die mit dem höchsten Gewicht. Trifft keine Regel zu, nimm die am häufigsten vorkommende Entscheidung.

35 35 Erzeugung optimaler Regeln Regeln sind oft zu groß und kompliziert. Konstruktion möglichst einfacher, robuster. Regeln ist erwünscht. Regeln werden einfacher, wenn weniger Attribute zugrunde liegen. Selektierung von wirklich relevanten Attributen, gekoppelt mit Bestimmung sogenannter Redukte ist wichtig!

36 36 Redukte Bestimmung von Äquivalenzklassen hilft, Speicherplatz zu sparen (nur Repräsentanten müssen gespeichert werden). Es geht aber noch besser: Finde eine Untermenge B' der Attribute B, so dass die Partitionierung von X unter B' erhalten bleibt. Überflüssige Attribute werden also eliminiert.

37 37 Redukte - ein Beispiel Abschluss Erfahrung Französich Referenz Entscheidung x1 MBA mittel exzellent einstellen x2 x3 x4 x5 MBA MCE MSc MSc wenig wenig hoch mittel neutral gut neutral neutral ablehnen ablehnen einstellen ablehnen x6 MSc hoch exzellent einstellen x7 MBA hoch nein gut einstellen x8 MCE wenig nein exzellent ablehnen

38 38 Ermittlung von Redukten Leider: NP-hartes Problem. Aber: Gute Heuristiken vorhanden. Problem kann auf einen Algorithmus zur Minimierung boolescher Ausdrücke (ähnlich wie Erzeugung von Entscheidungsregeln) reduziert werden - darum auch NP-hart!

39 39 Bestimmung optimaler Redukte Es gibt viele Ansätze, z.b.: Dynamische Redukte über zufällige Teilmengen des Universums Bestimmung und Einbeziehung von Abhängigkeiten zwischen Attributen Berechnung der Relevanz von Attributen: Ein Attribut ist umso relevanter, je mehr sich die Klassifizierung durch Weglassen des Attributs ändern würde.

40 40 Weitere Ansätze in der Rough Set Theory Attribute müssen diskret sein, was in der Praxis aber nicht unbedingt der Fall ist (z.b. Puls, Spannung, ) Diskretisierungsmechanismen für kontinuierliche Werte. Rauscheliminierung

41 Quellen: J. Komorowski, Z. Pawlak, L. Polkowski, A. Skowron - Rough Sets: A Tutorial Z. Pawlak,J. Grzymala-Busse, R. Slowinski, W. Ziarko - Rough Sets Das war's. Fragen? 41