klassificering moln molnskugga skog öppen mark

Transkript

1 klassificering moln molnskugga skog öppen mark

2 exempel på klassificering

3 exempel på klassificering

4 50 öre 50 öre 1 kr (ny) (gammal) 10 kr 5 kr klassning av mynt

5 klassificering (2 föreläsningar) egenskapsrymd val av egenskap objektvis (form, storlek,...) pixelvis (spektral, temporal, artificiell,...) övervakad (supervised) klassificering oövervakad (unsupervised) klassificering beslutsfunktioner boxklassificering minsta avstånds-klassning optimal klassificerare (Bayes) maximum likelihood klustring k-mean hierarkisk matchning

6 lågnivå förbehandling/ förbättring avbildning & digitalisering problem bildanalys segmentering kunskapsbas högnivå mellannivå representation, beskrivning (mätningar) klassificering, igenkänning, tolkning resultat

7 intelligens förmåga att urskilja relevant information från en bakgrund av irrelevanta detaljer förmåga att lära från exempel och generalisera kunskapen så att den kan användas i nya och andra situationer förmåga att dra slutsatser från ofullständig information

8 notation & definition objekt (eller mönster = patterns) är intressanta objekt/regioner pixel med ett eller flera grånivåvärden (multispektral...) objekt representeras av egenskapsvektorer (= feature vectors) en samling värden för olika egenskaper, x 1, x 2, en objektsklass är en samling objekt/mönster som har likartade egenskaper betecknas ω 1, ω 2, ω 3, egenskapsrum (=feature space) är där vi drar beslutsgränser för de olika klasserna objekt/mönsterigenkänning: metod för att tillskriva objekt klasstillhörighet automatiskt (med så liten inblandning av användaren som möjligt)

9 egenskapsrum (feature space) w 1 =banan w 2 =apelsin w 3 =äpple w 4 =päron p 2 /a x 1 =p 2 /a hög låg låg hög låg låg hög hög grånivåvariation egenskapsvektorer x 2 =grånivåvariation

10 steg i klassificering OBJEKTSVIS segmentering separering i objekt & bakgrund etikettering mät egenskaper beskrivning dra gränser i egenskapsrymden identifiering av klasser PIXELVIS ingen segmentering! varje pixel som objekt (egenskap = grånivå) klassificering baserad på färg grånivårepresentation av textur temporala skillnader dra gränser i egenskapsrymden identifiering av klasser

11 problem segmentering val av egenskaper diskriminerande stabil, pålitlig statistiskt oberoende såfåsom möjligt dra gränser förutbestämda (supervised) identifierade från information om typiska exempel träningssteg dynamisk (unsupervised) datorn fixar

12 segmenteringsberoende tröskelvärde 127 tröskelvärde 147

13 textur Fig 11.22

14 vad kan texturanalys användas för? segmentera, dela upp en bild i olika regioner med samma textur. klassificera objekt baserat på textur

15 example: dela upp objekt och bakgrund med hjälp av textur original image (neurala stamceller på en glasyta) tröskling filtrerad med hjälp av varians trösklad variansbild

16 val av egenskaper form objektsvis textur pixelvis (egengjorda lager!) grånivå pixelvis

17 ÖVERVAKAD KLASSIFICERING supervised classification klassificeringen övervakas av användaren användaren bestämmer måtten för olika klasser exempel på objekt som tillhör kända klasser används för träning användaren markerar objekten datorn beräknar egenskaper och drar gränser i egenskapsrymden nya objekt klassificeras enligt indelningen av egenskapsrymden först kunskap sedan klassning

18 OÖVERVAKAD KLASSIFICERING unsupervised classification datorn används för att dela in egenskapsrymden i kluster användaren anger identitet för varje kluster antag att objekt med egenskapsvektorer nära varandra i egenskapsrymden tillhör samma klass dela in egenskapsrymden i naturliga kluster efter klustering: jämför med referensdata identifiera klasser först klassning sedan kunskap

19 klassificeringsmetoder box bayes (neural nätverk) klustering minsta avstånd maximum likelihood övervakad oövervakad

20 övervakad klassificering utvärdera deskriptorerna/måtten genom analys av histogram/scatterplots välj lämpliga deskriptorer separerande! beskriv klasser från träningsdata genom medelvärde och fördelning runt medelvärdet

21 träningsdata ω 1 =blad 1 ω 2 =blad 2 ω 3 =blad 3 ω 4 =blad 4

22 utvärdering av träningsdata P 2 /A= omkrets x omkrets / area

23 utvärdering av träningsdata

27 exempel 1: klassning av löv

28 exempel 1: klassning av löv

29 övervakad klassificering från formdeskriptorer

30 ω 2 ω 1 mätvärden för löv ω 3 ω 4 elongatedness P 2 /A relative convex area medel: min : max: medel: min: max: medel: min: max:

31 3D diagram över träningsdata

32 exempel 2: klassning från multispektral bild Band 1: blå Band 2: grön Band 3: röd Band 4: near infrared Band 5: thermal infrared

33 övervakad klassificering från multispektrala data

34 generaliserad tröskling multispektral tröskling intervall för varje klass och egenskap alla objekt med egenskapsvektorer i samma box tillhör samma klass boxklassificering

35 boxklassificering löv: elongatedness P 2 /A

36 boxklassificering multispektral U S C H F W urban sand corn hay forest water

37 multispektral tröskling grånivå färg röd grön blå

38 röd grön blå

39 använd beslutsfunktioner (diskriminantfunktioner) egenskapsvektor med n egenskaper: x = ( x 1, x,..., x ) T 2 n W objektsklasser: ω ω,..., 1, 2 ω W beslutsfunktion för varje objektsklass: ( x) d ( x) d ( x) d,..., d 1 i, 2 beslut genom: x tillhör klass ω i om beslutsgränser i egenskapsrymden ges av d ij ( x) > d ( x), j = 1,2,..., W, i j j W ( x) = d ( x) d ( x) = 0 i j

40 minsta avståndsklassning varje klass representeras av en medelvärdesvektor träning: använd exempelobjekt från kända klasser för att beräkna medelvärdesvektor för varje klass nya objekt klassas till närmaste klass egenskap 1 m 1 m 2 beslutsgräns d 12 egenskap 2

41 minstaavståndsklassning löv: elongatedness P 2 /A d 23 d 24 d 41 d 43

42 minstaavståndsklassning multispektral d US U S C H F W urban sand corn hay forest water = ny pixel som ska klassas

43 begränsning minstaavståndsklassning lämplig då avstånd mellan medelvärde är stort jämfört med spridningen i varje klass ω 1 ω 2

44 varians & kovarians varians: mått på spridning inom egenskap kovarians: mått på samverkan mellan egenskaper beskrivs med kovariansmatris egenskap 1 egenskap 2 egenskap 3 egenskap 1 inom 1 mellan 1 & 2 mellan 1& 3 egenskap 2 mellan 1 & 2 inom 2 mellan 2 & 3 egenskap 3 mellan 1& 3 mellan 2 & 3 inom 3

45 beräkning av varians & kovarians egenskaper: x 1, x 2, x 3,... egenskapsvektor för varje objekt i: x 1,i, x 2,i, x 3,i,... medelvärde för varje egenskap (och klass): x medel_1 x medel_2 x medel_3... cov 1 n 1 n ( x ) = ( ) ( ) i, x j xi, k xmedel x j, k xmedel k = 1 i j

46 medelvärdesvektor för varje klass beräknas från träningsdata egenskap 1 egenskap 2 egenskap ω 2 ω 1 ω 3 ω 4

47 kovariansmatriser för lövklasserna C ω = C ω3 = C ω2 = C ω4 = x 1 =elongatedness x 2 =P 2 /A x 3 =relative convex area Cω i = cov cov cov ( x1, x1 ) cov( x1, x2 ) cov( x1, x3 ) ( x1, x2 ) cov( x2, x2 ) cov( x2, x3 ) ( x, x ) cov( x, x ) cov( x, x )

48 maximum likelihood klassning klassa enligt största sannolikhet ta hänsyn till kovarians antag att fördelningen inom varje klass är gaussisk, dvs normalfördelad varje klass kan beskrivas med medelvärdesvektor och kovariansmatris

49 normalfördelning samma varians för båda egenskaperna

50 normalfördelning olika varians för egenskaperna

51 normalfördelning kovarians och olika varians

52 maximum likelihood klassning beräkna medelvärdesvektor kovariansmatris för varje klass från träningsdata skapa beslutsfunktioner för varje klass beror av medelvärdesvektor och kovariansmatris nya objekt klassas till den klass som ger högst sannolikhet

53 likelihood löv: elongatedness P 2 /A

54 likelihood multispektral

55 lägst sannolikhet för felklassning optimal klassificerare TA HÄNSYN TILL sannolikhet för att ett objekt med egenskapsvektor x tillhör klass ω i kostnad för felklassificering (dvs objekt som tillhör ω i klassas som ω j ).

56 Bayes klassning utvidgning av maximum likelihood tar hänsyn till förenklad optimal a priori kunskaper om hur sannolik en klass är kostnad för felklassificering

57 antaganden om kovariansmatrisen Fall 1 minsta avstånd: oberoende egenskaper ingen kovarians samma varians Fall 2 okorrelerade: oberoende egenskaper ingen kovarians olika varians i olika dimensioner Fall 3 samma kovarians: samma kovarians för alla klasser Fall 4 - generellt: olika kovarians

58 fall 1 minsta avståndsklassning: oberoende egenskaper samma varians

59 fall 2 okorrelerade egenskaper: oberoende egenskaper olika varians i olika dimensioner

60 fall 3 samma kovariansmatris för alla klasser

61 fall 4 (general) resten! komplicerade beslutsytor

62 objekt = okänd nytt objekt x beslutsgräns använd tröskling: för låg sannolikhet identitet okänd eller bakgrund använd bakgrund som en objektsklass

63 färginformation för segmentering red green blue

64 färgsegmentering HSI baserat på färg hue saturation som extra information intensitet används sällan (ingen färginformation) RGB ofta tillräckligt skatta medelfärg för segmenteras

65 histogram för färgbild (RGB)

66 RGB-rymden beräkna medelvektor a från träningsdata definiera avståndsfunktion D interessanta punkter z: D(z,a) D 0 euclidean minimum distance mahalanobis maximum likelihood chess board box T 1 D ( z, a) = z a D( z, a) = ( z a) C ( z a) = ( z a ) 2 + ( z a ) 2 + ( z a ) 2 R R G G B B C=covariance matrix R & G & B tröskling

67 segmentering baserat på avstånd i RGB-rymden sample pixel avståndsbild trösklad avståndsbild

68 klassificering baserad på textur skapa en fler-lagerbild varje lager beskriver ett texturmått lager skapas genom filtrering, pixelshift,... pixelvis klassning

69 riktning kantdetektion

70 riktning summering band 1 vertikalt band 1 horisontellt band 2 band 2

71 utjämning olika grånivå använd medelvärdesfilter för utsmetning enkel tröskling ger klassning

72 klassning genom tröskling av medelvärdesfiltrerad bild

73 textur & färg: shift träningsytor: röd=molnskugga orange=moln gul=öppen mark grön=skog original bild ML-klassning (general) träningsytor klassning på 4-lagers bild: lager 1: original lager 2: shift 2 i x lager 3: shift 2 i y lager 4: shift 2 i x och y

74 relaxation nödvändig vid pixelvis klassning ge varje pixel den vanligaste förekommande värdet av omgivande grannarna välj storlek på omgivningen ω1 ω1 ω 1 ω1 ω2 ω 3 ω2 ω1 ω 1 ω 1

75 efter relaxation träningsytor: röd=molnskugga orange=moln gul=öppen mark grön=skog original bild ML-klassning (general) efter relaxation (11x11) klassning på 4-lagers bild: lager 1: original lager 2: shift 2 i x lager 3: shift 2 i y lager 4: shift 2 i x och y

76 pixelvis klassning egenskapsvektorer genom grånivåerna för varje lager i bilden viktigt att träningsytorna är representativa träning på alla potentiella klasser artificiella lager för att framhäva textur kan användas efter pixelvis klassning utförs ofta relaxation OBS! lagren måste vara linjärt oberoende och inte konstanta ( varians 0)

77 simulera neuronerna i hjärnan kan generera komplicerade beslutsgränser mellan klasserna träningssteget viktigt inget antagande om täthetsfunktion (som för maximum likelihood) har andra nackdelar... neural networks kan användas för klassificering

78 Hotelling transformen - principal component analysis (pca) beräkna medel och kovariansmatris för en population (=pixlar) skapa ett nytt koordinatsystem origo i medel axlar i riktning så att variansen maximeras rotera använd för egenskapsrymden!

79 egenskap för pixlar i multispektral bild grånivå för varje band band 2 band 1

80 PCA för multispektrala bilder för att lättare se skillnader transformera så att variansen maximeras komprimering använd n första PCna band 2 band 1

81 principalkomponenter för en multispektralbild band 1 band 2 band 3 PC 1 PC 2 PC 3

82 sammanfattning: övervakad klassificering egenskaper kan vara grånivåer färg, artificiella lager mängd av formdeskriptorer egenskaper ska väljas efter förmåga att kunna separera klasser att lägga till fler egenskaper kan leda till försämrad klassning träningsmängden ska vara MYCKET större än antal egenskaper linjärt beroende egenskaper bör undvikas

83 påminnelse: oövervakad klassificering antag att objekten med egenskapsvektorer som ligger nära varandra i egenskapsrymden tillhör samma klass gruppera egenskapsvektorerna i naturliga kluster som representerar klasserna efter klustring: jämför med referensdata bestäm klassidentitet

84 klusteranalys dela egenskapsrymden i kluster baserat på likhet använd hierarkisk eller icke-hierarkisk metod för klustring hierarkisk k-means egenskap 1 egenskap 2

85 k-means klustring antal kluster = k ange k startpunkter (slumpmässigt eller enligt någon modell) objekt klassas som den klass som ligger närmast objekt flyttas mellan kluster med målsättning minimera variansen inom varje kluster maximera variansen mellan kluster

86 k-means klustring

87

88 hierarkisk klustring skapa ett klustringsträd (dendrogram) börja med att varje objekt är en egen klass slå ihop de närmaste klasserna enligt något avståndsmått forsätt till endast en klass återstår bestäm antalet klasser baserat på avstånden i trädet

89 feature space enkelt dendrogram avstånd klass

90 avståndsmått och länkningsregler avståndsmått euklidiskt city block länkningsregler, dvs hur vi mäter avstånd när flera objekt bildat kluster single linkage (nearest neighbour) kortaste avstånd complete linkage (furthest neighbour) längsta avstånd

91 egenskapsrymd för aktuella blad

92 etiketter: ω 1 = 1, 2, 3, 4 ω 2 = 5, 6, 7, 8 ω 3 =9,10,11,12 ω 4 =13,14,15,16 i etikettsbild ω 1 =1,5,7,11 ω 2 =2,9,10,20 ω 3 =3,4,6,8 ω 4 =14,15,16,17 ω 1 ω2 ω 3 ω 4

96 sammanfattning klassificering box bayes (neural networks) klustring minsta avstånd maximum likelihood övervakad övervakad klassning träningssteg beslutsfunktioner d i (x) nya objekt klassas efter värdet på d i (x):na oövervakad oövervakad klassning klustring av egenskapsvektorer i egenskapsrymden identitet efter klustring

97 matching hitta kända objekt i en bild eller söka efter speciella mönster en del av bildförståelse kan användas för segmentering Gunilla: hierarkisk chamfermatchning

98 matching genom korrelation använd korrelation för att hitta: träff för delbild w(x,y) av storlek JxK med bild f(x,y) av storlek MxN c ( x, y) = f ( s, t) w( x + s, y + t) x = 0,1,..., M 1, y = 0,1,..., N 1 s t fig 12.8

99 fig 12.9

100 registrering genom matchning av kritiska punkter exempel: standardhjärna hitta kritiska puntker i bild 1 manuellt automatiskt (hörn, ) leta efter samma punkter i bild 2 bestäm transformation (translation, skalning, rotation)

101 vidare: strukturella metoder än så länge: klassificering baserat på kvantitativa mått inte bara kvantitativt utan också spatiella relationer strukturell metod ex. fingeravtryck representeras av strängar eller träd

102 strängar... primitiver a b strängrepresentation w=...ababababab ofta för form av kant eller liknande

103 träd mest för hierarkiska strukturer image $ downtown residential buildings highways housings shopping malls highways high density large structures multiple numerous intersections loops low density small wooded structures areas single few intersections

104 påminnelse: formtal formtal av ordning n välj en rektangel av ordning n som bäst approximerar basrektangeln rektangeln ger gridstorlek n=12: 2 4, 3 3, 1 5 entydigt formtal GW Fig 11.12

105 grad av likhet - matchning of formtal grad av likhet k mellan a och b: högsta ordningen för vilken formtalen sammanfaller generellt: använd likhetsmatris för strängmatchning fig likhetsmatris