När är det bra med morfologi? Morfologi (formlära) Vad är ett ord? Ordbildning och ordböjning. Antal bokstäver i mamma? Morfem

Transkript

1 Morfologi (formlära) Ordbildning och ordböjning Automatisk morfologisk analys När är det bra med morfologi? Stavnings- och grammatikkontroll Sökmotorer Textsammanfattning i all språkteknik, alltid Ordbildning och ordböjning Grammatik Morfologi Syntax Morfologi Läran om ords former och bildning Hur man kombinerar orddelar (morfem) för att bilda hela ord Vad är ett ord? Graford omges av mellanslag och andra skiljetecken, ordet behöver inte tillhöra språket Problem: i dag - idag Lexem abstrakt ordenhet, tillhör språket, ett lexem flera graford: New York Ordformer olika former av samma ord Token en enhet med språkligt innehåll (tokenisering) Morfem Antal bokstäver i mamma? Morfem språkets minsta betydelsebärande enhet (HÄLL+DE) Morf morfemförekomst(häll+de) Allomorfer varianter på samma morfem (häll+de, köp+te), preteritumändelse Ljud Bokstäver Morfem Förekomster FON GRAF MORF Typer FONEM GRAFEM MORFEM Ord GRAFORD LEXEM 1

2 Stam gemensam ordstam (häll) Lemma (hälla) Lexikalt morfem har självständigt betydelseinnehåll Grammatiskt morfem har grammatisk betydelse Fria morfem Bundna morfem (affix) kan inte stå självständigt Fritt grammatiskt morfem -DEN Stam och affix Stam: flick Affix: -or, be-, -m- ge-*-t Suffix: -or flickor Prefix: be- betänka, för- fördriva Infix: -m- korrumpera Circumfix: ge-sag-t Stamförändringar Springa sprang sprungit (starka verb) OMLJUD: man:män, son:söner AVLJUD: i:a:u springa y:ö:u flyga flög flugit REDUPLIKATION: (latin) currit han springer, cu-currit han sprang/har sprungit STAMBYTE: är varit, liten-små-mindre Språktypologi Isolerande språk (kinesiska) övervägande fria morfem Syntetiska språk kombinerar morfem: 1. Flekterande (svenska) sammansmälta morfem med mycket variation 2. Agglutinerande (finska) tydligt urskiljbara morfem (se exempel) Ordbildningsexempel järjestelmättömyydellänsäkäänköhän järki =förnuft, förstånd Å järjestää=ordna, arrangera järjestellä=ordna, arrangera (durativt, iterativt)å järjestelmä = system (det man fått då man ordnat och ordnat!) järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -ttöm av tön, -ttömän: negerande ändelse, -lös: systemlös Å -yyde, av -yys, -yyden: substantivderivation, -het: systemlöshet Å -llä:kasusändelsen i ordet: med,på: med systemlöshet Å -nsä:possessivsuffix 3p: med sin systemlöshet Å 2

3 järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -kään:negerande ändelse: inte ens: inte ens med sin systemlöshet Å -kö: frågepartikel: inte ens med sin systemlöshet? Å hän:affirmativ artuikel: väl, men ju, nog: inte ens med sin systemlöshet, väl? Ordbildning Prefix+rot+suffix (be+ställ+de) Böjning de Avledning ning Sammansättning - förtur+s+beställning Fogförändringar: flick+cykel, gatu+korsning Produktiv ordbildning II Produktiv ordbildning I Produktiva avledningsändelser: Prefix: för- förlägga Suffix: -ning läggning Avledning byter ofta ordklass Sammansättningar: minst två fria morfem Lexikaliserade (finns i SAOL) äppelträd, polisbil Nybildningar Språkteknologi+klubben halk+trattar Sammansättningar II Determinativ: efterleden bestämmer tolkningen: badhus Kopulativ: blågul=blå och gul, leden är samordnade, strumpbyxor Böjning Konjugationer verbens böjningsmönster Tempus(nutid, dåtid, framtid?) Diates(aktiv, passiv) mat-a mat-ar, -as mat-ade, ades har/hade mat-at, -ats mat-ande, andes 3

4 Deklinationer substantivens böjningsmönster (numerus, species, kasus) I: neutrum, äpple:äpplen, hus:hus II: -are lärare:lärare III: utrumord a, flick-a,-an,-or IV: utrumord, obetonat e, pojke:pojkar V: andra utrum ord: -er, -or, -r.specialfall och undantagsregler Taggar från Stockhom-Umeå- Corpus (SUC) singular plural indefinit definit nominativ genitiv Bilen <bil NN UTR > Ordparadigm Automatisk morfologisk analys Ordform bil bils bilen bilens bilar bilars bilarna bilarnas Lexem Num Spec Kas Frekvensbaserat ordformslexikon vs. Morfologisk analys Historik Frekvensbaserat ordformslexikon Ta bort ändelser stemming (Chapin & Norton, 1968), Lovins 1969 Hellberg, stam och böjningar utan lexikon Kaplan & Kay, 1981, generativ fonologi, jämför lexikala former och ytformer hos ord. Koskenniemi, 1983, fortsätter i Kaplan & Kays anda, tvånivåregler, parallella regler och finita automater. Ingen morfologisk analys Täcker inte hela paradigmet Kräver en taggad korpus Liten arbetsinsats 4

5 Oregelbundna former Morfologisk analys En klar tendens att oregelbundna former är frekventa i ett språk. är varit bra bättre mindre liten Ej lönt att bygga morfologisk analys för dessa. Datareducerande Ger böjningsinformation Morfologiskt komplicerade språk Analys och generering Språkvetenskaplig beskrivning Analys och generering Analys: Indata: bilen Utdata: bil NN UTR Generering: Indata: bil NN UTR Utdata: bilen 1. Trunkering Avskiljer stam från ändelse utan segmentering inom ändelsen. Lexikon: bil: >AR-deklination häst: HÄST>AR-deklinationen AR-deklinationen: -s -en -ens -ar -ars -arna -arnas Flertydighet och variation Analys med nollmorfer Ordform Stam Num Spec Kas Inget entydigt förhållande mellan ändelse och morfem -en bilen - husen Morfologisk variation: en, na häll+de, köp+te PRT Fonologisk variation fågel - fågl bord bords bordet bordets bord bords borden et et en s s s bordens en s 5

6 2. Morfologisk analys - minilexikon Klarar morfologisk variation Går ej: Stam+(Num) + (Spec) + (Kas) Å bilna, bilare stam Pl Na Kas START---->1---->2---->3---->SLUT Sg Lexikon: Stam: bil:; häst:häst; Pl: ar: Na: na: ; : Sg: en: ; : Kas: s: ; : 3. System av minilexikon Stam: bil: Å Num Num: ar: PL ÅNa en: Å Kas : Å Kas Na: Na: Å Kas :Å Kas Kas: s: : Nom Vilken stam finns i lexikon? fågl eller fågel Det behövs omskrivningsregler Omskrivningsregler a->b/lc _ RC (Chomsky & Halle) l -> el/v(c)c_v fågel - fåglar l -> el/åg_a C=konsonant V=vokal Nackdelar med omskrivningsregler av ytformer Övergenerering: fågelar Endast ortografisk struktur Kan analysera/godkänna felaktiga ord: fågltorn Onödiga omskrivningar: Gävle Å Gävele Endast en riktning: el Å l /V(C)C_V 6

7 Tvånivåmorfologi I Abstrakta lexikonformer Två nivåer: Ortografisk Lexikalisk-morfologisk Finite-state-system Analys och generering De två nivåerna Morfologisk gräns: + el. ^ Null character: el. Ø Strängslut; # Lexikalisk: bil+ar+na+s Ortografisk: bilarnas Korresponderande par: b:b i:i l:l +: a:a r:r +: n:n a:a +: s:s In: bilarnas Ut: bil+ar+na+s Tvånivåregler och minilexikon Minilexikon: bil NN Lexikal nivå: bil+ar+na+s Ortografisk nivå: bilarnas Flertydighet: In: bilar Utdata 1: bila VB PRS AKT Utdata 2: bil NN Tvånivåregler Regelsyntax: realisering operator kontext X:x ØLC _ RC X:x X kan/måste realiseras som x om vänsterkontexten är LC och högerkontexten är RC Exempel: fågel fåglar abstrakt lexikonform: E=inget alls el. e E: Ø V(C)C_L+V E:e annars Lexikal nivå: fågel+ar Ortografisk nivå: fåglar Analys av sammansättningar Lexikal: Ortografisk: fågel#ansikte fågelansikte # sammansättningsgräns Lokal disambiguering: pol#is#hus el. polis#hus Heuristiska metoder: Välj: 1. Lexikaliserad sammansättning 2. Så få led som möjligt 7

8 Tvånivåmorfologi forts. Variation efter tonlös konsonant hos några svaga verb i preteritum: Ortografisk form: läste böjde badade Lexikalisk form: läs+de böj+de bada+de T= tonlös konsonant {f,k,p,s,t} Tvånivåregel: D:t Ø T+_ läste D:d annars böjde, badade TWOL - SWETWOL Utvecklad av Kimmo Koskenniemi 1983 Implementerad av Lauri Karttunen 1983 (engelska) Svenska: Bygga egna regler: PCKIMMO Statistisk morfologisk analys II Statistisk morfologisk analys I -ar substantiv, utr, plu, ind, nom 6 % -ar verb, prs, akt 4 % Info om ordformernas användning i text Låga utvecklingskostnader, enklare att underhålla, sämre kontroll, risk för skräp och framförallt svårt med generering Stemming Regler, inget lexikon Främsta tillämpning: informationssökning cykel ->cykl cyklar -> cykl cykling -> cykl cyklande -> cykl Porters stemming algoritm Kaskader av omskrivningsregler ar Å / C_# Olika steg med längsta möjliga matchning som krav inom varje steg. Utgår ifrån mönster av Vokaler (V) och konsonanter (C). övergenerering? Regering -> reger regerande -> reger 8

9 Stemming versus lemmatisering behövs det ett lexikon? Stemming: banan (stam=ban) banan (stam=ban) Lemmatisering: banan (lemma=bana) banan(lemma=banan) Täckning eller precision Stemmers gör fel, men lemmatiserare gör också fel Disambiguering? Indexets storlek? Uppsatsuppgifter 1. Utred tvånivåmodellen för svenska 2. Bygg en enkel stemmer 3. Utforska PC-KIMMO 9