Innehåll. Morfologi Kan man inte bara köpa de här systemen och plugga in? Varför morfologisk analys?

Transkript

1 Morfologi 2002 Ola Knutsson Innehåll Ord och ordbildning Enkel morfologisk analys Tvånivå-modellen Statistisk morfologisk analys När är det bra med morfologi? Morfologisk parsning Parsning = att känna igen indata och tilldela indata någon sorts struktur Morfologisk parsning? Begreppet parsning har ofta varit synonymt med syntaktisk parsning, men parsning kan göras på flera nivåer. En syntaktisk parser behöver en morfologisk parser. Varför? Varför morfologisk analys? Svenska språket innehåller många ordformer Engelskan har mycket färre böjningsformer, men många avledningar: compute computer, computerize, computerization, recomputerize, noncomputerized Kan man inte bara köpa de här systemen och plugga in? Ja, om man är rik Att bygga lexikon har kräver ofta mycket manuellt arbete. Ordanalysen behövs nästan i alla språksystem Det dyker ständigt upp nya ord Vi kan skapa nya ord genom sammansättningar 1

2 Ordbildning och ordböjning Grammatik: Morfologi Syntax Morfologi är läran om ords former och bildning Hur man kombinerar orddelar (morfem) för att bilda hela ord. Några angränsande begrepp: Fonem: språkljudsenhet med betydelsebärande funktion Fonetik: språkljudens produktion, perception och akustik Fonologi:språkljuden som funktionellt system Fonotax: språkets regler för hur språkljud (fonem) kombineras till stavelser Vad är ett ord? Graford omges av mellanslag och andra skiljetecken, ordet behöver inte tillhöra språket Problem: i dag - idag Lexem abstrakt ordenhet (lexikonord), tillhör språket, ett lexem flera graford: New York; cyklar - cyklade Ordformer olika former av samma ord Token en enhet med språkligt innehåll (tokenisering) Morfem Morfem språkets minsta betydelsebärande enhet (HÄLL+DE) Morf morfemförekomst(häll+de) Allomorfer varianter på samma morfem (häll+de, köp+te), preteritumändelse, nyckle-nyckl Antal bokstäver i mamma? Förekomster Typer Ljud FON FONEM Bokstäver GRAF GRAFEM Morfem MORF MORFEM Ord GRAFORD LEXEM Stam gemensam ordstam (häll) Lemma (hälla) Lexikalt morfem har självständigt betydelseinnehåll Grammatiskt morfem har grammatisk betydelse Fria morfem BIL Bundna morfem (affix) kan inte stå självständigt Fritt grammatiskt morfem -DEN 2

3 Ordbygge morf+o+logi = form+fogemorfem+lära stam affix cykla -r cykla -de cykla -t cykla -nde Stam och affix Stam: flick Affix: -or, be-, -m- ge-*-t Suffix: -or flickor Prefix: be- betänka, för- fördriva Infix: -m- korrumpera Circumfix: ge-sag-t Stamförändringar Springa sprang sprungit (starka verb) OMLJUD: man:män, son:söner AVLJUD: i:a:u springa y:ö:u flyga flög flugit REDUPLIKATION (fördubbling): (latin) currit han springer, cu-currit han sprang/har sprungit STAMBYTE: är varit, liten-små-mindre Indelning av morfologin Böjningsmorfologi - böjer lexem cykla, cyklar, cyklade, cyklat Avledningsmorfologi skapar nya lexem god-het Morfologisk typologi Analytiska Isolerande språk (vietnamesiska) övervägande fria morfem Syntetiska språk kombinerar morfem: polysyntektiska. 1. Flekterande (svenska) sammansmälta morfem med mycket variation. 2. Agglutinerande (finska) tydligt urskiljbara morfem (se exempel) 3

4 Analytisk och syntetisk Suffix eller prefix? spännande fin mer spännande finare mest spännande finast analytisk syntetisk, agglutinerande Suffix är vanligare än prefix i världens språk Infix är mycket ovanligt, i svenskan mest i latinska låneord låg lägre lägst syntetisk, flekterande Ordbildningsexempel järjestelmättömyydellänsäkäänköhän järki =förnuft, förstånd järjestää=ordna, arrangera järjestellä=ordna, arrangera (durativt, iterativt) järjestelmä = system (det man fått då man ordnat och ordnat!) järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -ttöm av tön, -ttömän: negerande ändelse, -lös: systemlös -yyde, av -yys, -yyden: substantivderivation, -het: systemlöshet -llä:kasusändelsen i ordet: med,på: med systemlöshet -nsä:possessivsuffix 3p: med sin systemlöshet järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -kään:negerande ändelse: inte ens: inte ens med sin systemlöshet -kö: frågepartikel: inte ens med sin systemlöshet? hän:affirmativ artuikel: väl, men ju, nog: inte ens med sin systemlöshet, väl? Ordbildning Prefix+rot+suffix (be+ställ+de) Böjning de Avledning ning Sammansättning - förtur+s+beställning Fogförändringar: flick+cykel, gatu+korsning 4

5 Produktiv ordbildning II Produktiv ordbildning I Produktiva avledningsändelser: Prefix: för- förlägga Suffix: -ning läggning Avledning byter ofta ordklass Sammansättningar: minst två fria morfem Lexikaliserade (finns i SAOL) äppelträd, polisbil Nybildningar Språkteknologi+klubben halk+trattar Sammansättningar II Determinativ: efterleden bestämmer tolkningen: badhus Kopulativ: blågul=blå och gul, leden är samordnade, strumpbyxor Böjning Konjugationer verbens böjningsmönster Tempus(nutid, dåtid, framtid?) Diates(aktiv, passiv) mat-a mat-ar, -as mat-ade, ades har/hade mat-at, -ats mat-ande, andes Deklinationer substantivens böjningsmönster (numerus, species, kasus) I: neutrum, äpple:äpplen, hus:hus II: -are lärare:lärare III: utrumord a, flick-a,-an,-or IV: utrumord, obetonat e, pojke:pojkar V: andra utrum ord: -er, -or, -r.specialfall och undantagsregler Morfotax Hur används morfemet och vilka grannar får det ha? Det regelsystem som styr detta kallas morfotax. Hund+ar+na+s inte hund+ar+s+na 5

6 Taggar från Stockhom-Umeå- Corpus (SUC) SIN PLU IND DEF NOM GEN singular plural indefinit definit nominativ genitiv Bilen <bil NN UTR SIN DEF NOM> Ordform bil bils bilen bilens bilar bilars bilarna bilarnas Ordparadigm Lexem Num Spec BIL SIN IND BIL SIN IND BIL SIN DEF BIL SIN DEF BIL PLU IND BIL PLU IND BIL PLU DEF BIL PLU DEF Kas NOM GEN NOM GEN NOM GEN NOM GEN Automatisk morfologisk analys Automatisk morfologisk analys Indata hund hundarnas såg blindhund Morfologiskt analyserad utdata hund +NN +UTR +SIN +IND +NOM hund +NN +UTR +PLU +DEF +GEN se +VB +PRT +AKT såg +NN +UTR + blind+hund +NN +UTR +SIN +IND +NOM Frekvensbaserat ordformslexikon vs. Morfologisk analys Historik Frekvensbaserat ordformslexikon Ta bort ändelser stemming (Chapin & Norton, 1968), Lovins 1969 Nusvensk frekvensordbok (NFO) Sture Allén 1970) Hellberg, stam och böjningar utan lexikon Kaplan & Kay, 1981, generativ fonologi, jämför lexikala former och ytformer hos ord. Koskenniemi, 1983, fortsätter i Kaplan & Kays anda, tvånivåregler, parallella regler och finita automater. Ingen morfologisk analys Täcker inte hela paradigmet Kräver en taggad korpus Liten arbetsinsats 6

7 Morfologisk analys Datareducerande Ger böjningsinformation Morfologiskt komplicerade språk Analys och generering Språkvetenskaplig beskrivning Oregelbundna former En klar tendens att oregelbundna former är frekventa i ett språk. är varit bra bättre mindre liten Ej lönt att bygga morfologisk analys för dessa. Analys och generering Analys: Indata: bilen Utdata: bil NN UTR SIN DEF NOM Generering: Indata: bil NN UTR SIN DEF NOM Utdata: bilen 1. Trunkering Avskiljer stam från ändelse utan segmentering inom ändelsen. Lexikon: bil: BIL>AR-deklination häst: HÄST>AR-deklinationen AR-deklinationen: 0 SIN IND NOM -s SIN IND GEN -en SIN DEF NOM -ens SIN DEF GEN -ar PLU IND NOM -ars PLU IND GEN -arna PLU DEF NOM -arnas PLU DEF GEN Flertydighet och variation Inget entydigt förhållande mellan ändelse och morfem -en SIN DEF bilen - husen Morfologisk variation: en, na häll+de, köp+te PRT Fonologisk variation fågel - fågl Byggstenar för morfologisk analys Lexikon Morfotaktiska beskrivningar Ortografiska regler: fågel fåglar 7

8 Morfologisk igenkänning Vilka ord tillhör språket? Vilka ord hör sannolikt till språket? Vilka ord tillhör inte språket? Eller skall alla ord får rimligaste möjliga analys? Analys med nollmorfer Ordform Stam Num Spec Kas bord Bord bords Bord 0 0 s bordet Bord 0 et 0 bordets Bord 0 et s bord Bord bords Bord 0 0 s borden Bord 0 en 0 bordens Bord 0 en s 2. Morfologisk analys - minilexikon Klarar morfologisk variation Går ej: Stam+(Num) + (Spec) + (Kas) bilna, bilare stam Pl Na Kas START---->1---->2---->3---->SLUT Sg Lexikon: Stam: bil:bil; häst:häst; Pl: ar:plu Na: na: DEF; 0: IND Sg: en: SIN DEF; 0: SIN DEF Kas: s: GEN; 0: NOM 3. System av minilexikon Stam: bil: BIL Num Num: ar: PL Na en: SIN DEF Kas 0: SIN IND Kas Na: Na: DEF Kas 0:IND Kas Kas: s:gen 0: Nom Vilken stam finns i lexikon? fågl eller fågel Det behövs omskrivningsregler 8

9 Omskrivningsregler a->b/lc _ RC (Chomsky & Halle) l -> el/v(c)c_v fågel - fåglar l -> el/åg_a C=konsonant V=vokal Nackdelar med omskrivningsregler av ytformer Övergenerering: fågelar Endast ortografisk struktur Kan analysera/godkänna felaktiga ord: fågltorn Onödiga omskrivningar: Gävle Gävele Endast en riktning: el l /V(C)C_V Tvånivåmorfologi I Abstrakta lexikonformer Två nivåer: Ortografisk Lexikalisk-morfologisk Finite-state-system Analys och generering De två nivåerna Morfologisk gräns: + el. ^ Null character: 0 el. Ø ε Strängslut; # Lexikalisk: bil+ar+na+s Ortografisk: bil0ar0na0s Korresponderande par: b:b i:i l:l +:0 a:a r:r +:0 n:n a:a +:0 s:s In: bilarnas Ut: bil+ar+na+s Tvånivåregler och minilexikon Minilexikon: bil NN PLU DEF GEN Lexikal nivå: bil+ar+na+s Ortografisk nivå: bil0ar0na0s Flertydighet: In: bilar Utdata 1: bila VB PRS AKT Utdata 2: bil NN PLU IND NOM Tvånivåregler Regelsyntax: realisering operator kontext X:x LC _ RC X:x X kan/måste realiseras som x om vänsterkontexten är LC och högerkontexten är RC 9

10 Exempel: fågel fåglar abstrakt lexikonform: E=inget alls el. e E:0 V(C)C_L+V E:e annars Lexikal nivå: fågel+ar Ortografisk nivå: fåg0l0ar Analys av sammansättningar Lexikal: Ortografisk: fågel#ansikte fågel0ansikte # sammansättningsgräns Lokal disambiguering: pol#is#hus el. polis#hus Heuristiska metoder: Välj: 1. Lexikaliserad sammansättning 2. Så få led som möjligt Tvånivåmorfologi forts. Variation efter tonlös konsonant hos några svaga verb i preteritum: Ortografisk form: läs0te böj0de bada0de Lexikalisk form: läs+de böj+de bada+de T= tonlös konsonant {f,k,p,s,t} Tvånivåregel: D:t T+_ läste D:d annars böjde, badade TWOL - SWETWOL Utvecklad av Kimmo Koskenniemi 1983 Implementerad av Lauri Karttunen 1983 (engelska) Svenska: Bygga egna regler: PCKIMMO Swetwol, Fred Karlsson, 1992 Alla aspekter av böjningsmorfologi behandlas Nästan alla ordformer i löpande text får en morfologisk analys Valens, animat, abstraktord - ej med De mest produktiva avledningar behandlas Sammansättningsanalys görs Kärnvokabulären i svenska språket lexikonord Swetwol II 299 minilexikon Varje post i ett minilexikon innehåller en pekare till ett minilexikon eller # 10

11 Swetwol III Endast 8 tvånivåregler Exempel: m:0 <=>: m _ N -ning simma --> simning Utvärdering: ord (8432 typer) 0,65 % lämnades utan analys ord 0,4 % utan analys Statistisk morfologisk analys I -ar substantiv, utr, plu, ind, nom 60 % -ar verb, prs, akt 40 % Statistisk morfologisk analys II Info om ordformernas användning i text Låga utvecklingskostnader, enklare att underhålla, sämre kontroll, risk för skräp och framförallt svårt med generering Stemming Regler, inget lexikon Främsta tillämpning: informationssökning cykel ->cykl cyklar -> cykl cykling -> cykl cyklande -> cykl Porters stemmingalgoritm Kaskader av omskrivningsregler ar ε / C_# Olika steg med längsta möjliga matchning som krav inom varje steg. Utgår ifrån mönster av Vokaler (V) och konsonanter (C). övergenerering? Regering -> reger regerande -> reger Stemming versus lemmatisering behövs det ett lexikon? Stemming: banan (stam=ban) banan (stam=ban) Lemmatisering: banan (lemma=bana) banan(lemma=banan) Täckning eller precision Stemmers gör fel, men lemmatiserare gör också fel Disambiguering? Indexets storlek? 11

12 Uppsatsuppgifter 1. Utred tvånivåmodellen för svenska 2. Bygg en enkel stemmer 3. Utforska PC-KIMMO 12