Morfologi, särdrag, lexikon och syntax. När är det bra med morfologi? Vad är ett ord? Morfem. Stam och affix

Transkript

1 Morfologi, särdrag, lexikon och syntax Ordbildning och ordböjning Automatisk morfologisk analys Lexikon Särdrag, attribut och värden Syntax När är det bra med morfologi? Stavnings- och grammatikkontroll Sökmotorer Textsammanfattning i all språkteknik, alltid Vad är ett ord? Graford omges av mellanslag och andra skiljetecken, ordet behöver inte tillhöra språket Problem: i dag - idag Lexem abstrakt ordenhet (lexikonord), tillhör språket, ett lexem flera graford: New York; cyklar - cyklade Ordformer olika former av samma ord Token en enhet med språkligt innehåll (tokenisering) Morfem Morfem språkets minsta betydelsebärande enhet (HÄLL+DE) Morf morfemförekomst(häll+de) Allomorfer varianter på samma morfem (häll+de, köp+te), preteritumändelse, nyckel-nyckl Stam gemensam ordstam (häll) Lemma (hälla) Lexikalt morfem har självständigt betydelseinnehåll Grammatiskt morfem har grammatisk betydelse Fria morfem BIL Bundna morfem (affix) kan inte stå självständigt Fritt grammatiskt morfem -DEN Stam och affix Stam: flick Affix: -or, be-, -m- ge-*-t Suffix: -or flickor Prefix: be- betänka, för- fördriva Infix: -m- korrumpera Circumfix: ge-sag-t 1

2 Språktypologi Isolerande språk (kinesiska) övervägande fria morfem Syntetiska språk kombinerar morfem: 1. Flekterande (svenska) sammansmälta morfem med mycket variation 2. Agglutinerande (finska) tydligt urskiljbara morfem (se exempel) Ordbildningsexempel järjestelmättömyydellänsäkäänköhän järki =förnuft, förstånd järjestää=ordna, arrangera järjestellä=ordna, arrangera (durativt, iterativt) järjestelmä = system (det man fått då man ordnat och ordnat!) järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -ttöm av tön, -ttömän: negerande ändelse, -lös: systemlös -yyde, av -yys, -yyden: substantivderivation, -het: systemlöshet -llä:kasusändelsen i ordet: med,på: med systemlöshet -nsä:possessivsuffix 3p: med sin systemlöshet järjestelmä+ttöm+yyde+llä+nsä+kään+kö+hän -kään:negerande ändelse: inte ens: inte ens med sin systemlöshet -kö: frågepartikel: inte ens med sin systemlöshet? hän:affirmativ artuikel: väl, men ju, nog: inte ens med sin systemlöshet, väl? Ordbildning Prefix+rot+suffix (be+ställ+de) Böjning de Avledning ning Sammansättning - förtur+s+beställning Fogförändringar: flick+cykel, gatu+korsning Produktiv ordbildning I Produktiva avledningsändelser: Prefix: för- förlägga Suffix: -ning läggning Avledning byter ofta ordklass 2

3 Produktiv ordbildning II Sammansättningar: minst två fria morfem Lexikaliserade (finns i SAOL) äppelträd, polisbil Nybildningar Språkteknologi+klubben halk+trattar Automatisk morfologisk analys Frekvensbaserat ordformslexikon vs. Morfologisk analys Historik Ta bort ändelser stemming (Chapin & Norton, 1968), Lovins 1969 Nusvensk frekvensordbok (NFO) Sture Allén 1970) Hellberg, stam och böjningar utan lexikon Kaplan & Kay, 1981, generativ fonologi, jämför lexikala former och ytformer hos ord. Koskenniemi, 1983, fortsätter i Kaplan & Kays anda, tvånivåregler, parallella regler och finita automater. Frekvensbaserat ordformslexikon Ingen morfologisk analys Täcker inte hela paradigmet Kräver en taggad korpus Liten arbetsinsats Morfologisk analys Datareducerande Ger böjningsinformation Morfologiskt komplicerade språk Analys och generering Språkvetenskaplig beskrivning Oregelbundna former En klar tendens att oregelbundna former är frekventa i ett språk. är varit bra bättre mindre liten Ej lönt att bygga morfologisk analys för dessa. 3

4 Taggar från Stockhom-Umeå- Corpus (SUC) SIN PLU IND DEF NOM GEN singular plural indefinit definit nominativ genitiv Bilen <bil NN UTR SIN DEF NOM> Analys och generering Analys: Indata: bilen Utdata: bil NN UTR SIN DEF NOM Generering: Indata: bil NN UTR SIN DEF NOM Utdata: bilen 1. Trunkering Avskiljer stam från ändelse utan segmentering inom ändelsen. Lexikon: bil: BIL>AR-deklination häst: HÄST>AR-deklinationen AR-deklinationen: 0 SIN IND NOM -s SIN IND GEN -en SIN DEF NOM -ens SIN DEF GEN -ar PLU IND NOM -ars PLU IND GEN -arna PLU DEF NOM -arnas PLU DEF GEN Flertydighet och variation Inget entydigt förhållande mellan ändelse och morfem -en SIN DEF bilen - husen Morfologisk variation: en, na häll+de, köp+te PRT Fonologisk variation fågel - fågl Analys med nollmorfer Ordform Stam Num Spec Kas bord Bord bords Bord 0 0 s bordet Bord 0 et 0 bordets Bord 0 et s bord Bord bords Bord 0 0 s borden Bord 0 en 0 bordens Bord 0 en s 2. Morfologisk analys - minilexikon Klarar morfologisk variation Går ej: Stam+(Num) + (Spec) + (Kas) bilna, bilare stam Pl Na Kas START---->1---->2---->3---->SLUT Sg 4

5 Lexikon: Stam: bil:bil; häst:häst; Pl: ar:plu Na: na: DEF; 0: IND Sg: en: SIN DEF; 0: SIN IND Kas: s: GEN; 0: NOM 3. System av minilexikon Stam: bil: BIL Num Num: ar: PL Na en: SIN DEF Kas 0: SIN IND Kas Na: Na: DEF Kas 0:IND Kas Kas: s:gen 0: Nom Vilken stam finns i lexikon? fågl eller fågel Det behövs omskrivningsregler Omskrivningsregler a->b/lc _ RC (Chomsky & Halle) l -> el/v(c)c_v fågel - fåglar l -> el/åg_a C=konsonant V=vokal Nackdelar med omskrivningsregler av ytformer Övergenerering: fågelar Endast ortografisk struktur Kan analysera/godkänna felaktiga ord: fågltorn Onödiga omskrivningar: Gävle Gävele Endast en riktning: el l /V(C)C_V Tvånivåmorfologi I Abstrakta lexikonformer Två nivåer: Ortografisk Lexikalisk-morfologisk Finite-state-system Analys och generering 5

6 Tvånivåregler och minilexikon Minilexikon: bil NN PLU DEF GEN Lexikal nivå: bil+ar+na+s Ortografisk nivå: bil0ar0na0s Flertydighet: In: bilar Utdata 1: bila VB PRS AKT Utdata 2: bil NN PLU IND NOM Tvånivåregler Regelsyntax: realisering operator kontext X:x LC _ RC X:x X kan/måste realiseras som x om vänsterkontexten är LC och högerkontexten är RC Exempel: fågel fåglar abstrakt lexikonform: E=inget alls el. e E:0 V(C)C_L+V E:e annars Lexikal nivå: fågel+ar Ortografisk nivå: fåg0l0ar Analys av sammansättningar Lexikal: Ortografisk: fågel#ansikte fågel0ansikte # sammansättningsgräns Lokal disambiguering: pol#is#hus el. polis#hus Heuristiska metoder: Välj: 1. Lexikaliserad sammansättning 2. Så få led som möjligt TWOL - SWETWOL Utvecklad av Kimmo Koskenniemi 1983 Implementerad av Lauri Karttunen 1983 (engelska) Svenska: Bygga egna regler: PCKIMMO Swetwol, Fred Karlsson, 1992 Alla aspekter av böjningsmorfologi behandlas Nästan alla ordformer i löpande text får en morfologisk analys Valens, animat, abstrakt ord - ej med De mest produktiva avledningar behandlas Sammansättningsanalys görs Kärnvokabulären i svenska språket lexikonord 6

7 Statistisk morfologisk analys II Statistisk morfologisk analys I -ar substantiv, utr, plu, ind, nom 60 % -ar verb, prs, akt 40 % Info om ordformernas användning i text Låga utvecklingskostnader, enklare att underhålla, sämre kontroll, risk för skräp och framförallt svårt med generering 7