Lingvistik I Delmoment: Datorlingvistik

Transkript

1 Lingvistik I Delmoment: Datorlingvistik evapet@stp.lingfil.uu.se 1 Lingvistik I, 12 februari 2007

2 Föreläsningsöversikt Datorlingvistik/språkteknologi vad är det? Några språkteknologiska tillämpningsområden: Korpuslingvistik Informationssökning Talteknologi Textsammandrag Språkgranskning Maskinöversättning (Datorstödd språkinlärning CALL) 2 Lingvistik I, 12 februari 2007

3 Datorlingvistik/språkteknologi Kombinerar språk- och datavetenskap (kognitionsvetenskap, artificiell intelligens, pedagogik) Hur människans språk är uppbyggt och hur en dator kan programmeras för att hantera det mänskliga språket Målet är att underlätta kommunikationen mellan människor och datorer Exempel på språkteknologiska tjänster: automatisk översättning talbaserade telefontjänster stavnings- och grammatikkontroll sökmotorer för Internet hjälpmedel för språkinlärning 3 Lingvistik I, 12 februari 2007

4 KORPUSLINGVISTIK 4 Lingvistik I, 12 februari 2007

5 Vad är en korpus? korpus av latinets corpus = kropp Nationalencyklopedins definition: textmängd som är föremål för språkvetenskapligt studium Samling språkliga data bestående av antingen skrivna texter eller transkriptioner av talspråk Texterna i korpusen bör vara mer eller mindre är representativa för språket i fråga, och vara lagrade elektroniskt Innehållet i korpusen är ofta uppmärkt med lingvistisk information, t.ex. ordklass, lemma, genus, kasus och syntaktisk funktion - taggning 5 Lingvistik I, 12 februari 2007

6 Vad är korpuslingvistik? Att med hjälp av en korpus verifiera hypoteser om språket, t.ex. att undersöka hur ett visst ljud, ord eller syntaktisk konstruktion faktiskt används Gammal idé (dialektstudier, studier av utdöda språk etc.) Förverkligad genom modern teknik (framfart sedan 80-talet) 6 Lingvistik I, 12 februari 2007

7 Varför korpuslingvistik? Empirisk (objektiv) lingvistik: undersöker språket så som det används i verkligheten Enda sättet att undersöka frekvens i språkbruket Kan användas för att: Räkna ord Se samband mellan ords relativa frekvenser Se samband mellan samförekomst av ord Skapa lexikon (en- eller flerspråkiga) Som bas för lexikografi och grammatikstudier 7 Lingvistik I, 12 februari 2007

8 Konkordanser Visar ett visst ord eller fras i sitt sammanhang Kan fås fram automatiskt ur korpusar 8 Lingvistik I, 12 februari 2007

9 Välkända korpusar Engelska BNC (British National Corpus, 100 milj ord) Brown corpus (1 milj ord) Svenska SUC (Stockholm-Umeå Corpus, 1 milj ord) PAROLE (19 milj ord) Flerspråkiga EUROPARL (Europaparlamentstexter på EU-språk) Hansard (Kanadensiska parlamentstexter på engelska och franska) 9 Lingvistik I, 12 februari 2007

10 SUC SUC = Stockholm Umeå Corpus Ca 1 miljon löpord 500 texter med cirka 2000 ord per text 9 huvudgenrer, med undergenrer, t.ex. K (skönlitteratur) KK allmän skönlitteratur KL deckare och science fiction KN triviallitteratur KR humor Manuellt uppmärkt med ordklass och lemma samt morfologiska särdrag, såsom kasus, genus och numerus 10 Lingvistik I, 12 februari 2007

11 Exempel ur SUC <s id=aa01a-007> <w n=68>särskilt<ana><ps>absärskilt</w> <w n=69>smygrustningen<ana><ps>nn<m>utr SIN DEF NOMsmygrustning</w> <w n=70>vad<ana><ps>havad</w> <w n=71>gäller<ana><ps>vb<m>prs AKTgälla</w> <w n=72>missiler<ana><ps>nn<m>utr PLU IND NOMmissil</w> <w n=73>oroar<ana><ps>vb<m>prs AKToroa</w> <d n=74>.<ana><ps>mad.</d> </s> 11 Lingvistik I, 12 februari 2007

12 BNC British National Corpus Ca 100 miljoner löpord talad och skriven brittisk engelska Ordklasser och viss morfologisk och syntaktisk information har tilldelats helt automatiskt utan någon manuell efterredigering 12 Lingvistik I, 12 februari 2007

13 Exempel ur BNC <w DT0>Each <w NN1>dance <w VVD-VVN>followed <w AJ0>particular <w NN2>rules <w VVD-VVN>laid <w AVP>down <w PRP>by <w AT0>the <w AJ0-NN1>dancing <w NN2>masters 13 Lingvistik I, 12 februari 2007

14 Korpusanvändning inom datorlingvistiken Stor användning inom nästan alla språkteknologiska tillämpningsområden: automatisk översättning (flerspråkiga korpusar) talteknologi fråge-svarsystem automatisk grammatisk analys lexikonskapande m.m. m.m. 14 Lingvistik I, 12 februari 2007

15 INFORMATIONS SÖKNING 15 Lingvistik I, 12 februari 2007

16 Informationssökning/ informationsextraktion Informationssökning att söka upp dokument som är relevanta för det som användaren efterfrågar vanliga sökmotorer på Internet, t.ex. Google Informationsextraktion att inte bara söka upp rätt dokument, utan att faktiskt svara på en fråga som användaren ställer t.ex. Ask Jeeves ( 16 Lingvistik I, 12 februari 2007

17 17 Lingvistik I, 12 februari 2007

21 Datorlingvistiska resurser för informationssökning Nyckelordsextraktion frekvensberäkningar Automatisk morfologisk analys för att hitta alla ordformer, t.ex. flicka-flickor-flickorna Automatisk stavningskontroll Automatisk grammatisk analys av sökfrågan och av svarsdokumenten 21 Lingvistik I, 12 februari 2007

22 TALTEKNOLOGI 22 Lingvistik I, 12 februari 2007

23 Talteknologi Mål: att människan ska kunna kommunicera med datorn via talat språk Exempel på användningsområden: styrning av apparater i bil, flyg etc. hjälpmedel för synskadade och andra funktionshindrade personer telefonbokningstjänster utan mänsklig inblandning (t.ex. SJ) 23 Lingvistik I, 12 februari 2007

24 Talteknologins två delar Taligenkänning tal-till-text att få datorn att förstå vad en människa säger Talsyntes text-till-tal att få datorn att tala (eller sjunga ) 24 Lingvistik I, 12 februari 2007

25 Taligenkänning Problem: Tal kan låta olika mellan olika personer: dialekt, kön, ålder, tempo etc. Tal kan låta olika för samma person vid olika tillfällen: förkylning, sinnesstämning etc. Bakgrundsljud försvårar taligenkänningen Var börjar och slutar ett ord? Bäst resultat om tränas för en viss person Tillämpning: bokningssystem, t.ex. SJ - ordförrådet är begränsat och kan styras 25 Lingvistik I, 12 februari 2007

26 Talsyntes Att få datorn att tala Oftast klipp-och-klistra-metoder för produktion av tal: små ljudsnuttar kombineras till ord, fraser och meningar Talet kan kombineras med talking heads Grammatisk/semantisk analys krävs för rätt uttal av homografer: matris, banan, finskor Tillämpning: läsa upp texter för personer som har svårt att läsa 26 Lingvistik I, 12 februari 2007

27 Talsyntesapplikation: Readspeaker Utvecklat av Phoneticom Läser upp webbsidor Tänkta målgrupper: Dyslektiker Synskadade Kognitivt funktionshindrade personer Personer med dåliga svenskakunskaper 27 Lingvistik I, 12 februari 2007

28

29 TEXTSAMMANDRAG

30 Textsammandrag Att komprimera text och ta ut de viktigaste bitarna Användningsområden: I kombination med sökmotor på Internet För presentation av information på små skärmar Ledtrådar: Ytliga tecken, såsom fetstil och närvaron av siffror Nyckelord som fastställts statistiskt Meningarnas position i texten Lingvistik: morfologisk analys, stavningskontroll m.m.

31 Textsammandrag (2) Textsammanfattare för svenska: SweSum (KTH) Domän: Svensk tidningstext Prova själv och läs mer:

32 SPRÅKGRANSKNING

33 Språkgranskning Automatisk kontroll av: stavning grammatik stil Två uppgifter: Feligenkänning (att hitta felen) Felkorrigering (att ge ersättningsförslag)

34 Feligenkänning (stavning) MÖSG05: stavningskontroll, Eva Pettersson

35 Felkorrigering (stavning) MÖSG05: stavningskontroll, Eva Pettersson

36 Feligenkänning (grammatik) MÖSG05: stavningskontroll, Eva Pettersson

37 Felkorrigering (grammatik) MÖSG05: stavningskontroll, Eva Pettersson

38 Stavningskontroll (1) Enklaste tekniken för stavningskontroll: uppslagning i lexikon fångar felstavningar som inte utgör några ord, t ex coh och lingvstik Lexikonets storlek avgörande För stort lexikon ger missade fel, för litet lexikon ger falska alarm

39 Stavningskontroll (2) Problem: språket utvecklas hela tiden - kan inte lista alla möjliga ord i lexikonet Exempel på lösningar: automatisk sammansättningsanalys morfologiska regler automatisk egennamnsigenkänning tillåt användaren att lägga till egna ord i lexikonet Alltför tillåtande sammansättningsanalys gör att osannolika sammansättningar slinker igenom, t.ex. medalg, kotroll, makelera och särkskilt

40 Grammatikkontroll (1) Grammatikkontroll behövs för: Stavningskontroll, när felet resulterar i s.k. Real Word Errors : Jag er dålig på att stavar vi är tjära dator lingvistik Grammatikfel: Vi är kär samhällets utvecklingen

41 Grammatikkontroll (2) Hur hittar systemet grammatiska fel? Ofta lokala felregler för förutsedda fel Exempel på regel i den svenska grammatikkontrollen i Microsoft Word: om ett substantiv i bestämd form föregås av en genitivform, så ska substantivet istället stå i obestämd form

42

43 Stilkontroll Ord- och meningslängd Minusord: ålderdomliga, byråkratiska och alltför vardagliga ord Vissa syntaktiska konstruktioner, t.ex. passiv Konsekvenskontroll, t.ex. ska vs skall och mig vs mej i samma text

44 MASKIN ÖVERSÄTTNING 44 Lingvistik I, 12 februari 2007

45 Maskinöversättning Maskinöversättning: automatisk översättning av en text från ett språk till ett annat Datorstödd översättning: mänsklig översättning av en text, med hjälp av datoriserade lexikon, termordlistor, översättningsminnen o dyl. 45 Lingvistik I, 12 februari 2007

46 Varför maskinöversättning? Kan ge oss hjälp att förstå texter på språk som vi inte kan Väl fungerande maskinöversättningssystem sparar både tid och pengar Konsekventare och mer exakta översättningar Ökar motivationen att skriva på det egna språket 46 Lingvistik I, 12 februari 2007

47 Allmänt om maskinöversättning Började utvecklas redan på 50-talet Då: Höga förväntningar på felfria översättningar Vilken text som helst ska kunna översättas Nu: Mer realistiska förväntningar på kvaliteten Avgränsade domäner, t ex väderleksrapporter eller tekniska manualer Genombrott: 70-talet, EU-Systran 47 Lingvistik I, 12 februari 2007

48 Maskinöversättningsstrategier Direktöversättning Ord-för-ord och fras-för-fras Regelbaserad översättning Grammatiska regler Semantiska regler Korpusbaserad översättning Återanvändning av tidigare översättningar som återfinns i flerspråkiga korpusar 48 Lingvistik I, 12 februari 2007

49 Direktöversättning Äldsta och enklaste typen av automatisk översättning Ord-för-ord- och fras-för-fras-översättning med så lite grammatisk analys som möjligt Bygger helt på lexikonets utformning Problem med (bland annat): Strukturella skillnader mellan språken Ordföljd Tvetydighet 49 Lingvistik I, 12 februari 2007

50 Regelbaserad översättning (1) Transferbaserad översättning, tre steg: Analys Automatisk grammatisk analys av källtexten (den text som användaren skickat in för översättning) Transfer Den grammatiska strukturen för källtexten görs om till en grammatisk struktur anpassad till målspråket (det språk som texten ska översättas till) Generering Utifrån målspråkets grammatiska struktur byggs ordföljd och meningsuppbyggnad upp för den aktuella texten och en översättning skapas 50 Lingvistik I, 12 februari 2007

51 Regelbaserad översättning (2) Språkliga resurser som krävs för transferbaserad översättning: Lexikon och grammatik för källspråket Transfergrammatik med lexikala och strukturella transferregler Lexikon och grammatik för målspråket 51 Lingvistik I, 12 februari 2007

52 Översättningssystem: Systran SYStem TRANslation ( Mest använda systemet idag 1969: ryska-engelska 1976: Systran för EU Antalet språkpar utvidgas kontinuerligt Svenska-engelska-svenska 2004 Startade som direktöversättningssystem; nu mer och mer transfermetoder 52 Lingvistik I, 12 februari 2007

53 Exempel på översättningsproblem i Systran A 15-årig boy was grabbed on the Thursday morning of Uppsalapolisen suspect for a miss hand electrical that will have may rooms in Gränbyområdet in Uppsala En 15-årig pojke greps på torsdagsförmiddagen av Uppsalapolisen misstänkt för en misshandel som ska ha ägt rum i Gränbyområdet i Uppsala (Unt, ) 53 Lingvistik I, 12 februari 2007

54 Fler exempel på översättningsproblem i Systran In our company register can you look for companies in Uppsala. You can look for an individual company or a sector and few result on a map. Applies for companies: I vårt företagsregister kan du söka efter företag i Uppsala. Du kan söka efter ett enskilt företag eller en bransch och få resultatet på en karta. Sök företag: 54 Lingvistik I, 12 februari 2007

55 Datorstödd språkinlärning CALL Computer-Assisted Language Learning Att utveckla datorprogram som hjälper eleven att lära sig ett språk, t.ex. m.h.a. lucktexter språkanvändningsexempel i korpusar automatisk syntaktisk analys av elevens språk talad och/eller skriven dialog med datorn Kombinerar pedagogik, lingvisitik, datavetenskap och kognitionsvetenskap 55 Lingvistik I, 12 februari 2007

56 För den som är intresserad Allmänt om språkteknologi: Informationsextraktion: Talking heads: k/index.php Textsammandrag: Maskinöversättning: 56 Lingvistik I, 12 februari 2007