Lingvistik I Delmoment: Datorlingvistik

Transkript

1 Lingvistik I Delmoment: Datorlingvistik evapet@stp.lingfil.uu.se 1

2 Föreläsningsöversikt Datorlingvistik/språkteknologi vad är det? Några språkteknologiska tillämpningsområden: Korpuslingvistik Talteknologi Språkgranskning Maskinöversättning Informationssökning Textsammandrag Datorstödd språkinlärning CALL 2

3 Datorlingvistik/språkteknologi Tvärvetenskapligt område: språk- och datavetenskap, men även t.ex. kognitionsvetenskap, artificiell intelligens och pedagogik. Behandlar hur människans språk är uppbyggt och hur en dator kan programmeras för att hantera det mänskliga språket. Målet är att underlätta kommunikationen mellan människor och datorer. Exempel på språkteknologiska tjänster: automatisk översättning, talbaserade telefontjänster, stavningsoch grammatikkontroll, sökmotorer för Internet, hjälpmedel för språkinlärning. 3

4 KORPUSLINGVISTIK 4

5 Korpuslingvistik (1) Språkvetenskap som undersöker stora textmängder (korpusar), t.ex. med hjälp av s.k. konkordanser: 5

6 Korpuslingvistik (2) Fler saker man kan göra med korpusar och datorer: Räkna ord Se samband mellan ords relativa frekvenser Se samband mellan samförekomst av ord Skapa lexikon (en- eller flerspråkiga) Bas för lexikografi och grammatikstudier 6

7 Vad är en korpus? En samling språkliga data bestående av antingen skrivna texter eller transkriptioner av talspråk Texterna i korpusen bör vara mer eller mindre är representativa för språket i fråga, och vara lagrade elektroniskt Syftet med en korpus är att verifiera hypoteser om naturligt språk, t.ex. att undersöka hur ett visst ljud, ord eller syntaktisk konstruktion faktiskt används Innehållet i korpusen är ofta (manuellt eller automatiskt) uppmärkt med lingvistisk information, t.ex. ordklass, lemma, genus, kasus och syntaktisk funktion - taggning 7

8 SUC SUC = Stockholm Umeå Corpus Ca 1 miljon löpord 500 texter med cirka 2000 ord per text 9 huvudgenrer, med undergenrer, t.ex. K (skönlitteratur) KK allmän skönlitteratur KL deckare och science fiction KN triviallitteratur KR humor Manuellt uppmärkt med ordklass och lemma samt morfologiska särdrag, såsom kasus, genus och numerus 8

9 Exempel ur SUC <s id=aa01a 007> <w n=68>särskilt<ana><ps>absärskilt</w> <w n=69>smygrustningen<ana><ps>nn<m>utr SIN DEF NOMsmygrustning</w> <w n=70>vad<ana><ps>havad</w> <w n=71>gäller<ana><ps>vb<m>prs AKTgälla</w> <w n=72>missiler<ana><ps>nn<m>utr PLU IND NOMmissil</w> <w n=73>oroar<ana><ps>vb<m>prs AKToroa</w> <d n=74>.<ana><ps>mad.</d> </s> 9

10 Exempel ur SUC (morfologisk uppmärkning) <s id=aa01a 007> <w n=68>särskilt<ana><ps>absärskilt</w> <w n=69>smygrustningen<ana><ps>nn<m>utr SIN DEF NOMsmygrustning</w> <w n=70>vad<ana><ps>havad</w> <w n=71>gäller<ana><ps>vb<m>prs AKTgälla</w> <w n=72>missiler<ana><ps>nn<m>utr PLU IND NOMmissil</w> <w n=73>oroar<ana><ps>vb<m>prs AKToroa</w> <d n=74>.<ana><ps>mad.</d> </s> 10

11 Exempel ur SUC (uppmärkning av grundform) <s id=aa01a 007> <w n=68>särskilt<ana><ps>absärskilt</w> <w n=69>smygrustningen<ana><ps>nn<m>utr SIN DEF NOMsmygrustning</w> <w n=70>vad<ana><ps>havad</w> <w n=71>gäller<ana><ps>vb<m>prs AKTgälla</w> <w n=72>missiler<ana><ps>nn<m>utr PLU IND NOMmissil</w> <w n=73>oroar<ana><ps>vb<m>prs AKToroa</w> <d n=74>.<ana><ps>mad.</d> </s> 11

12 BNC British National Corpus Ca 100 miljoner löpord talad och skriven brittisk engelska Ordklasser och viss morfologisk och syntaktisk information har tilldelats helt automatiskt utan någon manuell efterredigering 12

13 Exempel ur BNC <w DT0>Each <w NN1>dance <w VVD VVN>followed <w AJ0>particular <w NN2>rules <w VVD VVN>laid <w AVP>down <w PRP>by <w AT0>the <w AJ0 NN1>dancing <w NN2>masters 13

14 Korpusanvändning inom datorlingvistiken Stor användning inom nästan alla språkteknologiska tillämpningsområden: automatisk översättning (flerspråkiga korpusar) talteknologi fråge-svarsystem automatisk grammatisk analys lexikonskapande m.m. m.m. 14

15 TALTEKNOLOGI 15

16 Talteknologi Mål: att människan ska kunna kommunicera med datorn via talat språk Exempel på användningsområden: styrning av apparater i bil, flyg etc. hjälpmedel för synskadade och andra funktionshindrade personer telefonbokningstjänster utan mänsklig inblandning (t.ex. SJ) 16

17 Talteknologins två delar Taligenkänning tal-till-text att få datorn att identifiera vilka ord som uttalas Talsyntes text-till-tal att få datorn att tala 17

18 Taligenkänning Problem: Tal kan låta olika mellan olika personer: dialekt, kön, ålder, tempo etc. Tal kan låta olika för samma person vid olika tillfällen: förkylning, sinnesstämning etc. Bakgrundsljud försvårar taligenkänningen Var börjar och slutar ett ord? Bäst resultat om tränas för en viss person Tillämpning: bokningssystem, t.ex. SJ ordförrådet är begränsat och kan styras 18

19 Talsyntes Att få datorn att tala Översättning av ortografisk representation till en fonetisk representation -> transkribering Oftast klipp-och-klistra-metoder för produktion av tal Kan kombineras med talking heads Grammatisk/semantisk analys krävs för uttal av homografer: matris, banan, finskor Tillämpning: läsa upp texter för personer som har svårt att läsa 19

20 Talsyntesapplikation: Readspeaker Utvecklat av Phoneticom Läser upp webbsidor Tänkta målgrupper: Dyslektiker Synskadade Kognitivt funktionshindrade personer Personer med dåliga svenskakunskaper 20

21

22 SPRÅKGRANSKNING

23 Språkgranskning Automatisk kontroll av: stavning grammatik stil Två uppgifter: Feligenkänning (att hitta felen) Felkorrigering (att ge ersättningsförslag)

24 Feligenkänning i Microsoft Word MÖSG05: stavningskontroll,

25 Felkorrigering i Microsoft Word MÖSG05: stavningskontroll,

26 Feligenkänning i Microsoft Word MÖSG05: stavningskontroll,

27 Felkorrigering i Microsoft Word MÖSG05: stavningskontroll,

28 Stavningskontroll (1) Enklaste tekniken för stavningskontroll: uppslagning i lexikon fångar felstavningar som inte utgör några ord, t ex coh och lingvstik Lexikonets storlek avgörande För stort lexikon ger missade fel, för litet lexikon ger falska alarm

29 Stavningskontroll (2) Problem: språket utvecklas hela tiden - kan inte lista alla möjliga ord i lexikonet Exempel på lösningar: automatisk sammansättningsanalys morfologiska regler automatisk egennamnsigenkänning tillåt användaren att lägga till egna ord i lexikonet Alltför tillåtande sammansättningsanalys gör att osannolika sammansättningar slinker igenom, t.ex. medalg, kotroll, makelera och särkskilt

30 Grammatikkontroll (1) Grammatikkontroll behövs för: Stavningskontroll, när felet resulterar i s.k. Real Word Errors : Jag er dålig på att stavar vi är tjära dator lingvistik Grammatikfel: Vi är kär samhällets utvecklingen

31 Grammatikkontroll (2) Hur hittar systemet grammatiska fel? Ofta lokala felregler för förutsedda fel Exempel på regel i den svenska grammatikkontrollen i Microsoft Word: om ett substantiv i bestämd form föregås av en genitivform, så ska substantivet istället stå i obestämd form

32

33 Stilkontroll Ord- och meningslängd Minusord: ålderdomliga, byråkratiska och alltför vardagliga ord Vissa syntaktiska konstruktioner, t.ex. passiv Konsekvenskontroll, t.ex. ska vs skall och mig vs mej i samma text

34 MASKIN ÖVERSÄTTNING 34

35 Maskinöversättning Maskinöversättning: automatisk översättning av en text från ett språk till ett annat Datorstödd översättning: mänsklig översättning av en text, med hjälp av datoriserade lexikon, termordlistor, översättningsminnen o dyl. 35

36 Varför maskinöversättning? Kan ge oss hjälp att förstå texter på språk som vi inte kan Väl fungerande maskinöversättningssystem sparar både tid och pengar Konsekventare och mer exakta översättningar Ökar motivationen att skriva på det egna språket 36

37 Allmänt om maskinöversättning Började utvecklas redan på 50-talet Då: Höga förväntningar på felfria översättningar Vilken text som helst ska kunna översättas Nu: Mer realistiska förväntningar på kvaliteten Avgränsade domäner, t ex väderleksrapporter eller tekniska manualer Genombrott: 70-talet, EU-Systran 37

38 Maskinöversättningsstrategier Direktöversättning Ord-för-ord och fras-för-fras Regelbaserad översättning Grammatiska regler Semantiska regler Korpusbaserad översättning Återanvändning av tidigare översättningar som återfinns i flerspråkiga korpusar 38

39 Direktöversättning Äldsta och enklaste typen av automatisk översättning Ord-för-ord- och fras-för-fras-översättning med så lite syntaktisk analys som möjligt Bygger helt på lexikonets utformning Problem med (bland annat): Strukturella skillnader mellan språken Ordföljd Tvetydighet 39

40 Regelbaserad översättning (1) Transferbaserad översättning, tre steg: Analys Automatisk grammatisk analys av källtexten (den text som användaren skickat in för översättning) Transfer Den grammatiska strukturen för källtexten görs om till en grammatisk struktur anpassad till målspråket (det språk som texten ska översättas till) Generering Utifrån målspråkets grammatiska struktur byggs ordföljd och meningsuppbyggnad upp för den aktuella texten och en översättning skapas 40

41 Regelbaserad översättning (2) Språkliga resurser som krävs för transferbaserad översättning: Lexikon och grammatik för källspråket Transfergrammatik med lexikala och strukturella transferregler Lexikon och grammatik för målspråket 41

42 Översättningssystem: Systran SYStem TRANslation ( Mest använda systemet idag 1969: ryska-engelska 1976: Systran för EU Antalet språkpar utvidgas kontinuerligt Svenska-engelska-svenska 2004 (med UU:s hjälp) Startade som direktöversättningssystem; nu mer och mer transfermetoder 42

43 43

44 44

45 45

46 Exempel på översättningsproblem i Systran A 15 årig boy was grabbed on the Thursday morning of Uppsalapolisen suspect for a miss hand electrical that will have may rooms in Gränbyområdet in Uppsala En 15 årig pojke greps på torsdagsförmiddagen av Uppsalapolisen misstänkt för en misshandel som ska ha ägt rum i Gränbyområdet i Uppsala (Unt, ) 46

47 Fler exempel på översättningsproblem i Systran In our company register can you look for companies in Uppsala. You can look for an individual company or a sector and few result on a map. Applies for companies: I vårt företagsregister kan du söka efter företag i Uppsala. Du kan söka efter ett enskilt företag eller en bransch och få resultatet på en karta. Sök företag: 47

48 TEXTSAMMANDRAG 48

49 Textsammandrag Att komprimera text och ta ut de viktigaste bitarna Användningsområden: I kombination med sökmotor på Internet För presentation av information på små skärmar Ledtrådar: Ytliga tecken, såsom fetstil och närvaron av siffror Nyckelord som fastställts statistiskt Meningarnas position i texten Lingvistik: morfologisk analys, stavningskontroll m.m. 49

50 Textsammandrag (2) Textsammanfattare för svenska: SweSum (KTH) Domän: Svensk tidningstext Prova själv och läs mer: 50

51 51

52 52

53 INFORMATIONS SÖKNING 53

54 Informationssökning/ informationsextraktion Informationssökning att söka upp dokument som är relevanta för det som användaren efterfrågar vanliga sökmotorer på Internet, t.ex. Google Informationsextraktion att inte bara söka upp rätt dokument, utan att faktiskt svara på en fråga som användaren ställer t.ex. Ask Jeeves ( 54

55 55

56 56

57 57

58 58

59 Datorlingvistiska resurser för informationssökning Nyckelordsextraktion frekvensberäkningar Automatisk morfologisk analys för att hitta alla ordformer, t.ex. flicka-flickorflickorna Automatisk stavningskontroll Automatisk syntaktisk analys av sökfrågan och svarsdokumenten 59

60 Datorstödd språkinlärning 60

61 Datorstödd språkinlärning CALL Computer-Assisted Language Learning Att utveckla datorprogram som hjälper eleven att lära sig ett språk, t.ex. m.h.a. lucktexter språkanvändningsexempel i korpusar automatisk syntaktisk analys av elevens språk talad och/eller skriven dialog med datorn Kombinerar pedagogik, lingvisitik, datavetenskap och kognitionsvetenskap 61

62 För den som är intresserad 62