Teoretisk lingvistik och datalingvistik. Robin Cooper

Transkript

1 Teoretisk lingvistik och datalingvistik Robin Cooper

2 Syftet med dagens föreläsning Sammanfattning av lingvistisk teori och datalingvistik/språkteknologi Diskussion av teorins roll i olika språkteknologiska tillämpningar Diskussion av två olika slags metoder regelbaserade metoder statistiska metoder

3 Plan Sammanfattning av lingvistisk teori Sammanfattning av datalingvistik/språkteknologi Teori och metod i olika språkteknologiska tillämpningar En bredare syn på lingvistisk teori

4 Lingvistisk teori

5 Lingvistik (kärnan) fonetik fonologi morfologi syntax semantik pragmatik (jfr lingvistiska nivåer)

6 Lingvistik i bredare syn historisk lingvistik (diakront vs synkront) jämförande lingvistik, språktypologi dialektologi sociolingvistik stilistik psykolingvistik neurolingvistik

7 Metoder korpus (samling av språkmaterial), korpuslingvistik real language detaljerad beskrivning, statistik formell analys intuitioner regler, generaliseringar

8 Datalingvistik och språkteknologi

9 Datalingvistik eller vad heter det? datalingvistik, datorlingvistik, computational linguistics språkteknologi, språkteknik, language technology, language engineering språkvetenskaplig databehandling natural language processing human language technologies talteknologi, speech technology

10 Vad har språkteknologi att bjuda på? Mer på engelska än på svenska Viktigt att satsa på svenska och andra språk

11 Två sorters teknologier Interface technologies - gränssnittsteknologier Content technologies - innehållsteknologier

12 Tillämpningar Dialogsystem CALL Informationssökning - IR och disambiguering Maskinöversättning Skrivstöd Elektroniska ordböcker och lexikala databaser Gränssnitt Innehåll

13 Komponenter Taggning Parsning Talteknologi

14 Speech input Text input A language module Lexicon Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

15 Teori och metod i olika språkteknologiska komponenter och tillämpningar

16 Speech input Text input Lexicon Lexikologi Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

17 Fonetik och fonologi Lexicon Speech input Text input Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

18 Speech input Text input Lexicon Morfologi Speech recognizer/synthesizer z Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

19 Grammatik (Formell syntax) Lexicon Speech recognizer/synthesizer Speech input Text input Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

20 Speech input Text input Parsingalgoritmer Lexicon Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

21 Speech input Text input (Formell) Semantik Lexicon Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

22 Speech input Text input Lexicon Pragmatik Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

23 Speech input Kunskaps och meningsrepresentation Text input Grammar Lexicon Speech recognizer/synthesizer Morphological analyzer/generator Syntactic parser/generator Semantic analyzer/reasoner Knowledge base Dialogue planner Speech output Text output

24 Speech input Text input Lexicon Språktypologi Speech recognizer/generator Morphological analyzer/generator Syntactic parser/generator Speech output Text output Semantic analyzer/reasoner Grammar Dialogue planner Knowledge base

25 Skrivstöd Stavningskontroll Grammatikkontroll Stilkontroll Stöd för människor med särskilda behov invandrare dyslektiker döva (teckenspråk)

26 Elektroniska ordböcker och lexikala databaser Synonymer Andra ordfamiljer (tesauri) Tvåspråkiga lexikon Används av stavningskontroll Används av avancerad språkteknologi, t.ex. dialogsystem, översättning

27 Översättning Maskinellt stöd till översättare Snabböversättning av websidor Tal-till-tal översättning Flerspråkig tillgång till databaser Användning av parallella korpusar

28 Informationssökning Intelligent websökning Dokument klassificering (t.ex. vidarebefordra brev till rätt person på företaget) Automatisk sammanfattning (t.ex. nyheter) Svar på frågor

29 Språkundervisning Övningar för individuella behov Intelligentare övningar Uttalsträning Dialog Spelteknologi, virtual reality

30 Dialogsystem Reseinformation Turistinformation Bankärenden Electronic commerce Maskiner som talar om hur de ska användas Resruttplanering (i bilen) Tal-till-tal översättning

31 En bredare syn på lingvistisk teori

32 Språkvariation gentemot universalier Språk är olika men inom en viss variationsrymd Vissa saker gäller för alla språk Hans har läst böckerna i vardagsrummet Har Hans läst böckerna i vardagsrummet? *Vardagsrummet i böckerna läst har Hans? Hans har läst böckerna (som är) i vardagsrummet Vilket rum har Hans läst böckerna i? *Vilket rum har Hans läst böckerna som är i?

33 Alla kan språk bara några få som inte kan pga sjukdom, utvecklingsstörningar infödd talare modersmål språklig (o)medvetenhet lexikon vs grammatiska regler

34 Ska datalingvister ta hänsyn till psykologiska aspekter av språk? Språkteknologiska system och flygplan

35 Varför är datalingvistik inte lätt? Naturliga språk är väldigt komplicerade Samspel med kontext Multimodalitet, body language Egenskaper hos språk som är väldigt enkla för oss är svåra att få formellt grep om

36 Varifrån kommer språk? origins of language språkinlärning skrift- och talspråk vilket är det riktiga språket? scientific ansats till språk observation teori (prediktion)

37 Mänskliga språk och andra språk djurspråk artificiella språk logik programmeringsspråk mänskliga språk (naturliga språk) natural language processing språkinlärning är naturlig cultural transmission

38 Egenskaper hos mänskliga språk kommunikativ vs informativ intension vs naturliga tecken rök -> eld displacement vi kan prata om saker som inte är närvarande tid/tempus negation (o)möjligheter

39 Egenskaper, forts dualitet (tecken, signs) språket betecknar någonting villkorlighet (arbitrariness) jfr ikoniska språk ord med samma betydelse på olika språk har helt annat uttal

40 Egenskaper, forts produktivitet han gick upp och borstade tänderna och åt frukost och (konjunktion) pojken som kände trollkarlen som visste att drottningen som (relativsats) mindre delar -> större enheter ljud -> ord -> fraser -> satser -> diskurser -> dialoger lingvistiska nivåer

41 Egenskaper, forts diskrethet vi uppfattar språket i termer av enheter (ljud, ord, fraser mm) som kombineras komplicerad relation mellan enheterna och den fysiska realiteten jfr dikteringssystem som kräver att man pratar i enstaka ord jfr John s coming later

42 Egenskaper, forts vocal auditory channel tal och hörsel är det primära sättet för människor att kommunicera med varandra men man får inte glömma teckenspråk (döva) skrift reciprocity talare kan alltid vara en lyssnare

43 Egenskaper, forts specialisering språkspecifika mekanismer vilken politiker kommer du att rösta på? *vilken politiker kommer du att rösta på partiet som stödjer?

44 Egenskaper, forts Non-directionality vem som helst som kan höra kan uppfatta språket men, ibland svårt att lyssnar på andras samtal och förstå rapid fade lingvistiska signaler (talade) är tidsbundna och försvinner så fort de har yttrats