Kursintroduktion. Marco Kuhlmann Institutionen för datavetenskap. 729G49 Språk och datorer (2019)

Transkript

1 729G49 Språk och datorer (2019) Kursintroduktion Marco Kuhlmann Institutionen för datavetenskap Detta verk är licensierat under en Creative Commons Erkännande 4.0 Internationell Licens.

2 Filosofi Psykologi Lingvistik Datavetenskap Antropologi Neurovetenskap Källa: Cognitive Science, 1978

3 Lärandemål redogöra för grundläggande begrepp inom språkvetenskap, särskilt morfologi, syntax och semantik utföra grundläggande språkvetenskapliga analyser såsom ordklassbestämning och dependensanalys använda datorbaserade verktyg och programmering för att samla in, analysera och validera språkliga datamängder (korpusar) planera och utföra enklare korpusundersökningar, samt redovisa och värdera resultaten

4 Lärare på kursen Marco Kuhlmann Examinator Robin Kurtz Laborationer Mikael Svensson Lingvistiklärare Maja Lindberg Laborationer

5 måndag 8 10 måndag tisdag onsdag fredag 8 10 fredag FÖ Kurs intro FÖ Lingvistik 1 (2 h) FÖ Lingvistik 2 SE Lingvistik 1 15 FÖ Laboration 1 LA Laboration 1 (2 h) FÖ Lingvistik 3 SE Lingvistik 2 (2 h) 16 FÖ Laboration 2 LA Laboration 2 (2 h) FÖ Lingvistik 4 SE Lingvistik 3 (2 h) Långfredagen Långfredagen 17 Annandag påsk Annandag påsk FÖ Lingvistik 5 SE Lingvistik 4 18 FÖ Laboration 3 LA Laboration 3 (2 h) Valborg Första maj 19 FÖ Laboration 4 LA Laboration 4 (2 h) FÖ Lingvistik 6 SE Lingvistik 5 20 FÖ Laboration 5 LA Laboration 5 (2 h) Lingvistik dugga FÖ Uppgift intro SE Seminarier 1, 2 SE Seminarier 3, 4, 5, 6 SE Seminarier 7, 8 23 Deadline labbar/uppgift Deadline labbar/uppgift

6 Denna föreläsning Kursens lärandemål och organisation Användningsområde Korpuslingvistik Användningsområde Språkteknologi Programmeringstekniker för textdata

7 Korpuslingvistik

8 Vad är korpuslingvistik? Korpuslingvistik handlar om att undersöka språkvetenskapliga frågor utifrån språkliga data (korpusar). Ett grundantagande är att språkvetenskapliga undersökningar bör baseras på texter från fältet, i deras naturliga kontexter.

9 Historisk bakgrund Sedan mitten av 1900-talet är språkvetenskap i huvudsak en deskriptiv vetenskap. tidigare ofta preskriptiv Precis som i andra humaniora kan språkvetenskapliga analyser grundas i data och kvantitativa metoder. Bloomfields fältstudier, Shannons kodningsteori

10 Historisk bakgrund Utvecklingen av kvantitativa och statistiska metoder inom språkvetenskapen avstannade under 1950-talet: Det fanns inte tillräckligt mycket språkdata för att stödja intressanta statistiska generaliseringar. Humaniora rörde sig bort från data-orienterade beskrivningar mot introspektiva modeller av kognition. Chomsky

11 When measurement departs from theory, it is likely to yield mere numbers, and their very neutrality makes them particularly sterile as a source of remedial suggestions. But numbers register the departure from theory with an authority and finesse that no qualitative technique can duplicate, and that departure is often enough to start a search. Thomas Kuhn (1961)

12 Vad är en korpus? korpus s. -en -ar, (språkv.) mängd av undersökt textmaterial Svenska Akademiens ordlista A body of texts, utterances or other specimens considered more or less representative of language and usually stored electronically. The Oxford Companion to the English Language

13 Korpusar av olika slag Generella korpusar problem: representativitet Specifika korpusar inriktning mot en viss genre, författare, historisk period Parallela korpusar samma text i flera språk, för att studera översättningsfrågor

14 Några viktiga korpusar Namn År Storlek Språk och sort British National Corpus (BNC) American National Corpus (ANC) Corpus of Contemporary American English (COCA) Stockholm Umeå Corpus (SUC) miljoner ord brittisk engelska, talad och skriven miljoner ord amerikansk engelska, talad och skriven miljoner ord amerikansk engelska, talad och skriven miljon ord svenska, skriven

15 Länkar till korpusar och korpusverktyg Stockholm Umeå Corpus (Språkbanken) Korp (sökvertyg) (Språkbanken) Google Books Ngram Viewer Universal Dependencies Project

16 Denna föreläsning Kursens lärandemål och organisation Användningsområde Korpuslingvistik Användningsområde Språkteknologi Programmeringstekniker för textdata

17 Språkteknologi

18 Vad är språkteknologi? Språkteknologi är teknologi för att analysera och tolka naturligt (mänskligt) språk. inte programmeringsspråk! Språkteknologi är ett tvärvetenskapligt forskningsområde som berör datavetenskap, lingvistik och kognitionsvetenskap. annat namn: datorlingvistik

19 We are drowning in information but starved for knowledge. John Naisbitt (1982)

20 Antalet sidor indexerade av Google Källa: statisticbrain.com

21 Kunskapsglappet ostrukturerade data (text) analytiker språkteknologi (natural language processing) strukturerade data (databas) analytiker

22 Informationsutvinning As of 15 Mar 2002, Hawaii state health officials reported one additional recent case of dengue fever and 6 cases that occurred last year but were not confirmed by laboratory testing until Attribut Värde docno ProMed doc_date disease_name dengue fever norm_stime norm_etime victim_types Källa: Grishman et al. (2002) location Hawaii

23 Kommersiellt intresse Huvudsponsorer av konferensen ACL 2017

24 En stor utmaning ambiguitet Jag bad om en kort bit PN VB PP DT JJ NN NN NN SN PN AB VB PL RG NN AB NN Exempel: Joakim Nivre

25 En stor utmaning ambiguitet Jag bad om en kort bit PN 99,45% NN 0,55% VB 80,93% NN 19,61% PP 63,14% SN 29,79% PL 5,13% AB 1,92% DT 95,26% PN 2,37% RG 2,28% NN 0,01% JJ 70,22% AB 19,66% NN 10,11% NN 100,00% VB 0,00% Data: Stockholm Umeå Corpus (träningsdel)

26 Denna föreläsning Kursens lärandemål och organisation Användningsområde Korpuslingvistik Användningsområde Språkteknologi Programmeringstekniker för textdata