729G09 Språkvetenskaplig databehandling (2017) Kursintroduktion. Marco Kuhlmann Institutionen för datavetenskap

Transkript

1 729G09 Språkvetenskaplig databehandling (2017) Kursintroduktion Marco Kuhlmann Institutionen för datavetenskap

2 Denna föreläsning Kursens innehåll och organisation Språk och datorer Korpuslingvistik och språkteknologi

3 Lärandemål Efter avslutad kurs ska du kunna bearbeta texter och textsamlingar med datorverktyg och utarbeta enkla skript förstå hur formella grammatiker är uppbyggda och kan användas för modellering av strukturen i ord och meningar redogöra för och värdera tillämpningar av dessa metoder för lingvistiska syften, särskilt korpuslingvistik och språkteknologi

4 Kursens plats i programmet Kursen utvecklar kunskaper från 729G04 Programmering och diskret matematik (termin 1) 729G08 Lingvistik (termin 1) Kursen får sin fortsättning i 729G17 Språkteknologi (termin 4) och ofta även i kandidatuppsatsen

5 Lärare och personal Marco Kuhlmann kursansvarig, examinator Annelie Almquist kursadministratör Robin Kurtz kursassistent, laborationsassistent

6 Examination UPG1 (4 hp) tre laborationer; utförs i par avslutad med en individuell reflektionsrapport räkna med ca. 30 h per laboration (varav 8 h handledda) UPG2 (2 hp) en större individuell inlämningsuppgift räkna med ca. 50 h fördelade över hela kursen Slutbetyg på kursen är det bästa betyget från de två delmomenten.

7 Kursinnehåll UPG1 Laboration 1 (deadline: ) Textbearbetning med reguljära uttryck Koncept: reguljära uttryck Laboration 2 (deadline: ) Bearbetning av formaterad, lingvistiskt uppmärkt text Koncept: ordklasstaggar, dependensträd Laboration 3 (deadline: ) Frekvensanalyser och kollokationer Koncept: kollokationer

8 Kursinnehåll UPG2 Lärandemål: Redogöra för och värdera tillämpningar av kursens metoder för lingvistiska syften, särskilt korpuslingvistik och språkteknologi. Återkopplingsseminarium: eller Inlämningsdatum: Mer information om fördjupningsuppgiften på onsdag.

9 Denna föreläsning Kursens innehåll och organisation Språk och datorer Korpuslingvistik och språkteknologi

10 Språk som data i applikationssystem sökmotorer språkbaserade användargränssnitt frågebesvarande system plagiatsdetektering text mining, text analytics automatisk översättning

11 Var börjar vi? För att bearbeta språk med datorer behöver vi först och främst ett sätt att representera språk på datorer. Det finns två sätt att språkligt interagera med en dator: text: skriva eller läsa tal: prata eller lyssna På denna kurs kommer vi att begränsa oss till text. Hur representerar vi text på en dator?

12 Hur text lagras på en dator Den minsta enheten information på en dator är en bit. två möjliga värden: av eller på, 0 eller 1 Med varje ny bit fördubblas antalet möjliga värden. 1 bit = 2 värden, 2 bitar = 4, 64 bitar = En sekvens av 8 bitar kallas byte. 8 bitar = 256 möjliga värden Text lagras som en sekvens av bytes.

13 American Standard Code for Information Exchange! " # $ % & ' ( ) * +, -. / : ; < = A B C D E F G H I J K L M N O P Q R S T U V W X Y Z [ \ ] ^ _ ` a b c d e f g h i j k l m n o p q r s t u v w x y z { } ~ DEL

14 Teckenkodningar ASCII utvecklades för (amerikansk) engelska. 7-bitar, 128 möjliga tecken, numerisk ordning = alfabetisk ordning För att lagra texter i andra språk har olika språkspecifika teckenkodningar utvecklats. En viktig sådan är Latin-1 (ISO ), som även innehåller kodpositioner för de svenska tecknen åäö. 8-bitar, 256 möjliga tecken, numerisk ordning = alfabetisk ordning

15 Unicode Unicode är en standard som har som ambition att man ska kunna representera alla naturligt förekommande tecken. naturliga språk (levande och döda), matematiska symboler, emoji, Den senaste versionen av Unicode släpptes 2016 och innehåller ca olika tecken. 135 olika skriftsystem, t.ex. arabiska, kinesiska, Cherokee,

16 Unicode: Exempel tecken 1F600 (hexadecimal) = tecken (decimal)

17 UTF8 Unicode Transformation Format (8 bitar) Unicode har plats för 2 32 = olika tecken. Hur kan man representera så många olika tecken i bytes? Lösning: Representera tecken med mer än en byte. tecken = 1 byte, = 2 bytes, = 3 bytes, Denna teckenkodning kallas UTF-8 (Unicode Transformation Format, 8 bytes) och är idag den mest använda teckenkodningen. mer än hälften av alla webbsidor enligt Google (2010)

18 Varfà r blir det sã hã r? s å [SPC] h ä r Unicode UTF Latin s à [SPC] h à r Exempel: Per Starbäck

19 Denna föreläsning Kursens innehåll och organisation Språk och datorer Korpuslingvistik och språkteknologi

20 Korpuslingvistik

21 Vad är korpuslingvistik? Korpuslingvistik handlar om att undersöka språkvetenskapliga frågor utifrån korpusdata. Utgångspunkt: Språkvetenskapliga undersökningar bör baseras på texter från fältet, i deras naturliga kontexter.

22 Vad är en korpus? lat. corpus, oris n kropp korpus s. -en -ar, (språkv.) mängd av undersökt textmaterial Svenska Akademiens ordlista A body of texts, utterances or other specimens considered more or less representative of language and usually stored electronically. The Oxford Companion to the English Language

23 Typiska frågeställningar Kan man säga X? Heter det en apelsin eller ett apelsin? Vad är skillnaden mellan X och Y (i betydelse, i stilnivå)? flicka vs. tjej Hur används X (generellt, i olika genrer, i olika tider)? tackle/noun vs. tackle/verb

24 Korpuslingvistisk metod: 3A Wallis och Nelson (2001) Hur kommer man från data till kunskap? Annotation strukturell uppmärkning, ordklasser, syntaktisk information Abstraction Relatera annotationerna till begrepp i en modell av texten. Analysis Använd modellen för att generera och testa hypoteser om språk.

25 Korpusar av olika slag Generella korpusar problem: representativitet Specifika korpusar inriktning mot en viss genre, författare, historisk period Parallela korpusar samma text i flera språk, för att studera översättningsfrågor Språkteknologiska korpusar för att träna och utvärdera språkteknologiska system

26 Korpusverktyg Frekvensanalys Visa de 50 mest frekventa orden i denna korpus. Konkordanser (KWIC = Keyword In Context) Visa alla kontexter i vilka ordet X används. Kollokationsanalys Visa ord som förekommer tillsammans oftare än väntat.

27 Exempel på korpusar och korpusverktyg Stockholm Umeå Corpus (Språkbanken) Korp (Språkbanken) Google Books Ngram Viewer British National Corpus (Oxford University) American National Corpus

28 Att skapa korpusar Fas Beskrivning Urval Välja ut de texter som ska vara med i korpusen. Insamling Samla in texterna, t.ex. genom att spindla webben. Avformatering Ta bort strukturell uppmärkning, t.ex. XML. Segmentering Dela upp textmaterialet i relevanta enheter. Annotering Lägg till relevant information, t.ex. ordklasser.

29

30

31 Tokenisering Rå text Tokeniserad text Den liknar andra arter inom familjen med böjd näbb, mönstrad brun ovansida, vitaktig undersida och långa styva stjärtpennor som den använder för att kunna balansera upprätt på trädstammar och grenar. Den liknar andra arter inom familjen med böjd näbb, mönstrad brun ovansida, vitaktig undersida och långa styva stjärtpennor som den använder för att kunna balansera upprätt på trädstammar och grenar.

32 Språkteknologi

33 Vad är språkteknologi? Språkteknologi är all teknologi som skapas för att förstå eller generera naturligt språk. Språkteknologi är ett tvärvetenskapligt forskningsområde med inslag av datalogi, lingvistik och kognitionsvetenskap. annat namn: datorlingvistik; engelska: natural language processing

34 We are drowning in information but starved for knowledge. John Naisbitt (1982)

35 Många sidor på nätet Källa: statisticbrain.com

36 Kunskapsglappet ostrukterade data (text) analytiker språkteknologi (textanalys) strukturerade data (kunskapsdatabas) analytiker

37 Informationsutvinning As of 15 Mar 2002, Hawaii state health officials reported one additional recent case of dengue fever and 6 cases that occurred last year but were not confirmed by laboratory testing until Attribute Value docno ProMed doc_date disease_name dengue fever norm_stime norm_etime victim_types Källa: Grishman et al. (2002) location Hawaii

38 Kommersiellt intresse Källa: ACL 2015

39 Två utmaningar: Flertydighet och kontextualitet Flertydighet Ett och samma språkliga yttrande kan betyda flera olika saker. Time flies like an arrow. Fruit flies like a banana. Kontextualitet Ett språkligt yttrande kan endast tolkas i ett sammanhang. A: Kommer du ikväll? B: Jag har träning.

40 Flertydighet orsakar kombinatorisk explosion jag bad om en kort bit PN VB PP DT JJ NN NN NN SN PN AB VB PL RG NN AB NN Exempel: Joakim Nivre

41 Ytterligare en utmaning: Många olika språk Källa: Eric Gaba (Sting), Languages world map, CC BY-SA 3.0