Automatisk identifiering av semantisk förändring med hjälp av distributionella faktorer

Transkript

1 Automatisk identifiering av semantisk förändring med hjälp av distributionella faktorer Karin Cavallin Institutionen för filosofi, lingvistik och vetenskapsteori Göteborgs universitet 12. konferanse om leksikografi i Norden - Oslo 13e augusti, 2013

2 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

3 Distributionell variation i korpora =? Indikation på semantisk förändring

4 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

5 I Språkbanken.gu.se Litteraturbanken* Parole Stor-SUC Press 65 och Press 95

6 II Litteraturbanken tagga - TnT (HunPos) parsa - MaltParser lemmatisera - olika automatiska metoder samt manuellt

7 III Lit. bank Parole Suc-Novels Press65 Press95 Time span 19th cent Tok Sent NN VB PN PM Table : Summary of corpus data features, part-of-speech features etc. 1 Late 18th and 19th century

8 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

9 Utvidgad betydelse (Widening/Broadening) Inskränkt betydelse (Narrowing) Neologismer och arkaismer

10 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

11 - Lexical sets I Exempelkorpus: Det är sommar. Lisa är svettig. Hon köper en glass. Hon dricker även en svalkande läsk. Men den var inte så god så hon slängde läsken. I eftermiddag tar hon bilen till landet. Hennes bror har köpt ett hus. Hon har köpt en ryggsäck till resan. Hon köpte även vin och tre liter vatten och en glass till sin bror. Ikväll ska de dricka vatten, vin och öl. Barnen får dricka mjölk. Hunden tog en promenad och kastade vatten innan de begav sig iväg.

12 - Lexical sets II mängd: {köpa glass, dricka läsk, slänga läsk, ta bil, köpa hus, köpa ryggsäck, köpa vin, köpa vatten, köpa glass, dicka vatten, dricka vin, dricka öl, dricka mjölk, ta promenad, kasta vatten}

13 - Lexical sets III - lexical sets. köpa: glass, ryggsäck, hus, vatten dricka: läsk, öl, vatten, vin, mjölk ta: bil, promenad glass: köpa läsk: dricka, slänga öl: dricka vatten: dricka, kasta bil: ta promenad: ta

14 mängden - verb-objektparen Lit. bank Parole Suc-Novels Press65 Press95 Tok VOTokens VOTypes (54,27%) (20,11%) (20,27%) (53,68%) (19,13%) Table : Summary of corpus data features, verb-object types

15 Typer och förekomster (Type-Token) Jämföra rankning Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

16 Typer och förekomster (Type-Token) Jämföra rankning Vilka verb och vilka objekt har vi? Hur många är de? Hur förhåller de sig till varandra? Samförekommer de eller förekommer de bara i vissa kontexter?

17 Typer och förekomster (Type-Token) Jämföra rankning Types och Tokens Typer och förekomster - types och tokens typ - antal olika varianter av förekomster förekomst - antal förekomster

18 Typer och förekomster (Type-Token) Jämföra rankning Log-likelihood ratio Nollhypotes: Alla ord har samma samförekomstfrekvens (n) Alt. hypotes: Den faktiska samförekomstfrekvensen (m) Log-likelihoodratio = 2 [n11 log( n11 m11 )+ n12 log( n12 m12 )+ n21 log( n21 m21 )+ n22 log( n22 m22 )]

19 Typer och förekomster (Type-Token) Jämföra rankning Jämföra rankning I Spearmans rankningskoefficient -1 : ingen likhet mellan rankningarna 1 : identisk likhet mellan rankningen r Rx R y = N R xi R yi ( R xi )( R yi ) [N Rxi 2 ( R xi ) 2 ][N Ryi 2 ( R yi ) 2 ]

20 Typer och förekomster (Type-Token) Jämföra rankning Jämföra rankning II LB Stor-SUC ORD RANK #PAR ORD RANK #PAR lösa ha förenkla lösa intrassla ta debattera vålla utgöra lägga genomtänka göra analysera finnas begrunda uppstå diskutera se grubbla attackera således säga kalla få rymma hantera studera vidgå ordna dra förklara anförtro avbryta analysera måste intellektualisera söka komma svara skoja ha ytterligare sätta du lägga undanröja föra kringgå Karin Cavallin karin.cavallin@gu.seinstitutionen ge förklara filosofi, Automatisk lingvistik identifiering och vetenskapsteorigöteborgs av semantisk 3 förändring universitet med hjälp av d

21 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

22 Betydligt fler förekomster av ett ord i den ena datamängden än den andra Fler typer i den ena lexikala mängden än den andra Olik rangordning för ett givet verb-objektpar i de olika datamängderna. (Log-likelihood) Olik rangordning för respektive lexikal mängd. (Spearman)

23 POTENTIAL WIDENING utökad typ- och tokenförekomst, samt varierad rangordning POTENTIAL NARROWING minskad typ- och tokenförekomst, samt varierad rangordning. POTENTIAL ARCHAIMS minimal typ- och tokenförekomst i den ena datamängden men inte i den andra. POTENTIAL NEOLOGISM minimal typ- och tokenförekomst i den ena datamängden men inte i den andra.

24 Pot.WIDEN Pot.NARROW Pot.ARCHAISM Pot.NEOLOGISM rätt?för konung far råd hjärta anlete statsminister problem natur hop skit nummer hustru själv sig kurs?vår grevinna kollega syster sällhet grej händelse majestät bomb karl fröjd statsråd tro tycke värdering karaktär skald styck vagn?före relation vila *skön aktivitet förtroende maka identitet fröken?skrev cykel ära?*göra kilometer figur anmärkning film lek underrättelse motor bana bölja handflata förmiddag håg kille storm ryggsäck Table : Ord som skiljer sig åt väsentligt i datamängderna.

25 Disposition Introduktion Typer och förekomster (Type-Token) Jämföra rankning

26 Identifiera distributionell variationer som kan vara indikation på semantisk variation. Få ut en lista att ge *någon* som vill kartlägga semantisk förändring mellan olika tidpunkter (eller semantisk variation mellan olika discipliner) Oändligt svårt att dra gränsen mellan samhällelig och semantisk förändring. Något kan helt enkelt vara inne, utan att ha förändrat betydelse. Identifiera och därmed korrigera och förbättra materialet och förbättra taggning och parsningsverktyg. plockar ut exempel, betydligt enklare än att sitta med två material från olika tidpunkter och fundera över om något kan ha förändrats... upp till lexikografen att avgöra om exemplen är bra eller ej.

27 Tack för uppmärksamheten!