Datorbaserade verktyg i humanistisk forskning Introduktion till nätresurser Eva Pettersson Institutionen för lingvistik och filologi Uppsala universitet eva.pettersson@lingfil.uu.se
Föreläsningsöversikt Vad är en korpus? Vad är korpuslingvistik? Varför korpuslingvistik? Sökmotorer och korpussökning på Internet Upphovsrätt Nätresurser (ordböcker och online-databaser) Dagens labb
Vad är en korpus? Korpus av latinets corpus = kropp Nationalencyklopedins definition: text eller texter som är föremål för språkvetenskapliga studier, i synnerhet med hjälp av dator Samling språkliga data som: o består av en samling skrivna texter eller transkriptioner av talspråk o är mer eller mindre representativt för språket i fråga o lagras elektroniskt Internet = Världens största korpus!
Vad är korpuslingvistik? Huvudsyftet med en korpus är att verifiera hypoteser om språket, t.ex. att undersöka hur ett visst ljud, ord eller syntaktisk konstruktion faktiskt används: När började man skriva ''mejl'' istället för ''mail''? Säger man ''bättre än jag'' eller ''bättre än mig''? Gammal idé (dialektstudier, studier av utdöda språk etc.) Förverkligad genom modern teknik (framfart sedan 80- talet)
Varför korpuslingvistik? Objektiv lingvistik: Man studerar språket som det används i verkligheten (ej påhittade exempel) Enda sättet att undersöka frekvens i språkbruket Talforskning (talspråkskorpusar): prosodi, ålder, klass, kön etc. Korpusbaserad grammatik: empiriska data för att testa hypoteser om grammatik Historisk lingvistik: diakroniska korpusar för jämförande studier ur olika tidsepoker
Korpusannotering/taggning Att märka upp korpusen med lingvistisk information, ex: Ordklass (part-of-speech) Böjningsinformation (morfo-syntaktisk information) Lemma (grundform, d.v.s. uppslagsord i lexikon) Syntax Fonetik (uttal) - transkription Semantik Annoteringen kan göras för hand eller automatiskt.
Olika korpustyper Skriftspråkskorpusar Talspråkskorpusar Balanserade korpusar Består av olika texttyper i bestämda proportioner, avsett att representera ett språk eller en aspekt av ett språk. Monitorkorpusar Korpusen växer ständigt. Möjliggör studier av hur språkbruket förändras över tiden.
Fler korpustyper Trädbanker - Grammatiskt uppmärkta korpusar Flerspråkiga korpusar Innehåller texter på flera olika språk. Två undertyper: jämförbara korpusar (Samma texttyper på flera olika språk) parallellkorpusar (Samma texter på flera olika språk) Specialkorpusar Korpusar som utvecklats för att studera en viss språktyp, t.ex. ungdomsspråk eller fornengelska.
Välkända korpusar Engelska BNC (British National Corpus, 100 milj ord) Brown corpus (1 milj ord) Svenska SUC (Stockholm-Umeå Corpus, 1 milj ord) PAROLE (19 milj ord) Flerspråkiga Hansard (Kanadensiska parlamentstexter på engelska och franska) EUROPARL (Europaparlamentstexter på EU-språk) JRC-Acquis (Lagtexter från EU)
Hur hittar man korpusar på Internet? Sökning med hjälp av sökmotor o lämpliga sökord o lämplig sökmotor Leta hos tillgänglig korpusdistributör, t.ex. Linguistic Data Consortium Samla ihop texter till en egen korpus...
Sökmotorer och korpussökning på Internet Informationssökning o att söka upp dokument som är relevanta för det som användaren efterfrågar o Sökmotorer, ex: Google, AltaVista Informationsextraktion o att dessutom svara på en fråga som användaren ställer o ex: Ask Jeeves, www.ask.com
Ask Jeeves www.ask.com
Avancerad sökning med Google www.google.se
Informationssökning hur fungerar det? Ledtrådar som sökmotorer använder för att få fram och rangordna dokument: o nyckelord och frekvensberäkningar i de hittade texterna o automatisk morfologisk analys för att hitta alla ordformer, t.ex. flicka-flickor-flickornas o automatisk stavningskontroll
Korpusdistributörer Linguistic Data Consortium (LDC): http://www.ldc.upenn.edu o stödjer språkrelaterad forskning, utbildning och teknologi genom att skapa och distribuera lingvistiska resurser: data, verktyg och standarder o distribuerar korpusar (text och tal för många olika språk), lexikon etc. Oxford Text Archive (OTA): http://ota.ahds.ac.uk/ o samlar in, katalogiserar och bevarar elektroniska texter av hög kvalitet för forskning och undervisning o distribuerar mer än 2000 resurser för över 20 språk.
Korpusdistributörer European Language Resources Association (ELRA): http://www.elra.info/ Evaluations and Language Resources Distribution Agency (ELDA): http://www.elda.org o Distribuerar, producerar, standardiserar och utvärderar språkresurser (lexikon, korpusar etc) o Organiserar konferenser: The Language Resources and Evaluation Conference, LREC o Ger underlag för utvärdering av olika applikationer
Korpusdistributörer International Computer Archive of Modern English (ICAME): http://nora.hd.uib.no/whatis.html osamordnar och underlättar distribution av korpusar oorganiserar konferens, ger ut tidskriften ICAME Journal TELRI: http://www.telri.de osamlar in och distribuerar en- och flerspråkiga språkresurser med speciellt fokus på central- och östeuropeiska språk.
Användbara länkar för den korpusintresserade CORPORA-listan: http://nora.hd.uib.no/fileserv.html oelektronisk mejlinglista för alla som är intresserade av korpusar ohär kan man få tips och svar på frågor ACL SIGLEX: http://www.clres.com/siglex.html Special Interest Group on the Lexicon of the Association for Computational Linguistics olänkar till elektroniska lexikon, korpusar etc.
Bygg din egen korpus Välj ut lämpliga nyckelord och kombinera dessa på bästa sätt i lämplig sökmotor Samla ihop de webbadresser du fått fram och sätt ihop dem till din egen korpus Ordklasstagga gärna din korpus med allmänt tillgänglig taggare Var laglig: Tänk på upphovsrätten!
Tänk på upphovsrätten! Vilka lagar gäller för material som man hittar på nätet? Bara för att en text är publicerad på Internet, så betyder det inte att den är fri att använda och sprida vidare! Upphovsrätt till ett verk gäller intill utgången av sjuttionde året efter det år då upphovsmannen avled eller [...] efter den sist avlidne upphovsmannens dödsår. Många korpusar som finns på Internet kräver licens för att man ska få tillgång till dem
Vad säger lagen? Du kan alltid ladda hem ett verk som finns tillgängligt på Internet, kopiera från digital till digital form och/eller skriva ut det om du endast gör det för ditt privata bruk. Förlagan du kopierar från får inte vara en olovlig förlaga (piratkopia). Du får inte sprida det kopierade exemplaret utanför din närmaste familj eller vänkrets. Du får aldrig, inte ens för privat bruk, kopiera datorprogram eller databaser.
Upphovsrätt på Internet Problem med lagtolkningen: Internet är internationellt, medan upphovsrättslagarna ser olika ut i olika länder Indien: Ett verk är skyddat i 60 år efter upphovsmannens död (jmf Sverige 70 år) Internationella överenskommelser om upphovsrätt, t.ex. Bernkonventionen (Victor Hugo, 1880-talet) Kuba: Har ej skrivit under Bernkonventionen, upphovsrätten inget skydd
Ordböcker och online-databaser (1) Ontologier o Betydelsebaserade lexikon o Visar de semantiska relationerna mellan ord (synonymi, antonymi, hyponymi och meronymi) o WordNet: http://wordnet.princeton.edu/ o Svenskt OrdNät: http://www.lingfil.uu.se/ling/swn.html o EuroWordNet: http://www.illc.uva.nl/eurowordnet/ holländska, italienska, spanska, tyska, franska, tjeckiska och estniska
Ur Svenskt Ordnät av Åke Viberg: Grundläggande semantiska relationer i ordnät
WordNet http://wordnet.princeton.edu/
Svenskt OrdNät http://www.lingfil.uu.se/ling/swn.html
Ordböcker och online-databaser (2) Thesaurusar/synonymordböcker http://www.synonymer.se Flerspråkiga lexikon Lexin: http://lexin.nada.kth.se/ o Framtaget av Myndigheten för skolutveckling för användning i invandrarundervisningen o Cirka 30 000 svenska uppslagsord o Fjorton olika språk o De svenska orden kan man få upplästa (öva uttal)
synonymer.se http://www.synonymer.se
Lexin http://lexin.nada.kth.se/
Ordböcker och online-databaser (3) Enspråkiga lexikon Nationalencyklopedin: http://www.ne.se o ca 172 000 uppslagsord o kräver licens Oxford English Dictionary: http://www.oed.com/ o ca 500 000 uppslagsord o innehåller ord från hela engelskspråkiga världen o visar etymologi, uttal och stavning o autentiska exempel från texter o kräver licens
Nationalencyklopedin (NE) http://www.ne.se
Oxford English Dictionary (OED) http://www.oed.com/
Ordböcker och online-databaser (4) Databaser med samlat material Språkbanken: http://spraakbanken.gu.se/ outvecklat av Göteborgs universitet otillhandahåller referensmaterial i form av lexikon, korpusar och verktyg för sökning i korpusarna m.m. oinnehåller bl.a. Lexin, SUC-korpusen och Svenska Akademiens Ordbok i datorläsbar form
Språkbanken http://spraakbanken.gu.se/
Ordböcker och online-databaser (4) Korpussamlingar Gutenberg: http://www.gutenberg.org/ o innehåller ca 20 000 fritt nedladdbara e-böcker o när författaren har varit död i 70 år skyddas verket inte längre av upphovsrättslagarna Runeberg: http://runeberg.org/ o som Gutenberg, fast för nordisk litteratur o skapat av Linköpings universitet Gallica: http://gallica.bnf.fr/ o fransk motsvarighet
Runeberg http://runeberg.org/
Gallica http://gallica.bnf.fr/
Labben Deluppgift 1: Ta reda på mer om några av de mest kända korpusdistributörerna Deluppgift 2: Hitta korpusar på Internet för det språk ni är intresserade av Labbinstruktioner: http://stp.lingfil.uu.se/~evapet/undervisning/datorverktyg07/labb1.html