Meningssegmentering i SUC och Talbanken

Transkript

1 Meningssegmentering i SUC och Talbanken Mattias Edlund och Gvargis Demir Institutionen för lingvistik och filologi Uppsala Universitet Box 635 SE Uppsala SWEDEN {matted,gevargis}@stp.lingfil.uu.se Abstract Meningssegmentering är en viktig del i varje korpusarbete. Därför ska vi i denna artikel undersöka och jämföra meningssegmenteringen i Stockholm Umeå Corpus (Ejerhed och Källgren, 1997) och Talbanken (Einarsson, 1976). Inledningsvis identifierar vi några problemområden. Därefter undersöker vi hur de bägge korpusarna behandlar meningssegmentering i allmänhet och dessa problem i synnerhet. Slutligen jämför vi de båda korpusarnas hantering och föreslår två möjliga uniferingar. 1 Introduktion I syfte att kunna analysera och jämföra två korpusar behöver man ha information bl.a. om hur annoteringen ser ut i de båda korpusarna. En viktig del i annoteringen är hur meningssegmenteringen behandlas i korpusen. Därför ska vi jämföra meningssegmenteringen i SUC (Ejerhed och Källgren, 1997) och prosadelen ur Talbanken (Einarsson, 1976), beskriven i (Teleman, 1974). De problemområden som vi identifierat och analyserat är: Ofullständiga meningar (d.v.s. som saknar inledande versal eller avslutande skiljetecken) Förkortningar Uppräkningar Rubriker Skiljetecken förutom punkt (d.v.s.!,?,: och ;) 1.1 SUC SUC är en manuellt taggad korpus innehållande allmänsvenskt skriftspråk från 1990-talet. SUC består av 500 texter med cirka 2000 ord per text, sammanlagt drygt 1 miljon ord. SUC innehåller information om bl.a. lemma, ordklass och namnuttryck, allt i ett TEI-format (som är en modern textkodningsstandard). Ett exempel är SGML (Standard Generalised Markup Language)med dess underkategorier: XML, HTML, XHTML etc. 1.2 Talbanken Talbanken är en manuellt taggad trädbank innehållande svenskt tal- och skriftspråk från 1970-talet. Talbanken består av cirka ord. Talbanken är annoterad med, förutom ordklasser, även frasstrukturer och syntaktiska funktioner Format Informationen i Talbanken är uppdelad i kolumner enligt tabell Kolumnerna är följande: TEXTNR: Löpnummer för text. Fyra tecken, en bokstav (G för gymnasieuppsatser och P för prosa) följt av tre siffror. ST: Löpnummer för stycke. Två siffror. GM: Löpnummer för grafisk mening ((Teleman, 1974) sid. 255), beskrivs i 2.2. Tre siffror. MS: Löpnummer för makrosyntagm ((Teleman, 1974) sid. 24). Tre siffror. ONR: Löpnummer för ord inom en grafisk mening. Tre siffror. US: Löpnummer för underordnade satser inom en grafisk mening. Fyra siffror. DK: Siffra som anger hur många kolumner åt höger som innehållet i L- och S- kolumnerna ska flyttas för ord i underordnade satser. En siffra. TEXT: Textordet. 24 tecken. L1-L4: Den grammatiska analysen. Fyra kolumner med vardera 2 tecken. S1-S6: Den syntaktiska analysen. Sex kolumner med vardera 2 tecken.

2 L- och S-kolumnerna fylls i från vänster. I en underordnad sats har alla ingående ord satsens satsdel i första tillgängliga S-kolumn, och ordens egna satsdelar i den underordnade satsen flyttas ett steg åt höger, vilket anges med en 1:a i DK-kolumnen. Detta innebär att i en sats med underordnade satser i flera nivåer så flyttas analysen längre och längre åt höger, och DK-siffran blir högre. I början av texter, stycken, grafiska meningar och makrosyntagmer infogas en dummy-rad med fyra siffror i TEXT-kolumnen. Detta för att underlätta den ursprungliga lagringen på hålkort. 2 Metod & data Inledningsvis läser vi dokumentationen för korpusarna ((Gustafsson-Capkova et al., 2006) resp. (Teleman, 1974)). Ur dessa får vi fram en hel del information om meningssegmenteringen i korpusarna. Därefter analyserar vi innehållet i själva korpusarna för att få en tydligare bild av och exempel på meningssegmenteringen. Resultaten av analysen återfinns nedan. Slutligen jämför vi korpusarna i SUC Enligt (Gustafsson-Capkova et al., 2006) är en grafisk mening en textsträng avgränsad av stora skiljetecken eller radbrytning. Taggarna för en grafisk mening är enheten <s> med sin sluttagg. I SUC-taggarna har all slags text en s- enhet, förutom poesi som istället för s- har en l-enhet som betecknar en rad. Varje <s> (eller <l> i poesi) har ett unikt id-värde bestående av tre siffror med början på 001 i en text, för att alltid kunna kopplas till sitt sammanhang. På liknande sätt är det viktigt att kunna återge dikter i sitt ursprungsformat, där en mening kan börja eller sluta i mitten av en rad. Allt i en text tillhör exakt en instans av <s> (eller <l> i poesi) Delimiter Delimiter är skiljetecken och i vissa fall radbrytning i t ex. rubriker (tagg: <head>). Informationen för en delimiter tilldelas i en <ps>-tagg (ordklass) med tre möjliga värden: MAD(meningsavslutare, major delimiter), MID(minor delimiter) och PAD(pairwise delimiter). Om en delimiter inte är av värdet MAD eller PAD så tilldelas den värdet MID. Här är några exempel från SUC: <d n=2429>.<ana><ps>mad.</d> <d n=966>:<ana><ps>mad:</d> <d n=2075>;<ana><ps>mad;</d> <d n=2423>,<ana><ps>mid,</d> <d n=139>(<ana><ps>pad(</d> <w n=140>inklusive<ana><ps>ppinklusive</w> <w n=141>ram<ana><ps>nn<m>utr SIN IND NOM ram</w> <d n=142>)<ana><ps>pad)</d> Punkt, kolon och semikolon kan även vara MID. Parenteser förekommer enbart som PAD. Följande exempel är oftast MID, men kan även vara MAD: <d n=761>-<ana><ps>mid-</d> <d n=2073>*<ana><ps>mid*</d> <d n=1039>/<ana><ps>mid/</d> Förkortningar Förkortningar börjar med taggen <abbr> och avslutas med </abbr>. Om skiljetecknet i förkortningen är t ex en punkt som avslutar en mening samtidigt så tillkommer information efter sluttaggen. Förkortningen osv. exemplifieras i två fall i Figur Uppräkningar Varje element i en punktlista räknas som en egen mening Rubriker Rubriker i SUC är alltid egna meningar, och annoteras med (omges av) <head> och </head> : och ; Kolon och semikolon är meningsavslutande vid anföring (d.v.s. när ett kolon eller semikolon följs av ett yttrande). Kolon är också meningsavslutande när det följs av en punktlista. Se exempel i Figur Talbanken Grunden i meningssegmenteringen i Talbanken är att en mening (grafisk mening enligt (Teleman, 1974)) inleds med versal och avslutas med stort skiljetecken (punkt, frågetecken, utropstecken eller komma). Detta kan låta rätt självklart, men är inte alls trivialt. Det finns ett antal tveksamheter/problem med den segmenteringen. Varje mening får ett unikt nummer i GMkolumnen enligt och markeras med GM i lämplig S-kolumn.

3 TEXTNR ST GM MS ONR US DK TEXT L1-L4 S1-S6 P TX TX P ST ST P <<MXRR GM P *INDIVIDUELL AJ XXAT P BESKATTNING VN XX P AV PR XXETPR P ARBETSINKOMSTER NN SS XXET Tabell 1: Talbankens kolumner från (Teleman, 1974) sid Exempelinnehåll från Talbanken. Kolumnerna L1-L4 samt S1-S6 är sammandragna för att spara plats. 1. Med punkt som icke-meningsslut. <abbr> <w n=1698>osv.<ana><ps>ab<m>anoch_så_vidare</w> </abbr> 2. Med punkt som meningsslut(ev. paragrafslut). <abbr> <w n=1700>osv<ana><ps>ab<m>anoch_så_vidare</w> </abbr> <d n=1701>.<ana><ps>mad.</d> Figur 1: Exempel på förkortningar från SUC (Ejerhed and Källgren, 1997) Meningar utan inledande versal eller avslutande skiljetecken Sekvenser av ord som saknar antingen inledande versal eller avslutande skiljetecken räknas ändå som mening om man kan anse att textförfattaren avsett börja en ny mening, t.ex. om det efter en sats utan avslutande skiljetecken kommer ett ord med inledande versal eller om det efter en mening kommer ett ord utan inledande versal. Om det saknas både skiljetecken och inledande versal fortsätter meningen tills det kommer ett stort skiljetecken eller tills texten tar slut Förkortningar Förkortningar med punkt eller kolon (till exempel t.ex. och c:a) blir problematiska om skulle säga att alla förekomster av stora skiljetecken avslutar en mening. I Talbanken räknas endast sådana stora skiljetecken som skulle funnits utan förkortningen som meningsavslutande Uppräkningar Efter analys av Talbanken har vi kommit fram till att punktlistor behandlas på följande sätt: om listelementet börjar med versal räknas det som en egen mening oavsett hur många ord elementet innehåller om listelementet börjar med gemen räknas det inte som en egen mening hur det blir om listelementet börjar med ett egennamn vet vi inte, då det inte finns något exempel på detta i Talbanken. I de fall listelementen börjar med gemener räknas hela listan (fram till slutet på listan alternativt första punkten i sista elementet) som en grafisk mening. Alternativet med den första punkten i sista elemtet i listan som meningsavslutande finns det ett exempel på i Talbanken, nämligen GM 004 i TEXTNR P312. Det är en uppräkning av olika sorters städer med en beskrivning av varje (varav många innehåller punkt). Den grafiska meningen tar dock slut efter den första punkten i det sista elementet, d.v.s. innan hela listan är slut. Detta känns ganska konstigt, men är i linje med reglerna Rubriker Rubriker och liknande (korta) textsträngar i början och slutet på dokument räknas alltid som egna meningar. Detta följer principen i eftersom man får anse att författaren avsett börja en ny mening när han/hon börjar skriva

4 <s id=cd03b-037> <w n=1250>det<ana><ps>pn<m>neu SIN DEF SUB/OBJdet</w> <w n=1251>finns<ana><ps>vb<m>prs SFOfinnas</w> <w n=1252>en<ana><ps>dt<m>utr SIN INDen</w> <w n=1253>besvärande<ana><ps>pc<m>prs UTR/NEU SIN/PLU IND/DEF NOMbesvärande</w> <w n=1254>ytlighet<ana><ps>nn<m>utr SIN IND NOMytlighet</w> <w n=1255>i<ana><ps>ppi</w> <w n=1256>det<ana><ps>pn<m>neu SIN DEF SUB/OBJdet</w> <w n=1257>här<ana><ps>abhär</w> <d n=1258>;<ana><ps>mad;</d> <s id=cd03b-038> <name type=work> <w n=1259>dödsdansen<ana><ps>pm<m>nomdödsdansen</w> </name> <w n=1260>liknar<ana><ps>vb<m>prs AKTlikna</w> <w n=1261>mer<ana><ps>ab<m>kommycket</w> <w n=1262>en<ana><ps>dt<m>utr SIN INDen</w> <w n=1263>afton<ana><ps>nn<m>utr SIN IND NOMafton</w> <w n=1264>med<ana><ps>ppmed</w> <w n=1265>löjliga<ana><ps>jj<m>pos UTR/NEU SIN DEF NOMlöjlig</w> <w n=1266>familjen<ana><ps>nn<m>utr SIN DEF NOMfamilj</w> <w n=1267>än<ana><ps>knän</w> <w n=1268>ett<ana><ps>dt<m>neu SIN INDen</w> <w n=1269>pokerparti<ana><ps>nn<m>neu SIN IND NOMpokerparti</w> <s id=aa11d-014> <name type=inst> <w n=2422>bohusläningen<ana><ps>pm<m>nombohusläningen</w> </name> <w n=2423>mötte<ana><ps>vb<m>prt AKTmöta</w> <w n=2424>olyckskorpen<ana><ps>nn<m>utr SIN DEF NOMolyckskorp</w> <w n=2425>på<ana><ps>pppå</w> <w n=2426>bryggan<ana><ps>nn<m>utr SIN DEF NOMbrygga</w> <w n=2427>vid<ana><ps>ppvid</w> <w n=2428>verkstaden<ana><ps>nn<m>utr SIN DEF NOMverkstad</w> <d n=2429>:<ana><ps>mad:</d> <s id=aa11d-015> <d n=2430>-<ana><ps>mid-</d> <w n=2431>båda<ana><ps>jj<m>pos UTR/NEU PLU IND/DEF NOMbåda</w> <w n=2432>propellrarna<ana><ps>nn<m>utr PLU DEF NOMpropeller</w> <w n=2433>är<ana><ps>vb<m>prs AKTvara</w> <w n=2434>helt<ana><ps>ab<m>poshelt</w> <w n=2435>förstörda<ana><ps>pc<m>prf UTR/NEU PLU IND/DEF NOMförstörd</w> <d n=2436>!<ana><ps>mad!</d> Figur 2: Meningssegmentering i samband med semikolon och kolon i SUC (Ejerhed and Källgren, 1997).

5 brödtexten respektive t.ex. skriver sitt namn på slutet av dokumentet (t.ex. i tidningsartiklar) : och ; Kolon i förkortningar räknas helt enkelt in i förkortningen och påverkar inte meningssegmenteringen. Kolon innan listor räknas som meningsavskiljande om den första punkten är en egen mening (ex. tredje delen i Figur 3). Observera dock att om det är en numrerad lista så räknas siffran (1:an) som det första ordet efter kolonet och därför anses ingen ny mening påbörjas (ex. andra delen i Figur 3). Kolon i andra kontexter räknas som meningsavslutande om det följs av en ny mening (d.v.s. ett ord som börjar med meningsinledande versal eller som av någon annan anledning får anses inleda en mening). Kolon ska alltså inte räknas som meningsavslutande om det följs t.ex. av ett egennamn som inte inleder en mening. Ett undantag från detta är första delen av Figur 2, där ett kolon (ONR 028) uppenbarligen räknas som meningsavslutande trots att det följs av ett egennamn som inte av någon uppenbar anledning inleder en ny mening (GM 023). Semikolon förekommer inte som meningsavslutande skiljetecken i korpusen förutom på två ställen 1 där det i originaltexterna är utropstecken (alltså är det där fel i korpusen), varför man nog får anse att semikolon inte kan vara meningsavslutande i Talbankens meningssegmentering ! och? Utrops- och frågetecken räknas som meningsavslutande i samma situationer som punkt. Exempel på när de inte är meningsavslutande är när de står innanför parenteser eller enkla eller dubbla citationstecken. I dessa fall räknas slutparentesen/slutcitationsteckenet som meningsavslutande (för att få med dem i den grafiska meningen). 3 Resultat/utvärdering Nedan följer jämförelsen av meningsegmenteringen i de båda korpusarna. En viktig skillnad mellan korpusarna (och som föranleder flera skillnader nedan) är att Talbanken är manuellt segmenterad medan SUC troligen inledningsvis är automatiskt segmenterad. 1 P och P Grafisk mening Grunden i meningssegmenteringen i de båda korpusarna, uppdelningen i grafiska meningar, är i grunden likadan i båda korpusarna. Den grafiska meningen beskrivs på i stort sett samma sätt i båda manualerna, med den skillnaden att manualen till Talbanken (Teleman, 1974) säger att en grafisk mening börjar med versal. Dock finns ju där i undantaget att man får anse att en grafisk mening börjar om man kan anta att författaren avsett börja en ny mening. 3.2 Förkortningar Förkortningar behandlas likadant i de båda korpusarna, d.v.s. endast om punkten i slutet på förkortning (vilket är det enda problematiska fallet) skulle varit där utan förkortningen räknas den som meningsavslutande. Förkortningar innehållande kolon behandlas helt enkelt som förkortningar utan att i meningssegmenteringssynpunkt bry sig om att det finns ett kolon i förkortningen. 3.3 Uppräkningar I sättet att behandla punktlistor finns viktiga skillnader mellan SUC och Talbanken. I SUC räknas samtliga element som egna meningar, medan Talbanken behandlar dem som meningar om de skulle räknats som meningar om de inte stått i listan. Om de inte skulle ha räknats som egna meningar blir hela punktlistan en mening (se dock 2.2.3). 3.4 Rubriker I SUC och Talbanken räknas rubriker och liknande alltid som egna meningar. 3.5 : och ; Skillnaden när det gäller kolon och semikolon är att i SUC är de meningsavslutande vid anföring, och kolon framför punktlistor, medan det i Talbanken endast är kolon som förekommer meningsavslutande, och då närhelst det följs av något som är att anse som en egen mening. 3.6! och? Utrops- och frågetecken behandlas lika i de båda korpusarna, d.v.s. de är meningsavslutande i samma kontexter som en punkt skulle ha varit det. 4 Slutsatser Den största skillnaden mellan SUC och Talbanken består i sättet de är segmenterade på (atuomatiskt resp. manuellt). Detta innebär för Tal-

6 TEXT+ST GM MS ONR TEXT L1L2L3L4 S1S2S3S4S5S6 P EXEMPLET NNDD SS P HÄMTAT TP PA SP P FRÅN PR RAPR P *BORÅS PN RA P ) IR JR P : IQ IQ P ST ST P <<MX GM P *SÖDRA PN XX P *KYRKOGATAN ID XX P ST XXST P RO XXET P PR XXEUPR P RO XXEU P , IK++ XXIK P RO XXET P PR XXEUPR P RO XXEU P RO XY P F +FST P RO XXET P PR XXEUPR P , IK++ XXIK P RO XXET P PR XXEUPR P RO XY P MAN POZPHH SS P VÄLJA VVIV IV P MELLAN PR OAPR P FÖLJANDE PODP OA P : IQ OAIQ P PU OAVAST P *VANLIG AJ OAANSPDT P BEFORDRAN VN OAANSP P *ATP PN SS P GER VVPS FV P MÖJLIGHETER AN OO P TILL PR OAPR P FÖLJANDE PODP OADT P FÖRMÅNER NN OA P : IQ OAIQ P * PU OAANVAST P GM OAANGM P *ÅLDERSPENSION NN SS OAANSP Figur 3: Meningssegmentering i samband med kolon i Talbanken (Einarsson, 1976).

7 bankens del att det finns möjlighet till ganska luddiga regler, såsom [...] anses skribenten ha dokumenterat en vilja att markera ny mening[...] ((Teleman, 1974) sid. 256), medan man inte gärna på ett trivialt sätt kan säga åt ett program att ta hänsyn till sådant. Sammantaget medför de olika segmenteringssätten att SUC är mer konsekvent segmenterad, medan Talbanken har ett logiskt sätt att hantera konstigheter i texten (t.ex. saknat skiljetecken). Sättet man väljer att unifiera de två segmenteringarna på kan ses bero på vilket sätt man avsett segmentera sin korpus på. 4.1 Automatisk segmentering Om man avser använda sig av automatisk segmentering (vilket väl är troligast nu för tiden) bör man nog följa de mer strikta regler som man får förmoda har använts vid segmenteringen av SUC. Detta då mer lösa regler av Talbankens typ kan vara svåra att implementera på ett bra sätt i en automatisk segmenterare. 4.2 Manuell segmentering Om man istället avser använda sig av manuell segmentering kan man i större utsträckning använda sig av Talbankens regler, då dessa ger större utrymme att lösa problem med t.ex. saknade versaler eller skiljetecken. Dock kan man med fördel använda sig av SUC regel gällande punktlistor (d.v.s. att varje element är en egen mening), för att få en mer konsekvent segmentering av listorna. Referenser J. Einarsson Talbankens skriftspråkskonkordans. Institutionen för nordiska språk, Lunds Universitet. E. Ejerhed och G. Källgren Stockholm Umeå Corpus. Institutionen för lingvistik, Umeå Universitet, Institutionen för lingvistik, Stockholms Universitet. S. Gustafsson-Capkova, B. Hartmann, och G. Källgren Manual of the Stockholm Umeå Corpus 2.0. Institutionen för lingvistik, Umeå Universitet, Institutionen för Lingvistik, Stockholm Universitet. U. Teleman Manual för grammatisk beskrivning av talad och skriven svenska. Institutionen för nordiska språk, Lunds Universitet.