om maskinöversättning

Transkript

1 om maskinöversättning Redovisning av uppdrag från Näringsdepartementet (N1999/7189/ITFOU) att utreda de tekniska och ekonomiska förutsättningarna för att ta fram en basmodul för maskinöversättningar av standardiserade förvaltnings- och affärsdokument från svenska till engelska och från engelska till svenska.

2 Sammanfattning och förslag NUTEK har fått i uppdrag av näringsdepartementet att skyndsamt utreda de tekniska och ekonomiska förutsättningarna för att ta fram en basmodul för maskinöversättningar av standardiserade förvaltnings- och affärsdokument från svenska till engelska och från engelska till svenska. Uppdraget har resulterat i ett underlag för beslut om satsningar på det språkteknologiska området i allmänhet och maskinöversättning i synnerhet samt förslag till åtgärder. Någon projektbeskrivning att lämna till Europeiska kommissionen har det inte varit möjligt att få fram på den korta tid som stått till förfogande. Organisation och finansiering av ett sådant projekt bör bli föremål för ytterligare utredning. Språket är vårt viktigaste kommunikationsmedel. Snart sagt alla mänskliga framsteg har sin grund i språket. Det gäller såväl ekonomiska som sociala framsteg som framsteg inom teknik, vetenskap och kultur. I informationssamhället ökar tjänster och informationsresurser i form av text, tal, grafik, bild och video i antal och omfattning. Utvecklingen av IT-verktyg som hjälper till att givet användarens kulturella och språkliga bakgrund hitta relevant information och att presentera den på ett adekvat sätt, har inte skett i samma takt som utvecklingen av informationsteknologin i övrigt. Språkteknologin spelar en nyckelroll i ansträngningarna att göra det globala informationssamhället till ett samhälle för alla människor. Den kan utvecklas för att ge invandrare hjälp att integreras i det svenska samhället. Svenska företag kan lättare nå sina kunder på världsmarknaden om deras produkter har inbyggda språkkunskaper. Med goda språkverktyg kan alltså innovationer och nyföretagande främjas och arbetslöshet bekämpas. Språkteknologin, och särskilt den resurskrävande utvecklingen av kvalificerade maskinöversättningssystem, är en viktig del av den mjuka infrastruktur som är nödvändig för att den hårda infrastrukturen, till exempel bredbandsnäten, skall bli användbar och lönsam. Utredningsrapporten inleds med en diskussion av marknaden för och behovet av översättningstjänster. Det konstateras att översättningar från svenska till engelska är vanligast förekommande i svenskt näringsliv och offentlig förvaltning. En enkätundersökning har gjorts. En sammanställning över resultatet presenteras i bilaga 2. I bilaga 1 listas en del av de personer utredningen har varit i kontakt med. I kapitel 3 ges en översikt över språkteknologisk verksamhet i Sverige och inom EU. Europeiska kommissionen har länge främjat FoU inom språkteknologi vilket bidragit till uppbyggnad av basresurser och infrastruktur för de äldre EU-språken. För att nå upp till motsvarande nivå för de nya språken (svenska och finska) krävs stöd- och stimulansåtgärder. Kapitel 4 innehåller en beskrivning av den tekniska utvecklingen inom maskinöversättningsområdet. Det konstateras att den har varit långsam. Det finns system som fungerar väl inom avgränsade områden. Andra system kan ha en begränsad översättningsförmåga men fungera tillräckligt bra för att göra dem användbara som läs- och kommunikationsstöd i, och som delsystem för råöversättning i samband med textproduktion, antingen som fristående system eller som komponenter i stödsystem för översättare (translator's workbench). 2

3 I kapitel 5 diskuteras resurser och förutsättningar för en svensk maskinöversättningsmodul. Där görs en genomgång av maskinöversättningssystem för eller med svenska och andra nordiska språk. Vidare behandlas översättningsstationer och andra översättningsstöd som översättningslexikon och terminologier. Kapitlet utmynnar i en diskussion av alternativa handlingsvägar. I kapitel 6 omnämns några maskinöversättningsprojekt i andra länder liksom planerna på ett språkteknologiskt centrum i Norge. Kapitel 7 innehåller en beskrivning av erfarenheterna av användning av maskinöversättning vid Telefonaktiebolaget L M Ericsson och visar på några av de problem och möjligheter som introduktionen av översättningssystem innebär i en stor organisation. Sista kapitlet innehåller slutsatser och förslag. Utredningen konstaterar: att behovet av svenska maskinöversättningssystem i det lägre segmentet kommer att tillgodoses av marknadsaktörer utan särskilt statligt stöd att utvecklingen av avancerade maskinöversättningssystem för svenska är eftersatt i jämförelse med andra jämförbara språk att den enskilt viktigaste förutsättningen för utvecklingen av avancerade maskinöversättningssystem, både i dag och i framtiden, är tillgången på översättningsdatabaser att det finns ett behov av ett "konsumentupplysningsorgan" på språkteknologins område Utredningen föreslår: att det utarbetas en långsiktig strategi för främjande av svensk språkteknologi. En viktig del i en sådan strategi bör vara att se till att det kommer fram avancerade översättningssystem för svenska. Som lämpliga åtgärder föreslås : 1. uppbyggnad av ämnes- och branschinriktade översättningsminnen (-databaser) i samarbete mellan svenska företag enligt en nätverksmodell 2. utvärdering av de system som finns idag på marknaden och som forskningsprototyper 3. uppbyggnad av ett integrerat översättningssystem med svensk ordbehandling en eller flera översättningsmotorer översättningsminne terminologistöd textintegrerat översättningslexikon att en myndighet eller annan organisation utpekas som koordinator för strategiarbetet och de ovan föreslagna åtgärdena. Denna organisation bör dessutom ha som uppgift att följa utvecklingen inom området att bygga upp och förvalta resurser för svenska språket t ex korpusar (stora textdatabaser) sprida information om vad som sker och vad som finns och stödja erfarenhetsnätverk där både producenter och användare ingår Utredningen tar inte ställning till vem som är mest lämplig som koordinator för svensk språkteknologi. 3

4 Innehållsförteckning 1. Inledning Behov och marknad Bakgrund om språkteknologi..8 Introduktion Vad görs inom EU? Vad görs i Sverige? EU-projekt Tekniska nomenklaturcentralen Svenska språknämnden Språkteknologi en tillväxtbransch 4. Den tekniska utvecklingen på maskinöversättningsområdet..15 Användning av maskinöversättning Översättningsteknologi Användbarhet Reglerade språk Sammanfattning 5. Resurser och språkteknologiska förutsättningar för en svensk maskinöversättningsmodul.23 Introduktion Maskinöversättningssystem med el. för svenska Maskinöversättningssystem med el. för andra nordiska språk Tre andra maskinöversättningssystem av intresse Översättningsstationer Översättningslexikon Referenser 6. Projekt i andra länder Maskinöversättning på Ericsson ett praktikfall Slutsatser och förslag...37 Ordförklaringar och förkortningar Bilaga 1 Några av de personer som kontaktats av utredningen Bilaga 2 Frågeformulär Svarsresultat

5 1. Inledning NUTEK har haft i uppdrag av näringsdepartementet att skyndsamt utreda de tekniska och ekonomiska förutsättningarna för att ta fram en basmodul för maskinöversättningar av standardiserade förvaltnings- och affärsdokument från svenska till engelska och från engelska till svenska. Utredningen har resultatet i ett underlag för beslut om fortsatta satsningar på det språkteknologiska området och förslag till åtgärder. På den korta tid som stod till förfogande (juni-augusti 1999) har utredningen inte kunnat ta fram ett beslutsunderlag för en upphandling eller ett färdigt projektförslag att lämna in till Europeiska kommissionen inom ramen för utlysningen inom MLISprogrammet. I arbetet har deltagit professor Anna Sågvall Hein, Uppsala, professor Lars Ahrenberg, Linköping, Gary Jaekel, Interverbum, Sören Lindh, Statskontoret och Barbro Atlestam, NUTEK. 5

6 2. Behov och marknad Den totala efterfrågan på översättningstjänster i Sverige är svårbedömd. Utredningen har genom intervjuer med nyckelpersoner och en enkätundersökning försökt skaffa sig en uppfattning om volymen. På Europeiska kommissionens svenska enhet översätts c:a sidor per år, den överväldigande delen till svenska, oftast från engelska men även i betydande grad från franska. Den totala produktionen av översättningar till svenska inom hela EU-verksamheten ligger på mellan och sidor. Den största efterfrågan på översättningar i Sverige gäller från svenska till engelska. EU-medlemskapet har dock gjort att behovet av översättning till svenska har ökat kraftigt. Därtill kommer den växande sektorn lokalisering (översättning och anpassning av programvaror och manualer) som görs åt företag som exporterar till Sverige, t ex Microsoft. Det finns uppskattningsvis yrkesverksamma översättare i Sverige. De är oftast egenföretagare och arbetar direkt mot den privata eller offentliga sektorn, åt större översättningsföretag och/eller åt varandra. Till detta kommer ytterligare några tusen personer som arbetar med översättning som extra sysselsättning. Det finns c:a tjugo översättningsföretag i Sverige med en genomsnittlig omsättning på ungefär trettio miljoner kronor om året. Dessa företag arbetar åt kunder såväl inom som utanför Sverige. (En stor del av de översättningar som Europeiska kommissionen inte klarar av internt hamnar hos svenska översättningsföretag). Företag och förvaltningar som beställer översättningar av externa konsulter särredovisar oftast inte kostnaderna för dessa varför det är svårt att bedöma den ekonomiska omfattningen. En grov uppskattning av den svenska marknaden är 800 miljoner kronor, vilket motsvarar cirka sidor. Översättning inom offentlig sektor Uppskattningsvis 70 % av all översättning för den offentliga sektorn i Sverige är från svenska till engelska. På UD:s kansli för översättning uppger man att cirka sidor per år översätts, de flesta från svenska till engelska och därnäst från svenska till franska och spanska. De myndigheter som kontaktades kunde sällan ange exakta siffror på sitt behov av översättning. Behovet bedöms till cirka sidor om året. Det största översättningsbehovet finns hos Invandrarverket, polisen och de sociala myndigheterna. Där handlar det oftast om översättning till och från udda språk och en mycket oförutsägbar efterfrågan. För närvarande finns stort behov av översättning till och från albanska. Utredningen har också funnit att det finns stora behov av hjälpmedel för råöversättning av franska texter till 6

7 svenska; svenskens i gemen kunskaper i franska är så mycket sämre än de i engelska. Översättning inom näringslivet Många svenska storföretag har etablerat engelska som koncernspråk. Detta har medfört en stor marknad för översättning från svenska till engelska och för granskning av engelska texter skrivna av personer som inte har engelska som modersmål. Hos små och medelstora företag, där gedigna språkkunskaper ofta är begränsade till svenskan, efterfrågas också översättningstjänster från svenska till andra språk, i första hand engelska. Behoven varierar. Det kan röra sig om stora industriella projekt med tusentals sidor eller om korta reklamtexter som kräver mycket mer än en vanlig översättningsinsats. Kanske kommer vågen av uppköp och samgåenden mellan svenska och utländska företag att ändra behovsbilden. I bilaga 2 presenteras en sammanställning av resultatet på enkätundersökningen om översättningsbehovet. 7

8 3. Bakgrund om språkteknologi Introduktion Med språkteknologi (Human Language Technology; Language Engineering) brukar avses ett brett spektrum av verksamheter med ambitionen att göra det möjligt för människor att kommunicera med maskiner på ett för människor naturligt sätt samt att göra det möjligt för datorn att utföra olika slags språktjänster. Det gäller alltså att utveckla datorprogram som kan behandla information uttryckt i naturligt språk, i form av tal eller skrift. Språkteknologin är lika gammal som datatekniken. De första kända projekten är från början av 1950-talet då USAs militär satsade stora resurser på utveckling av system som skulle göra automatiska översättningar av ryska texter till engelska. Tron på datateknikens möjligheter var stark och insikterna om uppgiftens svårighetsgrad var bristfälliga. Systemen som utvecklades höll inte måttet och hela området maskinöversättning råkade i vanrykte. Under de femtio år som gått sedan dess har de tekniska möjligheterna blivit enormt mycket bättre och ambitionerna för maskinöversättningssystemen mer nyanserade. Man skiljer mellan maskinöversättning som är helt automatisk och datorstödd översättning som bygger på arbetsdelning mellan datorn och den mänskliga översättaren. Ren maskinöversättning lyckas bara inom begränsade ämnesområden med strukturerat språk, t ex börsrapporter och väderleksrapporter. Ett modernt sätt att närma sig problemet är att utveckla tekniker för att återanvända gamla översättningar som sparas i så kallade översättningsminnen. Språkteknologin är tvärvetenskaplig och använder kunskaper från lingvistik, psykologi, datavetenskap och diverse ingenjörsdiscipliner. Språkteknologisk grundforskning bedrivs inom lingvistiken inom datorlingvistik (Computational Linguistics) och inom datavetenskap inom Natural Language Processing (NLP), ett underområde till artificiell intelligens (AI). Inom såväl datorlingvistik som NLP koncentrerade man sig länge på det skrivna språket medan utvecklingen av metoder för att hantera talat språk talteknologi bedrevs oberoende av den metodutveckling som ägde rum inom dessa discipliner. Detta gäller inte längre. Samarbetet mellan de olika kulturerna har ökat som följd av de krav som ställts vid utvecklingen av alltmer avancerade produkter och kanske också som resultat av de ansträngningar som gjorts inom FoU-programmen. Talteknologin har under de senaste åren genomgått en intensiv utveckling och många kommersiellt framgångsrika produkter har kommit ut på marknaden. Det hänger samman med telekommunikationssektorns starka tillväxt. Telebolag runt om i värden använder talteknologi i de nya tjänster som de utvecklar. Den tilltagande globaliseringen av företagens verksamheter, den ökade internationella handeln och Sveriges EU-inträde har gjort att behovet av och efterfrågan på datorstöd för översättning har ökat. Framväxten av WWW och andra stora dokumentdatabaser har samtidigt givit ökad betydelse åt textanalys och texthantering och andra datorlingvistiska frågeställningar. Därtill fortsätter 8

9 utvecklingen av dokumentproduktionsverktyg och multimedia i riktning mot en större integration av text, ljud och bild och multimodala gränssnitt. Sammanfattningsvis kan sägas att bygget av informationssamhället kräver tillgång till språkteknologiska verktyg och komponenter. Om det skall bli möjligt att leva och kommunicera på svenska i detta framtida samhälle krävs att svensk industri, svenska forskare och myndigheter tar språkteknologin i bruk och utvecklar den för svenska förhållanden. Häri ingår att ta fram nödvändiga svenska dataresurser (lexikon, språkmodeller etc.) och verktyg för analys och syntes av svenska, inklusive flerspråkiga material med svenska som ett av de ingående språken. Vad görs inom EU? Inom EU finns idag elva officiella språk. Man accepterar alla medlemsländers officiella språk (undantaget gaeliskan) som sina officiella språk. Man har valt att se den språkliga mångfalden som en kulturell resurs och som en styrkefaktor för europeisk industri. En stor del av EU-kommissionens budget går åt till översättning och tolkning. De stora kostnaderna för språktjänster har föranlett kommissionen att söka efter datorstöd för att effektivisera och underlätta översättarnas arbete. Man började redan i mitten av 1970-talet att använda det ursprungligen amerikanska maskinöversättningssystemet Systran. Man ville också satsa på egen på forskning och utveckling inom språkteknologi. Det första stora programmet, EUROTRA, pågick mellan 1982 och 1993 och hade som mål att skapa ett system för maskinöversättning mellan alla de då nio EU-språken. Det resulterade aldrig i något färdigt system uppgiften var alltför komplex men det byggdes upp kunnande och kompetens och skapades centrum för språkteknologi i de deltagande länderna. EU:s fortsatta stöd till språkteknologisk FoU har skett inom ramprogrammen för FoU. Området fick stort utrymme inom det tredje och fjärde ramprogrammens särprogram Telematik. Man valde där att satsa projekt som syftade till att använda existerande kunskaper och speciellt det som utvecklats inom EUROTRA, på tillämpningar inom olika branscher och samhällssektorer, snarare än att satsa på utveckling av nya tekniker och metoder. I det (nu pågående) femte ramprogrammet ingår det i IST-delen (Information Society Technologies). Det återfinns under den så kallade Key Action 3: Multimedia Content and Tools. Därutöver finns programmet MLIS (Multi Lingual Information Society) som startade 1996 och som har som syfte att bidra till främjandet av den språkliga mångfalden inom EU och stimulera användandet av språkteknologi. Denna utredning är inspirerad av möjligheten att utforma projekt inom programmets tredje handlingslinje: Främjande av användning av avancerade språkverktyg inom gemenskapen och medlemsstaternas offentliga sektor. Vad görs i Sverige? Kompetenscentrum för talteknologi NUTEK och dess föregångare STU (Styrelsen för teknisk utveckling) har i alla tider stött den talteknologiska forskningen. Särskilt är det Institutionen för tal, musik och hörsel (före detta institutionen för talöverföring och musikakustik) vid KTH som fått stora bidrag och där man gjort pionjärinsatser inom området 9

10 talsyntes. NUTEK inrättade 1996 ett kompetenscentrum för talteknologi (CTT) vid KTH. Inom ramen för detta garanteras institutionen finansiering av samverkansprojekt med näringslivet på ett långsiktigt och uthålligt sätt. Ramprogram i språkteknologi Under tiden drev NUTEK/STU och HSFR ett gemensamt forsknings- och utvecklingsprogram i språkteknologi omfattande både talat och skrivet språk och med inriktning på såväl grundforskning som tillämpad forskning. Specifika syften med programmet var att höja den vetenskapliga kunskapsnivån i Sverige, främja tvärvetenskapliga kontakter mellan olika ämnesområden av relevans för språkteknologin, i synnerhet talteknologi och datorlingvistik, främja kunskapsöverföring mellan forskargrupper vid universitet och högskolor och avnämare inom svenskt näringsliv och offentlig förvaltning. Budgeten totalt för hela sexårsperioden var av storleksordningen femtio miljoner kronor. Programmet utvärderades våren -93 av en grupp internationella experter som bl.a. rekommenderade en mer fokuserad inriktning på infrastruktur (data och verktyg), gemensamma forskningsuppgifter och kriterier för utvärdering, en bättre styrning och samordning av projekt och en total ökning av budgeten för programmet med 50 % (NUTEK-rapport R 1993:19). Under arbetet med programmet konstaterades att kontakterna med näringslivet (med några undantag) inte varit vad de borde. Detta kunde bero på bristande förmåga att hitta och knyta de rätta kontakterna eller på att svenska företag (med några undantag) ännu inte insett den potential som finns i språk teknologin. I syfte att få bättre underlag för arbetet med teknikspridning och öka den industriella relevansen i NUTEKs stöd till högskoleforskningen gjordes hösten 94 en undersökning av användningen av språkteknologi i svenska företag. (NUTEK Info ). Undersökningen konstaterade bristande insikter hos de undersökta företagen om språkteknologins betydelse. En utvidgad undersökning med flera företag än de femton som ingick i studien förmodades inte kunna ge en annorlunda bild. Bilden visade sig dock bli bättre med tiden -- och med hjälp av de pedagogiska ansträngningar som initierats av EUkommissionen. Ramprogrammet bidrog till en förbättrad språkteknologisk infrastruktur och till ökade kontakter mellan olika forskargrupper i Sverige, och mellan universitet och industri. Det fanns en god bas i den svenska forskarvärlden att utnyttja i ett nytt språkteknologiskt program. Ett sådant, återigen i samverkan mellan HSFR och NUTEK, startade den 1 juli 1997 och avslutas den 31/ Den totala budgeten för programmet blev 17 miljoner kr. Målen för det nya programmet är att utveckla och förbättra generiska metoder och tekniker för bearbetning av naturligt språk, särskilt svenska, i tal såväl som i skrift. 10

11 att främja utveckling, utvärdering och spridning av verktyg och dataresurser för svenska språket. att bidraga till att det kommer fram praktiskt användbara resultat i form av data, metoder, verktyg och system. att knyta samman kompetens i tvärvetenskapliga nätverk och främja samarbete mellan olika aktörer inom forskning, utbildning, näringsliv och samhället i övrigt. Programmet har haft ambitionen att få till stånd ett antal relativt stora projekt som omfattar flera forskargrupper och kompetenser. Aktuella projekt är 1. Svenska dialogsystem Ett samarbete mellan Institutionen för datavetenskap vid Linköpings universitet, Institutionen för lingvistik vid Göteborgs universitet, Institutionen för lingvistik vid Lunds universitet och Centrum för talteknologi vid KTH. 2. Integrerade språkverktyg för skrivande och dokumenthantering Ett samarbete mellan institutionen för numerisk analys och datalogi (NADA) vid KTH, Svenska språknämnden och institutionen för lingvistik vid Göteborgs universitet. 3. Parallellkorpusar i Linköping, Uppsala och Göteborg (PLUG) Ett samarbete mellan institutionen för lingvistik vid Uppsala universitet, och Institutionen för svenska språket (tidigare Språkdata) vid Göteborgs universitet och institutionen för datavetenskap vid Linköpings universitet. 4. Svenska OrdNät/Textanalys för informationssökning/korpusbaserat lexikon och analysverktyg Ett samarbete mellan Institutionen för lingvistik vid Lunds universitet, Institutionen för lingvistik vid Umeå universitet och Institutionen för svenska språket vid Göteborgs universitet. Sverige var inte medlem i EU under den period som det stora översättningsprojektet EUROTRA genomfördes och hade därför inte samma möjligheter att bygga upp nationell kompetens i språkteknologi som de deltagande länderna, däribland Danmark, hade. Denna brist har delvis kompenserats genom de nationella programmen som beskrivits ovan. Sålunda finns vid universiteten i Göteborg, Linköping, Lund, Stockholm, Umeå och Uppsala seniora forskare med god kompetens inom området. Det är av avgörande betydelse för genomförandet av ett storskaligt nationellt åtagande inriktat mot maskinöversättning. Väsentlig språkteknologisk kompetens finns också vid SICS, Swedish Institute of Computer Science. Grundutbildning inom området (datorlingvistik, språkteknologi, kognitionsvetenskap) ges också vid de ovan nämnda lärosätena (och i Skövde). En betydande kader av unga språkteknologer finns sålunda tillgänglig för genomförandet av de många olika uppgifter som aktualiseras i ett sådant sammanhang och dess förlängning i det framtida informationssamhället. För att kunna ta tillvara och vidareutveckla de resultat och den kompetens som byggts upp under ramprogrammet har en ansökan om fortsättning efter 11

12 1 januari 2000 utarbetats och den diskuteras nu med Stiftelsen för strategisk forskning. EU-projekt När Sverige blev medlem i EU 1995 uppstod behovet av att få med svenska språket, svenska företag och forskare i språkteknologiarbetet. Med syftet att undersöka förutsättningarna för detta initierades en studie MAP (Measures for Raising Awareness and Stimulating Program Participation in the Sector of Language Engineering in the Telematics Applications Programme). NUTEK ansvarade för studien som genomfördes under våren 96. En slutsats i studien var att Sverige trots hög kompetens inom IT och IT-användning och väletablerad forskning inom datorlingvistik inte förmådde använda kunskaperna i mer marknadsorienterad produktutveckling (NUTEK Info Nr ). MAP-studien följdes sedan av två projekt EUROMAP1 och EUROMAP2 där alla EU-länder och associerade stater deltog. Syftet med projekten var att kartlägga aktuella och potentiella aktörer på den språkteknologiska scenen samt att genom konferenser, seminarier, företagsbesök mm synliggöra språkteknologins betydelse, möjligheter och begränsningar. Ett resultat av EUROMAP1-projektet är webbplatsen SVENSKA, en databas med information om olika produkter för svenska språket ( I EUROMAP2 har en databas med intressenter byggts upp. Den innehåller idag c:a 160 olika företag och organisationer. Intresset för språkteknologi har under de senaste fem åren ökat nästan explosionsartat. Detta beror på behov skapade av den ständigt växande kommunikationen över språkgränserna och kanske också på EU-programmens stimulansåtgärder. Även i Sverige har vi märkt ett påtagligt ökat intresse. Många svenska företag, institutioner och organisationer har deltagit i Telematikprogrammets språkteknologiprojekt och förutom de erfarenheter och de kontakter som detta gett har sannolikt också mer pengar kommit tillbaka till Sverige än vad som svarar mot Sveriges bidrag till programmets budget. Flera projekt är initierade och/eller koordinerade av den svenska parten: I projektet SCARRIE (Scandinavian Proof Reading Tools) utvecklades verktyg för automatisk korrekturläsning av texter på svenska, norska och danska för skandinavisk förlagsindustri. Trots den stora bok- och tidningsproduktionen i Skandinavien finns inte sådana verktyg. Detta beror på att språkområdena är för små för att garantera en lönsam marknad. Växjöföretaget Wordfinder Software AB var koordinator för projektet och kommer att kommersialisera de verktyg som utvecklades. En stor del av arbetet utfördes på Institutionen för lingvistik vid Uppsala universitet. Uppsala Nya Tidning och Svenska Dagbladet deltog som användare. I AVENTINUS (Advanced Information System for Multilingual Drug Enforcement) samarbetar Rikspolisstyrelsen och Göteborgs universitet med motsvarande myndigheter och forskare i Tyskland, Spanien, Grekland, Frankrike och Italien kring ett flerspråkigt informationssystem som skall demonstrera teknologins möjligheter i kampen mot den illegala narkotikahandeln. 12

13 Tekniska nomenklaturcentralen Tekniska nomenklaturcentralen (TNC) sorterar under Näringsdepartementet och är den centrala instansen i Sverige för terminologi och fackspråk. TNC har regeringens uppdrag att verka för att lämplig teknisk terminologi skapas och används inom offentlig förvaltning, näringsliv, utbildningsväsen och massmedier. När Sverige kom med i EU fick TNC i uppdrag av EUkommissionen att komplettera EU:s termbank Eurodicautom med svenska termer. TNC:s uppgift har bestått i att identifiera begreppet i varje termpost och tillföra etablerad svensk term, gärna belagd i skriftlig källa och med definition. Totalt är det fråga om mer än termposter inom vitt skilda ämnesområden som nu innehåller svensk terminologi och i en tredjedel av fallen även definitioner, kontexter eller annan tilläggsinformation. TNC deltar i projektet Nordterm-Net, delvis finansierat av MLIS. Det kan beskrivas som en knutpunkt på Internet där information om terminologi i Norden samlas, och där man hittar länkar till liknande information på andra håll i världen. De nordiska språken är i detta sammanhang : danska, finska, färöiska, grönländska, isländska, norska, samiska och svenska. Terminologin inom IT-området kartläggs inom MLIS-projektet WebIT-EFCOT, A Web-based Terminology Database for Information Technology/European Forum for Computer Terminology där TNC har rollen som koordinator och vars syfte är att exportera den arbetsmodell som praktiseras inom den svenska Datatermgruppen. Svenska språknämnden Svenska språknämnden sorterar under Kulturdepartementet. Den har som uppgift att följa svenskans utveckling i tal och skrift, att ge ut ordböcker, skrivhandledningar och andra skrifter i språkliga frågor samt att ge råd i språkfrågor åt myndigheter, företag och enskilda. Svenska språknämnden har på uppdrag av regeringen utarbetat ett handlingsprogram för att främja det svenska språket. Programmet beskriver först språkvårdens organisation och verksamhetsformer i dag, analyserar sedan viktiga faktorer i dagens språksituation för att därefter föreslå olika åtgärder. Det föreslås att: Svenska språkets ställning i Sverige bör lagfästas. Det övergripande målet är att svenskan ska bevaras som ett samhällsbärande och komplett språk. Som enskilda åtgärder föreslås bl.a. följande: Det bör garanteras att svenskan förblir ett officiellt språk i EU. Sverige bör verka för delvis nya regler och riktlinjer för EU:s översättarverksamhet. Fler kvalificerade översättare och tolkar bör utbildas. Arbetet med flerspråkig terminologi bör ges ökade resurser. De datorprogram som ger språkstöd ska kontinuerligt granskas av språkvården. Den bör även medverka i framtagandet av sådana program liksom i internationell standardisering i fråga om teckenuppsättning och alfabetisering. Multimediaprogram för skolbruk ska normalt vara översatta till svenska. 13

14 Vidare påpekas att angelägna områden för tillämpad språkforskning är dels översättning, dels informationsteknik som skrivstöd, översättningsstöd och standardisering, dels konkurrens och samspel mellan engelska och svenska inom utbildning, forskning och kunskapsintensiva delar av arbetslivet. Språkteknologi en tillväxtbransch Företaget Lernout&Hauspie brukar ofta lyftas fram som framgångsexempel ur EU:s ramprogram. Det startade 1987 som ett flamländskt småföretag i talteknologibranschen. Det är nu ett globalt företag med 1700 anställda i sjutton länder specialiserat på språkteknologiprodukter och tjänster för ett brett spektrum av tillämpningar och språk och noterat på Nasdaq-börsen. Mycket av expansionen har skett genom uppköp, bland annat av Göteborgsföretaget Wordwork som numera heter L&H Mendez Sweden AB. Kapital till uppköpen skaffade man genom att låta Microsoft gå in som delägare. L&H är nära samarbetspartner med det nystartade företaget Nordisk Språkteknologi AS i Voss, Norge. Affärsidén är att utveckla, marknadsföra och sälja produkter på danska, svenska och norska, såsom skrivstödsverktyg, dikteringssystem och översättningsprogram. Marknader man fokuserar på är telekommunikation, hemelektronik, data, bilindustri, utbildning och hjälpmedel för funktionshindrade. Produkterna ska först anpassas för de skandinaviska språken, senare även för finska och isländska. Företaget har rekryterat många datalingvister från utbildningsprogrammet vid Göteborgs universitet. Företaget Infovox bildades 1983 genom avknoppning från talteknologiverksamheten vid KTH. De saluför system som omvandlar text till tal. Sedan 1993 ingår företaget i TeliaPromotor som är en del av Teliakoncernen. Växjöföretaget WordFinder Software AB säljer elektroniska lexikon och andra hjälpmedel för textframställning. Det grundades 1990 och har en filial i Oslo. Företaget framträder också som Trados Scandinavia AB och säljer Trados översättningsverktyg och tjänster. ESTeam AB bildades 1995 av Gudrun Magnusdottir, utbildad vid dåvarande Språkdata vid Göteborgs universitet. Företaget har idag 13 anställda och säljer skräddarsydda översättningssystem till företag över hela världen och till EUkommissionen. Utvecklingsverksamheten är lokaliserad till Grekland. Man klarar 10 av de 11 EU-språken och dessutom norska och isländska. Ett framgångsrikt språkteknologiföretaget i Norden är Lingsoft AB i Helsingfors. Det grundades Det har ett trettiotal anställda och är specialiserat på verktyg för textbehandling, textsökning och informationshantering. Tyngdpunkt ligger på verktyg för engelska, finska, svenska och tyska men deras grundläggandemetoder och tekniker är språkoberoende. De har många kunder i Sverige. Ett annat finländskt företag i språkteknologibranschen är Conexor OY som grundades 1997 och som är specialiserat på verktyg för engelska texter. Ett avknoppningsföretag från Göteborgs universitet bildades våren 1999, GU Språk & Data AB. Verksamheten bygger på den kunskap och kompetens som finns vid Institutionen för svenska språket och är för närvarande inriktad på att utveckla resurser för olika afrikanska språk. 14

15 4. Den tekniska utvecklingen på maskinöversättningsområdet Användning av maskinöversättning Dagens maskinöversättningssystem har två huvudsakliga användningar: - som läs- och kommunikationsstöd för att göra innehållet i texter skrivna på ett främmande språk tillgängligt för läsare som inte behärskar det, eller av andra skäl vill läsa texten på sitt eget språk; här kan vi inkludera översättning av arbetsmaterial i flerspråkiga organisationer liksom maskinöversättning som en nättjänst för direktöversättning av webbsidor; - som delsystem i en mer omfattande översättningsprocess, där systemens översättningar utgör råmaterial för vidare bearbetning; i en organisation som använder sig av maskinöversättning för en del av de texter som distribueras till kunder och allmänhet krävs då utbildade översättare och redigerare för att skapa färdiga texter av hög kvalitet; jmf. kapitel 7. I det första fallet tillför maskinöversättningssystemen en tjänst som annars sannolikt inte skulle bli utförd. Det skulle helt enkelt kosta för mycket att anlita en översättare, om tanken ens skulle dyka upp. I det andra fallet spelar kostnader också en roll, men framförallt tidsvinsten. Särskilt i fråga om stora textmängder blir skillnaden i hastighet mellan ett automatiskt system och en mänsklig översättare betydande. Översättningsteknologi För en beskrivning av den tekniska utvecklingen på maskinöversättningens område är det lämpligt att skilja ut den huvudsakliga funktionaliteten i systemen, d.v.s. själva översättningsförmågan, från dess övriga egenskaper, som vi sammanfattar under begreppet användbarhet. Användbarhetsegenskaper behandlas i ett följande avsnitt. Den grundläggande funktionaliteten i ett maskinöversättningssystem är att översätta mellan två givna språk i en bestämd riktning. Ett system som kan översätta från engelska till svenska, kan inte säkert översätta i den motsatta riktningen, eftersom varje riktning kräver sina egna språkliga databaser. Även om vissa system tillhandahåller flera språkpar, så är det vanliga att kostnaden beräknas per språkpar och riktning. Den internationella maskinöversättningsorganisationen IAMT har initierat en kommitté med uppgift att föreslå certifieringar för olika typer av översättningsstöd. Förslaget är ännu inte färdigt, men kommittén har informerat om sin avsikt att använda två övergripande kategorier för sådana system: maskinöversättningssystem resp. översättningsverktyg. Till gruppen översättningsverktyg räknas exempelvis elektroniska lexikon, termdatabaser och termhanteringssystem och översättningsminnen. Maskinöversättningssystemen föreslås vidare klassificeras i tre grupper: 15

16 bassystem, standardsystem och avancerade system. Det är inte klart hur kommittén vill göra skillnaden mellan standardsystem och avancerade system, men i den här översikten har vi tagit med dels sådan teknik som företräds av dagens bästa kommersiella system och dels sådan teknik som prövas i forskningssystem och forskningsprototyper. Många enklare kommersiella system gör inte stort mer än att slå upp ord och fraser de möter i texten i ett lexikon och ersätta dem med en motsvarighet på målspråket. Lite mer komplexa system kan ha regler knutna till orden som avgör vilken av flera möjliga motsvarigheter som ska väljas i en viss kontext. Denna metod brukar kallas direktöversättning. En mer avancerad teknik, som återfinns mer eller mindre i alla större kommersiella system, är den transferbaserade. Detta innebär att texten uppdelas i meningar vilka översätts en och en i taget som fristående enheter. Översättningen av en mening sker oftast i flera steg, men omfattar minst två större faser: analys och transfer. Därutöver urskiljs ibland generering (eller syntes) som en tredje fas, men i praktiken är genereringen ofta integrerad i transferfasen. Skillnader i översättningsförmåga mellan olika transfersystem beror i stor utsträckning på omfattningen av systemets lexikon (täckning av ordförrådet och noggrannheten i beskrivningen av varje ords syntaktiska och semantiska egenskaper). Ett avancerat transfersystem skiljer sig från ett enklare system genom djupet i analysen och en väl utvecklad komponent för transfer av frasoch satsregler. Det finns dock flera brister med dagens teknik. Den dåliga kvalitén på resultatet kan ofta förvåna lekmannen. Ett stort problem för systemen är att välja en i sammanhanget korrekt översättning av ett givet ord eller uttryck. Många ord är flertydiga i sig själva och när man betraktar deras möjliga översättningar på målspråket ökar antalet översättningsmöjligheter ytterligare. Om vi lågt räknar med att varje ord/uttryck har två möjliga översättningar i genomsnitt, så ger det totalt för en mening på tio ord 1024 möjliga ordkombinationer att välja mellan. Även om flera av alternativen kan vara likvärdiga, så är det också många som inte är det, och det är mycket svårt att formulera regler som ger en adekvat beskrivning av de kontexter som kräver det ena resp. andra alternativet. Till en del kan dessa problem lösas genom att strukturera lexikonet ämnesvis. Ofta är ord entydiga i ett specifikt ämnessammanhang och genom att tillåta användaren att välja de ämneslexikon som passar en viss text kan man garantera att just de översättningarna ges företräde. Men mycket av flertydigheten är förknippad med språkets vanligaste ord och då hjälper inte den metoden. Vi kan illustrera problematiken med ett exempel (från SLT-systemet, utvecklat i samarbete mellan SRI Cambridge och Telia Research): I denna applikation 16

17 förekommer frågor som begär prisuppgifter för olika resealternativ, t.ex. "How much is the ticket. En idiomatisk svensk översättning av denna mening är "Hur mycket kostar biljetten?" För att detta ska vara möjligt i ett transferbaserat system krävs att en regel etablerar en korrespondens mellan is och kostar. Det är naturligt att koppla denna korrespondens till förekomsten av 'how much', vilket också gjorts i systemet. Men detta är inte tillräckligt. En annan fråga från samma applikation är nämligen "How much is the price?" vilket systemet översatt med "Hur mycket kostar priset?". Detta kan förstås när den första överraskningen lagt sig, men är inte en bra översättning. För att kunna skilja de båda fallen åt krävs en semantisk klassificering av subjektet som någonting som kan eller inte kan prissättas. I princip måste alltså varje substantiv i lexikonet förses med information med avseende på denna egenskap. Problemet är då att den mängd av klassificeringar som måste göras för att hantera alla fall av varierande översättningar snabbt blir gigantiskt stor och svår för utvecklaren att överblicka. Ett annat problem sammanhänger med systemens källspråksorientering. Särskilt vid översättning mellan språk som skiljer sig mycket åt i fråga om uttryckssätt, som t.ex. mellan europeiska språk och japanska eller kinesiska, är det viktigt för begripligheten att översättningen låter naturlig på målspråket. I dessa fall är inte bara direktöversättningstekniken utan även transfertekniken sårbar. Ett tredje problem är att systemens svårigheter blir större ju längre meningarna i en text är. Detta sammanhänger med att ett fel som systemet gör ofta leder till konsekvensfel. De flesta autentiska texter innehåller dock, till skillnad från språkliga exempelsamlingar och grammatikböcker, en stor andel långa meningar. Den amerikanske språkforskaren Alan Melby, med stor erfarenhet av maskinöversättningssystem, säger i sin bok "The possibility of language" att problemet är knutet till det naturliga språkets stora flexibilitet. Ord och uttryck har i allmänhet inte bestämda betydelser, utan är mycket töjbara till sin användning. För begränsade ämnesområden och texttyper, som fallet väderleksprognoser eller sammanträdesprotokoll för en kommitté med ett specifikt ansvarsområde, är det möjligt att överblicka totalmängden av uttryck och betydelser och därmed utveckla system som producerar översättningar av godtagbar kvalité (vilket också gjorts), men när ett system ska hantera godtycklig text, eller textmängder som varierar påtagligt till typ och ämnesinnehåll är det oundvikligt att systemen kommer att översätta ofullständigt och med många fel. Detta hindrar inte att innehållet i en översatt text till stora delar kan gå fram ändå, men bör leda till en viss vaksamhet vid läsningen. Det är inte alla fel som är lika uppenbara som det i exemplet ovan. Därtill ligger en begränsning i att transfersystem inte arbetar på större enheter än meningar. Detta innebär att systemen inte kan uppfatta beroenden som går över meningsgränser, som t.ex. relationen mellan ett pronomen och den fras pronominet refererar till i en tidigare mening. Det innebär också att de inte kan 17

18 slå ihop eller dela upp meningar vid översättningen, något som översättare gör relativt frekvent för att göra målspråkstexten mer naturlig. Sådana förändringar påverkar översättningen av 1-5 % av alla meningar i en text, beroende på texttyp. Begränsningarna med dagens teknik har man försökt övervinna på olika sätt. Flertydighetsproblematiken har angripits på två fronter. Den första metoden brukar kallas kunskapsbaserad och innebär att systemet tillförs såväl allmän begreppskunskap som specifik omvärldskunskap som är relevant för de texter som systemet utvecklas för. Denna angreppsmetod har sina starkaste företrädare i USA och är starkt relaterad till den riktning inom forskningen i artificiell intelligens som försöker automatisera begreppsligt grundad slutledningsförmåga generellt. Detta är som antyddes ovan en mycket komplex uppgift, som kräver stora arbetsinsatser och systematiska semantiska studier. Ett antal forskningssystem har utvecklats med goda resultat på begränsade texttyper, men de resurser som krävs för att flytta systemen till ett nytt ämnesområde, eller för att skala upp systemen till allmän användning, gör tekniken oekonomisk. Ett projekt med vissa förutsättningar att förbättra situationen är WordNet-projektet med sin europeiska efterföljare EuroWordNet (och sin svenska gren OrdNät). Dessa projekt utgår från språkets ordförråd och registrerar semantiska relationer mellan orden. EuroWordNet, som arbetar med flera språk samtidigt, har den uttalade målsättningen att relatera olika språks ordförråd till varandra. Den andra metoden att lösa flertydighetsproblem är dataorienterad. Tanken är här att utifrån stora mängder insamlat textmaterial och generella automatiska eller halvautomatiska inlärningsmetoder generera samband mellan ord och deras översättningar i olika kontexter. Med kontexter menas då ord inom ett visst "fönster" kring det givna ordet, där fönstret kan bestå av ett stycke eller ha en viss längd, t.ex. 100 ord. Eftersom det är ordens betydelser som är intressanta, krävs liksom för den kunskapsbaserade modellen att man har tillgång till en övergripande semantisk klassificering av alla ord i språket. Empiriska metoder, dvs. metoder vars syfte är att generera översättningskunskap ur existerande översättningar, är ett genomgående tema för de nya teknikerna. Detta gäller för övrigt lika mycket för översättningsverktyg som för maskinöversättning. Tanken är alltså att det finns mer översättningskunskap i existerande översättningar än vad som är möjligt att formulera för en grupp forskare under en begränsad utvecklingsperiod. En framträdande empirisk metod går under namnet exempelbaserad översättning. Denna riktning företräds framförallt av japanska forskningsgrupper, men har nu nått ökad spridning. En bärande tanke är att utnyttja mönster i existerande översättningar och därigenom komma ifrån transfermetodens källspråksorientering. Den grundläggande resursen i ett exempelbaserat system är således en stor databas av meningar från källtexter och deras autentiska översättningar. Dessa meningar analyseras och databasen lagrar även större fragment av meningar och meningsmallar som härletts ur de 18

19 autentiska exemplen. Översättningen tillgår så att systemet försöker matcha en inkommen mening mot meningar och mallar i databasen. Om delar av den inkommande meningen inte kan matchas precist, bryts dessa delar loss och en matchning görs mot meningsfragment i en rekursiv process. I USA har försök gjorts med rent statistiska översättningsmodeller. Även med förhållandevis enkla ordbaserade modeller blir de mycket komplexa och kommer att ofta att omfatta tusentals parametrar som kräver mycket stora datamängder för att kunna uppskattas med någon grad av säkerhet. De första försöken som var något så när framgångsrika utnyttjade textmängder på över 100 miljoner ord av en speciell texttyp, och det säger sig självt att så stora textmängder inte går att hitta för alla texttyper. Prestanda är hittills också begränsade och systemen har precis samma brister som de transferbaserade. Metoderna utvecklas dock fortfarande och förbättras bl.a. genom att göra starkare antaganden om strukturella förhållanden inom och mellan de två givna språken. Statistiska modeller har också visat sig mycket användbara för att generera relevanta översättningsdata ur existerande översättningar, data som exempelvis kan tas till vara i maskinöversättningssystem av transfertyp. Ytterligare en metod som bör nämnas är den lexikalistiska. Benämningen syftar på att alla transferregler är knutna till lexikala enheter. I analysfasen identifieras endast beroenderelationer mellan de lexikala enheterna, medan ordföljd och gruppering helt bestäms av förhållanden i målspråket. Detta är alltså ytterligare ett sätt att åstadkomma en målspråksorienterad översättning. Alla tekniker som nämnts ovan har sina relativa fördelar och nackdelar. Ett sätt att utnyttja fördelarna och undvika nackdelarna är att använda flermodulsystem, vilket görs t.ex. i det tyska Verbmobil-projektet. Ett flermodulsystem innehåller alltså två eller flera översättningsmoduler, som arbetar enligt olika metoder. Två metoder som kompletterar varandra väl är den transferbaserade och den exempelbaserade. Samtliga metoder som behandlats ovan har dock den gemensamma begränsningen att arbeta med meningen som den maximala enheten. Användbarhet De första systemen utvecklades som fristående system och krävde i princip all minnes- och processkapacitet som värdmaskinerna hade. Förhoppningen var att en organisation skulle acceptera den investering som krävdes i nya maskiner och nya arbetssätt för att uppnå de vinster som systemet kunde medföra för hastigheten och mängden sidor som kunde översättas. Även om ett antal sådana system installerats kom förhoppningarna i stort sett på skam och maskinöversättningsindustrin har därefter insett att det gäller att hänga med i den tekniska utvecklingen för maskinvara och dokumentproduktionssystem, för att göra sig gällande. Eftersom bra maskinöversättningssystem är komplexa har det dock funnits en viss eftersläpning. Varje ny förändring i datorvärlden har satt maskinöversättningsföretagen på hårda prov. I dag är det dock möjligt att kunna köra 19

20 även de största systemen via PC och några av dem finns i rena PC-versioner. Det finns också företag som försett sina system med egna så kallade API:er (standardiserade gränssnitt), vilket gör det lätt att integrera dem i andra verktyg som t.ex. ordbehandlingssystem, e-postsystem och webbläsare. Ett annat krav som de större systemen i dag uppfyller är att kunna hantera de vanligaste textdokumentformaten som Word, RTF, WordPerfect, FrameMaker och HTML. Även för den individuella användaren har det funnits många problem. Denne var till en början helt utlämnad åt systemets översättning och fick inget extra stöd för att göra nödvändiga ändringar. Denna situation har dock successivt förbättrats. De flesta system ger i dag möjlighet att granska en text, innan den översätts, så att t.ex. ord som inte finns i lexikonet kan upptäckas. De ger också i viss utsträckning möjlighet att påverka vilka översättningsalternativ som systemet ska föredra, t.ex. genom att användaren kan markera vissa ämnesspecifika lexikon för användning på en given text. En del system ger också möjlighet till interaktiv översättning och inspektion av systemets lexikon under körning. Är översättaren missnöjd med ett översatt ord kan då lexikonet konsulteras och ett alternativt ord väljas, som förs in i texten automatiskt med rätt böjningsform. Maskinöversättningssystem bör i dag betraktas och utvecklas som integrerade delar av det totala stödet för flerspråkig dokumentframställning. Detta ställer maskinöversättningsföretagen inför nya utmaningar: man måste kunna erbjuda integration med ordbehandlare och dokumenthanteringssystem och med andra direkta stöd för översättningsprocessen, som t.ex. termdatabaser, termhanteringssystem och översättningsminnen. En del av denna integration håller på att växa fram, kanske framförallt med de närmaste konkurrenterna, översättarsystemen, s.k. translator's workbenches, vilka fått ett stort genomslag på marknaden under nittiotalets senare hälft. Genom avtal erbjuder många producenter av maskinöversättningssystem resp. translator's workbenches varandras produkter i förening, men eftersom de båda typerna av system bygger på olika principer så är integrationen inte optimal. Man måste också kunna hantera och utnyttja nya standarder som XML/XLL och hitta sätt att utnyttja systemen över webben, som går utöver dagens enkelriktade kommunikation. För översättningsminnen är en standard i form av ett utbytesformat för översättningsdata under framväxt, kallad TMX (Translation Memory exchange), medan en liknande standard för lexikon i maskinöversättningssystem förefaller avlägsen. Liksom maskinöversättningssystem påverkas av den tekniska utvecklingen, påverkar de också den arbetsprocess där de används, särskilt när de utnyttjas som ett led i framställningen av texter med högre krav på kvalité, t.ex. användarhandledningar till ett företags produkter, affärskorrespondens eller turistbroschyrer. Eftersom de råöversättningar som systemen producerar inte är felfria, blir resultatet en ökad belastning på gransknings- och redigerings- 20