Innehåll SPRÅKGRANSKNINGSVERKTYG F1:INTRODUKTION Ola Knutsson KTH CSC, knutsson@csc.kth.se Språkgranskningsverktyg Språk vs. skrivet språk Språkriktighet och grammatikalitet, vad är en bra text? Felanalysens möjligheter Skrivprocesser och skrivaktiviteter Olika typer av granskning Användarperspektiv och användarstudier Datorn som skrivverktyg Elektroniska ordböcker/uppslagsböcker Diktering Textpredicering Översättning Textsammanfattning Textsökning Datorstödd språkinlärning Definition av språkgranskningsverktyg Datorprogram som fungerar som skrivstöd genom att kontrollera språkriktighet och ev. stil i text. Språkriktighet och stil bedöms i relation till en given norm. Bild från Anna Sågvall Heins föreläsning Språkgransknihgsverktyg vt 08. Språkgranskningsverktyg!denna kurs"
Vilken typ av språk designar vi verktyg för? Skrivet språk en språkmodell? Vilka är skillnaderna mellan talat och skrivet språk? Finns det några fördelar med skrivet språk? Vad är det som läsaren vet som programmen inte vet? Writing turns speech and language into objects of reflection and analysis (Vygotsky, 1962; Luria, 1976) Far from transcribing speech, writing creates the categories in terms of which we become conscious of speech (Olson, 1995). Jämför också datorn som modell för mänsklig kognition (skulle den ha varit möjlig utan datorn?) Typer av språkgranskningsverktyg Vilka antaganden om skrivet språk finns dolda i verktygen? Stavningskontroll Avstavning Grammatikkontroll Stilkontroll!t.ex. byråkratkontroll" Kollokationskontroll? Finns det alltid ett svar? Språkverktyg jämfört med miniräknaren Övning!5 min": Vilka!dolda" antaganden finns det i en stavningskontroll?
Avstavning Stilkontroll Två principer: mekanisk eller morfematisk avstavning. fyr#kant vs. fyr#kant an#kor vs. ank#or bild#rulle vs. bild#rulle; bild#rulle vs. bil#drulle Exempel från Anna Sågvall Heins föreläsning Språkgranskningsverktyg vt 08. Avvikelser från standardspråket!ålderdomlig, byråkratisk, talspråklig etc." Uttryck: ordval!pimpad", böjningsform!sej/sig, de/ dom" Struktur: större än jag/mig; före/innan middagen. Bild från Anna Sågvall Heins föreläsning Språkgransknihgsverktyg vt 08. Stavningskontroll Syfte: hitta icke#ord Lexikonbaserat Hur hanterar man språkets nybildningar? Statistisk Grafotaktiska regler När blir stavningskontroll grammatikkontroll? Colorless green ideas sleep furiously Grammaticality: någon slags grammatik bestämmer om en sats tillhör språket eller inte. Manning!2002": form, context and meaning. Acceptability är svårt, bygger på individuella bedömningar Strangeness: språk som det används av språkakrobater
Grammatikalisk och acceptabel +gram & +accept: Hon åt en grön sak. +gram & -accept: Hon åt en grön sak. -gram & -accept: Hon åt grön saker. -gram & +accept:?he is a not unintelligent person (* a not grey sky) All grammars leak (Sapir, 1921). Svensk ordföljd rätt eller fel bland 24 teoretiskt möjliga satser (obrutna fraser) a. Rune köpte sin nya klocka i lördags. b. Rune köpte i lördags sin nya klocka c. I lördags köpte Rune sin nya klocka d. Sin nya klocka köpte Rune i lördags e. Sin nya klocka köpte i lördags Rune. f. Köpte Rune sin nya klocka i lördags? g. Köpte Rune i lördags sin nya klocka? h. Köpte i lördags Rune sin nya klocka? i. Rune sin nya klocka köpte i lördags. j. Rune i lördags köpte sin nya klocka. k. Rune sin nya klocka köpte i lördags. l. Rune i lördags sin nya klocka köpte. m. I lördags Rune köpte sin nya klock n. I lördags Rune sin nya klocka köpte. o. I lördags sin nya klocka Rune köpte. p. I lördags sin nya klocka köpte Rune. q. I lördags köpte sin nya klocka. r. Sin nya klocka Rune köpte i lördags. s. Sin nya klocka Rune i lördags köpte. t. Sin nya klocka i lördags Rune köpte. u. Sin nya klocka i lördags köpte Rune. v. Köpte sin nya klocka i lördags Rune? x. Köpte i lördags sin nya klocka Rune? y. Köpte sin nya klocka Rune i lördags? från Platzack 1998: Svenskans inre grammatik det minimalistiska programmet. Vem fastställer normen för svenska språket? Vilka bedömningar av grammatikalitet måste användaren göra? Svenska akademien Språkrådet!f.d. Svenska språknämnden" Svenska akademiens ordlista!saol" Svenska skrivregler!från Språkrådet" Svenska akademiens grammatik!sag" Om programmet inte alltid gör rätt vilar ett stort ansvar hos användaren. Ofta enklare om man har språket som modersmål än som andraspråk. Dessa bedömningar tar ofta tid och kraft. Datorn har också en förmåga att tjata. Felens komplexitet är också avgörande.
Vilka bedömningar av grammatikalitet måste programmen göra? Det börjar i tokeniseringen... Ordklassanalysen måste välja mellan en grammatisk eller ogrammatisk tolkning, t.ex. Jag såg det ma!!väljer att tolka det som pronomen utanför frasen" Frasanalys: Då utgjorde den nya hot? $den nya hot% eller $den% $nya hot%? Skall man inte alla godkänna satser? Han mejlade ganska mycket. Hon testade sin wokpanna. Köp fryst kyckling lever! Är en text med grammatiska och acceptabla satser en bra text? Stil Variation Kommunikativ förmåga!retorisk uppbyggnad" Innehåll Genre Fler? Behov av språklig granskning Datorn är det viktigaste skrivverktyget Det är enkelt att producera text som ser bra ut, men problemen med formuleringar av innehållet kvarstår Det är enkelt att producera mycket text & mer skrivande & mindre läsning och granskning Kraftfulla redigeringsmöjligheter ger upphov till att språkfel uppstår.
Datorn som språkgranskare Fördelar: outtröttlig tillgänglig snabb Men: fragmentarisk ger falska alarm Vad tillför forskning om språkgranskningsverktyg? Kommersiella program långt ifrån kompletta eller perfekta. Många problem fortfarande olösta. Kunskap om verktygens användning och e'ekter på språk och skrivande. kan ge falsk trygghet Syfte: stödja användarens skrivande Språkgranskning och skrivprocessen Skrivprocessen enligt Flower & Hayes!1981" Skrivande som produkt Flower & Hayes modell!kognitiv modell" Skrivande som aktivitet, en dialogisk aktivitet. Planering Textproduktion Granskning/revision Skribenten rör sig mellan processerna &ny textproduktion kräver ny granskning osv.
Revisionsprocesser Stöd för revisionsprocessen Error detection Error location Detektion( ( Felet markeras Error description Error diagnosis Diagnos(( Felet förklaras Revision ( Ersättningsförslag presenteras Error correction Olika typer av granskning Vilka språkgranskningsverktyg finns? Words stavnings# och grammatikkontroll Batch Sekventiell Ständig Skribent Tansa Scania#checker Icke#kommersiella: Stava, Granska, FiniteCheck, Ispell, m.fl.
Vilka är användarna? Vilka fel skall upptäckas? Professionella skribenter Skribenter i arbetsliv/fritid Förstaspråksinlärare Andraspråksinlärare Svenska som främmande språk James!1998" definierar följande felkategorier: Slips Mistakes Errors Solecisms Användaranpassning med avseende på innehåll Lexikon Terminologi Grammatik Kontrollerat språk Vad kan felananalys (error analysis) ge? Förändringar i språket? Ett fönster mot språkbrukarens/inlärarens grammatik. Hur långt har språkbrukaren kommit i sin språkliga utveckling? Är en del fel viktigare än andra att upptäcka? Språkpolitiskt och språkpedagogiskt. Bättre grammatikkontroll?
Vilka fel kan upptäckas? Falska alarm och missar Teckenfel: ja, s.k. grammatikkontroll, kräver dock mer arbete än man tror. Stavfel: ja, de flesta icke#ord upptäcks. Grammatikfel: vissa typer, men långt ifrån alla. Semantikfel: mycket begränsat, vissa lexikala fel kan upptäckas. Sylvana --> Solvana, Sylvans, Sylvan Gröt är gott Gröt är god En ny utrikesminister vore inte så dum En ny utrikesminister vore inte så dumt Stilfel: på ordnivå # ja, annars mycket svårt. Hjälper eller stjälper? Behov av användarstudier Hur farligt är det med falska alarm?!precision" Hur farligt är det med missade fel?!täckning eng. recall" Hur viktigt är rätt eller fel med avseende på genre, och skribententens språkliga nivå? Utvärderingar baserade på textanalys ger en del, men inte hela bilden. Studera användningen av språkgranskningsprogram Studera användningen i en verklig kontext!skola, arbetsplats".
Sammanfattning Grammatisk bedömning är centralt inom språkgranskning Verktygen bygger på många antaganden om användaren och språket Skrivande är en social aktivitet, och språket mycket socialt till sin natur & svårt för en maskin att förhandla om betydelse. Vi behöver studera både text och skribent för att bygga bra verktyg.