Datorn som hjälp vid språkgranskningen

Transkript

1 Department of Numerical Analysis and Computer Science TRITA-NA-P0302 IPLab-207 ISSN Datorn som hjälp vid språkgranskningen En studie av hur kognitiva revisionsprocesser påverkas av datorstödd språkgranskning Rickard Domeij Interaction and Presentation Laboratory (IPLab)

2 Rickard Domeij Datorn som hjälp vid språkgranskningen - en studie av hur kognitiva revisionsprocesser påverkas av datorstödd språkgranskning Report number: TRITA-NA-P0302, IPLab-207 Publication date: December of author: domeij@nada.kth.se Reports can be ordered from: Interaction and Presentation Laboratory (IPLab) Numerical Analysis and Computer Science (Nada) Royal Institute of Technology (KTH) S STOCKHOLM, Sweden telephone; fax: reports-iplab@nada.kth.se

3 Datorn som hjälp vid språkgranskningen en studie av hur kognitiva revisionsprocesser påverkas av datorstödd språkgranskning Rickard Domeij IPLab, Nada, KTH Inst. för Lingvistik, SU *** Sammandrag I den studie som presenteras här undersöks hur väl mänskliga kognitiva revisionsprocesser ges stöd av ett språkkontrollprogram innehållande tecken-, stil- och grammatikgranskning. Tänka högtmetodologi används som ett sätt att spåra kognitiva revisionsprocesser, som granskning och bearbetning av språkliga problem, både under manuell och datorstödd språkgranskning. Syftet är att undersöka när och varför ett språkkontrollprogram lyckas respektive misslyckas med att hjälpa skribenter i språkgranskningsarbetet. Studien är huvudsakligen kvalitativt inriktad, men innehåller även en del kvantitativa resultat. Studien utformades så att deltagarna först på egen hand fick språkgranska en text innehållande 37 språkliga problem som språkgranskningsprogrammet kan detektera. Sedan, i den datorstödda granskningen, presenterade datorn sin granskning av alla problem för skribenterna. De kunde då ta ställning till om de skulle ändra eller inte på datorns förslag. Utformningen gjorde det möjligt att jämföra hur många problem av olika typer som skribenterna bearbetade under den manuella respektive den datorstödda granskningen. Det gick också att hitta troliga motiv bakom det observerade revisionsbeteendet genom att analysera tänka högt-protokollen. Det kvantitativa resultatet visar att skribenterna i medeltal korrigerade 85 % av alla problem med hjälp av språkkontrollprogrammet, jämfört med 60 % manuellt. De avstod alltså helt från att bearbeta 15 % av problemen trots att de kontfronterades med dem i den datorstödda granskningen. Varför ändrades ibland ytterligare problem i den datorstödda språkgranskningen, medan inga ändringar gjordes i andra fall? Analysen av tänka högt-protokollen ger några intressanta svar på den frågan. Det kvalitativa resultatet pekar på att skribenterna gjorde ytterligare ändringar i den datorstödda granskningen när programmet hjälpte dem a) att detektera problem de själva missat i den manuella granskningen, b) att definiera och korrigera problem de själva inte lyckats definiera och korrigera manuellt, samt c) att detektera, definiera och korrigera problem som de tidigare inte känt till och därför inte kunnat uppmärksamma manuellt. Även vissa negativa effekter observerades, som att skribenter ibland lurades att ändra på grund av falskt alarm. Resultatet visar också att datorstödda ändringar kan vara mindre omfattande och mer ytliga än manuella ändringar av samma problem. Det fanns i huvudsak två orsaker till att skribenterna inte ändrade på datorns förslag: a) skribenten ville ändra men lyckades inte på grund av otillräckligt instruktivt stöd från datorn, och b) skribenten valde att inte ändra för att hon inte fann förslaget korrekt eller användbart i den aktuella situationen. När, som i det senare fallet, skribenterna valde att inte ändra på datorns förslag gällde det i de flesta fall problem av stilistisk art, där vissa skribenter starkt kunde vända sig mot förslagen medan andra godtog dem eller till och med välkomnade dem. Data från tänka högt-protokollen visar att dessa skillnader kan bero på olika uppfattningar av granskningsuppgiften hos skribenterna, vilka stämmer bättre eller sämre med den uppfattning som språkgranskningsprogrammet indirekt företräder. Resulteten är intressanta av två huvudsakliga skäl: 1) de belyser de kognitiva processer som är involverade i datorstödd språkgranskning, och 2) de pekar ut problem som måste uppmärksammas och åtgärdas om användbarheten hos system för datorstödd språkgranskning ska kunna förbättras.

4 Innehåll Sammandrag... 1 Inledning... 3 Bakgrund... 3 Tidigare studier... 5 En kognitiv modell av revisionsprocessen... 5 Program för språkkontroll...8 Förberedande studier Studiens syfte, utformning och utförande Forskningsfrågor Deltagarna i studien Texten och de undersökta problemen Språkgranskningsprogram Kodning och analys av data Resultat Antal manuella och datorstödda ändringar Ändringar i tecken, grammatik och stil Skillnader mellan olika skribenter Varför gör skribenten nya ändringar med granskningsprogrammet? Varför ändrar skribenten inte vissa problem med granskningsprogrammet? Resultat från frågeformulär och intervju Sammanfattning och diskussion av resultat Slutsatser och diskussion...34 Några allmänna riktlinjer och förslag Metodologisk diskussion Kritik mot tänka högt-metodik Litteratur

5 Inledning Rapporten presenterar en studie som inriktar sig på interaktionen mellan människa och maskin vid datorstödd språkgranskning. Syftet med studien var att undersöka hur väl ett datorprogram kan stödja skribenters förmåga att upptäcka, bedöma och åtgärda språkliga problem i texter. Som en jämförelse undersöktes också vilken självständig förmåga deltagarna hade att språkgranska utan datorstöd. I ett metodologiskt perspektiv utgör studien ett försök att finna en bra metod att studera mänskliga revisionsprocesser vid datorstödd språkgranskning. I studien användes tänka högtmetodik som metod för att studera interaktionen mellan skribent och språkgranskningsprogram under språkgranskningsarbetet. Förhoppningen var att med tänka högt-metodikens hjälp kunna fördjupa studiet av samspelet mellan skribent och datorprogram vid datorstödd språkgranskning. Rapporten visar att resultaten är positiva. Studien baseras på en tidigare studie med 16 försökspersoner där tänka högt-metodik inte användes (Domeij, 1998). Det datorprogram som använts i båda studierna är ett experimentellt program för språkkontroll som tagits fram i syfte att studera användare som ett led i utvecklingen av ett mer avancerat och användarvänligt system. Bakgrund Under nästan tio års tid har Nada, KTH bedrivit forskning och utveckling av verktyg för datorstödd språkgranskning med finansiellt stöd från Nutek och HSFR. Målsättningen har varit att finna verktyg som är bättre anpassade till användarens önskemål, språk och arbetsrutiner än existerande kommersiella verktyg. För att åstadkomma detta behövs utvecklingsbara verktyg som kan utvärderas och vidareutvecklas i nära interaktion med användare. Det första fungerande granskningsprogrammet som utvecklades i forskningssyfte på Nada kallades Plita (se äv. Domeij, 1996). Det är ett enkelt språkgranskningsprogram för svenska som kan hitta fel och brister i skrivtecken, ord och fraser. Reglerna baseras framför allt på Svenska språknämndens skrift Svenska skrivregler (1991) och omfattar både normbrott och stilproblem. Programmet har ett grafiskt gränssnitt i Hypercard. Det stegar sig fram mellan de fel och brister som det hittar i interaktion med användaren. I figur 1 finns en bild av Plita i aktion. För närvarande pågår arbete med ett mer avancerat granskningsprogram kallat Granska som också ska kunna hitta en del grammatiska fel i texten på basis av mer avancerad grammatisk analys av texten (Domeij, Knutsson & Larsson 1996; Domeij, Eklundh, Knutsson, Larsson & Rex 1998; Carlberger & Kann, 1999; Domeij, Knutsson, Carlberger & Kann 1999; Knutsson 2001). Granska innehåller också en rättstavningskomponent (Domeij, Hollman & Kann 1994; Kann, Domeij, Hollman & Tillenius 1998). Som ett led i utvecklingen av användargränssnittet till nya Granska görs användarstudier med Plita. På basis av dessa studier hoppas vi kunna förbättra gränssnittet och användbarheten hos programmet Granska och vidareutveckla våra forskningsmetoder för fortsatta studier av datorstödd språkgranskning (se äv. Domeij, Knutsson & Severinson Eklundh, in press). Fokus hos den studie som presenteras här ligger som sagt på hur försökspersonens inre revisionsprocesser påverkas i interaktionen med programmet. För att revisionsprocesserna ska bli åtkomliga för vetenskapligt studium uppmanas de deltagande skribenterna att tänka högt under revisionsarbetet. Detta gör det möjligt att till exempel se när en skribent inte accepterar programmets förslag av olika skäl, och när hon inte får tillräcklig instruktiv hjälp från programmet för att kunna genomföra bearbetningen av ett problem. Därvid ger data från tänka högt-protokollet tillgång till en rikare bild av vad som händer i interaktionen mellan skribent och datorprogram än vad som framkommit i tidigare studier. 3

6 Figur 1. Språkgranskningsprogrammet Plita i aktion. 4

7 Tidigare studier Tidigare studier av granskningsprogram har ofta inriktat sig på att undersöka precision och täckning för programmets granskning (se t.ex. Kukich 1992). Det betyder att man räknar hur många fel av en viss typ reglerna kan hitta (täckning) och hur stor andel av det som programmet presenterar som fel som verkligen är fel (precision) och inget annat (falska alarm). Ett bra program bör alltså både ha hög täckning och hög precision. Problemet är att full täckning ofta resulterar i låg precision och tvärtom. Därför balanseras ofta täckning och precision mot varandra tills värdena anses godtagbara (se äv. Knutsson 2001). Men det är svårt att sätta en siffra för vad som är godtagbart. Det godtagbara är relaterat till användarens behov, problemets art med mera. Därför behövs studier med användare. I vissa studier har man också försökt bedöma kvaliteten på de problemkommentarer som programmet ger men dessa bedömningar har gjorts av experter och har inte tagit med användarens egna reaktioner (se t.ex. Kohut & Gorman 1995). Flera studier har också försökt utröna granskningsprograms påverkan på kvaliteten hos det skrivna men det har givit motstridande resultat. Ofta har studierna gjorts i ett pedagogiskt sammanhang, vanligtvis en skola. En grupp har under en period arbetat med datoriserad språkgranskningshjälp, andra utan. Vissa undersökningar har visat på en positiv effekt (t.ex. Kiefer & Smith 1984), andra på motsatsen (t.ex. Peek et al 1989). De motstridiga resultaten kan bero på att så många okontrollerade faktorer kan spela in på resultatet, samt att effekterna av ett språkgranskningsprogram troligen inte är så stora att det syns i en helhetsbedömning av det skrivna. Det saknas studier som använt tillräckligt känsliga metoder för att studera granskningsprogram ur användarens perspektiv. I den aktuella studien prövas tänka högt-metodik som metod att studera interaktionen mellan människa och granskningsprogram under revisionsarbetet. Metoden har använts för att studera problemlösning sedan sjuttiotalet (Newell & Simon, 1972) och har sedermera utvecklats och använts inom skrivforskningen av Flower & Hayes och andra under åttiotalet (se t.ex. Hayes & Flower, 1983). För andra användarinriktade studier se även Knutsson 2001 och Hagdahl En kognitiv modell av revisionsprocessen Min forskning baseras framför allt på den modell av revisionsprocessen som presenteras i Flower et al. (1996) och Hayes et al. (1997). Modellen är en utvidgning av den generella modell av skrivprocessen som presenterades i Hayes & Flower (1980, 1981) och som återges i figur 2. Skrivande ses i ett psykologiskt perspektiv som bestående av tre olika tankeprocesser som styrs av en monitor: planering, skrivande, revision (se fig. 2). De i sin tur kan brytas ner i ännu mindre delprocesser. Skrivprocessen i sin helhet kännetecknas av att den är mycket komplex och rörig. Delprocesserna griper hela tiden in i varandra på ett rekursivt sätt. En skribent ska kunna hantera alla dessa processer (genom monitorn) samtidigt som hon ska följa språkets alla regler och krav (exempel på några av de många språkliga krav som en skribent bör uppfylla i skrivandet visas i figur 3). För att inte skribenten ska duka under av alla samtidiga krav och drabbas av kognitiv överbelastning behövs strategier som hjälper henne organisera skrivandet på ett bra sätt (Flower & Hayes, 1980). En strategi kan vara att planera noga innan man börjar skriva. En annan strategi kan vara att skjuta upp mycket av revisionsarbetet till att man har skrivit ett färdigt utkast. 5

8 Figur 2. En kognitiv modell av skrivprocessen (ur Strömquist 1989 efter Flower & Hayes 1980). 6

9 Figur 3. Några av skrivandets alla krav (ur Strömquist 1989). 7

10 Skrivandets komplexitet och språkets alla krav gör det mer eller mindre omöjligt att skriva allt rätt på en gång. Därför spelar revisionsarbetet en viktig roll i skrivandet. I Hayes et al presenteras en detaljerad modell av revisionsprocessen (se fig. 4). På vänstra sidan av bilden beskrivs delprocesser och på högra sidan den kunskap som används eller skapas i processerna. Pilarna visar informationsflödet. Först definieras uppgiften. Det kan göras på olika sätt beroende på om man till exempel vill granska med avseende på innehåll eller form. Sedan evalueras texten vilket innebär att texten läses i syftet att hitta språkliga problem. När ett problem hittats ska det definieras (eller diagnostiseras) och sedan ska en strategi väljas för att bearbeta problemet. I Flower et al. (1986) pekas vissa steg ut i revisionsprocessen som särskilt avgörande i skrivarbetet. Dessa steg, som beskrivs nedan, bereder oerfarna skribenter stora problem: Definition av uppgiften Problemdetektion Problemdiagnos Problemkorrektion I jämförelser mellan erfarna och oerfarna skribenter (t.ex. Flower et al., 1996; Hayes et al., 1987; Hill et al., 1991) har det visat sig att oerfarna skribenter är benägna att definiera uppgiften så att de mest letar efter ytliga och lokala fel i texten. Erfarna skribenter däremot riktar in sig på att revidera texten i sin helhet med avseende på syfte, läsare, organisation och innehåll. Oerfarna skribenter har också stora problem med att diagnostisera och därmed korrigera problem. De detekterar ofta problem som de inte vet hur de ska tolka eller bearbeta. Erfarna skribenters kännemärke är att de har en väl definierad representation av de problem de bearbetar. Både oerfarna och erfarna skribenter har svårt att upptäcka alla problem i texten. I sin forskning använder Flower & Hayes tänka högt-metodik för att få tillgång till de tankeprocesser som ligger bakom skrivarbetet (metoden har fått utstå en hel del kritik som diskuteras i slutet av den här rapporten). Denna forskning har gjorts på människor som skriver med papper och penna. I Hill et al. (1991) används samma modell och metod för att studera datorns inverkan på skrivprocessen jämfört med papper och penna. Inga skillnader mellan medier kunde påvisas i den studien, men andra studier har visat att problemen med att planera och revidera text kan förstärkas när datorn används som skrivverktyg (se t.ex. Lutz, 1987; Haas 1989a, 1989b; Severinson Eklundh, 1992, 1995). Den studie som presenteras här i rapporten går ett steg vidare och använder Flower & Hayes modell och metoder för att undersöka vilka effekterna blir när man använder ett program för datorstödd språkgranskning som hjälp i revisionsarbetet. Program för språkkontroll Det ett program för språkkontroll försöker göra är just att ge hjälp med detektion, diagnos och korrektion av språkliga brister. Som vi sett finns behov av sådan hjälp. I ett språkkontrollprogram finns olika typer av granskningsregler som letar efter brister i skrivtecken, stil och grammatik i den text som analyseras. Här följer några exempel på olika typer av fel och brister som uppmärksammas i en språkkontroll: Skrivtecken: s.k. grammatikkontroll (s.k. ska inte kombineras med citattecken) Grammatik: ett stort villa (kongruensfel) Stil: t.ex. medans (informell), taga (formell) och passivformer som också brukar markeras 8

11 Processer Kunskap Definition av uppgiften Mål, kriterier och krav för texter och skrivplaner Granskning Läs för att: förstå bedöma definiera problem Problemrepresentation Detektion Diagnos dåligt väl definierad definierad sätt upp mål ignorera vänta omarbeta sök Val av strategi bearbeta Omskriv eller omformulera Rådfråga medelmåltabell Procedurer för att åtgärda problem Medel-måltabell Modifiera text eller plan Figur 4. En kognitiv modell av revisionsprocessen (ur Hayes et al. 1987) översatt till svenska av mig. 9

12 Ett språkligt problem som signaleras i datorn ges också en kommentar med felklassifikation, feldiagnos och ändringsförslag. Ofta kan förslaget sättas in i texten genom en knapptryckning. I figur 1 (sid 3) finns som vi redan sett ett exempel på hur dialogrutan i Plita ser ut med kommentar och ersättningsförslag. I Plita sker granskningen sekventiellt så att programmet stannar vid det först hittade problemet, presenterar det för användaren och går sedan vidare till nästa tills alla problem är funna. Befintliga språkgranskningsprogram har fått utstå en hel del kritik och mycket av den är berättigad. Det är viktigt att inse att program av den här typen inte på långa vägar kan ersätta mänsklig granskning, i bästa fall komplettera den (för en diskussion av programmens begränsningar och möjligheter se Domeij, 1997 och Knutsson, 2001). Programmen gör bara en granskning av ytliga fel i texten; de kan inte analysera problem som har med komplicerad grammatik, innehåll och struktur att göra. Granskningen är också fragmentarisk på så sätt att bara vissa fel, inte alla, inom en kategori kan hittas. Så till exempel med kongruensfel där en hel del fel undgår upptäckt. Programmen gör dessutom ibland fel såtillvida att de kan presentera något som fel fast det inte är det, så kallat falskt alarm. Programmets kommentarer och instruktioner är inte heller alltid lättbegripliga eller tillräckligt utförliga. Trots problemen finns ändå en hel del i programmen som gör dem användbara, men det är fortfarande oklart vilka effekterna blir på språk och språklig kompetens. Därför är det av stor vikt att undersöka saken närmare med studier som sätter användaren i centrum och undersöker hur interaktionen mellan användare och program fungerar, vilka effekterna blir och hur man kan utveckla program som är bättre anpassade till svenska skribenters behov. För svenska finns - förutom KTH:s program för språkgranskning - ett kommersiellt program, Grammatifix (Aarppe 2000; Birn 2000), och ytterligare ett program framtaget inom forskningsprojektet Scarrie (se t.ex. Sågvall-Hein 1998). Förberedande studier I en tidigare studie (Domeij 1998) med liknande design men utan tänka högt-metodik sökte jag svar på frågor som: Ändrar skribenterna på datorns uppmaning? Hur många av felen rättas med hjälp av datorstödet jämfört med manuellt? Hur förbättra programmet? Resultatet av denna studie gav intressanta kvantitativa resultat, men den hade sina begränsningar kvalitativt. En begränsning var att, i de fall försökspersonerna valde att inte ändra på datorns förslag, kunde studien inte visa varför så inte skedde. Kanske ändrade de inte för att de har en annan uppfattning om den språkliga normen än den som programmet förespråkar (eller om tillämpligheten av regeln i det aktuella fallet), eller så ändrade de inte för att de inte fick tillräckligt stöd från programmet med att diagnostisera och korrigera felet. Den förra studien väckte ett intresse hos mig att fördjupa mig i frågan om varför försökspersonerna inte ändrade vissa av de språkliga problemen som presenterades för dem. Därför valde jag att utveckla studien vidare. Som ett första steg gjordes en fallstudie med syfte att pröva tänka högt-metodik som ett sätt att fördjupa studiet av samspelet mellan skribent och datorprogram vid datorstödd språkgranskning. I fallstudien applicerades tänka högt-metodik på i övrigt samma design som jag använde i den tidigare studien. Resultatet var så hoppingivande att jag bestämde mig för att gå vidare med huvudstudien. 10

13 Studiens syfte, utformning och utförande Syftet med huvudstudien är att undersöka vilka effekter ett språkgranskningsprogram har på skribenters förmåga att granska och bearbeta text, samt hur det påverkar resultatet av deras arbete. Studien är huvudsakligen kvalitativ och explorativ till sin karaktär, men den redovisar också en del kvantitativa resultat som pekar på tendenser som bör följas upp i framtida studier. Den har alltså inga anspråk på att med statistiska medel fastslå att vissa effekter föreligger. I stället inriktar den sig på att fördjupa förståelsen för samspelet mellan hjälpmedel och skribent i skrivsituationen. Detta görs genom att närmare studera hur bakomliggande tankeprocesser påverkas av datorstött språkgranskningsarbete hos elva tämligen skrivvana studenter på en kurs i datorstött skrivande vid Stockholms universitet. Förhoppningen är att resultatet från studien ska kunna användas till att i framtiden göra språkgranskningsprogram bättre lämpade att stödja mänskliga skribenter i deras arbete. Uppgiften för de elva deltagarna i studien var att språkgranska och kommentera ett myndighetsbrev innehållande ett antal språkliga problem som är typiska för vad ett språkgranskningsprogram anmärker på (se en skriftlig introduktion till studien i bilaga 1). Flertalet problem var inplanterade i texten; andra fanns där i orginalet (se försökstexten med problemen markerade i bilaga 2). I en första omgång ombads deltagarna att språkgranska texten på papper. I en andra omgång fick de granska samma text med hjälp av språkgranskningsfunktionen. På så sätt gick det att studera hur många och vilka av de undersökta problemen deltagarna reagerade på i den manuella granskningen jämfört med i den datorstödda granskningen. I den manuella granskningen sattes inga gränser för uppgiftens omfattning. Tvärtom instruerades deltagarna att utföra uppgiften på ett realistiskt sätt i enlighet med deras uppfattning av situationens krav. De uppmanades att föreställa sig att en kollega eller vän till dem som nyligen börjat arbeta som handläggare på Länsstyrelsen bett dem om hjälp med att granska det aktuella brevet. De skulle markera allt som de uppfattade som problematiskt i texten och kommentera problemen på ett särkilt korrekturblad och ge konkreta förslag på omskrivningar. (Se uppgiftsbeskrivning i bilaga 3). I den datorstödda granskningen begränsades uppgiften så att deltagarna bara fick ändra sådant som granskningsfunktionen uppmärksammade dem på. De kunde välja att antingen ändra enligt granskningsfunktionens ersättningsförslag (när sådana erbjöds) och klistra in förslaget i texten genom att trycka på knappen ersätt, eller så kunde de ändra på det sätt de själva ville genom att skriva direkt i texten. De kunde också välja att inte ändra alls. (Se uppgiftsbeskrivning i bilaga 4). Både under den manuella och under den datorstödda granskningen uppmanades deltagarna att högt dela med sig av sina tankar när de granskade texten. Detta spelades in på band för att senare nedtecknas och analyseras. Syftet med tänka högt-inspelningarna var att genom dem få tillgång till de kognitiva problemlösningsprocesser som ligger bakom det synliga språkgranskningsbeteendet. Inspelningarna gjorde det möjligt att undersöka motiven bakom det observerade beteendet och att studera hur språkgranskningsfunktionen påverkade deltagarnas förmåga att upptäcka, definiera och åtgärda problem i texten. Innan deltagarna satte igång med den egentliga studien fick de träna sig i att spontant uttala sina tankar högt i en träningsuppgift. Data från granskningsuppgifterna kompletterades med ytterligare data från ett uppföljande frågeformulär och en intervju. Formuläret innehöll frågor om deltagarnas allmänna attityd till språkgranskningsprogrammet och dess innehåll (se bilaga 5 där äv. svaren finns). I intervjun tillfrågades skribenterna bl.a. om hur de uppfattat och utfört uppgiften samt hur de generellt ser på vad språkgranskning innebär. I analysen användes intervjuerna som komplement vid analysen av tänka högt-protokollen. 11

14 Forskningsfrågor Med den ovan beskrivna designen hoppades jag finna svar på bland annat följande frågor: Hur många av problemen rättas med hjälp av datorstödet jämfört med manuellt? Varför ändrar skribenterna på datorns uppmaning trots att de inte ändrat manuellt? Varför ändrar skribenterna ibland inte när datorstödet föreslår en ändring? 1. Detekterar programmet språkliga problem som skribenten inte betraktar som problematiska eller relevanta, dvs. ger programmet bristande detektionsstöd? 2. Presenterar programmet problembeskrivningar som skribenten har svårt att använda sig av, dvs. ger programmet bristande diagnostiskt stöd? 3. Ger programmet otillräcklig hjälp med bearbetning av problemet, dvs ger programmet bristande korrektionsstöd? Ägnar skribenterna tid till att försöka ändra på programmets uppmaning utan att lyckas? Ändrar skribenterna på programmets uppmaning utan att själva riktigt förstå varför och med negativa effekter på resultatet? Vilken tilltro har skribenterna till programmet? Finns problem med gränssnittet som stör eller ger negativa effekter? I så fall vilka? Deltagarna i studien Deltagarna i studien bestod som sagt av 11 skribenter, alla med skriverfarenhet från akademisk utbildning och/eller från yrkesliv. Alla studerade de på en kurs i datorstött skrivande vid Stockholms universitet och valde frivilligt att delta i studien sedan de tillfrågats. De fick själva gradera sin skrivvana i ett frågeformulär (se bilaga 6). Som framgår av svaren i tabellen i bilaga 6 ansåg sig en ha lite skrivvana på en skala från ingen skrivvana till mycket skrivvana. Övriga angav att de hade ganska mycket eller mycket skrivvana. Alla deltagare uppgav att de hade ganska mycket eller mycket vana vid ordbehandling. Texten och de undersökta problemen Den text som används i studien är ursprungligen ett autentiskt brev från myndigheterna som svar på en 16-årig flickas begäran om att få gifta sig trots sin ringa ålder (se bilaga 2). Brevet är byråkratiskt och svårbegripligt, och därmed dåligt anpassad till mottagaren. Det ansluter sig dock till den kanslispråkliga stil som länge kännetecknat språket hos myndigheter och även hos andra institutioner och företag. På så sätt kan det sägas finnas motstridande krav med vilka texten kan granskas, å ena sidan krav som tar hänsyn till läsarens behov, och å andra sidan krav som tar hänsyn till den hävdvunna kanslispråkliga stilen. Texten är kort, c:a en halv A4-sida. I brevet finns 38 textegenskaper som språkgranskningsprogrammet reagerar på (de finns markerade i texten i bilaga 2). Av dessa kan 37 i olika grad sägas vara äkta problem, medan ett är ett falskt alarm som är instoppat i avsikt att se hur deltagarna reagerar på det. Dessa språkliga problem valdes ut för att de kan anses karaktäristiska för vad kommersiella språkgranskningsprogram uppmärksammar och vad gängse skrivhandböcker föreskriver. En mänsklig granskare behöver dock inte nödvändigtvis vara överens med programmet om att det rör sig om problem i samtliga fall. Många av problemen rör korrekthet (t.ex. teckenfel och inkongruens), andra rör stilistiska egenskaper (t.ex. krångliga ord och passivkonstruktioner). Alla problem är av ytlig art och berör inget ovanför meningsnivån annat än genom lokala manifestationer, t.ex. ords stilegenskaper. Studien fokuserar på dessa problem, trots att det i texten kan finnas andra problem av allvarligare 12

15 art. Vissa av de undersökta problemen fanns ursprungligen i texten, t.ex. flera av de byråkratiska stilproblemen, andra är instoppade i efterhand. Denna manipulation av texten kan sägas göra den mindre autentisk, men underlättar samtidigt studien av hur mänskliga språkgranskare reagerar på typiska språkgranskningsprogramsproblem när de granskar manuellt på egen hand i jämförelse med när de granskar med hjälp av dator. Språkgranskningsprogram Det språkgranskningsprogram som användes för studien är det tidigare nämnda programmet Plita, en prototyp som bearbetats för studien så att det delvis simulerar analysen av språkliga problem. Programmet består, som redan sagts, av en enkel ordbehandlingsmiljö med en interaktiv granskningsfunktion. Vid aktivering analyserar granskningsfunktionen texten och presenterar problemen ett efter ett för användaren i en dialogruta med problemkommentarer och ersättningsförslag (se fig. 1). Språkgranskningsfunktionen kan analysera problem på tecken- och ordnivå, men inte på syntaktisk nivå (se äv. Domeij 1998). I studien simuleras i stället analysen av syntaktiska problem för användaren på ett övertygande sätt. Anledningen till att jag valde detta förfarande var att det inte fanns något färdigt grammatikgranskningsprogram på KTH vid den tidpunkten. Jag ville också kunna utforma innehållet i programmet efter eget huvud vilket inte låter sig göras i ett kommersiellt program. Dessutom ville jag inte att studien ska uppfattas som en utvärdering av ett visst program. Det använda programmet har också en enkelt utformad grafisk miljö som är lätt att använda för en oinvigd utan träning. Programmet är manipulerat så att det ibland gör fel på ett sätt som simulerar fel och svagheter i äkta program, till exempel så visar granskningen exempel på falskt alarm, felaktiga diagnoser och felaktiga förslag. Kodning och analys av data Data från deltagarnas språkgranskningsarbete bestod dels av talat material i form av tänka högtprotokoll, dels av skrivet material. I den manuella granskningen utgjordes det skrivna materialet av deltagarnas problemmarkeringar i textbladet, samt av deras kommentarer och omskrivningsförslag på korrekturbladet. I den datorstödda granskningen utgjordes det skrivna materialet av direkta ändringar i texten. Tänka högt-protokollen kodades i två omgångar. Först gjordes en grundläggande kodning av vad som var läst text (med de undersökta problemen markerade), vad som var skriven text (t.ex. kommentarer och ersättningsförslag), respektive vad som var övriga reflektioner (se bilaga 7 för en fullständig beskrivning av grundläggande kodning). Utöver detta gjordes ytterligare en kodning av s.k. revisionsepisoder (eller problemlösningsepisoder). En revisionsepisod definierades som en deltagares försök att lösa ett av de undersökta problemen i texten. Revisionsepisoderna analyserades sedan i avsikt att se om en deltagare lyckats upptäcka ett av de undersökta problemen (detektion), definiera det (diagnos) och/eller åtgärda det (korrektion). Klassificeringen av revisionsepisoder i detektion, diagnos respektive korrektion gjordes med användning av såväl tänka högt-data som skrivna data, t.ex. anteckningar och konkreta ändringar. Som en kontroll på giltigheten i kodningen av revisionsepisoder i detektion, diagnos och korrektion fick en utomstående person koda ett slumpvis utvalt material. Resultatet visar på en mycket hög överensstämmelse. Av 228 kodningar skilde sig bara 5 vilket innebär att 97,8 % av bedömningarna stämde överens. För att en deltagare skulle anses ha gjort en detektion av ett problem räckte det med att denne ansågs ha reflekterat över det som ett möjligt problem, t.ex. paragraftecknet där ser konstigt ut 13

16 men jag är osäker. En deltagare behövde heller inte exakt kunna peka ut var problemet fanns, bara visa tecken på att något verkade konstigt i samband med det, t.ex. meningsbyggnaden här känns inte riktigt bra. I den datorstödda granskningen ansågs ett språkligt problem vara detekterat när datorn uppmärksammat deltagarna på det. Eftersom alla undersökta problem fanns beskrivna i granskningsprogrammet detekterades också i stort sett alla med hjälp av programmet. Observera dock att programmet i undantagsfall kunde missa enstaka problem, till exempel om användaren oavsiktligt flyttat markören förbi problemets så att det förbigicks av granskningen. En deltagare ansågs ha gjort en diagnos av ett problem om denne kunnat lokalisera det och identifiera det på ett sätt som pekade fram mot en korrektion, t.ex. inte sverige, utan Sverige. Det definierades som en diagnos även om deltagaren inte funnit vägen ända fram till en korrektion, t.ex. det här ordet låter gammaldags men jag vet inte vad jag ska ha i stället. Det ansågs också vara en diagnos även om deltagaren själv valt att inte ändra, t.ex. det här låter väldigt byråkratiskt men det är ju en byråkrat som skrivit det. I den datorstödda granskningen räknades ett problem som diagnostiserat bara genom att en deltagare tog ställning till datorns problembeskrivningar och instruktioner. Villkoren för en korrektion, slutligen, ansågs uppfyllda när en deltagare genomfört en ändring genom att skriva ett konkret ändringsförslag på korrekturpapperet i den manuella granskningen eller genom att ändra direkt i texten i den datorstödda granskningen. Resultatet från analysen av revisionsepisoderna i detektion, diagnos och korrektion fördes in i tabeller för varje deltagare, och likaså för varje undersökt problem. Antalet detektioner, diagnoser och korrektioner räknades och jämfördes mellan manuell och datorstödd granskning. Det gjordes också anteckningar om huruvida en deltagare tolkat problemet på ett annat sätt än datorprogrammet, ändrat det på ett annat sätt än vad datorprogrammet förslagit, ändrat på ett felaktigt sätt, inte lyckats ändra, eller inte velat ändra. I övrigt gjordes rent kvalitativa analyser av materialet med fokus på särskilt belysande enskilda situationer som kunde fördjupa förståelsen av det kvantitativa resultatet. Svaren på frågeformulären sammanställdes och användes som kompletterande data som speglar deltagarnas attityd till programmet. Intervjumaterialet användes för att klargöra oklarheter i tänka högt-protokollen och fördjupa förståelsen av enskilda deltagares uppfattning av granskningsuppgiften som helhet. Resultat Här redovisas först de kvantitativa resultaten som består av skillnader i ändringsfrekvens mellan manuell och datorstödd granskning, sedan följer en redovisning av den kvalitativa analysens resultat med konkreta utdrag ur tänka högt-protokollen som utgör exempel på bakomliggande motiv till det observerade revisionsbeteendet. Tabell 1. Tabellen visar det observerade antalet manuella och datorstödda detektioner, diagnoser och korrektioner i procent av det möjliga antalet detektioner, diagnoser och korrektioner av de 37 undersökta problemen. Manuella Datorstödda Skillnad Detektioner 58,4 98,9 40,5 Diagnoser 56,1 99,8 43,7 Korrektioner 60,5 85,

17 Antal manuella och datorstödda ändringar I den manuella granskningen upptäckte skribenterna i snitt drygt 58 % av alla språkliga problem som studerades. Drygt 56 % av problemen gavs en diagnos och drygt 60 % av dem åtgärdades (se tabell 1). Skillnaderna i siffror mellan detektioner, diagnoser och korrektioner i den manuella granskningen har skiftande orsaker. Att skillnaderna är så små förklaras troligen av att deltagarna uppmanas att explicitgöra sina detektioner, diagnoser och ändringsförslag på ett separat kommentarblad 1. De små skillnader som observeras kan ha olika orsaker. Till exempel kan en skribent under revisionsarbetet skriva om ett helt stycke och stryka delar av det så att ett eller flera av problemen försvinner utan explicit detektion eller diagnos från skribenten. De försvunna problemen har i dessa fall klassificerats som åtgärdade utan detektion och diagnos. Detta förekom ofta hos enstaka skribenter som gjorde omfattande revideringar på hög nivå i texten (t.ex. fp 8) 2 till skillnad mot skribenter som nästan helt inriktade sig på ytputsning. En skribent kunde också upptäcka ett problem och åtgärda det utan att tydligt lokalisera och identifiera det så att det kunde klassificeras som en diagnos. Det kunde också vara så att revisionsprocessen inte ledde hela vägen fram till en ändring på grund av att en skribent uppmärksammat ett problem men bedömde det som ok efter lite eftertanke och därför valde att inte genomföra ändringen, eller tvärtom att en skribent ville ändra ett upptäckt problem men inte lyckades sätta fingret på vari problemet bestod och därför misslyckades med att åtgärda det. I den datorstödda granskningen upptäcktes och bedömdes förutom de problem som behandlats manuellt också i det närmaste alla återstående problem. Man kan tycka att siffrorna borde vara 100 % eftersom granskningsprogrammet i teorin har täckning för alla de undersökta problemen, men i praktiken kan programmet trots allt missa enstaka problem eftersom dess granskning hela tiden utgår från markörens position i texten. Det gör att skribenten ofrivilligt kan råka flytta fram markören så att ett område i texten förblir ogranskat. Det kan också vara så att det i enstaka fall inte går att finna något belägg på att ett problem verkligen identifierats om det inte finns omnämnt i tänka högt-protokollet. Att programmet konfronterade skribenterna med näst intill alla problem i den datorstödda granskningen resulterade i att ytterligare 25 % av problemen åtgärdades, alltså 85 % totalt. De återstående 15 procenten av problemen åtgärdades varken i den manuella granskningen eller i den datorstödda granskningen av skäl som vi snart ska gå närmare in på. Ändringar i tecken, grammatik och stil I tabell 2 presenteras antalet gjorda manuella respektive datorstödda ändringar i förhållande till problemkategorierna tecken, grammatik och stil. Siffrorna för detektioner och diagnoser redovisas inte separat i tabellen eftersom deras siffror överensstämmer ganska väl med korrektionernas; ungefär samma skillnader mellan manuell och datorstödd granskning återfinns där (se dock fotnot 1 på föregående sida). Om man tittar på ändringar i förhållande till problemtyper så ser man att de flesta ändringar gjordes i kategorin grammatik. Manuellt ändrades i runda tal 84 % av alla grammatiska problem. Det är nästan dubbelt så många ändringar som i kategorin stil där knappt hälften eller cirka 45 % av problemen åtgärdades. Det är också långt fler ändringar än i kategorin teckenproblem där bara drygt hälften eller cirka 55 % av alla problemen ändrades manuellt. 1 Dock syns en märkbar skillnad för grammatiska problem till skillnad mot för tecken- och stilproblem: c:a 74 % av dessa detekteras/diagnostiseras och c:a 84 % korrigeras i den manuella granskningen. Det var alltså vanligare för grammatiska problem än för andra problem att de ändrades utan explicit detektion eller diagnos från skribenterna. 2 fp = försöksperson, deltagare 15

18 Tabell 2. Tabellen visar det observerade antalet manuella respektive datorstödda korrektioner av olika typer av språkliga problem i procent av det totala antalet undersökta problem. Korrektioner Manuella Datorstödda Skillnad Tecken 55,2 95,8 40,6 Grammatik 83,9 96,5 12,6 Stil 44,6 67,8 23,2 Antalet manuella ändringar kan jämföras med antalet datorstödda ändringar som ligger kring 96 % för de typer av problem som är av normbrottskaraktär, det vill säga problem i tecken och grammatik. Jämför man med de stilistiska problemen är antalet datorstödda ändringar långt färre, knappt 70 %. Siffrorna visar att normbrottsproblemen naturligt nog ändras i långt högre utsträckning än stilproblemen även när datorstödet uppmärksammar skribenterna på alla problem. Resultatet visar att stilproblemen har den lägsta ändringsfrekvensen både i manuell och datorstödd granskning. Dock är skillnaden inte så stor i den manuella granskningen där både stiloch teckenproblemen har en ändringsfrekvens kring 50 % till skillnad från grammatikproblemen som ligger på över 80 %. I den datorstödda granskningen får både tecken- och grammatikproblemen en ändringsfrekvens på c:a 96 %, medan stilproblemen stannar på knappa 70 %. Resultatet visar alltså en tydligt lägre frekvens av ändringar för stilproblem än för normbrottsproblem även vid användning av datorstöd. De största skillnaderna i frekvens mellan granskningssituationerna kan observeras mellan manuella och datorstödda ändringar av teckenproblem (ca 41 procentandelars skillnad). Även frekvensen i ändringar av stilproblem ökar påtagligt med användning av datorstöd (ca 23 procentandelar). De grammatiska problem har en mer blygsam ökning (ca 13 procentandelar), men då ska man komma ihåg att de flesta grammatiska problem åtgärdades redan i den manuella granskningen. Vissa teckenproblem var det få som reagerade på i den manuella granskningen. Till exempel reagerade bara en av elva skribenter på dubbla mellanslag vid manuell granskning. I den datorstödda granskningen ändrade alla det problemet. Även andra teckenproblem från Svenska skrivregler var det få som reagerade på, kanske för att de är så detaljerade till sin karaktär och det är få som i praktiken ens känner till dem. Ett exempel är den regel som säger att det ska vara ett mellanslag mellan siffra och en ordsymbol. Att skriva 1 utan mellanslag är alltså felaktigt, något som bara tre av elva reagerade på manuellt. Med datorstöd ändrade alla. Även mera uppenbara fel som liten bokstav i egennamn kunde undgå upptäckt i den manuella granskningen. Fyra skribenter missade sverige med liten bokstav när de granskade manuellt, vilket de alla åtgärdade med datorstödet. Grammatikfelen var som sagt skribenterna känsligare för. Av de fyra fel som upptäcktes och åtgärdades av alla skribenter i den manuella granskningen var alla av grammatisk art, tre särskrivningar och ett kongruensfel. Till skillnad från särskrivningarna kunde kongruensfelen ibland visa sig ställa till problem. Till exempel social förhållanden, som väl närmast bör tolkas som ett kongruensfel och inte som ett särskrivningsfel, slank igenom granskningen hos tre av skribenterna. Omstridda grammatiska fel som närmast kan sägas vara stilistiska gränsfall, till exempel kommer utan att och för de som med pronomen i subjektsform, reviderades manuellt av åtta respektive sex skribenter. Subjektsformen reviderades inte av alla skribenter ens i den datorstödda granskningen (8 av 11). Många av de stilistiska problemen åtgärdades bara av två-tre skribenter i den manuella granskningen, till exempel formella och ålderdomliga ord samt passivformuleringar. I den 16

19 datorstödda granskningen ändrades dessa problem av ytterligare ett par skribenter, men långt ifrån alla. De stilistiska problem som hade störst ändringsfrekvens var sådana som bröt av mot den formella stilen i brevet genom sin informella karaktär, till exempel såna och och i början av mening. Ordet hemställt gav också upphov till många ändringar på grund av sin svårbegriplighet. Skillnader mellan olika skribenter Det går också att se skillnader mellan olika skribenter som kan visa på generella tendenser. Trots att deltagarna generellt består av personer med en hel del skrivvana från utbildning och yrkesliv kan man se ett samband mellan granskningsresultatet och den typ av vana de har (i bilaga 6 finns uppgifter om skribenternas skrivvana). Störst är skillnaden mellan dem som säger sig ha lite yrkesrelaterad skrivvana jämfört med dem som säger sig ha mycket. Den yrkeserfarna gruppen ändrar i snitt 27,5 problem i sin manuella granskning, vilket nästan är 75 % av alla problem. Detta kan jämföras med ett snitt på 19,7 ändrade problem (drygt 50 % av alla problem) för dem med liten yrkeserfarenhet. I den datorstödda granskningen utjämnas skillnaderna till i snitt 34 (92 %) respektive 31,2 (84 %) av 37 gjorda ändringar. Även om siffrorna utjämnas i den datorstödda granskningen om man ser på resultatet generellt så kvarstår stora skillnader mellan enstaka skribenter. Skillnaden är till exempel stor mellan fp3 och fp9 som i den datorstödda granskningen ändrar 26 respektive 29 problem. Detta kan jämföras med fp1 och fp4 som ändrar 36 respektive 37 problem. Det som skiljer är antalet ändringar i stil. Medan fp3 och fp9 knappt gör några ändringar i stil, gör fp1 och fp4 många. Det vi kan se av tabell 3 nedan är att antalet stiländringar för de flesta skribenter är ganska stabilt i en jämförelse mellan manuell och datorstödd granskning. Det innebär att den skribent som gör relativt många stiländringar manuellt, fortsätter att göra det med datorstödet. Tvärtom är det för den som redan i den manuella granskningen är obenägen att ändra i stil. Denne verkar hålla fast vid sitt beslut att inte ändra i stilen. Bara två skribenter (fp7 och fp8) påverkas i påfallande grad att ändra mer i stil i den datorstödda granskningen än i den manuella. Resultatet väcker frågan om varför vissa skribenter är mer benägna att ändra när de använder datorstödet än andra. Tabell 3. Tabellen visar antalet gjorda manuella och datorstödda stiländringar i procent av alla gjorda ändringar. Manuellt Datorstött Förändring fp fp fp fp fp fp fp fp fp fp fp

20 Varför gör skribenten nya ändringar med granskningsprogrammet? Som vi sett ändrades 85,5 % av alla problem i den datorstödda granskningen jämfört med 60,5 % i den manuella granskningen. Om man inte ser till alla problem, utan bara till de åtgärdade problemen så ändrades i snitt nästan 30 % procentandelar fler problem med hjälp av granskningsprogrammet. Det innebär att knappt var tredje ändring gjordes som en direkt följd av att programmet använts. Resultatet tyder på att deltagarna har svårigheter att själva upptäcka, identifiera och åtgärda alla problem de vill ändra vilket talar för att de har behov av datorstöd. Eller är det kanske så att datorstödet lurar dem till ogenomtänkta ändringar? Vi ska se närmare på resultatet genom en noggrannare kvalitativ analys av tänka högt-protokollen och försöka hitta tänkbara förklaringar bakom siffrorna. På så sätt får vi veta mer om varför skribenterna i den datorstödda granskningen valde att ändra eller inte ändra de nya problem som programmet presenterade dem för. När man studerar tänka högt-protokollen kan man se att det ökade antalet ändringar i den datorstödda granskningen i huvudsak beror på att skribenterna fick hjälp av programmet att ändra sådant som de själva inte kände till tidigare, eller som de missat i den manuella granskningen. Dock kunde i vissa fall skribenten förledas att ändra på ett felaktigt eller tvivelaktigt sätt pga. missvisande hjälp. När programmet bidrog till motiverade ändringar fick skribenten hjälp med vissa eller alla steg i revisionsprocessen (dvs. med detektion, diagnos och/eller korrektion) vilket ges exempel på härnäst. Detektionshjälp Observationer i tänka högt-protokollen visar att skribenter kunde få hjälp av programmet att upptäcka problem som de antingen inte själva kände till, eller som de missat i den manuella granskningen. Om en skribent redan kände till problemet men inte upptäckt det i den manuella granskningen räckte det med att datorn hjälpte till med detektionen. Skribenten var då själv kapabel att förstå och åtgärda problemet utan hjälp med diagnos och korrektion från programmet. Här är ett exempel från tänka högt-protokollet när en av deltagarna (fp11) i den datorstödda granskningen upptäcker att Sverige stavats med litet s i brevet vilket hon inte uppmärksammat tidigare i den manuella granskningen: oj, nu missa jag heee nu såg inte jag att det var liten bokstav på Sverige där då sätter vi det - det var en miss Generellt var det så att teckenfel var särskilt svårupptäckta i den manuella granskningen. Bara en av elva deltagare upptäckte t.ex. dubbla mellanslag. Övriga deltagare åtgärdade problemet i den datorstödda granskningen. Fem av elva missade problemet med mellanslag före komma när de granskade manuellt, men åtgärdade det i den datorstödda granskningen. I tänka högt-protokollet finns flera belägg för att deltagarna tyckte det var bra med hjälp att hitta dessa svårfångade teckenfel. Så här uttrycker fp11 det när hon uppmärksammas på dubbla mellanslag i texten: oj det där missade jag också i texten sånt här är bra för jag missar lätt när det är för mycket mellanrum eller för lite det kan jag missa så det är jättebra att ett sånt här program ser såna grejer då 18

21 Att deltagarna inte reagerar på stilistiska problem i den manuella granskningen behöver inte betyda att de har svårt att upptäcka dem vilket syns på att deltagarna ofta inte håller med granskningsprogrammet om att stilistiska problem ska ändras när de uppmärksammas på dem i den datorstödda granskningen. Många deltagare verkar också ha olika uppfattningar om de stilistiska problemen (se nedan). Vissa stilistiska problem som och i början av mening verkade det dock som om många tyckte att de missat i den manuella granskningen. De fem som inte upptäckte och åtgärdade problemet i den manuella granskningen gjorde det alla i den datorstödda granskningen. Fp11 uttrycker tydligt att hon är irriterad på sig själv för att hon missat det: [LÄSER DATORNS KOMMENTAR:] meningsinledare var sparsam med att använda bindeord i början av mening [TÄNKER HÖGT:] ja det är ju självklart vad faan nu ska vi se [LÄSER I TEXTEN:] Eva fyller arton år mummel [TÄNKER HÖGT:] jag tycker att man kan faktiskt ta bort och det tänkte jag inte heller på när jag gjorde det där man brukar inte behöva och i början av meningar så skriver jag [UTTALAD ÄNDRING I TEXTEN:] hon kan då själv [TÄNKER HÖGT:] det räcker så Överlag verkar det som om deltagarna är samstämda i åsikten att stilistiska problem med alltför informell karaktär utgör brott mot den skriftspråkliga normen i brev av den här typen oavsett om man tycker att texten ska ha en mer eller mindre formell stilnivå generellt. Ytterligare ett exempel är såna. Har man missat sådana problem manuellt så ändrar man dem med datorstödet. Hittills har enbart missade problem tagits upp. I de fall då skribenten av datorstödet uppmärksammas på ett problem som hon inte redan känner till behöver hon också hjälp med diagnos och korrektion. Exempel på detta finns i följande avsnitt om diagnos- och korrektionshjälp. Diagnoshjälp När en skribent behövde hjälp att förstå ett problem som denne var osäker på, eller som denne inte kände till, kunde programmet observeras bistå med diagnoshjälp. När det gäller problem som skribenten var osäker på kunde hon själv ha upptäckt problemet i den manuella granskningen men inte lyckats med diagnosen i likhet med fp3 nedan. I den manuella granskningen läser han en textrad där 1 felaktigt skrivs utan mellanrum. Han reagerar på problemet men vet inte riktigt hur det ska vara så han markerar det bara med ett frågetecken: [LÄSER I TEXTEN:] andra kapitlet första paragrafen [TÄNKER HÖGT:] där vet jag inte riktigt hur man skriver så att jag skriver ett frågetecken där I den datorstödda granskningen läser han igenom programmets kommentar och accepterar förslaget: [LÄSER FELKOMMENTAR:] mellanrum paragraftecken ska föregås av mellanrum efter siffra sätt in ett mellanrum [TÄNKER HÖGT:] ja, det köper vi mummel ersätt När skribenten behöver hjälp med diagnosen är det viktigt att programmet lyckas med att beskriva problemet för henne på ett klart och övertygande sätt; annars kanske programmet inte 19