Betydelsen av feedback i Grim en interaktiv lärmiljö med fokus på det svenska språket

Transkript

1 Kognitionsvetenskaplig projektkurs, 7 poäng Magisterkurs i kognitionsvetenskap Betydelsen av feedback i Grim en interaktiv lärmiljö med fokus på det svenska språket Erik Pihl Helena Rastas Anna Rockberg Tjernberg Kista 2003 Uppsats i kognitionsvetenskap Institutionen för data och systemvetenskap Stockholms universitet KISTA

2 SAMMANFATTNING Grim är en lärmiljö särskilt skapad för studenter av svenska som andraspråk. Grim kopplar samman ett antal språkverktyg tillgängliga på Internet till ett program med ett gränssnitt likt en ordbehandlare. De olika verktygen ger olika typ av feedback. Denna kan vara mer eller mindre explicit liksom mer eller mindre direkt. Studien avser att visa vilken typ av feedback som är mest främjande för reflektion över språket samt om typ av feedback påverkar användarens attityd till falska alarm. Datainsamling gjordes kvalitativt genom användarobservationer där sex studenter med svenska som andraspråk ombads tänka högt under det att de arbetade med en text i Grim. Även kvantitativ data i form av en enkät där studenterna på en skala värderade Grims verktyg, samt en kortare intervju användes för datainsamlingen. Analysen är kvalitativ. Studien visar att det inte är vilket verktyg som används som är det mest avgörande för hur djup och meningsfull reflektionen blir. Alla verktyg visade sig kunna ge upphov till reflektion. Snarare är det förhållandet i explicithet och implicithet inom ett verktyg som är av vikt. Studien visar att reflektion skapas när studenten fått så pass mycket hjälp att hon själv klarar av att formulera en fråga vilken kan leda till vidare reflektion. Beroende på studentens kunskapsnivå sker detta vid olika mycket explicit feedback. Falsk tillit och irritation över felaktigheter och falska alarm skapas främst av de explicita verktygen. De mer implicita verktygen kan hjälpa till att minska irritationen då tilliten till dem är större. Studien visar dock också att de mer implicita verktygen i gränssnittet inte är lika lättillgängliga som de mer explicita. Slutligen ges praktiska rekommendationer för hur Grim skall kunna vidareutvecklas för att bli en ännu bättre inlärningsmiljö för det svenska språket. 2

3 SAMMANFATTNING... 2 INLEDNING... 5 BAKGRUND... 5 PROBLEMFORMULERING... 6 SYFTE OCH FÖRVÄNTAT RESULTAT... 6 TEORI... 7 HANDLING FEEDBACK INLÄRNING... 7 REFLEKTION INLÄRNING... 7 EXPLICIT/IMPLICIT FEEDBACK... 8 DIREKT/INDIREKT FEEDBACK... 8 DE OLIKA VERKTYGEN... 9 Granska och felmarkeringar... 9 Lexin... 9 Parole SweSum KLASSIFICERING AV VERKTYGEN FALSKA ALARM RIKTLINJER FÖR DESIGN AV ANVÄNDBART GRÄNSSNITT METOD METODVAL Försökspersoner Texten Undervisning Observationen Miljö Enkät Intervju PILOTSTUDIE OBSERVATION STUDENTERNA OBSERVERAT ANVÄNDANDE AV VERKTYGEN Felmarkeringar Granska (Stavnings- och grammatikkontroll) Lexin (Lexikon) Parole (Ordet i kontext) Böjningsformer Syntax (Ordklasser) ENKÄTEN OCH INTERVJUN ANALYS OCH SLUTSATS VERKTYGENS FÖRMÅGA ATT SKAPA REFLEKTION VEM STARTAR KONVERSATIONEN? DIREKTHETENS BETYDELSE FALSKA ALARM FOKUS BETYDELSE GRIM SOM INLÄRNINGSMILJÖ REKOMMENDATIONER ÖKAD DIREKTHET JÄMSTÄLL VERKTYGEN I GRÄNSSNITTET UTÖKAD FUNKTIONALITET NIVÅINDELNING ANVÄNDBARHET I GRÄNSSNITTET DISKUSSION RELIABILITET VALIDITET FORTSATTA STUDIER

4 REFERENSER BILAGOR

5 INLEDNING BAKGRUND Grim är ett program som skall stödja inlärning av svenska och utvecklas inom projektet The use of language tools for writers in the context of learning Swedish as a second language, som är ett samarbete mellan Nada på KTH och Institutionen för Data- och systemvetenskap på SU/KTH. Projektet finansieras av Vetenskapsrådet inom utbildningsprogrammet. En stor del av den teknik som finns i Grim utvecklas inom projektet CrossCheck ett samarbete mellan Nada på KTH och Institutionen för Lingvistik på SU. Det finansieras av Vinnova inom Språkteknologiprogrammet samt av KTH. [1] Grims gränssnitt ser ut som en vanlig ordbehandlares av typen WordPad, men här erbjuds förutom direkt återkoppling vad det gäller stavning och grammatik, även ett antal verktyg som underlättar ett eget utforskande av så väl det egna språket som målspråket svenska. Att på detta sätt erbjuda olika grader och typer av feedback är förhoppningen att Grim skall utvecklas till ett hjälpmedel för hela skrivprocessen, inte bara för revisionen, och också främja hela inlärningsprocessen. Det finns olika åsikter om hur bra det är med datorstödd språkgranskning. När användaren skriver på ett språk som inte är hennes modersmål och kunskaperna i språket inte är så stora förlitar sig användaren ibland alltför mycket på granskningsverktyget. I Sverige finns mer än en miljon människor som inte har svenska som modersmål och som därför har sämre möjligheter att ta sig in i det svenska samhället. Skrivandet blir då en viktig del vid språkinlärning eftersom det ger möjlighet att reflektera över språket. Att utveckla ett datorstöd som skall fokusera på lärande och ge information till användaren under skrivprocessens gång måste ta itu med speciella problem, såsom i vilken grad datorn respektive användaren har initiativet då information förmedlas och hur datorstödda språkgranskningsverktyg påverkar skrivande och inlärning. Det är av vikt att undersöka graden av explicithet respektive implicithet som språkgranskningsprogrammets feedback bör ge i olika skeden. [2] Eftersom det saknades verktyg för svenska språket som tar hänsyn till de behov som icke-infödda skrivare har, utgår man i projektet CrossCheck från den svenska språkgranskaren Granska och anpassar denna för andraspråksskribenter. Detta görs genom att skriva granskningsregler enligt en feltypologi som konstruerats. Fel som inte påträffas med hjälp av reglerna försöker man fånga upp med en grammatikkontroll baserad på statistik över hur vanliga olika konstruktioner är. [2] Det är därför av vikt att undersöka hur användare med svenska som andra språk arbetar med programmet. I utvecklingen av de grammatiska språkhjälpmedel som idag finns har fokus varit på att finna regler och algoritmer som korrekt kan hitta fel. [3] Falska alarm har påvisats vara det absolut största problemet med språkgranskningsverktyget Granska på vilket Grims grammatikkontroll bygger [4]. Vid andraspråksinlärning är dessa brister särskilt allvarliga då dessa studenter har större svårigheter att avgöra vilka fel som är riktiga fel. Utvecklingen av bättre algoritmer och 5

6 regler fortgår men ett perfekt fungerande grammatikverktyg är ännu långt borta. Däremot bör det undersökas vad som kan göras för att minska de negativa effekter ett bristfälligt språkgranskaningsprogram medför. PROBLEMFORMULERING Följande frågor söker denna undersökning besvara: Är typ av feedback av betydelse för om och hur studenter av svenska som andraspråk reflekterar över språket? Vilken typ av feedback upplever studenter av svenska som andraspråk mest främjande för språkinlärningen? Har typ av feedback betydelse för hur studenter av svenska som andraspråk upplever falska alarm? SYFTE OCH FÖRVÄNTAT RESULTAT Undersökningens syfte är att vara en användbar hjälp för vidareutvecklingen av Grim till ett mer användbart inlärningsverktyg för studenter av svenska som andraspråk. Hypotesen är att olika typer av feedback ger olika grad av reflektion över språket och i förlängningen olika grad av inlärning. Därtill tros användandet av olika former av feedback skapa större tolerans för falska alarm. Användaren tros inte bli lika irriterad över programmets misstag om de inte alltid explicit påvisas. 6

7 TEORI HANDLING FEEDBACK INLÄRNING Att feedback faktiskt är till hjälp vid inlärning är inte helt självklart. Pedagoger med helt olika ståndpunkt hörs i debatten. Mest negativt inställd är kanske John Truscott som hävdar att inga undersökningar finns som tillfredställande visar att feedback på grammatiska fel på något sätt är till hjälp för inlärning. Istället anser han feedback vara skadlig då den avskräcker studenter från att vilja skriva. [5] De flesta pedagoger hävdar dock annorlunda och antar allt som oftast ett konstruktivistiskt synsätt på kunskap och inlärning. Denna skola påpekar att människan är uppgiftsorienterad och lär genom sitt handlande och av de påföljande konsekvenserna. Genom reflektion omvandlar människan sina erfarenheter, varpå nya handlingar skapas. Lärprocessen består av en ständigt pågående sammanvävning av konkreta erfarenheter och abstrakt förståelse. [6] Enligt klassisk behavioristisk teori menar man att komplicerade beteenden, såsom språk, lärs in genom kedjor av stimuli och respons. Ett visst stimulus (S) ges individen (O) vilket resulterar i en viss respons (R): S O R Detta tankesätt har fått mycket kritik då inläraren ses som alltför passiv: En individ som endast reagerar på givna stimuli. Arvid Löfbergs teori om den omvända pilen belyser den enskilda personens förhållande till inlärning: S O R Människan skapar själv sin kunskap. Hon är alltid aktiv gentemot sin omgivning och tar aldrig passivt in kunskap. Den omvända pilen mellan människa och stimulus vill belysa just denna aktiva attityd gentemot omgivningen. Människan är aktiv i förhållande till stimulus på samma sätt som till respons. Genom egna handlingar upptäcker hon världen och genom handlingarnas konsekvenser bygger hon upp kunskap [7]. Feedback kan följaktligen endast ges på en av användaren utförd handling. Feedback är aldrig passiv utan alltid ett svar på en handling. Värdefull för bestående kunskap blir feedbacken först då den ger upphov till reflektion. Ju mindre direkt feedbacken är, ju mindre är den kopplad till användarens handlande. REFLEKTION INLÄRNING Det har gjorts flera studier, (nämns i [8]), t.ex. av Frase och Ericsson, Krampe och Tesch-Romer, som visar att bland de viktigaste komponenterna för inlärning är att ställa frågor och att svara på 7

8 frågor. Både för att formulera frågor och för att svara på frågor krävs reflektion. En fråga beskriver en lucka i redan inhämtad kunskap. För att kunna formulera frågan krävs reflektion som ger insikt om var luckan finns. Också sökandet efter svaret leder till reflektion för att koppla samman gammal och ny kunskap. Frase har gjort en studie som visade att formulerandet av frågor är mer givande än att svara på frågor när det gäller att skapa starka minnen, men båda är bättre än att mer passivt ta in kunskapen. Ericsson, Krampe och Tesch-Romer, som diskuteras i [8], gjorde en studie över vad som krävs för att verkligen bli duktig på någonting, i detta fall violinspel. De kom fram till att det absolut viktigaste är träning, men de noterade samtidigt att inte alla som tränar blir mycket bättre. Det som är avgörande är vad de kallar betänksam träning ( deliberate practise ). Att man hela tiden reflekterar över och utvärderar det man gör och jämför sin egen prestation med en korrekt prestation för att hitta avvikelsen och korrigerar felen. Till stor del handlar det om studentens egen motivation: Att vilja lära, inte bara prestera. I betänksam träning är feedback en nödvändig komponent, eftersom den möjliggör och uppmuntrar reflektion. En förklaring till varför reflektionen leder till bra inlärning kan man hitta i teorier om kunskapsrepresentation. Man tänker sig att kunskapen är strukturerad i propositionella nätverk där varje nod innehåller en viss mening/betydelse. Man kan se noderna som idéer och trådarna mellan dem som associationer. Ju fler trådar en nod har, som är kopplade till andra noder, desto större förståelse får man eftersom man får fler associationer till varje idé. Aha-upplevelser, som har sitt ursprung i reflektion, ger upphov till att fler trådar till noden aktiveras. Fler associationer till en idé bildas. [8] EXPLICIT/IMPLICIT FEEDBACK Explicit feedback kan beskrivas som en rättelse som i klartext talar om att användaren gjort ett fel, och dessutom ger ett lösningsförslag. Vid implicit feedback å andra sidan uppmärksammas användaren på att ett fel troligen begåtts men den korrekta lösningen ges inte; det är upp till användaren att själv finna det rätta svaret. Ex: Talare 1: - Igår gå jag till skolan. Talare 2: - Gå till skolan? Talare 2 ger inte den rätta lösningen men uppmärksammar talare 1 på att något troligen blev fel. Var gränsen går mellan explicit och implicit feedback är definitivt inte glasklart, utan snarare så att den är väldigt flytande. Feedback kan vara explicit eller implicit i olika stor utsträckning. DIREKT/INDIREKT FEEDBACK Att tala om direkt och indirekt feedback ger en annan dimension för att fastställa feedbackens karaktär. Med direkt feedback menas att den i hög grad är en konsekvens av ens eget handlande. Indirekt feedback är inte lika starkt kopplat till det egna handlandet. Inte heller här finns något antingen eller, utan feedbacken kan ha olika mycket direkthet. Ett exempel som kan illustrera skillnaden mellan direkt / indirekt feedback och explicit / implicit feedback: En man frågar en annan: Kan du ge mig bensin till bilen? Den andre svarar: Det ligger en mack runt hörnet. Detta är mycket direkt feedback då det är direkt kopplat till det frågaren avsåg. Däremot är feedbacken mycket implicit eftersom den inte i klartext svarar på den egentliga frågan. 8

9 DE OLIKA VERKTYGEN De olika verktygen i Grim är byggda på fristående program som även kan användas självständigt och som alla finns tillgängliga på Internet. Här beskrivs de olika verktygen och hur Grims versioner skiljer sig från originalverktygen. Granska och felmarkeringar Språkgranskningsfunktionen för det svenska språket Granska är utvecklat på KTH i Stockholm. Exempel på typer av fel som programmet kan hitta är stavfel, felaktigt skrivna tecken (till exempel Mia's ), stilavvikelser (till exempel våran ) och grammatikfel (till exempel en tåg ). Granskafunktionen analyserar språket i en text med hjälp av en uppsättning regler och markerar de problem de matchas med i texten. Ett exempel på en regel är att det inte får förekomma adjektiv i singular följt av substantiv i plural, t.ex. rund bollar. Först när texten har försetts med ordklassinformation (taggats) kan Granska leta efter fel genom att matcha regler mot taggade ordsekvenser. Att tagga text är inte en enkel uppgift eftersom många ord kan tolkas på flera sätt; ett exempel är ordet för som kan nästan vilken ordklass som helst. För människan är detta inget problem eftersom orden för oss är symboler för något konkret begrepp. En dator däremot kan inte förstå ordets betydelse utan är beroende av taggningen. Dessutom finns problemet med att språk inte är statiska. Hela tiden bildas nya ord genom sammansättningar eller nya begrepp uppstår. Det går därför inte att träna taggaren på alla ord. Rätt tagg måste gissas fram. Nya ord taggas med sådana taggar som är sannolika för andra ord som slutar på samma bokstäver. [10] I Granska på webben markeras fel med att texten blir röd. Vilka fel som skall visas går att välja. Vid klickning dyker en ruta upp med felet och en förklaring. Även ett förslag ges om möjligt men användaren får själv ändra texten. Granskas funktion visas i Grim i form av understrykningar (felmarkeringar) i texten där fel har hittats (bild 1, bilaga 1). Det går inte att utesluta markering av någon typ av fel, men dessa kan visas med olika färger. Ungefär samma förklaringsruta som på webben kommer upp om man klickar på felet. Men i Grim kan man rätta texten med ett klick på rättningsförslaget. Felmarkeringen försvinner då. Förklaringarna på understrykningarnas färger ses i ett fönster för sig (bild 2, bilaga 1). Lexin Lexin har tagits fram efter ett riksdagsbeslut för användning i invandrarundervisningen och är en kombination av lexikon och ordböcker. Från och med 2003 ligger ansvaret för Lexin på Myndigheten för skolutveckling. Ordurvalet i lexikonen motsvarar det ordförråd som behövs i den grundläggande undervisningen mot målet aktiv tvåspråkighet. Det svenska ordmaterialet har getts ut i form av en enspråkig svensk ordbok med titeln Svenska ord - med uttal och förklaringar (1992, andra upplagan). Den har ett urval om ca ord, ca samhällsord för att kunna orientera sig i det svenska samhället och ca ord i 33 bildteman, t.ex. människokroppen, post, bank, och fåglar. [11] I webbfunktionen av Lexin kan man slå upp dessa ord men även de flesta av deras respektive ordformer, vilket t.ex. innebär att såväl apa som apan och apor hittas. Om ett sökt ord inte hittas, letas databasen igenom efter liknande ord som användaren får välja bland. Man förevisas en förklaring till ordet men även en översättning till engelska, bosniska, finska, grekiska, kroatiska, ryska, spanska eller turkiska. Det som är översatt från det svenska underlaget till målspråket är: uppslagsorden, sakuppgifter, exempelmeningar, idiom, sammansättningar och avledningar, och 9

10 de stilistiska och grammatiska kommentarerna. Lexin är uppbyggt på ett svenskt lexikon som översatts till annat språk, och är alltså främst tänkt att leta upp svenska ord. Men det går ändå att slå upp ord på annat språk om det ordet står som en översättning till ett svenskt ord i lexikonet. I Grims version av Lexin (bild 3, bilaga 1) visas inte alltid alla betydelser/översättningar av orden, t.ex. för ordet kärna. Den kan heller inte ge förslag om annat ord om det som söks inte återfinns. Alltså måste ett ord som skall analyseras vara rättstavat. Parole Paroles funktion är byggd på de funktioner som erbjuds av den språkliga referensdatabasen Språkbanken vid Göteborgs universitet. Texter av olika slag och från olika tider finns tillgängliga via Internet i en form där varje ord presenteras i sitt sammanhang (s.k. konkordans) för en mer systematisk sökning efter språkliga kategorier (t.ex. hur ofta förekommer uttrycket kommer att utan sitt att, alltså av typen det kommer bli svårt ). Denna typ av sökning förutsätter ordklassmärkning av texterna, s.k. morfosyntaktiskt taggad korpus. Parole-korpusen är en sådan och består av ca 25 miljoner ord. Insamlandet av den tillhörde ett EU-projekt med inriktning på uppbyggnad av systematiskt insamlade texter ("korpusar"). Texterna är tagna ur romaner, dagstidningar, tidskrifter och webbtexter. [12] På webben kan man välja kontextstorlek mellan tecken per sida om sökordet. Sökt ord med kontext kan presenteras osorterat eller sorterat efter vänsterkontext eller högerkontext. Skiljetecken kan också tas med i sorteringen. Man kan också begränsa antal träffar som hämtas från 1000 till st. Vid en sökning skapar man ett sökuttryck med ett eller flera token (ord) eller en morfosyntaktisk definition (ordklass) som villkor. Grims version (bild 4, bilaga 1) fungerar ungefär likadant men det är svårare att komma åt att ändra de olika variablerna. Men här kan man också få hjälp med att söka på alla böjningsformer ett ord. Det är bara att bocka för det alternativet. SweSum SweSum är en automatisk textsammanfattare framtagen på KTH, Stockholm. SweSum sammanfattar den text som matas in i datorn och ut kommer en sammanfattad text, ett icke-redundant extrakt av originaltexten. Tekniken har utvecklats under 30 år, men först idag med Internet har den fått större användning. SweSum är den första automatiska textsammanfattaren för svenska. Den sammanfattar svensk tidningstext i HTML/text format på webben. Automatisk textsammanfattning bygger på lingvistiska, statistiska och heuristiska metoder. SweSum beräknar hur ofta vissa nyckelord 1 förekommer i texten, i vilka meningar, och var meningarna befinner sig i texten. Vidare tittar SweSum efter meningar med fetstil och numeriska värden. Textsammanfattaren finns även för danska, norska, engelska, spanska, franska, tyska och farsi (persiska) texter. [13] 1 Systemet har ett svenskt lexikon med svenska nyckelord inom den s.k. öppna ordklassen och deras böjningsformer. 10

11 Grims version (bild 5, bilaga 1) har alla val man kan göra på webben men som för Parole ligger de undangömda i ett menyval. Däremot kan man här ställa in dem innan man klickar på sammanfatta. KLASSIFICERING AV VERKTYGEN De skilda verktygen i Grim är olika mycket explicita eller implicita, och även olika mycket direkta eller indirekta. Varje verktyg i sig kan också vara mer eller mindre explicit eller implicit, och direkt eller indirekt, beroende på hur de används. Det är omöjligt att säga att ett verktyg är si eller så direkt eller explicit. För att ändå få ett hum om var verktygen befinner sig på skalorna visas nedan deras områden i ett diagram med de två dimensionerna. Figur 1, Verktygens direkthet respektive explicithet Som synes upptar varje verktyg ett ganska stort område och det är ungefärliga placeringar som kan variera och dessutom säkerligen diskuteras. Felmarkeringarna har två funktioner: dels att uppmärksamma ett fel, dels att ge en ledtråd om vilket felet är. Inget annat verktyg har den uppmärksammande uppgiften. Den funktion som avses i diagrammet är den sistnämnda. Felmarkeringarna är starkt kopplade till det man skriver, det egna handlandet, och finns därför på den direkta sidan. När det gäller explicithet är bredden större. Markeringarna ger ganska implicit feedback men man får ändå en liten ledtråd om vad felet gäller. Granska kan ibland vara lite implicit, t.ex. om det finns flera förslag på lösningar. Lexin, Parole och böjningsformer ger alla indirekt feedback. Innehållet är statiskt och inte direkt kopplat till skrivandet. Lexin är mer explicit än de andra eftersom det ganska tydligt visar ord med böjningar och exempelmeningar och översättning. Parole innehåller bara en massa text och anses därför vara mest implicit. Texten 11

12 har ingen koppling till det som skrivs och om man vill ha ut tillräcklig information, räcker det oftast inte med att läsa ett exempel, utan man måste gå igenom flera för att riktigt greppa ett ords, eller uttrycks, betydelse och användning. Syntax är mycket explicit, även om det kräver goda grammatikkunskaper för att vara till nytta, och det har också en ganska stark koppling till det som skrivs. När texten ändras, ändras också syntaxinformationen. Ens eget handlande styr den feedback man får. FALSKA ALARM Språkgranskningsfunktioner, såsom de i Grim eller Word, har fortfarande stora brister vad gäller deras förmåga att finna fel i en text. En studie visade att Granska detekterade 36,8 % av alla fel i en text med 2700 ord. Därtill påvisades femton falska alarm [9]. En användarstudie med studenter av svenska som andraspråk påvisade dessutom att dessa falska alarm upplevs som det absolut största problemet med språkgranskningsverktyget Granska [4]. Vid andraspråksinlärning är dessa brister särskilt allvarliga då dessa studenter har större svårigheter att avgöra vilka fel som är riktiga fel. Risken är stor att studenterna kommer att fokusera och slösa sin tid på falska problem; de blir irriterade och avstår från att använda verktyget. RIKTLINJER FÖR DESIGN AV ANVÄNDBART GRÄNSSNITT Inte bara de språkliga och pedagogiska aspekterna som nämnts är av vikt för att skapa en god inlärningsmiljö. Denna studies främsta avsikt är inte att utvärdera gränssnittet med avseende på användbarhet, men då klara brott mot allmänna användbarhetsregler återfinns kommer dessa att kommenteras. Kommentarer och förslag på lämpliga förändringar ges i rekommendationerna. Shneiderman [16] har sammanställt åtta gyllene regler vid design av ett användbart användargränssnitt: Igenkänning. Sträva efter konsistens: Genomgående konsekvent typsnitt och terminologi i hela designen. Samma kommando eller samma handling skall alltid ha samma effekt. Även information och dialoger skall vara formaterade på samma sätt för att stödja igenkännandet god synlighet. Gränssnittet bör använda de begrepp användarna normalt använder. Erbjud informativ feedback: Det är viktigt att feedbacken (t.ex. felmeddelanden och bekräftelser) är informativ men inte distraherar användaren i sitt arbete. Varje enskild handling bör ge någon form av respons för att användaren skall veta att hans handlingar utförts så som önskat. Designa dialogrutor som möjliggör avbrott: Det skall hela tiden vara möjligt att avbryta en pågående funktion. Detta ger användaren bättre kontroll över programmet. Förhindra felanvändande och lättförståelig felhantering: Undvik möjligheter för användaren att orsaka kritiska fel. Fel typ av inmatningar skall inte tillåtas. Tillåt användaren att ångra sig: Allt som kan gå att ångra skall kunna ångras. Kan användaren rätta till sina egna misstag minskar oron att göra fel och eget utforskande uppmuntras. 12

13 Ge användaren kontroll över systemet: Användaren skall ge datorn instruktioner, inte vice versa. Användaren skall inte känna sig begränsad av systemet. Anpassa efter människans korttidsminne: Användarens minne skall inte belastas i onödan. För mycket information är dålig information. Möjliggör kortkommandon för vana användare: Allteftersom användaren vänjer sig vid systemet kommer han att vilja reducera tidsåtgången för användandet. Därtill nämns ofta följande egenskaper som viktiga i ett gränssnitt [17,18]: Rätt information vid rätt tillfälle. Det ideala är att presentera den information som användaren behöver vid exakt rätt tidpunkt. Fokus på de vanligaste handlingarna och valmöjligheterna. Handlingar som utförs ofta skall finnas nära till hands. Mer sällsynt använda funktioner läggs dolda men ändå lättillgängliga. Närhet till önskat resultat. Vägen till önskat resultat, handling skall vara så kort som möjligt: ej behöva trycka på alltför många knappar. När användaren möter gränssnittet skall han genast få en god överblick över de tjänster som erbjuds. En sida bör helst inte vara längre än skärmen så att användaren tvingas scrolla allt för mycket. Om sidan ändå är lång bör navigationshjälpmedel placeras högst upp och vara tillgängliga även när användaren befinner sig längst ner på sidan. 13

14 METOD METODVAL Studiens syfte att undersöka i hur stor utsträckning andraspråksstudenter reflekterar över språket vid användandet av de olika verktygen i Grim är svår att mäta kvantitativt på ett tillfredsställande sätt. Datainsamlig gjordes därför både kvalitativt genom användarobservationer, och kvalitativt med användande av en enkät där studenterna på en skala värderade Grims verktyg. Analysen är kvalitativ. Försökspersoner Grim är ganska lik en enkel ordbehandlare som exempelvis WordPad varför en person som har skrivit med en dator har ganska lätt att sätta sig in i programmet. Trots programmets enkelhet krävs ändå att försökspersonerna har en generell datorvana annars kommer grundläggande datorinteraktionsmoment, t.ex. mushantering, skriva specialtecken, etc., att ta upp för stor del av tiden, samt flytta fokus från den faktiska studien. Eftersom Grim är ett väldigt nytt program kan försökspersonerna inte förväntas ha någon vana av att använda det. Däremot är det viktigt att alla personerna har ett hum om hur programmet fungerar och det underlättar vid testtillfället om försökspersonerna har använt det förut. Värdefullt är också att försökspersonerna har en relativt god kunskap om grammatiska termer. De försökspersoner som valdes ut för studien var studenter på kursen svenska som främmande språk, 20 poäng på nivå 2, vid Stockholms universitet. Totalt fem studenter från denna grupp genomförde till slut uppgiften och för att komma upp till det tänkta antalet om sex personer anlitades ytterligare en student med svenska som andraspråk, men som för tillfället studerade annat. Texten Texten som användes under försöken konstruerades genom att olika delar sattes ihop till en sammanhängande text om dramat Fröken Julie av August Strindberg (bilaga 2). Delarna innehöll reella felkonstruktioner tagna från uppsatser skrivna av studenter av svenska som andraspråk. Den färdiga texten kontrollerades av läraren för kursen. Detta för att fastställa att nivån på språket passade studenterna och att de fel som fanns i texten överensstämde med vad studenterna brukar skriva. Under testet hann studenterna med olika mycket av texten: Från två-tre stycken till nästan hela texten. Undervisning Under ordinarie föreläsningstillfälle en vecka före försöket förevisades Grim och dess funktioner för studenterna. För detta användes en PowerPoint-presentation eftersom det av tekniska skäl inte gick att komma åt Internet i lokalen. De funktioner som visades var Granska, böjningsformer, Lexin, Parole, syntax och även sammanfattningsfunktionen SweSum trots att den sista funktionen 14

15 inte skulle användas av studenterna i uppgiften. Studenterna hade i ordinarie undervisning till viss del använt både Språkbanken och Lexin. Studenterna fick anmäla sitt intresse till att delta i studien. Observationen Försöket inleddes med att studenten fick fylla i en enkät med kontrollvariabler för att fastställa deras kunskaper gällande svenska språket, övriga språk, ordbehandlare, stavnings- och grammatikkontroll, etc. (bilaga 3). Studenten informerades om hur uppgiften skulle gå till och fick därefter ca minuter på sig att läsa igenom och arbeta med Julietexten. Detta för att studenten skulle göra texten till sin egen i så stor utsträckning som möjligt. Studenten uppmanades att markera där denna tyckte att något var fel eller konstigt och kunde på så sätt arbeta igenom texten och komma in i den innan Grim pekade ut sina hittade fel. Detta förfarande säkerställde kopplingen mellan eget handlande och feedback. För att samla in data under studien gjordes användarobservationer. Studenterna uppmanades att tänka högt och en ljudupptagning gjordes för att senare kunna återgå till materialet. Utöver observationen och ljudupptagningen sparades dessutom försökspersonernas egna felmarkeringar och texten som rättats med hjälp av Grim. Att i stället för ljudupptagning och observation använda videokameror och/eller skärmloggning var ett förslag som diskuterades men som sedan ratades bland annat på grund av tekniska svårigheter. Observationsdelen inleddes med en kort demonstration hållen av observatören på hur uppgiften skulle utföras och för att ge en uppfräschning av vilka funktioner Grim har och åtkomsten av dessa. Observatören visade med en exempeltext som finns i Grim hur studenten skulle tänka högt för att denna skulle slappna av och inte tycka att det var särdeles märkvärdigt och dessutom få förtroende för försöksledaren. Studenten fick sedan öva själv i ytterligare fem minuter innan Julietexten öppnades. När studenten tog över rättningsarbetet noterade observatören vilka verktyg studenten använde och vad som fick denna att reflektera. Studenten ombads också att hela tiden jämföra Grims felmarkeringar med sina egna för att se om de överensstämde. Detta dels för att studenten skulle få feedback på sin egen språkförmåga, dels för att visa på att Grim inte hittar alla fel. Försöksledaren kommenterade inte frågor om språk och grammatik utan gav endast råd om datortekniska frågor för att sådana problem ej skulle störa experimentet alltför mycket. Däremot påmindes studenten att förklara/förtydliga sitt handlande. Observatören kunde också vid behov ge en vink om att ett verktyg skulle kunna hjälpa studenten. Detta på grund av att denna inte kände till funktionerna i Grim tillräckligt för att själv komma på att använda ett visst verktyg. Observation gjordes om studenten efteråt åter använde sig av detta. Tack vare denna samtalsobservation åstadkoms en avslappnad stämning och studenten kände sig också fri att komma med spontana kommentarer och åsikter. Fönstret med förklaring på felmarkeringarnas (Granskas) färger låg också hela tiden synlig intill Grimfönstret för konsultation. Rättningen av Julietexten tog ca 30 minuter. Studenten fick ta det i sin egen takt men ombads gå tillbaka och läsa igenom stycket igen efter avslutad rättning för att kontrollera att alla fel hade uppmärksammats. 15

16 Miljö Studenterna befann sig i en normal studiemiljö under tiden för uppgiften, i biblioteket på Stockholms universitet. Brist på tillgång till fungerande dator och enskilt rum gjorde att de delar av testet som inte krävde en dator utfördes på en plats där även andra människor vistades. Det var dock en ostörd miljö eftersom det är tyst och lugnt i bibliotek och studenten satt vid ett eget arbetsbord tillsammans med observatören. Varje observatör utförde två observationer. Enkät Försökets sista tio minuter bestod av betygsättande av olika aspekter av Grim som inlärningsmiljö och hjälp vid reflekterande av språket, och av en kompletterande intervju. Betygssättandet gjordes skriftligen på en enkät (bilaga 4). Studenten kunde fråga observatören om det fanns oklarheter och det kunde bli en liten diskussion vid sidan om. Speciellt kunde begreppen reflektion, inlärning och produktion lätt sammanblandas varför en förklaring om dessa var nödvändig för att observatören skulle få relevanta svar. Intervju Under intervjudelen togs sådana aspekter upp som primärt inte ingick i studien utan mer var av karaktären helhetsbedömning av Grim som redskap. Studenten fick möjlighet att fritt kommentera testet och Grim och tillfrågades om de hade några förbättringsförslag eller önskemål om ändring (bilaga 5). PILOTSTUDIE Försöket föregicks av en pilotstudie. Tanken var först, apropå Grim som en inlärningsmiljö för skrivprocessen, att låta studenterna skriva något, t.ex. en berättelse, och samtidigt studera deras användande av programmet och de olika verktygen. Skrivandet speglar mer programmets tänkta funktion men å andra sidan blir data svårare att samla in och resultatet svårare att analysera. Under skrivprocessen sker dock många ändringar som är svåra att fånga upp i en observation. Att istället ge en uppgift med en text som skall rättas gör att observatören har mer kontroll på vad som händer. Texten kan studeras före och efter rättningen som ett komplement till observation och intervju. Pilotstudien utformades så att två texter rättades, den första med hjälp av felmarkeringar och granskarutan. Inför den andra delen av testet kopplades granskarutans funktion bort och endast felmarkeringar samt övriga verktyg fick användas; de mer direkta verktygen kontra de mer indirekta i en jämförande studie om vilka som mest främjade reflektion över språket. Försökspersonen, en man från Nederländerna, förevisades först Grim med dess funktioner. Därefter följde själva testet under vilket försökspersonen uppmanades att tänka högt. Under rättningen av första texten användes granskarutan flitigt, antingen som hjälp eller som kontroll av ett redan uttänkt ändringsförslag. De gånger granskarutan inte gav något rättningsförslag och personen själv inte kunde komma på felet lämnades det. I den andra delen rättade försökspersonen i stort sett allt utan att ta hjälp av de verktyg som fanns tillgängliga. Ett tydligt problem var att när granskafunktionen kopplats bort mistes stavningskontrollen, och de indirekta verktygen var så gott som värdelösa om ordet var felstavat. Ingen hjälp fås. Verktygen i Grim är helt enkelt inte så tydligt enbart implicita/explicita eller direkta/indirekta att denna typ av studie 16

17 kan genomföras. Detta problem samt benägenheten att rätta utan att ta hjälp av verktygen gör att en sådan form av jämförande studie får ett mycket svårtolkat resultat. Dessutom kunde det konstateras att den föreslagna metoden, ur ett konstruktivistiskt synsätt på lärande, inte var särskilt imponerande. Då försökspersonen arbetade med en text som han själv inte skrivit eller kände till, var den feedback som Grim gav inte en konsekvens av personens handlande. Personen hade själv inte utfört någon handling varför vi inte kan tala om någon egentlig feedback. Övningen blev istället mer likt ett spel där målet endast var att få bort alla felmarkeringar utan att behöva läsa texten. För att inte riskera saknad av analyserbart material valdes att förändra testet till att omfatta en session med en text. Det konstaterades att texten behövde omarbetas och en del problematiska ord eller meningar byttes ut. För att dessutom göra kopplingen mellan handling och feedback synlig, men ändå inte behöva brottas med de problem som en uppgift med helt fritt skrivande skulle innebära, betonades vikten av att studenterna, innan de började arbeta framför datorn, väl skulle känna till texten. De skulle själva ha reflekterat över innehåll och eventuella fel. Den feedback som då ges liknar mer den feedback som åstadkoms av eget skrivande. Pilotstudien visade också vikten av att påpeka för informanterna att språkgranskningsfunktionen tar en liten stund och att felmarkeringarna inte försvinner förrän efter ca tre sekunder från det att man skrivit rätt. Pilotstudien gav dessutom god övning på testproceduren. Observationssituationen innebär en balansgång mellan att ställa tillräckligt mycket frågor för att informanten skall fortsätta att tänka högt, men ändå inte så mycket att denne blir störd i sitt tänkande. Uppgiften, och inte frågorna, måste vara det som är i fokus. 17

18 OBSERVATION STUDENTERNA Tre av studenterna hade ryska som modersmål, de övriga kinesiska, polska respektive spanska. Fem av dem hade även kunskaper i engelska och två av dem även i flertalet språk. De var alla kvinnor, fem av dem mellan 25 och 29 år gamla, en över 30 år. Fem av studenterna var relativt homogena vad gäller datorvana. De använder ordbehandlingsprogram med stavnings- och grammatikkontroll minst en gång per vecka. Word används av dem alla och en student använder även Grim. Tre av studenterna använder dessa verktyg även då de skriver på andra språk än svenska. En av studenterna hade ingen som helst datorvana, varför testet, trots att studenten var mycket engagerad, till stor del kom att skymmas av praktiska svårigheter med datorn. Hon hade aldrig använt ett ordbehandlingsprogram och följaktligen aldrig heller någon stavnings- eller grammatikkontroll. Den tid studenterna bott i Sverige varierar mellan ett och fem år och den tid de studerat svenska varierar mellan ett halvt till fyra år. Alla studenterna skriver på svenska i sitt skolarbete, två även arbetsrapporter och brev. Fyra av studenterna talade svenska både i hemmet och i skolan/arbetet. Det är svårt att klart säga av vilken anledning kunskapsnivån skilde sig mellan studenterna. Att en längre tid av svenskstudier eller vistelse i Sverige automatiskt skulle betyda goda svenskkunskaper överensstämmer inte med det intryck som försöksledaren fick under samtal med studenterna. Genom de samtal som hölls både före försöket och i intervjun efteråt, samt i några fall även telefonsamtal före försöket och privata samtal efter studien kan studenterna dock placeras in på en ungefärlig kunskapsskala. Slutsatsen blir att en student hade relativt sämre kunskaper, tre relativt bättre och de övriga två medelgoda kunskaper. OBSERVERAT ANVÄNDANDE AV VERKTYGEN Felmarkeringar Felmarkeringarna var mycket uppskattade av alla studenterna under observationen. Detta är föga förvånande då de snabbt visar var felen finns samt vilken typ av fel det är. Tydligt är dock att reflektionsgraden här ökar avsevärt i takt med studenternas kunskapsnivå och motivation. Ju större kunskaper, ju mer reflekterade studenter över felet och försökte förstå och finna alternativ lösning innan verktyg valdes. Flera studenter tänkte själva ut förslag till ändring innan de valde verktyg. Ju mindre kunskaper i svenska studenten hade, i kombination med mindre iver att få rätt och/eller mer kunskap, desto mer gjorde felmarkeringarna att studenten lätt glömde det stora sammanhanget. Ett tydligt exempel är studenten som på grund av en felaktig särskrivning som råkat hamna vid en radbrytning ägnade mycken tid åt att finna vad en mid är för något i meningen: 18

19 [ ] grevens dotter som låter sig förföras av sin betjänt en mid sommarnatt, [ ] Tydligt var också att felmarkeringarna vaggar in studenterna i en falsk säkerhet om att texten är korrekt när alla felmarkeringar är borta. Alla försökspersonerna gjorde färre felmarkeringar i sin egen rättning än de fel som Grim markerade, men dessutom markerade studenterna i flera fall andra ord än Grim. Målet sågs dock vara att få bort alla de understrykningar Grim infogat. Ord som markerats som fel av studenten men inte av Grim glömdes ofta bort eller avfärdades. Vid flertalet tillfällen var studenterna helt på det klara med att en mening var fel; t.ex. önskade en student ett om i meningen [ ] den handla inte bara kärlek. Detta fel uppmärksammades dock inte av Grim. Studenten läste meningen i dess korrekta form inte mindre än sex gånger i väntan på bekräftelse från försöksledaren. När denna inte kom vågade inte studenten korrigera meningen. Studenten gavs då förslaget ett använda något annat verktyg. Efter en stunds letande kunde handlar om kärlek hittas i Parole varpå studenten vågade ändra i texten. Då det tar ca tre sekunder för att servern skall kontaktas och att en ny granskning av texten skall göras försvinner inte felmarkeringen genast efter att en rättning gjorts. Vid flertalet tillfällen blev då studenterna osäkra på om det blivit rätt och började ändra igen. Granska (Stavnings- och grammatikkontroll) Granska användes av alla försökspersoner för de flesta av Grim understrukna ord. Granska var dessutom nästan alltid det först valda verktyget. De studenter med störst svenskkunskaper använde Granska främst för att kontrollera ett rättningsförslag som de själva först formulerat. Granskas feedback kom då att fungera främst som en bekräftelse. Alla studenter använde dessutom Granska för att snabbt hitta korrekt form. Då Granska endast erbjuder ett alternativ valdes detta ofta snabbt med kommentarer så som Ja just det eller Jaja beroende på om det egna påtänkta förslaget var detsamma som det Grim föreslog. I det fall felet var en särskrivning ledde detta till längre fundering och förvåning på flera håll. Eventuellt kan detta bero på att Word, som studenterna tidigare använt, inte kontrollerar särskrivningar. Någon student uttryckte också en önskan att lätta fel så som särskrivningar skulle kunna markeras på annat sätt än allvarliga fel. När Granska ger mer implicit feedback, dvs. när fler rättningsalternativ ges, ledde detta till längre och djupare reflektioner då användaren tvingades genomföra ett val. I de flesta fall valdes ett av de föreslagna alternativen. Osäkerheten blev dock ibland större vilket ledde till att andra verktyg ibland användes för att dubbelkontrollera valt alternativ. Meddelandet Misstänkt felkonstruktion upplevdes som mycket frustrerande. Vad är ett sannolikt fel? Å andra sidan var det just denna typ av meddelande som gjorde att studenterna forskade vidare i andra verktyg. Ibland valdes dock trial-and-error-metoden istället och studenterna prövade sig fram till en formulering som inte felmarkerades. Då Granska inte alltid klarar av att ge ett korrekt alternativ krävs mycken kunskap av studenterna för att kunna avgöra när Granska eventuellt har fel. Ju bättre kunskaper i svenska och förståelse för grammatikkontrollprogram ju mindre litade studenterna på Granska. Verktyget visade sig kunna vara en riktig fälla för de med sämre kunskaper. Studenten med sämst kunskaper i svenska uttryckte: Skall datorn hjälpa mig så här mycket kommer jag inte att lära mig svenska! 19

20 Lexin (Lexikon) Lexin användes flitigt av försökspersonerna. Dock var studenterna inte helt nöjda med funktionen; dels går alla former inte att hitta, dels ger Lexin inte lika utförlig information som en ordbok. Att förklaringarna ibland är för svåra kan illustreras med försökspersonen som intresserade sig för följande mening: Det var skandalt att se en grevinna umgås med en dräng. Hon kunde inte förstå ordet skandal varför hon slog upp det i Lexin. Hon fick så förklaringen: Tillstånd av förargelse. Här kunde hon varken förstå förargelse eller tillstånd. Hon slog därför upp förargelse och förstod så det ordet. Tillstånd förklarades i Lexin som tillåtelse. Med förklaringen Tillåtelse till förargelse fick studenten följaktligen förståelsen: Det var tillåtet att bli förargad om man såg en grevinna umgås med en dräng. Att fler betydelser finns till ordet och att dessa måste letas fram genom scrollning missades. Förvisso ledde Lexin denna kunskapsivrande student till mycken reflektion med ändå inte ända fram till kunskap. Några försökspersoner slog upp svårförståliga ord som ej varit understrukna som felaktiga. Detta skedde dock först efter det att alla andra felmarkeringar var borta eller som en del i att förstå en felmarkering. Parole (Ordet i kontext) Fyra av studenterna använde Parole och ansåg det användbart. Dock rådde enighet om att de meningar som visades var för komplicerade. Ofta användes Parole som den sista utvägen; Granska och Lexin hade redan prövats utan tillfredställande resultat. Parole användes då främst för att kontrollera om ovanliga ord och uttryck finns, och för att t.ex. kontrollera vilken preposition som skall användas. Även funktionen att skriva egna sökvillkor användes av några om än med klagomål över det krångliga tillvägagångssättet. En sökning i Parole kan generera väldigt många träffar eftersom sökningen görs på endast ett ord. Problem uppstod då inte träffarna tillräcklig överensstämde med just den konstruktion användaren sökte och förändrade sökvillkor inte användes; En student arbetade med meningen: Den har inspirerat många teaterreskissörer eftersom den ger många olika tolknings möjligheterna. Först hittades rätt stavning på teaterregissörer i Granska. Korrekt form av tolknings möjligheterna hittas dock inte av Granska. Studenten som själv misstänkte att rätt form skulle vara tolkningsmöjligheter använde så Parole för att jämföra med liknande meningar. Hon slog upp ordet möjligheterna och fann så: [...] de dyraste möjligheterna [...] [...] de största möjligheterna [...] Hon konstaterade att: [...] där är det bestämd form [ ] det finns och ändrade så inte sin mening. Studenten ville ändra sin mening till många olika möjligheter men fick inte tillräckligt stöd av Granska eller Parole för att göra det. 20

21 Även funktionen att skriva egna sökvillkor användes om än med klagomål över det krångliga tillvägagångssättet. Böjningsformer Studenterna använde detta verktyg ganska flitigt. Dock blev de sällan hjälpta. Ofta ges inga eller alltför få böjningsformer: ordet mest visar t.ex. bara böjningsformen mycket. Syntax (Ordklasser) Detta verktyg användes väldigt lite och då endast den del där ett ords information visas i statusraden. Tre av studenterna tänkte ofta på satsdelar i sökandet efter korrekta grammatiska former och sökte sådan information på denna rad. Den nuvarande funktionen klarar dock endast ordklasser, ej satsdelar. ENKÄTEN OCH INTERVJUN På de skalor där studenterna uppmanades placera Grim respektive eventuellt annat tidigare använt verktyg, fick Grim generellt sett det bättre betyget på alla skalor. Det är dock mycket oklart vad dessa markeringar egentligen betyder. Olika personer tolkade uppenbarligen dessa skalor, och betydelsen av de olika betygsstegen olika, varför det inte är intressant att redovisa enskilda resultat. Generellt sett upplevdes Grim som väldigt användbart och flera uppgav att de själva ville ha tillgång till det. Tyvärr tillåter datorerna på Stockholms universitet inte tillgång till Grim och en uppkoppling hemifrån via modem är ett alltför långsamt alternativ. Allmänt ansågs också de valda verktygsnamnen som svårförståliga. Även ord i Granskas felförklaringar, såsom kongruensfel, kunde ej förstås. Granska ansågs vara ett värdefullt verktyg för inlärningen främst av dem som använde Granska för att få bekräftelse av egna påkomna lösningar. Dock ansåg några att verktyget inte leder till ökad reflektion. Granskarutan ansågs tidsbesparande och smidig och det var bra att man oftast får lagom många alternativ. Utökade funktioner för specialtecken önskades. Dessutom fanns önskemål om att kunna komma tillbaka till Granskas alternativ efter att ha rättat, alltså en ångraknapp. Felmarkeringarna uppgavs vara ett stöd för reflekterande för dem med störst kunskaper i svenska, men däremot inte lika mycket för att lära sig nya saker. En försöksperson vill ha överstrykningar (inte understrykningar) för lättare typ av fel såsom särskrivningar. Lexin ansågs ibland svårt eftersom ett ords grundform ofta är svår att lista ut; ordet engagerande finns till exempel inte med. Syntax troddes kunna vara till nytta. Dock ansågs det då behövas kännedom om en hel del begrepp. Parole ansågs ge alltför svåra meningar. Meningarna får inte vara så svåra att man inte förstår de omgivande orden. Att inte heller hela meningen syntes sågs som en nackdel. Till viss del kan de uppgifter som studenterna givit i enkäten inte sägas överensstämma helt med de observationer som kunde göras under testet. Särskilt skiljer sig resultaten vad gäller grad av 21

22 reflektion. Detta är dock föga förvånande. Dels kan detta bero på att där observatören uppfattade att reflektionsgraden ökade i takt med den tid som ägnades ett problem, såg användaren i stället denna tid som bortslösad beroende på att svaret var så svårt att finna, ej att de själva reflekterade. Användaren tenderar att uppfatta den tid de ägnar ett problem som värdefull för reflektionen endast om de också finner ett svar på problemet. Annars ses tiden som bortkastad och inte av vikt för reflektion eller inlärning. Vem, observatören eller försökspersonen, som skall ha tolkningsföreträde är inte alltid lätt att avgöra. Säkerligen beror skillnaderna även på att den grad av reflektion som åstadkoms på intet sätt endast är verktygsberoende. Under observationen kunde ses att reflektionsgraden av olika anledningar varierade inom samma verktyg. I enkäten fick studenterna bara möjlighet att ge ett samlat betyg. Dock kan sägas att de betyg som studenterna gav de olika verktygens förmåga att skapa reflektion till mycket stor del överensstämmer med de betyg de gav verktygens förmodade nytta för inlärning. Gavs t.ex. betyget 8 för reflektionsskapande skilde sig betyget för inlärning i de flesta fall inte mer än ett steg, annars två. Likaså befinner sig betygen vad gäller nyttan för att producera en text mycket nära. Observeras bör dock att de betyg och kommentarer som gäller hur användbart ett verktyg skulle vara för producerande av text är rena gissningar, då försökspersonerna aldrig fick tillfälle att utföra en sådan uppgift. Det må vara att de är kvalificerade gissningar. Att varje verktyg gavs liknande betyg vad gäller reflektion, nytta för inlärning och nytta för produktion visar dock att studenterna inser sambandet mellan reflektion och inlärning. 22

23 ANALYS OCH SLUTSATS VERKTYGENS FÖRMÅGA ATT SKAPA REFLEKTION Det är inte vilket verktyg som används som är det mest avgörande för hur djup och meningsfull reflektionen blir. Var verktygen som helhet är placerade i koordinatsystemet som redovisades i teoridelen är inte avgörande för hur mycket reflektion det ger upphov till. Alla verktyg visade sig kunna ge upphov till reflektion. Snarare är det förhållandet i explicithet och implicithet inom ett verktyg som är av vikt. Studien visar att reflektion skapas när studenten fått så pass mycket hjälp att hon klarar av att formulera en fråga, när hon själv klarar av att lokalisera var luckan i den redan inhämtade kunskapen är lokaliserad. Olika verktyg ger upphov till olika mycket reflektion beroende på hur väl de lyckas förmå studenten att själv skapa en fråga. Beroende på studentens kunskapsnivå sker detta vid olika mycket hjälp och feedback. Att för ens kunskapsnivå erbjudas mer explicit feedback än nödvändigt skapar omedelbar glädje då det går fort och lätt att skapa en korrekt text. Däremot åstadkoms mycket liten reflektion. Mer implicit feedback kräver lite mer arbete, men får också studenterna att reflektera mer över språket och i förlängningen lära sig mer. I så stor utsträckning som möjligt bör alltså Grim ge så explicit feedback att studenten leds in på rätt spår men inte så mycket att ingen fråga behöver ställas. De olika verktygen gav användbar feedback i olika skeden av frågeskapandeprocessen och reflektionen: Figur 2, Reflektionsgrad När användaren kommer i kontakt med felmarkeringarna och Granska, har reflektionen ännu inte startat, om inte studenten själv redan kommit på en lösning. Felmarkeringarna och Granska är så 23

24 nära kopplade till varandra att det är för enkelt att hoppa direkt till Granskas lösningsförslag utan att reflektera. Andra verktyg bör ges plats mellan dem. Därefter följer ett gap, särskilt vad gäller grammatiska problem. Studenten lämnas i ett tomrum. Har studenten inte tillräckliga kunskaper för att själv kunna skapa en fråga blir hon kvar på den lägre nivån och tar till trial-and-error-metoden för att komma vidare. Här saknas feedback av rätt slag. Parole kräver mest kunskap för att användas på ett bra sätt. Endast i de fall en förståelse av problemet redan fanns, kunde Parole ge sådan feedback att den kan anses vara användbar. Den information som finns i de mer indirekta verktygen är inte ens feedback innan användaren skapat en fråga. Trillar användaren hit endast genom trial-and-error-metoden finns här knappast någon feedback att hämta. Verktygen har olika uppgifter, men det behöver inte betyda att de prompt måste användas i ett visst reflektionsskede. De olika verktygen bör förändra sin feedback så att de kan användas i fler stadier av frågeskapandet. VEM STARTAR KONVERSATIONEN? Felmarkeringarna är det enda verktyg som uppmärksammar studenten på att någonting är fel innan studenten själv hinner reflektera. Felmarkeringar är alltid den som startar konversationen mellan student och dator. Övriga verktyg ger aldrig någon feedback utan att studenten själv efterfrågat den. Dock är Granska så intimt kopplat till felmarkeringarna att studenterna ofta hann öppna även detta verktyg innan de själva reflekterade. På så sätt kom även Granska ofta att starta konversationen. De mer indirekta verktygen startar aldrig en konversation och används aldrig innan studenten själv skapat en fråga. Vem det är som startar konversationen, vem det är som styr feedbacken, på vems villkor feedbacken ges/fås är av stor betydelse för reflektionen. När studenten själv har skapat den avgörande frågan som får henne att söka vidare ökar reflektionsgraden. Att det är studenten och inte Grim som väckt en undran är alltid bättre för reflektionen. DIREKTHETENS BETYDELSE Grad av direkthet har ett indirekt samband med grad av reflektion. Direkt feedback en nära koppling mellan användarens ord och feedbacken upplevs alltid mer positivt än indirekt feedback. En direkt koppling ger mer relevant och lättförståelig feedback. Ju sämre språkliga kunskaper, desto tydligare blir vikten av en direkt koppling. Ju mindre propositionellt nätverk studenten har desto viktigare blir precisionen i feedbacken. Den måste ges så att den hamnar inom nätverket, dvs. nära frågan. Mer direkt feedback är sålunda viktig för nybörjare. Stor irritation skapades då kopplingen mellan de mer indirekta verktygens feedback och det studenten sökte hjälp om, inte var tillräckligt nära. Både Lexin och Parole har en förmåga att ge betydelser och förklaringar som inte alltid är relevanta i sammanhanget. Alltför sällan gav de indirekta verktygen den avgörande bekräftelsen på att studenten verkligen hittat rätt, ibland hade de till och med svårt att avgöra om de ens var på rätt väg. 24

25 Varje verktyg fungerade givetvis bäst då de inom sin uppgift gav tillräcklig hjälp så att användarna verkligen till slut fick positiv feedback, svar på sin fråga. Dessutom får stegen till det korrekta svaret inte vara alltför många. Återfinns endast oförståeliga exempelmeningar utan direkt koppling till frågeställningen och vars innehåll också måste slås upp, blir vägen alltför lång och studenten ger upp. De mer indirekta verktygens feedback skulle bli mer användbar om de kunde skjutas åt höger i diagrammet. Studenterna skulle finna större anledning att använda verktygen om de där kunde finna information som var direkt kopplat till den text de just skrev. FALSKA ALARM Alla verktyg i Grim har sina brister, vilka skapar svårigheter och irritation för studenterna. De mest direkta verktygen, Granska och felmarkeringarna, är de verktyg där bristerna är tydligast. Där återfinns falska alarm: felmarkeringar av korrekta ord och fall där typen av markering är fel, liksom helt missade fel. Parole och Lexin kan dock inte sägas ge felaktiga uppgifter. Däremot ges inte alltid hela sanningen, alla möjliga betydelser eller former. Att ett ord inte återfinns i Parole eller Lexin betyder inte att ordet är felaktigt. Dock ger verktyget studenterna ett falskt intryck av att ordet är fel, varför även detta kan klassificeras som en typ av falskt alarm. Denna form av falska alarm var mer irriterande i Lexin än i Parole då Lexins feedback är mer explicit. Studenterna tycktes inte förvänta sig att alla möjliga meningar skulle återfinnas i Parole; att ett ord ej återfanns i Lexin togs dock oftast som en bekräftelse på att ordet måste vara felaktigt. Ett stort irritationsmoment var när ett ord markerats som felaktigt utan att Granska klarat av att se att ordet var felstavat. Innan ett ord har rätt stavning kan de övriga verktygen inte användas vilket lämnar studenten helt utan hjälp. Att själv gissa fram en stavning är i många fall en alltför svår uppgift. Felmarkeringarna är ibland dessutom alltför tvetydiga. När ett ord är del av två olika felmarkeringar syns detta dåligt. Felmarkeringarna hamnar ovanpå varandra så att endast en av dem syns. I följande mening visas hon skulle som verbfel och flydde som sannolikhetsfel: [...] eftersom hon skulle flydde det banala livet. Granska visar sedan i sina förslag att den tagit hänsyn till all tre orden oavsett vilket ord användaren väljer att trycka på. Dock försvåras möjligheten att själv finna en lösning innan verktyg väljs. Tydligt är att ju sämre kunskaper studenten innehar ju mer litar hon på de verktyg Grim erbjuder. Granska användes som första verktyg på de allra flesta felmarkerade ord av alla studenter. Följaktligen kommer de som mest litar på Granska att i mindre utsträckning leta vidare i de mer indirekta verktygen och på så vis inte upptäcka de fall då Lexin och Parole kan motsäga Granska. Studenter med goda svenskkunskaper har större möjligheter att ifrågasätta verktygens korrekthet. En av dessa studenter läste följande, av Grim felmarkerade, mening flera gånger: Hon [...] antas ha bra förutsättningar. Då studenten kände sig relativt säker på att denna konstruktion var korrekt valde hon Parole för att slå upp antas ha. Genom de exempelmeningar som gavs konstaterade hon med viss förnöjsamhet att: Om det finns i Parole måste det ju vara rätt. Granska måste ha fel. 25

26 De som inte hittade vidare till Lexin eller Parole för att dubbelkontrollera feedbacken var också de som litade på Granska. Som tidigare nämnts studerades följande mening: Det var skandalt att se en grevinna umgås med en dräng. Två studenter använde sig endast av Granska för att där finna förslagen skandal samt skandals. Båda konstaterade att: Aha, man kan säga båda två. Den falska tilliten och irritationen över felaktigheter skapas främst av de explicita verktygen. De mer implicita verktygen kan hjälpa till att minska irritationen om studenterna bara kan förmås att använda dem. FOKUS BETYDELSE Studenternas fokus spelade stor roll för hur rättningen utfördes. De använde de olika verktygen i olika stor utsträckning. Alla använde Granska väldigt mycket, men en del använde även de andra verktygen ofta. Ett par utnyttjade även verktygen för att studera ord som inte direkt var aktuella för rättning. Användandet speglar till viss del hur man ser på uppgiften: Är uppgiften att få bort felmarkeringarna, är den att få en bra text, eller är den att jag utvecklas språkligt? Den enskilde studentens egen fokus spelar stor roll också för hur man kan tänkas använda Grim i en mer naturlig situation. Det går att få till en hyfsad text genom att bara använda sig av Granska, men om man verkligen vill fundera över vad man skriver och pröva olika formuleringar är framför allt Lexin och Parole till större hjälp. Priset man betalar för en enkel smidig rättning med Granska är den förlorade möjligheten till utmaningar som tränar den lingvistiska kompetensen. GRIM SOM INLÄRNINGSMILJÖ Alla de studenter som var med i försöket önskade fortsatt tillgång till Grim då de ansåg att verktyget skulle kunna hjälpa dem; Studenterna upplevde alltså, efter detta korta försök, att Grim som helhet var en plats där de ville förlägga sin inlärning. Studien har också visat att alla verktyg kan ge upphov till reflektion vilket är inlärningsbefrämjande. Dock finns ett antal brister som kan åtgärdas för att ytterligare förbättra miljön. Grim är tänkt att vara en inlärningsmiljö med fokus på skrivprocessen. Programmet är dock utformat som, och man upplever det vara, en ordbehandlare. Detta behöver ju inte vara motsägelsefullt, men det är uppenbart att gränssnittet fokuserar på att likna en ordbehandlare, ibland på bekostnad av inlärningsmiljön. Exempelvis har verktygen för klipp och klistra prioriterats då de i gränssnittet lagts närmare användaren än t.ex. Parole och Lexin. Detta för att standarden hos en ordbehandlare är sådan. Grim är sålunda ett bra hjälpmedel för den som ska skriva en bra text, men kan förändras för att bli ett bättre hjälpmedel för den som ska lära sig svenska språket. Programmets pedagogiska potential har ännu inte tillräckligt beaktats. Flera av studenterna uttryckte att man inte behöver tänka så mycket själv om man utnyttjar Granska. En student sa: Om datan ska lära mig på så sätt ska jag inte lära mig svenska [ ] Man behöver inte tänka så mycket. Bara skriva och sedan kontrollera. Studenterna väljer oftast att titta på granskarutan först och går sedan vidare till något annat verktyg endast om de inte fått 26

27 hjälp. Lexin tyckte någon vara är för simpelt för att det ska vara riktigt värdefullt. En sa att hon inte skulle använda det när hon skriver en egen text: De ord som finns där kan jag redan. Dessutom brukar man använda redan kända ord när man skriver. En annan uttryckte samma sak och sa att hon hellre använder en vanlig ordbok, eftersom den är mer utförlig och har fler och bättre exempel. Ytterligare en person tyckte istället att Lexins förklaringar var för svåra. Även Parole har sina brister enligt studenterna. Meningarna där är ofta ganska svåra och för komplicerade för att på ett bra sätt exemplifiera ett visst uttryck eller grammatiska konstruktioner. De problem som studenterna upplever i de olika verktygen beror dock i många fall inte på att möjlig bra och värdefull feedback saknas. Studenten hittar dock inte fram till just den feedback som skulle kunna hjälpa dem. Vägen dit är för snårig. Grim kan överkomma dessa problem genom att rensa vägen för studenten, genom att ta bort irrelevant information, sortera bort svåra meningar och göra kopplingen mellan studentens handlande och den feedback som ges tydligare. När hjälp söks om ett felmarkerat ord nås Parole, Lexin och böjningsformerna endast genom menyraden. Granska nås genom ett högerklick. Det går inte att förvänta sig att någon skall använda de andra verktygen när de har givits så mycket lägre prioritet i gränssnittet. Även då feedback söks om ett icke felmarkerat ord ligger dessa verktyg alltför långt bort. Här har önskan att Grim skall se ut som en ordbehandlare tagit överhanden. Parole och Lexin har med sin större indirekthet och implicithet redan det svårt i konkurrensen med Granska. Gränssnittet bör inte utgöra ännu ett hinder. 27

28 REKOMMENDATIONER Följande praktiska förändringar skulle kunna förbättra Grims förmåga att erbjuda reflektionsskapande feedback och göra Grim till en bättre inlärningsmiljö: ÖKAD DIREKTHET Figur 3, Ny placering av verktygen angående direkthet De mer indirekta verktygen föreslås alla göras mer direkta. Parole kan göras mer direkt genom att en sökning inte bara görs på ett enskilt ord utan även på de omgivande orden. På så sätt hittas feedback med en meningsbyggnad som till högre grad liknar den konstruktion studenten själv vill använda. För att ytterligare göra feedbacken mer direkt kan funktionen kopplas samman med Syntax för att säkerställa att syntaxen stämmer överens med den avsedda meningen. Om möjligheten att få mer direkt feedback från Parole ökar, kan även nybörjaren lockas att leta där. Eftersom tilliten till Parole är högre än till Granska ges särskilt nybörjaren möjlighet att finna säkerhet och bekräftelse på sin kunskap. Lexins direkthet kan också ökas om dess funktion kopplas samman med Syntax. Då fler betydelser av ett ord finns, bör möjlighet finnas för nybörjaren att endast de ord visas som är av samma ordklass som det uppslagna ordet har i texten. För mer avancerade användare ges fler alternativ. 28

29 Böjningsformerna skulle kunna ge mycket mer direkt feedback om dess funktion kopplades samman med Parole så att de olika böjningsformerna kan ses i ett meningsfullt sammanhang. Idag är böjningsformerna sammankopplade med Syntax: om musen hålls över ordet visas syntaktiskt information i tooltips. Denna försvinner dock innan användaren hunnit läsa hela texten, än mindre förstå den. JÄMSTÄLL VERKTYGEN I GRÄNSSNITTET De idag mer indirekta verktygens feedback bör lyftas fram så att de är lika nåbara för användaren som Granskas feedback är idag. Grims uppgift är att underlätta för studenten att hitta även till den mer implicita feedbacken, att öppna dörrarna för alla verktyg. Människan är av naturen lat. Allt som kan göras för att dra in studenten i ett nytt verktyg bör göras. Även den mest motiverade student är behjälpt av intresseväckande krokar. Vet användaren att där finns mycket information att hämta på nära håll, bara ett klick bort, kan hon lockas att söka denna information även på ord som inte har felmarkerats. Även om användaren inte själv klarar av att konstruera en fråga kan hon lockas finna information som eventuellt kan skapa reflektion. Gränserna mellan verktygen bör suddas ut och en väg in i verktygen ges genom deras möjliga feedback inte bara genom deras namn. Studenten skall inte behöva välja verktyg innan hon väljer feedback. Namnet på verktyget är för användaren metainformation till feedbacken och bör inte vara i fokus. Låt användaren istället välja feedback och därefter slussas in i det verktyg från vilket feedbacken kom. 29

30 Förslag på hur verktygen tydligare kan jämställas i gränssnittet: Figur 4, Rekommendationerna i praktiken Feedbacken från de idag mer indirekta verktygen slås samman i en ruta som nås genom att klicka på önskat ord, felmarkerat eller ej. Ord som är markerade som stavfel kommer givetvis inte att kunna ges denna information. Vid andra typer av felmarkeringar kan dock information återfinnas. Studenten ges information från de olika verktygen utan att först behöva välja verktyg. Merpilen indikerar att mer information finns att hämta och leder studenten in till ett specifikt verktyg. Vägen in i verktyget går via dess feedback. Inlärningsmiljön förbättras om studenten inte vid varje problem tvingas välja verktyg, utan istället erbjuds att välja typ av feedback. UTÖKAD FUNKTIONALITET Ett flertal saknade funktioner bör införas i Grim. Ett utökat grammatiklexikon skulle kunna minska det gap mellan verktygen som kunde ses i reflektionsdiagrammet. Många andraspråksstudenter har studerat åtskillig grammatik och blir mycket hjälpta om de i Grim har tillgång till en grammatik där de kan slå upp osäkerheter. Speciellt önskades att satsdelarna i texten skulle vara lättåtkomlig information. I figur 4 har sådan information lagt in. I den nya grammatiken ska man kunna slå upp och se hur olika satser konstrueras. Om en felkonstruktion upptäcks av Granska ska användaren kunna se och läsa mer om hur det brukar formuleras. Uppslagningen är sammankopplad med hur skribenten formulerat sig i sin text. 30

31 Ett synonymlexikon efterfrågades av flera studenter. Även ett lexikon med fasta uttryck och idiom som visar hur de formuleras i svenskan skulle hjälpa till att fylla gapet mellan Lexin och Parole. I figur 4 visas hyponymer och hypernymer från ett tänkt sådant program. Informationen är hämtad och översatt från WordNet, ett program som idag inte finns på svenska men som är under utveckling. Om man vill utveckla Grim till att vara en språkinlärningsmiljö mer generellt än bara för skrivandet, kan man också undersöka möjligheterna att införa talsyntes så att man kan få höra t.ex. olika ords uttal. Detta kan vara till stor hjälp med att förstå skillnader mellan grav och akut accent i annars lika ord, men även skillnader mellan lång och kort vokal vilket många andraspråkstalare av svenska har problem med. NIVÅINDELNING Beroende på kunskapsnivå krävs olika explicit feedback för att kunna formulera en egen fråga. Den feedback Grim ger skulle därför kunna ges på ett mer effektivt sätt om olika nivåingångar skapades. Knutsson (2002) [14] menar att olika nivåingångar gynnar de olika användargrupperna. Beroende på studentens kunskaper kan hon välja vilken nivå varje verktyg skall arbeta på. Om användaren har valt en för hög nivå kan hon, inom verktygen, lätt ta ett steg mot mer explicit hjälp. Figur 5, Nivåingångar i Lexin En mycket duktig användare klarar av att skapa en fråga redan om bara felmarkeringarna får henne att ana ett fel; hon kan själv klassificera felet och behöver ingen mer hjälp av markeringarna. (Även detta nämner Knutsson. [14]) Hon kan själv gå vidare till nästa verktyg då 31

32 hon vet vilken typ av feedback hon söker. Nybörjaren å andra sidan vet inte var hon skall börja leta om hon inte ges lite mer explicita ledtrådar. I meningen Han hade velat sett nedan skulle den mest implicita feedbacken från felmarkeringsverktyget vara att endast få reda på att något är fel, den mest explicita dubbelt supinum. För varje verktyg bör olika nivåingångar införas. Här har också ett grammatiklexikon lagts in för att fylla ungefär samma funktion för grammatiska problem, som Lexin fyller för ordförståelsen. Nybörjaren ges de grammatiska termerna i klartext, medan en mer avancerad student ges en för det grammatiska problemet särskilt utvald exempelmening. Tekniker finns för att klassificera texter och ord så som svårare eller lättare språkligt sätt. Paroles feedback kan nivåindelas om den får möta sådan funktion innan resultatet presenteras för användaren. Efter hårt arbete önskas alltid en belöning. De studenter som använde Granska för att bekräfta sin kunskap fick ideligen belöning i form av positiv feedback. Studenter med mindre kunskap får sällan positiv feedback; den som ingen fråga ställer får heller inget svar. Olika nivåingångar skulle underlätta för alla studenter att hitta något som kunde göra dem säkrare emotionellt positiv feedback. Idag är Grims tydligaste belöningsform att felmarkeringarna försvinner. ANVÄNDBARHET I GRÄNSSNITTET Flera av de problem som framkom under studien är brott mot vedertagna användbarhetsprinciper, Shneidermanns gyllene regler. En fullständig utvärdering utifrån dessa principer ligger utanför syftet med denna studie. Dock redovisas här de funna problemen samt lösningsförslag. För att öka igenkänningen bör gränssnittet använda begrepp som användaren använder. Krångliga ord bör tas bort. Höger och vänster musklick bör alltid ge samma resultat, alltid ge samma feedback. Det bör inte skilja beroende på om ett ord felmarkerats eller ej. Att det är användaren som startat dialogen skall inte ge andra funktioner än om det är Grims felmarkeringar som startar konversationen mellan användare och dator. Den ökade samverkan mellan verktygen som föreslås skulle också göra att närheten till önskat resultat förbättras. Vägen till de olika verktygen och den sökta feedbacken görs kortare. Dessutom diskrimineras de mer implicita verktygen inte längre i gränssnittet. Användaren har idag möjlighet att skriva in egna sökord i Lexin. Önskas ett ords betydelse kan ordet skrivas in i Lexins ordruta. Därefter skall användaren trycka på översätt. På intet sätt är det självklart att det är en översättning användaren söker. Den främsta anledningen till att Lexin användes var att hitta en förklaring på svenska till ett sökt ord. Ett mer passande ord bör sökas. Fel typ av inmatningar skall inte tillåtas. Idag tillåts användaren skriva egna söktermer i både Lexin och Parole. Kontroll av korrektheten i dessa villkor bör göras så nära gränssnittet som möjligt för att inte sökningar med felaktigt skrivna villkor skall ske. Idag har användaren ingen möjlighet att avgöra huruvida det egenhändigt inskrivna sökvillkoret inte genererade några träffar i databasen på grund av att uttrycket inte fanns eller på grund av felaktigheter i sökvillkoret. Det skall hela tiden vara möjligt att avbryta en pågående funktion och ångra sig. Tyvärr går det inte att ångra en sökning eller backa till föregående sökvillkor. Som nämnts tidigare önskades också möjlighet att ångra en gjord rättning 32

33 Lexins resultat presenteras på ett mycket luftigt sätt som dock medför att alltför mycket information måste skrollas fram: Användaren missar sådan information. Givetvis kan inte all information visas samtidigt. Användaren bör dock erbjudas en klar och tydlig överblick över den information som finns att hämta. Hur många betydelser ett ord har bör synas direkt. I förslaget ovan ges alla de olika betydelserna och genom mer-pilen erbjuds ytterligare information. För tur finns i verkligheten fler betydelser. Idén är dock tydlig. När användaren så väljer att trycka på mer-pilen kommer hon till Lexin som bör visa sin information i en lättöverskådlig trädstruktur. Hjälp saknas i Grim idag. Kontextsensitiv hjälp skulle underlätta för användaren. 33

34 DISKUSSION RELIABILITET Reliabiliteten i studien kan diskuteras. Testuppgiften var dock ganska kontrollerad: Alla studenter fick samma uppgift och skulle utföra den inom vissa givna ramar. Dock finns givetvis fler möjliga sätt att lösa uppgiften än de sex olika varianter som kundes ses hos de sex försökspersonerna. Antalet studenter kan nog dock anses vara tillräckligt för en kvalitativ analys. Studiens resultat bygger dels på observationer och tänka-högt-teknik och dels på studenternas egna åsikter både från själva testet och från intervju och enkät. Försöksledarna har liten erfarenhet av observationer och kan mycket väl ha gjort felbedömningar om vad som är viktigt och inte. Dessutom var det tre olika försöksledare som genomförde testerna. Deras personliga stil och agerande samt egna tolkningar kan ha påverkat både tester och resultat. Det faktum att testerna och intervjuerna hade en ganska informell karaktär kan också tänkas sänka reliabiliteten. Med avsikten att skapa en lugn och avslappnad atmosfär, för att studenterna skulle våga tänka högt och våga göra fel, kan relationerna mellan studenter och försöksledare ha blivit alltför kamratlig. En viss artighet och välvilja fanns gentemot varandra. I enkäten efter testet ombads studenterna att betygsätta olika saker hos Grim, och då gavs överlag väldigt höga betyg. En student uttryckte att hon tyvärr inte kunde sätta ett högre betyg. De ville inte riktigt kritisera utvecklarna av Grim som de uppfattade representerades av försöksledarna. VALIDITET Validiteten i studien kan diskuteras utifrån vald metod. Grim är i första hand tänkt som en inlärningsmiljö för skrivprocessen. Här har inte skrivprocessen undersökts; Studenterna hade inte skrivit texten själva. Att rätta en text är inte en uppgift som studenter ofta utsätts för. Försök gjordes att skapa en reell koppling mellan student och text genom att studenten först fick arbeta med texten manuellt för att göra den till sin. Hur väl detta lyckades är dock svårare att bedöma. Försöksledarna borde ha kontrollerat att studenten faktiskt kände till texten innan rättningen började. Dock hade en studie av studenternas hela skrivprocess inte varit praktiskt möjlig. Att vid ett enda tillfälle be studenterna skriva en text i Grim skulle ge mer svåranalyserad data. Skrivprocessen pågår dessutom oftast under en längre tid och där till ofta uppdelat på flera tillfällen. Tyvärr var det av tidsmässiga skäl inte möjligt att utföra flertalet observationer med varje användare. Då Grim är så pass nyutvecklat finns idag mycket få vana användare. Säkerhetskraven från systemadministratörerna på Stockholms universitet gör dessutom att det inte är tillåtet att använda Grim på universitetets datorer. Då Grim kräver en relativt snabb uppkoppling är användande över modem inte att rekommendera. Detta gör att det även är svårt att bli en van användare hur gärna man än vill. Detta är dock endast praktiska problem som inte borde vara 34

35 svårlösta. Alla studenter i försöket skulle gärna arbeta vidare med Grim. Att erbjuda dem den möjligheten på Stockholms universitet borde inte vara omöjligt. Eftersom studenterna inte var vana användare kan det också diskuteras hur mycket av det som tolkats som reflektioner över språkinlärning egentligen var reflektioner över hur verktyget används. Att studenten högt läser syntaxinformationen för ett ord behöver inte innebära att hon reflekterar över det som inlärning av språk. Kanske visar det bara att hon reflekterar över Grims funktioner och över hur de fungerar. Kanske mäts istället hur väl studenterna lyckas lära sig Grim som verktyg. Dessutom finns det bland experterna olika åsikter om tänka-högt-tekniken. Domeij (2003) [15] sammanfattar huvuddragen i kritiken som framförts mot tänka-högt-metodiken så här (Citat): Skrivprocessen är till stora delar omedveten och så komplex att kognitiva processer är oåtkomliga för observation. De data som produceras är inte kompletta. Metoden påverkar skrivandet och förvanskar processerna. Experter och noviser har olika förmåga att tänka högt och kan därför inte jämföras. Kodning och analys av data är subjektiv. Tänka-högt-studier är artificiella och kan därför inte generaliseras till att gälla skrivande i största allmänhet; de är inte ekologiskt valida. Tänka-högt-studier förutsätter att skrivande väsentligen är problemlösning och tar inte hänsyn till andra faktorer, t.ex. känslor. FORTSATTA STUDIER En utförlig utvärdering av gränssnittets användbarhet bör, som tidigare nämnts, göras. Säkerligen har endast ett fåtal punkter kunnat påpekas i denna studie. En studie som bättre speglar den uppgift som kommer att vara den vanligaste i Grim bör definitivt göras: En undersökning där skrivandeprocessen är i fokus. Dessutom skulle det vara bra att göra en längre studie. Denna studie baseras på ett enda tillfälle och studenterna var ovana vid Grim. En van användare som lärt sig att använda programmets alla funktioner och fått fler exempel på nyttan med dem kanske skulle använda programmet på ett annat sätt. Då förhoppningen är att de rekommendationer som här ges i praktiken också kommer att implementeras bör det givetvis göras en undersökning av hur förändringarna tas emot. 35

36 REFERENSER [1] Kann, Viggo et al. (senast uppdaterad ). CrossCheck - svensk grammatikkontroll för andraspråksskribenter. (Elektronisk) Tillgänglig: < [ ]. [2] Kann, Viggo et al. Datorstöd för andraspråksinlärning. (Elektronisk) Tillgänglig: < [ ] [3] Vernon, Alex. (2000). Computerized grammar checkers 2000: Capabilities, limitations, and pedagogical possibilities. Computers and Composition, pages [4] Knutsson, Ola, Cerratto Pargman, Teresa & Severinson Eklundh, Kerstin. (2003). Transforming Grammar Checking Technology into a Learning Environment for Second Language Writing. In the Proceedings of the HLT/NAACL 2003 workshop: Building Educational Applications Using NLP, Edmonton, Canada. [5] Truscott, John. (1996). The case against grammar correction in L2writing classes. Language Learning 46: [6] Löfberg, Arvid. (1990). Kunskapsproduktion och lärande i arbetet. I G. Aronsson & H. Berglind (red): Handling och handlingsutrymme. Lund: Studentlitteratur. [7] Löfberg, Arvid & Ohlsson Jon. (1995). Miljöpedagogik och kunskapsbildning. Teori, empiri och praktik, Pedagogiska institutionen, Stockholms Universitet. [8] Anderson John R. (2000). Cognitive psychology and its implications. Worth publishers, New York. ISBN [9] Knutsson, Ola, Cerratto Pargman, Teresa & Severinson Eklundh, Kerstin. (2002) Computer support for second language learner s free text production initial studies. In Proceedings of OCL2002, 5th International Workshop on interactive Computer Aided Learning, Villach, Austria. [10] Kann, Viggo et al. (senast uppdaterad ). Granska ett program för svensk språkgranskning. (Elektronisk) Tillgänglig: < [ ]. [11] Myndigheten för skolutveckling. Skoldatanätets hemsida. Lexin. (Elektronisk). Tillgänglig: < [ ] [12] Borin, Lars. (senast uppdaterad ) Språkbanken. (Elektronisk). Tillgänglig: < [ ] [13] Hassel, Martin & Dalianis, Hercules. (senast uppdaterad ). SweSum - Automatisk Textsammanfattare. (Elektronisk). Tillgänglig: < [14] Knutsson, Ola. (2002). Datorn som språkgranskare. Språkvård nr 1/02, Svenska språknämnden. 36

37 [15] Domeij, Rickard. (2003). Datorstödd språkgranskning under skrivprocessen. Institutionen för lingvistik, Stockholms universitet. ISBN [16] Shneiderman, Ben. (1987). Designing the User Interface: Strategies for Effective Human - Computer interaction. Addison-Wesley, Reading, MA. [17] Dabbs, Alister. (2002). Interface design. Cassell & Co, London. [18] Ryberg, Robert.(1997). Att utforma en lättanvänd webbtjänst. CAP&Design 7/1997 & Så underlättar du för besökaren på webben CAP&Design 8/

38 BILAGOR Grim - nuvarande gränssnitt Bilaga 1 Julietexten Bilaga 2 Kontrollvariabler Bilaga 3 Enkät Bilaga 4 Intervju Bilaga 5 38

39 Bilaga 1 Grim nuvarande gränssnitt Bild 1, Grims granskaruta och felmarkeringar i texten Bild 2, Förklaring på felmarkeringarnas färger 39

40 Bild 3, Lexin 40

41 Bild 4, Parole 41

42 Bild 5, Swesum 42