Work in progress och får därför inte publiceras eller spridas i denna form. Kan eleverna i engelska det som de tror att de kan? Om gymnasieelevers egna bedömningar av sin skriftliga produktion i engelska Anne Dragemark, Göteborgs universitet Enligt kursplanerna i engelska skall elever på gymnasiet kunna ta ansvar för sina egna studier och arbeta självständigt. En förutsättning för detta är bland annat att de kan bedöma sina egna färdigheter, men hur är det egentligen med den förmågan? Hur medvetna är eleverna om de fel de gör och hur nöjda är de med sina prestationer? Presentationen beskriver några preliminära resultat från Vetenskapsrådets projekt Självbedömning av inlärning: exemplet språk (SALL). I projektet gjorde fyra svenska gymnasieklasser självbedömningar av sina skriftliga språkfärdigheter i engelska under ett till två år. Resultaten visar att eleverna fokuserar inte alltid på de områden som de behöver när de bedömer sina egna färdigheter. När det gäller skriftlig produktion kan man också (preliminärt) se att eleverna är mer nöjda med sina skriftliga färdigheter än en extern bedömare är, och många elever är dessutom nöjda med prestationer där felen orsakar tydliga hinder för god kommunikation. Eleverna är dock mer realistiska när det gäller att bedöma de skriftliga färdigheter som de anser att de kanske behöver förbättra och/eller kan vara felaktiga. Bakgrund Att aktivt involvera eleverna i sitt eget lärande och att arbeta för att utveckla ansvarstagande och självständiga elever är ett viktigt mål som framhävs i de svenska läro- och kursplanerna, inte minst i engelska och moderna språk. Detta får konsekvenser även för utvärdering av språkkunskaper. Vid modern språkbedömning strävar man allt mer efter att bli så autentisk som möjligt och genom att eleverna involveras i mer vardagsnära uppgifter blir den en viktig del av lärandeprocessen. I konstruktivistiska inlärningsteorier betonas ofta vikten av autonomi i inlärningsprocessen (Holec, 1988). Alla äger en viss s.k. metakognitiv medvetenhet, men alla elever kan inte använda sig av den eller reflektera över den egna lärprocessen på ett konstruktivt sätt. Flera forskare anser också att den metakognitiva funktionen spelar en viktig roll i konstruktionen av ny kunskap, eftersom den har med planering, förståelse och kontroll av lärandet att göra (Gipps 1994, Purpura 1997, Allwood & Jonsson 2001). Att själv få 1
möjlighet att bedöma sina färdigheter och sina resultat kan spela en väsentlig roll för eleven när det gäller att skapa förståelse på basis av nya upplevelser, och nå det Vygotsky (1978) kallar the optimal level of performance. Det finns en betydande skillnad enligt forskare (Hosenfeld 1977, och Vann and Abraham 1990, citerade av Cotterall 1999) beträffande elevers förmåga att rätta sig själva beroende på vilken kunskapsnivå de befann sig på. Annan forskning (Oscarson 1980, 1984) har visat att vuxna språkstuderande ofta har en god uppfattning om den egna förmågan och de egna resultaten. I en översikt sammanfattade Blanche & Merino (1989) att det fanns consistent overall agreement between selfassessments and ratings based on a variety of external criteria. Motsatsen har dock också observerats. Peirce, Swain & Hart (1993) hittade endast svaga samband mellan ungdomars egna bedömningar och testresultat i hör-, läs-, tal- och skrivfärdigheter. Andra faktorer som påverkar elevernas förmåga att bedöma sig själv kan t.ex. vara deras tidigare upplevelser av språkinlärning och resulterande språkkunskaper samt deras självkänsla och självförtroende. Även kön och kultur kan påverka, men forskningen på detta område inte är samstämmig. De som inte kommit så långt i sin inlärning av ett ämne, visar några undersökningar, har en tendens att överskatta sin förmåga, medan mer avancerade elever tenderar att underskatta sig själva (Falchikov and Boud 1989, Prohaska and Maraj 1995). Projektet Självbedömning av inlärning: exemplet språk genomfördes 2002-2003 och finansierades av Vetenskapsrådet. Projektet syftade bl a till att öka kunskapen om hur och med vilken tillförlitlighet elever kan göra självständiga bedömningar av den egna inlärningen och dess resultat samt hur valida dessa resultat är. I projektet studerades produktiva språkliga färdigheter i första hand, dvs. skriftlig och muntlig produktion. Syfte och frågeställningar En bedömningsfråga som fokuserades var i vilken grad eleverna gjorde en reliabel självbedömning av sina skriftliga språkliga färdigheter, dvs vilka språkliga områden elever inriktar sig på när de bedömer sin egen skriftliga förmåga och hur väl eleverna kan bedöma specifika skriftliga färdigheter i fråga om grammatik, stavning, ordkunskap, styckeindelning, meningsbyggnad och kommatering i relation till en extern bedömning, i detta fall gjorda av forskaren tillika gymnasielärare i engelska. 2
Undersökningsgrupper Projektmedverkande samarbetade med en gymnasieskola där fyra grupper/klasser i engelska följdes och observerades under 1 2 år. Eleverna som alla studerade vid en gymnasieskola i en svensk storstad, var mellan 17 och 20 år gamla. Av de 105 elever som deltog, och för vilka fullständiga data finns, var 84% pojkar (N=88) och 16% flickor (N=17). Tillvägagångssätt och instrument I projektet användes både grupp- och individintervjuer och enkätdata, men i denna delstudie behandlas enbart en av de självbedömningsenkäter som krävde både öppna svar och flervalssvar. Två elevgrupper deltog i en skriftlig uppgift som konstruerats tillsammans med deras ordinarie lärare i engelska. Uppgiften var processbaserad, dvs. eleverna läste och diskuterade ämnet först, skrev utkast och skrev rent innan uppgiften slutligen bedömdes av läraren. Engelska A-eleverna skrev ett brev och Engelska B-eleverna skrev en artikel, utifrån mål och betygskriterier i respektive kurs. Efter att eleverna hade skrivit första utkastet till sitt brev, respektive artikel, besvarade de Självbedömningsformulär I och lämnade in till sin lärare. I detta formulär markerade eleverna de färdigheter som de ansåg sig vara nöjda med respektive ansåg att de behövde förbättra eller kunde ha gjort fel på. Uppgifterna blev inte rättade vid detta första tillfälle utan läraren gav istället en enklare respons genom markeringar, t ex understrykning vid felaktig stavning och grammatik eller genom att ställa språk- och innehållsfrågor som eleven kunde reflektera över. Eleverna fick sedan tillbaka sin uppgift för omarbetning. Efter omarbetningen fyllde de i Självbedömningsformulär II som såg något annorlunda ut, innan uppgiften slutligen lämnades in för slutlig bedömning. Båda självbedömningsformulären var på svenska för att undvika eventuella språkliga missförstånd. I denna presentation används enbart data från fråga 2 i Självbedömningsformulär I (Figur 1). De inkomna svaren analyserades statistiskt med SPSS (v 11) och uppsatserna analyserades lingvistiskt av en extern bedömare, dvs. forskaren. Bedömarreliabiliteten var kontrollerad genom att två andra språklärare också bedömde 10 av uppsatserna oberoende av varandra och forskaren. Överensstämmelsen i bedömningen var god. 3
Fråga 2. Språk : I uppgiften är jag nöjd med min grammatik ordkunskap styckeindelning annat: stavning meningsbyggnad kommatering Men, jag tror att jag kanske behöver förbättra eller kan ha gjort fel i fråga om grammatiken ordvalet styckeindelningen annat: Figur 1: Fråga 2 i Självbedömningsformulär I stavningen meningsbyggnaden kommateringen Den lingvistiska analysen utgick från förutsättningen att en elev inte är nöjd med sin prestation om han/hon är medveten om att han/hon gjort fel och därför bedömdes först alla fel lika, oberoende av hur allvarliga felen var. Ytterligare en bedömning gjordes därefter av fel som helt hindrade kommunikationen och övriga begripliga fel dvs. fel där förståelsen stördes men inte förhindrades. Dessutom räknades det totala antalet felpoäng som varje elev fick i grammatik, ordkunskap, meningsbyggnad, stavning och kommatering för att dokumentera i vilken utsträckning en elev faktiskt kunde göra fel och fortfarande anse sig vara nöjd med sitt skriftliga arbete. Dessa sista resultat presenteras dock inte i detta paper. Resultat Resultat presenteras enbart för totala undersökningsgruppen och inte uppdelat på de olika kursgrupperna. Preliminärt kan man säga att tendenserna ser ut på följande sätt. Extern generell bedömning av antal allvarliga respektive mindre allvarliga fel Den externa bedömningen av de olika skriftliga färdigheterna visar att de fel som eleverna gör mest, och som allvarligt kan hindra den språkliga förståelsen, är meningsbyggnadsfel. 47 procent av dessa orsakade kommunikationsproblem av den arten att betydelsen var omöjlig att vara säker på. Även vokabulärfel orsakade en stor del av kommunikationsförbistringen. Dålig eller icke existerande styckeindelning var av minst betydelse för språklig förståelse. 4
Figur 2: Extern bedömning av allvarliga fel som förhindrar förståelse och andra typer av mindre allvarliga fel där förståelse störs men dock inte förhindras. Intern bedömning av språkliga färdigheter De språkliga områden som eleverna främst inriktar sig på när de bedömer sin egen skriftliga produktion är stavningen, vilken 63% är nöjda med, och grammatiken vilken 61% bedömer att de kan förbättra eller har gjort fel på Figur 3. Elevernas bedömningar av det de är nöjda med respektive det som de kan förbättra/ha gjort fel på Jämförelse mellan intern och extern bedömning När det gäller i vilken grad eleverna själva gjorde en reliabel självbedömning av sina språkliga färdigheter, dvs. hur väl eleverna kunde bedöma egna specifika skriftliga färdigheter i fråga om grammatik, stavning, ordkunskap, styckeindelning, meningsbyggnad och kommatering i relation till en extern bedömning ser det ut på följande sätt. Figur 3 visar 5
elevernas egna bedömningar av hur nöjda de var, jämfört med hur nöjd den externa bedömaren var med de specifika skriftliga färdigheterna. Figur 4. Jämförelse mellan elevens och den externa bedömarens bedömningar av de språkliga färdigheterna. Skillnaderna är stora. I samtliga fall är elevernas bedömning av att vara nöjda med sina färdigheter högre än den externa bedömarens vid elevernas första självbedömningstillfället. Mest överensstämmer bedömningarna av styckeindelning och minst överensstämmer bedömningarna av färdigheterna i stavning, följt av ordkunskap och meningsbyggnad. Elevernas bedömning av vad de kan ha gjort fel på och vad de kan behöva förbättra är mer i överensstämmelse med den externa bedömarens. Figur 5. Jämförelse mellan elevernas och den externa bedömarens bedömningar av de språkliga färdigheter som eleverna kan förbättra/kan ha gjort fel på. 6
Eleverna och den externa bedömaren är helt överens om bedömningen avseende grammatik men eleverna är något mer kritiska än den externa bedömaren när det gäller övriga färdigheter. Störst är skillnaden i bedömning när det gäller styckeindelning där eleverna är mer osäkra än vad den externa bedömaren anser att de behöver vara. Bedömningar per färdighetsgrupp Om man delar upp den totala elevgruppen efter deras slutbetyg på skrivuppgiften ser man att det oftast, men inte alltid, är de duktiga eleverna som är som mest nöjda med sina prestationer (Figur 6). Oftast är det också i samstämmighet med den externa bedömningen, dvs. den externa bedömningen är överens med dessa elever om deras bedömning att de kan vara nöjda. Figur 6. Elevernas och den externa bedömarens resultat per betygsgrupp av de språkliga färdigheter som de är nöjda med. När det gäller att bedöma om eleverna kan förbättra och/eller kan ha gjort fel så är samstämmigheten relativt god mellan de interna och externa bedömningarna (Figur 7). De elever som fått de lägre betygen anser att de kan förbättra eller kan ha gjort fel något oftare än de elever som fått de högsta betygen, i relation till vad den externa bedömaren ansåg. 7
Figur 7. Elevernas och den externa bedömarens resultat per betygsgrupp av de språkliga färdigheter som kan förbättras eller kan ha gjorts fel på. Diskussion och slutsatser För att eleverna skall kunna utveckla ett reflekterande förhållningssätt samt bli självständiga när det gäller att bedöma de egna resultaten så som läro- och kursplaner förespråkar, behöver utvecklingen av språkmedvetenhet tränas. Andra studier har visat att svenska elever har förhållandevis god förmåga att bedöma sina färdigheter. I Skolverkets senaste nationella utvärdering av grundskolan (NU-03) fann man bl.a. ett relativt gott samband mellan elevers bedömning av sin betygsnivå och vid slutet av samma termin faktiskt erhållna betyg (r=.64; Oscarson och Apelgren, 2004). De områden där den språkliga kommunikationen brister är i första hand meningsbyggnad och ordförråd. Eleverna försöker ofta uttrycka sig med mer avancerat språk än de behärskar både gällande ord och satsbyggnad. Ofta kan läsaren ana att eleven försökt översätta sofistikerade formuleringar från svenska med förödande konsekvenser. Meningsbyggnad är komplex, och de mer avancerade eleverna känner troligtvis större krav på detta område och krävs också att man kommit något längre i språkstudierna för att man skall uppleva behovet av att uttrycka sig mer varierat. Det syns dock inte i analysen av den stora gruppen (som redovisas här) om det är någon skillnad mellan Engelska A- eller Engelska B-elevernas prestation. 8
De språkliga färdigheter som eleverna i stället själva fokuserar på när de bedömer sina egna skriftliga produkter är stavning som de anser sig behärska väl, och grammatik som de anser att de behöver förbättra eller kan ha gjort fel på. Att stavning är en färdighet som eleverna känner att de behärskar förhållandevis väl är inte speciellt förvånansvärt, eftersom grundläggande språkundervisning traditionellt sysslat med mycket träning på detta område. Eleverna hade också tillgång till stavningsprogram, vilket kan ha gett dem höga förväntningar på sin prestation. Ett stavningsprogram kan dock inte se skillnad på ordens betydelse och i flera fall är det tydligt att stavning/ordfel är orsakade av att eleverna inte noterat eller kunnat skillnaden på t ex very och weary eller writing och writhing, utan i stället förlitat sig på datorn. Grammatik är ett område många elever utgår från att de inte behärskar och därför kan ha markerat i enkäten för säkerhets skull. Det är inte självklart att en extern bedömare gör mer reliabla och valida bedömningar än någon annan, inklusive eleverna själva, men i denna undersökningen kan resultaten inte ha påverkats av att bedömaren var bekant med eller påverkad av elevernas tidigare skriftliga prestationerna, som trots allt kan vara fallet när det gäller elevernas egen lärare. Troligt är att eleverna bedömer sig själva utifrån tidigare respons på skriftligt arbete från läraren och tidigare resultat på skriftliga uppgifter, och detta är en anledning till att de bedömer sig själv både högre än den externa bedömaren när det gäller att vara nöjd, och relativt lika den externa bedömaren när det gäller att bedöma vad som kan förbättras eller kan vara fel. Nöjd är ett begrepp som kan tolkas av en elev som är van vid en välvillig bedömning, att prestationen räcker även om den innehåller felaktigheter, medan den utomstående bedömningen utgår från att en elev inte är nöjd om han eller hon vet att felaktigheter kvarstår eller han eller hon inte tror sig skrivit korrekt. Den stora diskrepansen mellan intern och extern bedömning kan också vara ett utslag av önsketänkande från elevens sida. Det kan vara svårt för eleven att erkänna att han eller hon lämnar in något som de trots allt vet är fel. Det var dessutom första gången eleverna i undersökningsgruppen själva bedömde sina specifika språkliga färdigheter utifrån en skriftlig uppgift. Den relativt goda överensstämmelsen gentemot vad eleverna kunde behöva förbättra eller kunde ha gjort fel på tyder på att eleverna inte är omedvetna om att de har språkliga svagheter. De markerade oftare än den externa bedömaren, att de behövde förbättra eller hade gjort fel på vokabulär, styckeindelning och kommatering. En trolig förklaring till detta kan vara att de inte är säkra på vad korrekt användning av dessa innebär eller vad som egentligen 9
krävs, speciellt i fråga om områden som styckeindelning och kommatering. Till exempel kunde förvånansvärt många elever inte använda frågetecken på ett korrekt sätt, och ett flertal skrev hela sitt brev alternativt sin artikel i ett enda långt stycke. Sverige har tydligt framskrivna mål i läro- och kursplaner gällande både elevreflekterande arbetssätt och kommunikativ språkundervisning där eleven skall vilja och våga använda språket både muntligt och skriftligt. Dessa gymnasieelever både vill och vågar använda engelska språket för att kommunicera med. Allt för många är dock inte, när de kommer till gymnasieskolan, medvetna om att de gör specifika språkliga fel som förhindrar en fullgod kommunikation och vilka dessa fel är. Eleverna kan mycket, men inte alltid det de tror att de kan. Det elevreflekterande arbetssättet behöver tränas så att våra elever kan lära sig att bedöma sina egna resultat. Det är ett viktigt redskap för att hjälpa dem att nå de övriga målen. Referenser Allwood, C.M. & Jonsson, A.C. (2001). Om betydelsen av elevers metakognitiva förmåga. I Svingby, G. & Svingby, S. (red.) Bedömning av kunskap och kompetens. PRIM-gruppen (pp 79-97). Stockholm: Lärarhögskolan i Stockholm, Institutionen för undervisningsprocesser, kommunikation och lärande. Blanche, P. & Merino, B. J. (1989). Self-assessment of foreign language skills: Implications for Teachers and researchers. Language Learning, 39, 313-340. Cotterall, S. (1999). Key Variables in Language Learning: What Do Learners Believe About Them? System 27 (4), 493-513. Falchikov, N. & Boud, D.J. (1989). Student Self-Assessment in Higher Education: A Meta-Analysis. Review of Educational Research, 59, 4, 395-430. Gipps, C. (1994). Beyond Testing: Towards a Theory of Educational Assessment. London: The Falmer Press. Holec, H. (red.)(1988). Autonomy and self-directed learning: Present fields of application. Strasbourg: Council of Europe, Council for Cultural Co-operation. Oscarson, M. (1980). Approaches to self-assessment in foreign language learning. Oxford: Pergamon Press. Oscarson, M. (1984). Self-Assessment of Foreign Language Skills: A survey of Research and Development Work. Strasbourg: Council of Europe, Council for Cultural Co-operation. Oscarson, M. & Apelgren, B.M. (2005). Nationella utvärderingen av grundskolan 2003: Engelska. Ämnesrapport till Rapport 251. Stockholm: Skolverket (Fritzes). Peirce, B.N., Swain, M., & Hart, D. (1993). Self-Assessment, French Immersion, and Locus of Control. Applied Linguistics, 14, 25-42. Prohaska, V. & Maraj, F. (1995). Low and medium ability students confidently overestimate all their grades. Presented at the Seventh Annual Convention of the American Psychological Society. New York. Purpura, J. E. (1997). An Analysis of the Relationships Between Test Takers Cognitive and Metacognitive Strategy Use and Second Language Test Performance. Language Learning 47 (2), 289-325. Vygotsky, L. (1978). Mind in Society: The Development of Higher Psychological Processes. (red. Michael Cole). Cambridge: Harvard U.P. 10