Bedömningsmatris Katarina Kjellström Våren 1999 arbetade PRIM-gruppen fram en bedömningsmatris att användas som stöd vid bedömning av större uppgifter. Denna användes både på ämnesprovet i åk 9 och på kurs A-provet. Här beskrivs bakgrund, syfte och innehåll. Att utvärdera elevers kunnande handlar inte bara om att avgöra om svaret är rätt eller fel, utan också om att bedöma processen fram till lösning. Varför innehåller de nationella proven större uppgifter? I det uppdrag som provinstitutionerna fått från Skolverket står det att Läroplanens syn på kunskaper och inlärning ska genomsyra de nationella proven. Dessutom står det i en PM från Skolverket 1994-12-15 att Utformningen av prov med betygsstödjande syfte görs utifrån det betygssystem som gäller. De uppgiftstyper som används i ett grupp- respektive kriterierelaterat betygssystem kan i viss utsträckning överensstämma. De nya lärooch kursplanerna liksom betygskriterier ger emellertid uttryck för en kunskapssyn som måste få genomslag i provuppgifter och bedömningssätt.... En utveckling behövs mot prov där också problemlösande och produktiva uppgifter ingår som kan bedömas med delvis nya analysmetoder. Av kursplanerna framgår att tonvikten bör ligga på förståelse, analys av hela lösningsprocedurer och kritisk granskning av resultat samt förmåga att dra slutsatser. Allt detta kräver delvis nya typer av uppgifter. Katarina Kjellström är bitr projektledare i PRIMgruppen vid Lärarhögskolan i Stockholm, som ansvarar för nationella provet skolår 9 och A-kursprovet. Det har därför funnits större uppgifter i alla nationella prov. I kursproven har dessa uppgifter funnits i Breddningsdelen och i ämnesproven för skolår 9 i Delprov C. Exempel på större uppgifter finns både på PRIM-gruppens hemsida www.lhs.se/resunits/prim/ och på EPMs hemsida www.umu.se/edmeas/np/. Vad är större uppgifter? Uppgiften kännetecknas av att den ska pröva elevens förmåga att arbeta självständigt, vara kreativ och föra matematiska resonemang. Uppgiften prövar också elevens förmåga att systematisera, att skapa matematiska modeller, att formulera och pröva antaganden samt att dra slutsatser. Den lösning och redovisning som eleven ger på uppgiften ska kunna bedömas på olika kvalitativa nivåer. Ett annat krav på dessa större uppgifter är att alla elever ska kunna börja på en lösning men uppgiften ska samtidigt vara så utmanande att ett elevarbete också kan visa MVG-kvalitéer. Historik Vi har av tradition använt uppgiftsspecifika bedömningsanvisningar till de olika nationella proven, det skrivs speciella bedömningsanvisningar för varje uppgift. 45
Nackdelarna med denna bedömningsmodell är att den är ineffektiv då man för varje ny uppgift ska skapa en ny beskrivning och att det är svårt att jämföra resultaten på olika uppgifter. Bedömningsmodellen är också besvärlig att använda på större uppgifter med öppna frågor, eftersom det är svårt att poängsätta alla tänkbara olika strategier som eleven kan använda. En sådan bedömningsanvisning skulle bli väldigt omständlig och lång. De centrala prov och standardprov som vi använde i det gamla betygssystemet bedömdes med poäng och poängavdrag gjordes för olika typer av fel. Betygsgränserna beräknades efteråt med stöd av normalfördelningskurvan. Då det första kursprovet gavs, vt 1995, infördes positiv bedömning på tidsbunden del, eleverna fick poäng för lösningens förtjänster och inte avdrag för eventuella fel. Kravgränser för betygen Godkänd och Väl godkänd bestämdes med stöd av betygskriterierna och medföljde provet. De nationella ämnesproven för skolår 9 har bedömts på likartat sätt, men där har vi också gett generella bedömningsanvisningar. I dessa beskrivs vad som fordras för olika delpoäng för lösningen av en uppgift. Vid bedömningen av enskilda uppgifter och vid kravgränssättningen kategoriserades poängen som G- eller VG-poäng med stöd av kursplan och betygskriterier. På de två senaste A-kursproven har denna uppdelning av poäng också funnits på elevernas prov och i bedömningsanvisningarna. Detta har påverkat kravgränsen för Väl godkänd då ett minsta antal VG-poäng krävts för detta provbetyg. Till det första nationella kursprovet för kurs A fanns också en breddningsdel med tre valbara större uppgifter. Dessa skulle helhetsbedömas med hjälp av beskrivningar på olika betygsnivåer som exemplifierades med autentiska elevarbeten. I detta arbete hade vi stor nytta av vår erfarenhet av den helhetsbedömning på olika kvalitativa nivåer som användes i den nationella utvärderingen 1995 (Pettersson, 1997). Bakgrund till matrisen Det finns en mängd olika sätt att bedöma elevers lösningar av matematiska problem förutom de som beskrivits ovan. Några av dem fokuserar olika kunskapsaspekter, t ex problemlösningsförmåga och kommunikationsförmåga. Andra fokuserar de olika kvalitativa nivåer som en elevlösning kan visa. De kvalitativa nivåerna kan bedömas med poäng och/eller betygsnivåer. Helhetsbedömning med poäng eller betygsnivåer Helhetsbedömning tar hänsyn till hela lösningsproceduren och inte bara till svaret. Många sådana beskrivningar är mycket omfattande men här ges exempel på en mycket kortfattad bedömningsanvisning. Fördelarna med denna modell är att den tillåter en relativt snabb bedömning. Den fokuserar processen och inte bara svaret och bedömningen ger en poäng/betygsnivå som beskriver prestationen. Nackdelarna är att den inte ger läraren hjälp att uppmärksamma elevens svagheter och/eller styrkor. Bedömaren använder underförstådda kriterier och allmän erfarenhet som erhållits från granskning av en rad olika lösningar för att bedöma elevens problemlösningsförmåga. Därför är den här metoden mindre lämplig för ovana bedömare. Exemplarisk lösning 6 poäng (MVG) Kompetent lösning 5 poäng (VG MVG) Tillfredställande men med mindre brister 4 poäng (VG) Nästan tillfredställande men innehåller brister 3 poäng (G VG) Påbörjad men inte slutförd lösning 2 poäng (G) Godtagbar ansats 1 poäng (IG G) Inget lösningsförslag 0 poäng (IG) 46
Analytisk bedömning med poäng Med hjälp av en skala tilldelas poäng för särskilda faser i problemlösningsarbetet, tex förståelse, planering och genomförande samt svar. Analytisk poängsättning Förståelse 0: Har fullständigt missförstått problemet. av problemet 1: Har missförstått eller misstolkat delar av problemet. 2: Har fullständigt förstått problemet. Strategi och 0: Gör inget försök eller använder en helt olämplig strategi. genomförande 1: Använder en delvis korrekt strategi för de delar av problemet som tolkats korrekt. 2: Använder en strategi som kunde ha lett till en lösning om den används korrekt. Svaret 0: Ger inget svar eller ger ett felaktigt svar baserat på en olämplig strategi. 1: Gör avskrivningsfel eller räknefel. Ger bara svar på delar av problemet. 2: Ger ett korrekt svar med lämplig enhet. Denna metod är användbar om man vill ha en diagnostisk information om eleverna och för att ge eleverna respons på deras förmåga inom speciella delar av problemlösningen. Andra fördelar är att metoden ger en summapoäng som resultat och att den ger möjlighet för differentierad vägning av de tre kategorier som finns. Metodens nackdelar är att elevernas arbete ibland inte kan ge tillräcklig information inom någon av kategorierna för att läraren ska kunna bedöma den. Eleverna måste känna till kategorierna och dessa måste också kopplas till undervisningen. Jämförelse mellan elever måste göras med försiktighet eftersom summan måste tolkas. Tex har en elev med 2-1-1 gjort en annan typ av lösning och redovisning än en elev med 2-2-0. Analytisk bedömning med beskrivningar på olika kvalitativa nivåer Bedömningsmatrisen är analytisk, dvs fokuserar de olika kunskapsaspekter som kan bedömas men samtidigt beskrivs de olika kvalitativa nivåerna inom varje kunskapsaspekt. En liknande matris används i Vermonts bedömning av matematikportföljer (Romberg, 1993). Den matrisen har sju kunskapsaspekter och fyra olika kvalitativa nivåer. Vi utgick från denna men bearbetade den så att den stämde väl överens med vår kursplan och våra betygskriterier för både grundskolan och den gymnasiala utbildningen. Vi fick då en matris med fyra kunskapsaspekter och tre kvalitativa nivåer. Vi har använt samma bedömningsmatris i nationella prov både för kurs A och skolår 9. Både på A-kursprovet och ämnesprovet för skolår 9 ska läraren sätta ett provbetyg. Detta sätts genom att resultaten på de olika delproven vägs samman. Sammanvägningen görs på olika sätt i de båda proven. På ämnesprovet gör läraren en bedömning med stöd av bedömningsmatrisen och ger ett helhetsomdöme. Detta omdöme räknas om till en poäng som används vid sammanvägningen. På kursprovet används en bedömningsmatris som direkt genererar poäng på olika kvalitativa nivåer. 47
Bedömningsmatris för skolår 9 Problemlösningsförmåga Förståelse och metod Bedömningen avser: I vilken grad eleven visar förståelse av problemet. Vilken strategi/metod eleven väljer vid lösandet av problemet. I vilken grad eleven reflekterar kring och analyserar vald strategi och resultat. Kvalitén på elevens slutsatser. Vilka samband och generaliseringar eleven använder. Bedömningen avser: Hur fullständigt och hur väl eleven genomför den valda metoden och utför nödvändiga beräkningar samt motiverar detta. Kommunikationsförmåga Matematiskt språk och/eller representation Bedömningen avser: Hur väl eleven använder matematiskt språk och representation (symbolspråk, grafer, figurer, tabeller, diagram). Redovisningens klarhet och tydlighet Bedömningen avser: Hur klar, tydlig och fullständig elevens redovisning är. I vilken mån den går att följa. Förståelse och metod Visar någon förståelse för problemet, väljer strategi som bara delvis fungerar. Genomför endast delar av problemet eller visar brister i procedurer och metoder. Kvalitativa nivåer Sämre Bättre Förstår problemet nästan helt, väljer strategi som fungerar och visar viss reflektion. Visar kunskap om metoder men gör eventuellt smärre fel. Förstår problemet, väljer om möjligt generell strategi och analyserar sin lösning. Använder lämpliga metoder och genomför dessa korrekt. Matematiskt språk och/eller representation Ofullständigt och ibland felaktigt. Acceptabelt men med vissa brister. Korrekt och lämpligt. Går delvis att följa eller omfattar endast delar av problemet. Mestadels klar och tydlig men kan vara knapphändig. Redovisningens klarhet och tydlighet Välstrukturerad, fullständig och tydlig. 48
Många lärare säger att eleverna inte är vana vid att lösa större uppgifter och inte vet hur de ska redovisa sina arbeten. Ett syfte med matrisen är därför att visa för eleverna vad som bedöms i elevens redovisning. I provmaterialen har föreslagits att läraren ska diskutera med eleverna vad som står i matrisen och vad det betyder för elevernas sätt att lösa större uppgifter. Läraren kan också förklara för eleverna vad som står i bedömningsmatrisen genom att översätta den till ett något mer vardagsnära språk. Denna tolkning har vi fått av Per-Olof Ekdal, f d matematiklärare vid Birger Sjöbergsgymnasiet i Vänersborg, numera rektor i Trollhättan. Problemlösarresan Kvalitativa nivåer Sämre Bättre Förståelse, metod och reflektion Anar vart hon/han ska ta vägen rätt vägriktning. Inser vart hon/han ska ta vägen. Väljer lämpliga vägar. Vet vart hon/han ska ta vägen och gör bra vägval. Väl framme kommenterar hon/han vägvalet. Väljer inte lämpligt fordon. Packar bagaget slarvigt och ogenomtänkt. Kör fel efter ett tag och ger upp. Väljer godtagbart fordon men hanterar det klumpigt. Kör av vägen men åker vidare med mindre skador och delvis förlorat bagage. Väljer lämpligt fordon och kör det mot målet på ett kunnigt och säkert sätt. Allt medfört bagage i behåll och i god ordning. Matematiskt språk och/eller representation Mycket dåliga kunskaper om trafikregler. Uppträder ibland farligt för trafiken. Bristande kunskaper om trafikregler men kör ändå ganska säkert. Uppträder helt korrekt i trafiken. Duger för uppkörning. Redovisningens klarhet och tydlighet Reseskildringen ger dålig information om vägen och resan. Jobbig att ha som beskrivning för att följa efter. Beskrivningen av resan går att ha som vägvisning, men blir ibland lite otydlig. Bra och tydlig beskrivning. Avtagsvägar och svåra ställen beskrivna. Duger nästan som information åt rallykartläsare. 49
Läraråsikter Bedömningsmatrisen mottogs mest positivt bland de lärare på A-kursen som var ovana att bedöma elevarbeten på större uppgifter. Det vanligaste omdömet bland dessa lärare var att den underlättade bedömningen. De lärare som bedömt större uppgifter två eller fler gånger tidigare var mer negativa. De var framför allt dessa lärare som ansåg att det var arbetskrävande att använda matrisen. Bedömningsmatrisens fördelar ansågs framför allt vara att den gav en rättvisare bedömning då den fokuserar olika aspekter av kunnande. En lärarkommentar får illustrera detta. En rättvisare bedömning som tar in många aspekter, inte bara fixering vid svaret. Den absolut vanligaste kommentaren till nackdelarna var att den var alltför arbetskrävande att använda. Hopplöst att rätta varje elevs arbete. Tar alldeles för lång tid i dessa bråda dagar!! Jag kan på ett ungefär ge betygen G, G+, VG, VG+ eller MVG utan matrisen. Ungefär hälften av lärarna i skolår 9 ansåg att matrisen underlättade bedömningen och ungefär lika stor andel ansåg att det var arbetskrävande att använda den. Arbetet med att konstruera nationella prov och bedömningsanvisningar är ett utvecklingsarbete. Detta gäller i hög grad för bedömningsmatrisen. Vi vill naturligtvis vidareutveckla matrisen så att den upplevs som ett stöd vid bedömningen. Kanske ska antalet kunskapsaspekter minskas och/eller beskrivningarna av vad bedömningen avser förändras. Skriv gärna till vår e-post: prim-gruppen@lhs.se och föreslå förbättringar. Det muntliga delprov som används under våren i ämnesprovet för skolår 9 bedöms också med stöd av en bedömningsmatris. Den innehåller andra kunskapsaspekter men liknar för övrigt den matris som finns i denna artikel. Vi återkommer under hösten och berättar om det muntliga delprovet för skolår 9 och hur bedömningen har fungerat. Exempel på bedömning med bedömningsmatrisen För att visa hur bedömningen med stöd av bedömningsmatrisen går till visar vi på nästa sida en uppgift från ämnesprovet för skolår 9 från 1999 tillsammans med ett avskrivet autentisk elevarbete. Elevens arbete bedömdes med betyget Godkänd. Referenser Kjellström, K. & Pettersson, A. (1995). Läroplanens kunskapssyn överförd till det första nationella kursprovet i matematik. Stockholm: PRIMgruppen, Lärarhögskolan i Stockholm. Kjellström, K. (1995). Det första nationella kursprovet. Nämnaren 22 (3), s 5-9. Kjellström, K. (1996). Matematik A. Resultat och analyser av det första nationella kursprovet i matematik. Stockholm: PRIM-gruppen, Lärarhögskolan i Stockholm. Kjellström, K. (1999). Nationellt ämnesprov skolår 9. Nämnaren 26 (1), s 34-39. Stenmark, J. K. (Red). Mathematics assessment myth, models, good questions and practical suggestions. NCTM: Reston, Virginia. Lambdin, D. V., Kehle, P. E. & Preston, R. V. (Eds.) (1996). Emphasis on assessment: Readings from NCTM s school-based journals. NCTM: Reston, Virginia. Pettersson, A. (1997). Matematiken i utvärderingen av grundskolan 1995. Analys av elevernas arbeten med mer omfattande uppgifter i åk 9. Stockholm: PRIM-gruppen, Lärarhögskolan i Stockholm. Romberg, T. A. (Ed.) (1992). Mathematics assessment and evaluation, Imperatives for Mathematics Educators. State University of New York press. Rapporter från PRIM-gruppen Information om PRIM-gruppens rapportserie kan fås på: www.lhs.se/resunits/prim/ eller från: Institutionen för pedagogik, PRIM-gruppen Box 34103 100 26 STOCKHOLM 50
Samlingssalar I I den nya skolan ska det byggas en samlingssal där första raden har 10 platser och andra raden har 13 platser. Rad 3 har 16 platser och så fortsätter varje rad att öka med 3platser ända till sista raden som har 31platser. a) Hur många platser finns det på rad 6? b) Hur många rader finns det i samlingssalen? c) Beskriv med ord eller med en formel hur man räknar ut antalet platser på rad n. II I en annan samlingssal kan man räkna ut antalet platser på rad n med formeln 12 +5n. Beskriv hur denna sal är uppbyggd. III Kalle påstår att man alltid kan beräkna totala antalet platser i en samlingssal, som är byggd på motsvarande sätt, genom att multiplicera antalet platser på den mittersta raden medantalet rader. Undersök om Kalle har rätt. Elevens lösning I Rad 3 har 16 platser 4 har 19 5 har 22 6 har 25 Svar: Rad 5 har 25 platser b) Svar: Det finns 7 rader 5 25 i samlingssalen 6 28 7 31 c) Jag tar alltid den svåraste uträkningen och den längst uträkningen så jag har skrivit upp rad efter rad samt platser. III Jag tror att Kalle har rätt för från mittersta raden och neråt är det 3 platser på varje rad och från mittersta raden och uppåt är det 3 platser mer på varje rad så de tar ut varandra och man kan altså räkna mittersta raden multiplicerat med antalet rader. II Man adderar med 12 för att varje rad har tolv platser mer än den denanför. Och den dedanför hade 5 platser, alltså 12 + 5 n Kvalitativa nivåer Motiveringar Förståelse och metod Eleven förstår hur "Samlingssalen" är uppbyggd utifrån beskrivningen med ord och gör en elegant förklaring av hur Kalle räknar, men eleven kan varken använda variabler eller tolka formler. Eleven genomför bara delar av problemet korrekt, använder en enkel procedur och gör feltolkningar av några av sina beräkningar. Matematiskt språk och representation Torftigt matematiskt språk. Redovisningens klarhet och tydlighet Mestadels klar och tydlig redovisning. 51