Diagnostik och utvärdering WIGGO KILBORN Vad är en diagnos? Diagnos är för Wiggo Kilborn, inte bara en typ av formella skriftliga test som ges efter avslutat moment. Det är all slags information som man formellt eller informellt skaffar sig i avsikt att förbättra undervisningen. Diagnostik är en nödvändig förutsättning för individualisering, men hur diagnostiserar man och hur använder man diagnosen och dess information i undervisningen? Den vanligaste formen av utvärdering av en matematiklektion är diagnosen. Ju säkrare diagnosens information är, desto större möjligheter har jag som lärare att anpassa undervisningen till respektive elevs förkunskaper och övriga förutsättningar för inlärning. All individualisering blir meningslös om man inte har en effektiv diagnos i botten. Hur konstruerar man en bra diagnos? Jo, i första hand genom att utgå från en klok teori för utvärdering. Jag ska nu med konkreta exempel visa hur detta kan gå till. Jag väljer ett enkelt exempel och börjar med multiplikationstabellen. Samtidigt hoppas jag att läsaren använder sin fantasi till att tänka ut hur motsvarande resonemang skulle se ut, då man väljer exempel från andra områden. När man konstruerar en diagnos bör man alltid börja med att analysera hur den aktuella kunskapen eller färdigheten ska användas. Det räcker t ex inte att en elev efter 5 10 sekunders ramsräkning kan tala om att 6 8 = 48. Detta representerar nämligen bara en av alla de situationer där eleven kommer att använda multiplikationstabellen. Det första steget blir alltså att bestämma ett adekvat mål. Målet Jag utgår från de mål som är uppställda i gällande läroplan för grundskolan. Enligt dessa bör eleverna ges allsidiga färdigheter i de fyra räknesätten, bl a goda kunskaper i algoritmräkning. Multiplikationstabellen blir därvid en viktig färdighet vid både multiplikation och division. Frågan är nu på vilket sätt man använder tabellen vid uppställda multiplikationer. För att få en uppfattning om detta måste man dels analysera vilka räkneoperationer som måste utföras, dels undersöka hur eleverna administrerar dessa operationer i hjärnan. Jag ska nu beskriva en modell för detta som bygger på hur vi utnyttjar arbetsminnet långtidsminnet. Modellen har från början utarbetats av G Miller (1). När man kommit så här långt i multiplikationen 87 56, följer det svåra tankesteget 6 8 + 4 = 52. Det omfattar ett stort antal administrationer i huvudet utan att man bokför något med papper och penna. Det gäller alltså att välja de två rätta siffrorna och rätt räkneoperation, att kontrollera om det finns någon minnessiffra och att i så fall addera den, samt att därefter stryka den. Slutligen skall 5:an och 2:an bokföras på rätt platser. Enligt Millers teori sker alla dessa administrationer i arbetsminnet. Tyvärr är arbetsminnets kapacitet begränsad. Många elever kan därför inte administrera mer än 5 6 saker samtidigt i huvudet. En normalpresterande elev klarar av 7. Även om en elev lärt sig automatisera vissa av tankestegen i algoritmen ovan, ligger arbetet sannolikt på gränsen av arbetsminnets kapacitet. Av det skälet är det viktigt att eleven kan ta fram 6 8 = 48 som en synonym. Varje avvikelse från synonymtänkandet kommer nämligen att ge en extra belastning av arbetsminnet, vilket i sin tur sannolikt leder till ett räknefel. Vi kan nu närmare fastställa målet. För att en elev ska kunna använda multiplikationstabellen på ett meningsfullt sätt i samband med uppställda multiplikationer och divisioner (m fl likartade situationer samt vid huvud- och Överslagsräkning), bör eleven kunna alla tabellkombinationer som synonymer. Paradoxalt nog innebär detta att synonymtänkandet är en färdighet som är mycket viktig för lågpresterande elever.
Konstruktion av testet Sedan man formulerat målet blir nästa steg att konstruera ett deltest som så nära som möjligt mäter om varje enskild elev har nått dit. Nu måste man emellertid vara medveten om att de flesta test enbart består av stickprov. Det gäller därför att få stickproven så bra och rättvisande som möjligt. I just den här situationen kan man mycket väl tänka sig att testa eleverna på alla de 81 (eller om man så vill 100) kombinationerna. Säkerheten blir på det sättet större. I så fall bör man dela upp testet på 4 5 tillfällen för att undvika rena trötthetsfel. En annan modell som sparar dyrbar undervisningstid är stickprovsmodellen. Som stickprov bör man då inte välja ett antal slumpvis valda uppgifter, utan ett systematiskt urval av de uppgifter som eleverna brukar göra fel på. Avsikten är ju inte att rangordna eleverna eller att visa hur mycket de kan. Avsikten är att ta reda på vad eleverna inte kan för att med utgångspunkt från detta hjälpa dem att behärska det testade stoffet. Använder man stickprovsmodellen i exemplet ovan, är ett lämpligt stickprov 15 eller 20 uppgifter som ges på högst 1,5 respektive 2 minuter. Modellen har bl a valts i SÖ:s diagnostiska uppgifter i matematik. Men vad har tidsbegränsningen med saken att göra? Jo, den är av vitalt intresse. Med hjälp av fingrar och andra hjälpmedel är det nämligen möjligt för en elev att få rätt på alla tabellkombinationerna bara eleven får tillräckligt lång tid på sig. Men detta rimmar illa med målet. Kan eleven inte alla kombinationerna som synonymer, är sannolikheten stor att eleven får problem med sitt arbetsminne vid uppställda multiplikationer! Men är det rätt mot eleverna att stressa dem på det här sättet genom tidtagning? Frågan är intressant men inte den primärt viktiga frågan. Ska vi diagnostisera för elevernas bästa, blir målet självklart överordnat testmetoden. Med detta som utgångspunkt blir det sedan lätt att finna en mindre stressande metod. Följande metod är en variant av förslaget i SÖ:s diagnoser: Ge t ex eleverna ett test som omfattar 30 uppgifter varav de första 15 eller 20 är identiska med det egentliga testets. Låt nu eleverna använda två pennor med olika färg. När den utmätta tiden har gått, ber man eleverna byta penna. Man rättar sedan bara de första uppgifterna, de som egentligen ingår i testet... Låt mig i det här sammanhanget poängtera vikten av att man som lärare vänjer eleverna vid att betrakta diagnoser som ett naturligt inslag i undervisningen. Samtidigt vill jag framhålla betydelsen av att bygga upp ett förtroende bland eleverna, genom att förklara varför man ger diagnoser. Uppträder man dessutom själv naturligt, har sannolikt de flesta stressorsakerna eliminerats. Att en testsituation är stressande beror nämligen på att vi lärt eleverna att den är det. Attityden är ju knappast medfödd! Bedömning Hur rättar man testet? Jag vill genast påpeka att det första steget i rättningen tas redan då man bjuder testet. Bjuds testet på ett felaktigt sätt, t ex genom att eleverna i det här fallet får för lång tid på sig, har man sannolikt redan förstört testet. Vi förutsätter nu att testet gått rätt till. När är en elev då godkänd? Svaret är: Då alla uppgifterna i testet är rätt räknade! Men kan det vara rimligt? Ett enda slarvfel kan man väl tillåta? Svaret är i princip nej! Jag ska längre fram modifiera det svaret något, men först ska jag motivera det: Antag t ex att en elev gör fel på var åttonde kombination i multiplikationstabellen. Detta leder då till att samma elev sannolikt gör fel på drygt 40 % av alla multiplikationer av två tvåsiffriga tal. Vid en uppställd multiplikation av två tvåsiffriga tal måste nämligen eleven rätt kunna utföra fyra tabellmultiplikationer i rad för att uppgiften ska bli rätt. Sannolikheten för detta är 58 %. Beräkningen ser ut så här: Detta betyder i klartext att en liten osäkerhet i tabellen kan leda till stora problem när tabellfärdigheten ska tillämpas. Kraven måste med andra ord sättas högt. Men det händer ju att en elev gör slarvfel. Även en vuxen som behärskar tabeller gör ju ibland fel! Detta är helt riktigt och därmed kommer vi in på en annan sida av hur man bedömer en diagnos. En diagnos är inte ett prov i konventionell mening utan ett instrument med vars hjälp man avser att skaffa information för att förbättra undervisningen. Eftersom diagnosen oftast är ett formellt stickprov, kan det inte ens teoretiskt ge ett exakt resultat. Bedömningen måste därför alltid kopplas till sunt förnuft. Bra tumregler är: En elev som har alla rätt på diagnosen behärskar med stor sannolikhet stoffet. En elev som gjort något fel eller som inte har hunnit med alla uppgifter bör följas upp. Skulle det alltså vara så att en elev har missat en enda uppgift, är det en enkel sak att ge eleven en muntlig fråga på uppgiften. Inom ett par sekunder kan man då avgöra om eleven behärskar den på rätt sätt eller inte. Om eleven därvid klarar uppgiften, ändras självklart resultatet till godkänd. Det är ju inte testpoängen som är det intressanta utan om eleven har en riktig tankeform.
Diagnosens karaktär av stickprov leder till en del konsekvenser. Bl a är osäkerhetsfaktorn ett problem. Egentligen bör man därför så ofta det är möjligt byta den formella diagnosen mot en strukturerad intervju med varje elev. Denna dialog är emellertid av tidsskäl oftast helt orimlig att genomföra med alla elever. Genom att vara observant när man ger testet, kan man emellertid delvis kompensera för diagnosens brister. Om man under testets genomförande studerar hur eleverna arbetar, kan man t ex avslöja att vissa av dem är fingerräknare eller nickare. Detta är i så fall ett viktigt komplement till resultatet. En elev som har alla rätt på diagnosen kanske bara behärskar 12 av 15 uppgifter på rätt sätt. Tiden räcker emellertid till för att eleven ska hinna räkna resten av uppgifterna på fingrarna. Men den formen av färdighet är ju inte godkänd! Problemet måste alltså noteras och eleven behandlas, trots att alla uppgifterna fått korrekta svar. Sammanfattning För att kunna göra en tillförlitlig diagnos (i det här fallet på tabellkunskaper i multiplikation), krävs det att man är medveten om hur färdigheten används på ett övergripande plan. Ställs målet fel blir diagnosen meningslös. Utgående från målet gäller det att välja ut ett så representativt stickprov som möjligt. Detta stickprovsbaserade test ska därefter bjudas i en situation, som så nära som möjligt liknar den som leder till det övergripande målet. Vid bedömningen av testresultatet måste man vara medveten om testets begränsade möjligheter och därför följa upp varje tveksamhet med kompletterande frågor. Om eleven då visar sig behärska stoffet, är eleven självklart godkänd. Observera att detta i realiteten är en funktionell form av diaglogpedagogik. Dialogen inleds med en gemensam skriftlig fråga. Elevernas första replik ges i diagnosen, och utgående från denna bedömer läraren vilka elever man bör fortsätta dialogen med och vad i så fall innehållet i dialogen bör handla om. Ett nytt exempel Att behärska en räknetabell är en ganska begränsad form av färdighet. Jag väljer därför ett nytt exempel, som är något mer komplicerat, nämligen multiplikationsalgoritmen. Jag utgår därvid än en gång från att målen i Lgr 80 gäller och att ett av dessa mål är att alla elever senast under mellanstadiet ska lära sig behärska multiplikation av ett ensiffrigt tal med ett tvåsiffrigt. Jag rekommenderar samtidigt läsaren att fundera över hur t ex ekvationslösning, bråk- eller procenträkning kan diagnostiseras med samma metod. Vi börjar i vanlig ordning med målfrågan. Här kan vi i dag falla tillbaka på PUMP-projektets analyser av de fyra räknesätten. Vi utgår alltså från den senaste matrisen för multiplikation (2): Multiplikationsmatrisen är uppbyggd så här. Om jag tänker undervisa om multiplikation med enkel minnessiffra, finner jag den typen av uppgift i ruta M33. De nödvändiga förkunskaper som då behövs finns i de rutor som finns ovanför och till vänster om M33, bl a i M31 och M13. Samtidigt är det så att ruta M33 representerar de samlade kunskaper som svarar mot dessa rutor. Målet för diagnosen var den här gången multiplikation med ena faktorn ensiffrig och andra faktorn tvåsiffrig. I matrisen svarar detta mot ruta M45. En elev som behärskar den uppgiftstypen har med stor sannolikhet nått målet. Hur konstruerar man testet den här gången? Ja, nu är det omöjligt att testa hela uppgiftspopulationen. Det gäller alltså att välja ett lämpligt stort stickprov. Med hjälp av den s k styrkefunktionen kan man visa att ett stickprov på 5 6 uppgifter ger tillräckligt god säkerhet. Hur ska testet se ut och hur ska det bjudas? För det första gäller det att göra klart för sig vilken typ av kunskap man är ute efter. Om det är att kontrollera huruvida eleverna kan utföra en uppställd beräkning, bör uppgifterna redan vara uppställda, och för att spara tid bör uppgifterna lösas på testformuläret. Vill man för det andra samtidigt kontrollera om eleverna också kan ställa upp uppgifterna, ger man även ouppställda uppgifter. Det gäller emellertid att göra det exakta syftet så klart för sig, att man inte mäter flera saker samtidigt och därmed missar viktig information om de ingående delarna. Detta är ett av de vanligaste misstagen vid konstruktion av diagnoser. I det här fallet behöver inte testet ges på tid. Uppgifterna är alltför komplicerade för att en elev ska kunna fuska sig fram, t ex med hjälp av fingrarna. Däremot är kravet på alla rätt lika stort som vid huvudräkning. Om t ex en av sex
uppgifter blir fel i det här fallet, blir sannolikt närmare var tredje uppgift fel vid multiplikation av två tvåsiffriga tal. Och ett sådant resultat kan inte vara speciellt uppmuntrande för en elev. Men det kanske inte gör så mycket om en elev inte behärskar multiplikation just nu? Får eleven bara öva ett tag till, sker väl en inlärning medan han övar? Tyvärr är detta en myt. Det hela handlar om vad man övar, inte att man övar! En elev som inte förstått en grundläggande princip eller som saknar en förkunskap kan mycket sällan korrigera detta på egen hand genom att räkna fler uppgifter av ett slag som han inte har förutsättningar att klara. (Vore det så skulle ju vi lärare vara helt överflödiga.) Samtidigt vet vi att möjligheterna till inlärning ökar betydligt om alla förkunskaper är väl inövade. Alltså satsa på fakta, inte på myter och förhoppningar! Bedömningen av det enskilda testet följer i övrigt de tidigare nämnda tumreglerna. Har en elev alla uppgifter rätt, har eleven med stor sannolikhet nått målet. Har en elev räknat fel på en enstaka uppgift, bör man alltid följa upp felet t ex genom att be eleven räkna om uppgiften högt. Antingen upptäcker man då att eleven faktiskt kan och godkänner svaret eller också avslöjar eleven vilket tankesteg som var felaktigt och ger därmed underlag för en åtgärd. Elever med mer än ett fel har med stor sannolikhet flera kunskapsluckor som bör följas upp. Poängen med PUMP-matriserna är att de ger möjligheter att mera i detalj följa upp dessa elever. Samtidigt ger de hjälp åt läraren att bygga upp individuellt anpassade träningsprogram. Resursfrågan En intressant fråga är om den här typen av test ger tillräcklig information som underlag för en resursdiskussion. Svaret på den frågan kan bli både ja och nej beroende på vad man egentligen menar. I de flesta klasser finns det elever med bristande färdigheter som det kan vara svårt att komma tillrätta med inom klassens ram. Man önskar kanske då ge speciell hjälp åt dessa elever. Men för att kunna fatta ett sådant beslut måste man på något sätt kunna bedöma att hjälpen behövs. Och för att kunna precisera hur och till vad resursen ska användas krävs ett nytt beslut. Vare sig dessa beslut grundas på intuition eller på diagnostiska test, har man när allt kommer omkring faktiskt använt ett instrument i resursfördelande syfte. Instrumentet är därmed redan ett led i en resursfördelning. Nu uppstår ett antal intressanta frågor. Är den typ av test jag nyss beskrivit ett tillräckligt bra instrument för att bilda ett (av många) underlag för en resursfördelning? Vilken roll ska i så fall ett sådant test få spela och vem avgör slutgiltigt detta? Låt mig ta upp frågorna i tur och ordning. Tillräckligheten Det test på multiplikationsalgoritmen jag nyss gav är i isolerad form av begränsat intresse. Med det testet kan jag bara avgöra om en viss färdighet finns eller ej. Jag får däremot inte någon uppfattning om vad som ligger bakom problemet, t ex vilka förkunskapsbrister som lett till problemet. Därmed har jag heller inte någon uppfattning om vare sig hur allvarligt problemet är eller hur stora insatser som behövs för att lösa det. Med hjälp av PUMP-projektets strategier kan jag komma betydligt längre. Genom de studier av svenska elevers räknefärdigheter som gjordes inom projektet, vet vi i dag vilka förkunskapsbrister som är de sannolikaste orsakerna till olika fel. Om man kompletterar diagnosen med test på dessa förkunskaper, får man ett viktigt komplement till diagnosen. Som lämpliga deltest till M45 kan man t ex från matrisen välja M22 (dvs multiplikationstabellen) och M31 eller M42 (dvs algoritm utan minnessiffra). Studerar man nu hur olika elever lyckas på de olika deltesten, kan man bilda sig en klarare uppfattning om deras individuella problem. Detta underlag kan man sedan använda inom klassen eller arbetsenheten för att planera sin eller arbetslagets undervisning informera elever och föräldrar om vad respektive elev faktiskt kan eller närmast bör arbeta på att förbättra informera en mottagande lärare om vad eleverna för tillfället kan, t ex vid en stadieövergång. Vem avgör? Självklart måste det vara någon eller några som i sista hand fattar beslut om hur kommunens, skolans eller arbetslagets resurser ska fördelas. Det är därför viktigt att dessa personer har en så allsidig information som möjligt om vilka behov som finns. En diagnos av det mer utförliga slaget bidrar genom sin allsidighet till att ge sådan information. Men man måste vara medveten om att denna information är svår att beskriva i kvantitativa termer och att det är läraren eller lärarlaget som besitter den kvalitativt viktigaste informationen. Bedömningen av vilken resurs som bör tilldelas ett visst konkret behov kan därför knappast toppstyras. Den bör snarare göras av den som har behovet och då med en så konkret beskrivning som möjligt av problemets natur. Det är i den här situationen det kan vara värdefullt att ha ett gemensamt instrument som bakgrund. Genom att falla tillbaka på ett instrument blir det lättare att jämföra olika resurskrav med varandra. Man kan därmed till viss del eliminera risken för att den som är mest verbalt begåvad eller som har högst röst också får mest resurser. Längre än så här är det svårt att komma
med den erfarenhet och de kunskaper man har idag. Något om SÖ:s diagnostiska uppgifter i matematik De diagnoser som utarbetats av skolöverstyrelsen är avsedda att ge en hjälp vid diagnostisering av elevernas grundläggande kunskaper och färdigheter. Avsikten är alltså inte att de ska täcka alla nivåer och alla delmoment inom grundskolans kursplan i matematik. I avsikt att spara tid och utrymme har SÖ:s diagnoser inte på alla punkter getts de kvaliteter som jag tidigare beskrivit. Trots dessa och andra brister anser jag att diagnoserna representerar ett nytt och viktigt steg i svensk matematikundervisning. Jag hoppas av det skälet att diagnoserna får stor spridning och att de kommer att användas på ett förnuftigt sätt. Jag ska ge ett par konkreta exempel på vad jag menar och samtidigt ta upp ett annat viktigt stoff att utvärdera, nämligen problemlösning. Jag utgår därvid från följande två uppgifter från F-delen i årskurs 9-testet.
Hur ska man bedöma lösningen på uppgift F4? Eftersom det här är en diagnos är det av mindre intresse om svaret är rätt. Viktigare är om eleverna generellt sett behärskar den här typen av uppgift. Om en elev har kommit fram till svaret genom att gissa och pröva, saknar han kanske vissa färdigheter i problemlösning. Han bör i så fall snarast skaffa sig dessa. Om han å andra sidan kommit fram till svaret genom en division i huvudet och samtidigt på deltest D4 (i SÖ:s diagnostiska uppgifter) visat att han kan dividera, är saken klar. Lägg märke till att det är de tankeformer en elev använt som är föremål för diagnostik, inte huruvida svaret råkade bli rätt. Även i det här fallet måste varje osäkerhet om elevens kunskaper följas upp. Detta understryker på nytt det felaktiga i att kvantifiera resultatet, att ange medelvärden m m. Provet avser nämligen enbart att mäta kvalitet. Observera samtidigt att det är relativt poänglöst att lägga formella aspekter på den här typen av diagnos. Rätt svar på uppgift F4 är 19, eftersom det frågas efter ett mätetal. Skulle eleven felaktigt svara med enhet, alltså 19 mål, bör emellertid även det tolkas som rätt svar. Uppgift F5 ska självklart bedömas på motsvarande sätt. Uppgiften blev rätt enligt svaret, men de tankeformer eleven använde är inte generellt gångbara. Släpper man den här eleven utan att undersöka om hon också kan lösa uppgiften med hjälp av multiplikation, har man sannolikt stängt in henne i en olycklig återvändsgränd. Hon kanske förblir en plussare. Den här lösningen måste därför följas upp med frågor av typen: Kan man göra på något annat sätt? Om eleven då använder en generellare metod är saken klar, i annat fall måste uppgiftstypen följas upp. Observera emellertid att eleven självklart ska få reda på att svaret är rätt, men också att det finns bättre metoder och att det är viktigt att kunna dem. En del lärare har förundrat sig över att beräkningarna är så enkla på F-delen. Det finns emellertid en tanke bakom detta. Om avsikten är att diagnostisera problemlösningsförmåga, får uppgifterna inte konstrueras på ett sådant sätt att eleverna blockeras av de ingående talen eller beräkningarna. Då mäter man fel saker. Samtidigt kan man trots detta bilda sig en uppfattning om hur eleverna skulle ha klarat aritmetiskt sett svårare problem genom att koppla F-delen till D- delen, som handlar om algoritmkunskaper. Detta är ännu ett exempel på den helhetssyn, som jag beskrev i samband med multiplikationsdiagnosen ovan. Återigen kan man få en djupare information genom att låta flera deltest samspela. Exemplet belyser på nytt det orimliga i att kvantifiera i termer av hur många rätt eller fel en elev har. Det intressanta är i stället vad eleven verkligen kan och vad hon bör lära sig. En kort önskelista Jag har i den här artikeln i första hand gett konkreta exempel på hur man kan bygga upp diagnoser i aritmetik. Detta är ett område som vi väl behärskar i dag. På de flesta andra områden vet vi däremot förvånansvärt lite om hur en inlärning bör struktureras och hur sunda tankeformer kan byggas upp. Detta märks inte minst i SÖ:s diagnoser. Jag hoppas kunna återkomma med konkreta exempel på detta problem i en senare artikel i Nämnaren. Inte förrän vi byggt upp en metodisk kunnighet även inom andra områden och därvid analyserat kvalitativa skillnader i olika typer av innehåll och mål, är det rimligt att göra mer tillförlitliga diagnoser. Ett annat område som vi borde satsa på är de longitudinella utvärderingarna. Kommer vi t ex att utvärdera nuvarande läroplan? Hur vet vi annars vad som blev mindre lyckat och som vi därför bör ändra på vid nästa läroplansarbete? Med tanke på att standardproven försvunnit i åk 3 och åk 6, har vi inte längre något instrument som talar om vilka förskjutningar i kunskapsstandard som nu är på gång. Detta är en allvarlig brist både på det lokala och det nationella planet. I åk 8 eller 9 är det ju väl sent att fundera över vad eleverna lär sig. En god lösning på detta problem finner man t ex i de amerikanska NAEP 1 -undersökningarna. Genom ett stickprovsförfarande som påminner om våra väljarbarometrar, känner man där med jämna mellanrum av vart kunskapsvinden blåser. På det sättet blir det möjligt att i god tid konstatera brister eller trender inom olika områden. Det blir också möjligt att utföra ett kontinuerligt och verklighetsförankrat läroplansarbete. Samma typ av utvärderingsarbete borde vara minst lika viktig på det lokala planet, för att successivt anpassa den lokala arbetsplanen till elevernas förmåga och samhällets krav. Referenser (1) Miller, G: Kommunikation och psykologi. J Bäckmans bokförlag, Stockholm 1969. (2) Räkning. Liber Utbildningsförlaget, Stockholm 1982. 1 NAEP = National Assessment of Educational Progress.