Praktiska kunskapsprov i TIMSS

Praktiska kunskapsprov i TIMSS Anna Hofslagare Här diskuteras uppgifter av laborativ karaktär, som prövats i TIMSS och visat sig användbara i klassrumssammanhang. I nästa nummer presenteras några uppgifter som du kan pröva själv i åk 3-10. Inledning TIMSS, Third International Mathematics and Science Study, är världens hittills största jämförande studie inom utbildningsområdet. Den genomfördes 1995 med 40 deltagarländer och med elever från tre olika åldersgrupper. Det huvudsakliga syftet var att studera elevernas förvärvade kunskaper i matematik och naturvetenskapliga ämnen och olika faktorer som är av betydelse för elevers lärande. 13-åringarnas prestationer, mätta med ett teoretiskt kunskapsprov, har redovisats i Skolverkets rapport nr 114 (1996b) och i tidigare artiklar i Nämnaren (Johansson & Emanuelsson, 1996; Adolfsson, 1997; Adolfsson, Johansson & Ryding, 1997). Provet bestod till största delen av flervalsfrågor, men också av kortsvars- och långsvarsuppgifter, där eleven själv skulle formulera svar och redovisa lösningar. I denna artikel riktas uppmärksamheten på en alternativ utvärderingsform, ett sk praktiskt prov, som genomförts i TIMSS. Elever, lärare och skolledare har varit positiva till detta och de flesta elever visade både intresse och arbetsglädje under genomförandet. Syftet med artikeln är att sprida idéerna och stimulera andra lärare att pröva denna provform. En rapport med redovisning av det praktiska kunskapsprovet i sin helhet har på uppdrag av Skolverket sammanställts vid Enheten för pedagogiska mätningar vid Umeå universitet. Anna Hofslagare är universitetsadjunkt vid Enheten för pedagogiska mätningar, Umeå universitet och har lång erfarenhet som matematiklärare i gymnasiet. Ny provform De deltagande länderna i TIMSS erbjöds således att delta i ett kunskapsprov, som bestod av sk praktiska uppgifter i naturvetenskap och matematik, med ett mindre urval elever. Sverige och tjugo andra länder deltog i gruppen 13-åringar. I de flesta länder innebar detta elever i årskurs 8, men i Sverige, Norge och Schweiz årskurs 7. Ett fåtal länder prövade också praktiska uppgifter på nioåringar. Uppgifterna var samma som för 13-åringarna, men med fler deluppgifter inom färre moment. I TIMSS syftar uttrycket praktiskt kunskapsprov på användning av uppgifter som skall lösas med hjälp av instrument och materiel och som ska mäta elevers kunnande i teori och tillämpning. Uppgiften kan vara så enkel att det bara gäller att använda viss utrustning riktigt eller så komplex som att genomföra en hel undersökning. Eleverna får använda viss utrustning i en realistisk problemlösningssituation som är mer verklighetsnära än traditionella uppgifter på skriftliga papper-och-penna prov. Förespråkare menar att en väl utformad uppgift i ett praktiskt prov, med lämpliga rättningsmallar, kan lyfta fram en rik variation i elevprestationer. Den kan ge både lärare och elever möjlighet till en djupare förståelse av kunskapsprocesser och problemlösningsstrategier: Eleven stödjer sig på kunskaper som verkar relevanta, och visar styrka, svagheter och missuppfattningar. Eleven prövar olika ansatser, som var och en demonstrerar kunskaper om fenomens olika utmärkande drag. 21

Eleven får möjlighet att visa ett helhetsgrepp i en uppgift, vilket kan leda till att eleven identifierar mönster, gör slutledningar eller förutsägelser och relaterar sina iakttagelser till den ursprungliga frågan. Det praktiska kunskapsprovet Provet omfattade uppgifter i naturvetenskapliga ämnen och matematik. I skolan är dessa ämnen ofta integrerade genom att matematik erbjuder metoder för problemlösning och naturvetenskap praktiska tillämpningar. Det ansågs därför viktigt att i några uppgifter bedöma delmål från båda områdena. Det blev fem uppgifter i naturvetenskap och fem i matematik samt två med inslag från båda ämnena, se exempel på nästa sida. (I nästa nummer kommer några matematikuppgifter att presenteras i sin helhet.) Uppgifterna konstruerades med inriktning på de årskurser där majoriteten av 13- åringar finns. I vissa länder deltog även 9- åringar i provet. Ett omfattande förarbete har lagts ner sedan de första diskussionerna 1992. Mer om detta finns att läsa i Kinds doktorsavhandling (1996). Där kan man t ex läsa om kategorisering av olika prestationer. Det praktiska provets olika aktiviteter försågs med deluppgifter för att olika prestationer skulle kunna värderas under arbetets gång. Varje naturvetenskaplig uppgift börjar med ett problem eller en undersökning med fokus på användning av verktyg, sedan följer rutinprocedurer samt tillämpning av naturvetenskapliga metoder och undersökning av förhållanden i den omgivande verkligheten. I matematikuppgifterna får eleverna börja med att utföra rutinoperationer. Sedan följer mer komplexa moment, som kräver sortering och analys av data samt skapande av egna problemlösningsstrategier. Fokus ligger alltså på användning av procedurer samt på undersökningar och problemlösning. Samtliga uppgifter presenterades skriftligt på strukturerade arbetsblad. På dessa redovisade eleverna också svaren på alla delfrågor. Det var inte möjligt inom givna ramar att inkludera observationer av elever under arbetet. Bedömningar har enbart gjorts av elevens skriftliga redovisning. Genomförandet i Sverige I Sverige utfördes de praktiska proven i 50 skolor med 450 elever från årskurs 7. De valdes slumpmässigt ur klasser, som också deltog i det teoretiska kunskapsprovet. Varje elev gjorde tre till fem uppgifter ordnade i stationer. Varje provgrupp bestod av nio elever och provtiden var 90 minuter. Enkel utrustning för provtillfället togs fram vid Institutionen för matematik och naturvetenskapliga ämnen vid Umeå universitet. Uppsättningar gjordes i ordning för lärarutbildare som fungerade som provledare ute i skolorna i olika delar av Sverige. Internationella jämförelser De svenska 13-åringarnas totalresultat på TIMSS praktiska kunskapsprov ligger över det internationella genomsnittet och placerar Sverige högt bland deltagarländerna. En betydelsefull faktor vid jämförelsen mellan länder är läroplaner och undervisningstraditioner. I Lgr 80, som eleverna läst efter, betonas ett undersökande arbetssätt i naturvetenskapliga ämnen och en problemorienterad undervisning i matematik. De svenska elevernas resultat är därför inte förvånande. Resultatet är också helt i linje med det övergripande målet att eleven skall förvärva god förmåga att lösa vardagsproblem. Även i det andra kunskapsprovet i TIMSS hade svenska elever bra resultat i verklighetsanknutna uppgifter (Adolfsson m fl, 1997). Resultat på olika provdelar I det teoretiska kunskapsprovet i TIMSS dominerade flervalsfrågor, där enbart svaren bedömdes. Det praktiska kunskapsprovet är ett steg i riktning mot att samla in ytterligare information om elevers arbetssätt, planering och genomförande och sätt att tänka. Hur ser resultaten ut för de länder som deltagit i båda proven? Vad finns det för likheter och skillnader? Tabellen på nästa sida visar hur de länder, som deltagit i både det teoretiska och det praktiska provet med 13-åringar, placerar sig efter resultat i naturvetenskap och 22

matematik. Det är värt att notera att flera av de högt placerade länderna i det teoretiska provet inte har genomfört det praktiska kunskapsprovet. Länderna har utifrån resultaten delats i två grupper, med sju länder i den ena och fyra i den andra. I den första gruppen ligger alla resultat över motsvarande internationella genomsnitt (med undantag för Norge och Nya Zeeland, som ligger något under i det teoretiska provet i matematik). På motsvarande sätt ligger resultaten i den andra gruppen under motsvarande internationella genomsnitt (med undantag för Spanien, som ligger något över i det teoretiska provet i naturkunskap). Singapore intar en särställning och presterar högst på alla provdelar. Medelprestationerna i olika länder visar f ö stora likheter i olika prov och ämnen. I naturvetenskap visar Schweiz ett avvikande mönster. Schweiz ligger i det praktiska provet på andra plats och i det teoretiska sist bland de sju främsta. Kursplanen i naturvetenskapliga ämnen betonar sedan ett tiotal år metodkunskaper framför faktakunskaper samt tillämpningar från vardagslivet (Robitaille, 1997). Detta kan vara en möjlig förklaring till att eleverna i Schweiz presterar så bra på det praktiska kunskapsprovet. Tabell 1. Deltagarländer, ordnade efter resultat på de teoretiska och praktiska kunskapsproven i naturvetenskap och matematik. Enbart länder som uppfyllt krav på urval och deltagande i båda proven har tagits med i jämförelsen. Exempel på praktiska uppgifter i TIMSS I texten ges instruktioner och deluppgifter i flera steg. Tärning Hjälpmedel: En tärning, en plastmugg Instruktion: Ta reda på vad som händer när du kastar en tärning och sedan ändrar talet den visar med hjälp av en särskild regel. Minräknare Hjälpmedel: Miniräknare Instruktion: Använd miniräknaren för att hitta ett siffermönster. Med hjälp av det här mönstret ska du sedan förutsäga svaren till några uppgifter. Vik och klipp Hjälpmedel: 9 pappersark, en sax, ett kuvert Instruktion: Vik och klipp pappersarken så att de får samma form som de figurer vi gjort. Du får vika varje ark så många gånger du vill, men du får bara göra ETT ENDA rakt klipp. Även i matematik är rangordningen mellan de sju länderna i stort densamma i det praktiska som i det teoretiska provet. Överensstämmelsen är något sämre än i naturkunskap. Norge, Tjeckien och Sverige står för de större avvikelserna. Svenska och norska elever presterar bra på det praktiska provet. I Lgr 80 var problemlösning det första huvudmomentet, och skulle inrymmas i alla andra huvudmoment vid undervisning i matematik. En likartad lydelse finns i den norska läroplanen. Betoning av problemlösning i vardagliga situationer kan förklara skillnader i resultaten mellan det teoretiska och det praktiska provet. Resultaten från det teoretiska kunskapsprovet visade också att svenska elever klarade uppgifter med vardagsanknytning bäst. Flera östeuropeiska stater visade höga prestationer i det teoretiska provet, men bara Tjeckien deltog i det praktiska. Man kan notera att även om resultatskillnaderna inte är stora så har Tjeckien lägre placering i de praktiska proven, i synnerhet i matematik. Där finns en stark Naturvetenskap Matematik Teoretiskt Praktiskt Teoretiskt Praktiskt 1 Singapore Singapore Singapore Singapore 2 Tjeckien Schweiz Tjeckien Schweiz 3 Sverige Sverige Schweiz Sverige 4 Kanada Tjeckien Kanada Norge 5 Norge Kanada Sverige Tjeckien 6 Nya Zeeland Norge Nya Zeeland Kanada 7 Schweiz Nya Zeeland Norge Nya Zeeland 8 Spanien Spanien Spanien Iran 9 Portugal Iran Cypern Spanien 10 Iran Cypern Portugal Portugal 11 Cypern Portugal Iran Cypern 23

Puls Magneter Batterier Gummiband Lösningar Skuggor Modellera Tärning Miniräknare Vik och klipp Runt hörnet Paketering Sverige Internationellt 0 20 40 60 80 100 procent Figur 1. Genomsnittligt procent rätt på de praktiska uppgifterna för Sverige och internationellt. tradition i likhet med övriga östeuropeiska stater att undervisa en formell, teoretisk matematik, där aritmetik, algebra och geometri haft stort utrymme. Att tjeckiska elever har en speciell styrka inom dessa områden syntes i det teoretiska provet. Pojkar och flickor jämngoda Medelprestationerna i det praktiska kunskapsprovets totalpoäng för flickor respektive pojkar i alla länder uppvisar inga skillnader. Detsamma gäller för deltagarländernas totalresultat. I nästan alla länder presterar pojkar och flickor lika bra på det praktiska provet, även i enskilda uppgifter i naturvetenskap och matematik. Detta resultat är överraskande och väcker nyfikenhet. Det liknar inte det teoretiska provets, där resultaten i naturvetenskap i alla länder (utom Cypern) är bättre för pojkarna. I matematik är det likadant (även på Cypern). En hypotes är att de könsskillnader som återfinns inom länder på enskilda uppgifter eller deluppgifter tar ut varandra när man när man tar fram genomsnittsresultat. Eller kan det vara så att i det praktiska provet inte ställs samma krav på faktakunskaper som på det teoretiska? Data som presenterats i resultaten i de enskilda uppgifterna ger visst stöd för dessa hypoteser. Det nära perspektivet Internationella och nationella medelprestationer är grova mått, som kan dölja skillnader i resultaten i såväl uppgifter som enskilda deluppgifter. Vid beräkningen av medelprestationer för deltagarländerna har alla uppgifter getts samma vikt. Man har alltså inte tagit hänsyn till att vissa uppgifter består av fler deluppgifter än andra eller att antal poäng på deluppgifterna är olika. Svårighetsgraden varierar och olika slag av prestationer prövas. Rangordningen av uppgifter efter procent rätt i genomsnitt är i stort sett densamma för svenska elever som i hela studien (se figur 1). För att få en tydligare bild av elevers styrka och svagheter i olika länder behövs det närmare studium på uppgiftsnivå, med resultat även på deluppgifter. De internationella resultaten på deluppgifterna visar att eleverna övertygande kunde genomföra olika procedurer och använda den utrustning som behövdes. Däremot hade eleverna betydligt svårare att i ord beskriva procedurer eller mönster. Enligt resultaten är det allra svårast att förklara utfall och generalisera från undersökningsresultat. En förklaring till detta resultatmönster kan vara att eleverna klarar den praktiska hanteringen men saknar kunskaper om begrepp och samband. En illustration till detta ges av några svenska elevsvar på uppgiften Batterier (fysikuppgift). Eleverna kan placera batterier rätt i en ficklampa, men när de ska förklara varför det är rätt kommer uttryck som plus mot minus eller plus mot lampa fram minnesregler, som döljer snarare än visar förståelse. En annan tolkning kan vara att det är svårare att formulera och beskriva kunskaper än att tillämpa dem operationellt. Eleverna förefaller ha svårt att verbalisera sitt kunnande i både naturvetenskap och ma- 24

tematik. Detta stöds av svenska resultat i flera uppgifter. I uppgiften Modellera klarar t ex fler elever av att lösa problemen än att beskriva hur de gått till väga. I uppgiften Miniräknare är det fler som kan använda sig av mönstret som uppstår än som kan beskriva det. Det finns en del elevsvar som tyder på att många elever inte ser någon skillnad i att beskriva t ex förändring och att förklara den. De goda svenska prestationerna till trots antyder ändå resultaten att det i undervisningen behövs mer utrymme för samtal och diskussioner kring de vardagsproblem som elever möter. Elevernas kunnande bör utvecklas så att de kan motivera sina svar, redovisa sina tankegångar och kommunicera i olika situationer. Redan i Lgr 80 betonas under huvudmomentet problemlösning vikten av att tala matematik och än tydligare framhävs kommunikation i kursplanen i Lpo 94. Där finns t ex följande övergripande mål att sträva mot: Skolan skall i sin undervisning sträva efter att eleven... förstår och kan använda logiska resonemang, dra slutsatser och generalisera samt muntligt och skriftligt förklara och argumentera för sitt tänkande. (Skolverket, 1996a, s 51) Sammanfattning Det är viktigt att i varje land få en nyanserad bild av elevernas kunnande. Det praktiska provet har gett ett tillskott, som lockar till fortsatt studium och vidareutveckling av aktiviteter som passar i småskaliga sammanhang. TIMSS praktiska prov är ett steg i riktning mot att skaffa kunskaper om elevens arbetssätt, planering och genomförande samt sätt att tänka. Ändamålet är att observera elevers förmåga att hantera sina matematiska och naturvetenskapliga kunskaper, med betoning på undersökande arbetssätt. Därigenom kan man komplettera de bedömningar av elevers kunskaper, som mer traditionella, skriftliga prov ger möjlighet till. Internationella jämförelser är av flera skäl komplicerade att göra. Provet syftade till att pröva öppna undersökande uppgifter. Det visade sig dock under utprövningarna att med alltför öppna uppgifter blev bedömningen av resultat olika (låg reliabilitet). Av den anledningen strukturerades arbetsbladen med deluppgifter, som begränsade möjligheterna till information om elevers idéer till en egen ansats. Öppnare aktiviteter är lättare att hantera i den vanliga provsituationen i klassrummet. Man kan använda mindre strukturerade svarsblad så att eleverna oberoende och efter eget val kan genomföra aktiviteterna med olika ansats. I TIMSS fyller de strukturerade arbetsbladen dock en viktig funktion, för att ge en nödvändig dokumentation av en systematisk undersökning. Läraren i klassrummet har även fördelen av att kunna göra observationer under elevernas arbete och efteråt samtala om uppgifterna med eleverna. Därigenom ges ytterligare bidrag till kunskaper om elevers ämnesförståelse och skicklighet. Ur administrativ synpunkt var det praktiska provet lyckat; den relativt enkla utrustning som TIMSS-uppgifterna krävde innebar nästan inga praktiska eller tekniska problem. Eleverna verkade nöjda med provsituationen. Svårighetsnivån på uppgifterna passade 13-åringarna bra, men uppgifterna kan säkert prövas med yngre elever och äldre under friare former och i förenklade eller förnyade versioner (se Nämnaren nr 1, 1998). Referenser Adolfsson, L. (1997). Är svenska elever dåliga i algebra och geometri? Nämnaren 24(1), 21-25. Adolfsson, L., Johansson, B. & Ryding, R. (1997). TIMSS-uppslaget kommenteras. Nämnaren 24(2), 26-27. Johansson, B. & Emanuelsson, G. (1996). Visar TIMSS att vi är på rätt väg? Nämnaren 23(4), 2-7. Kind, P. M. (1996). Exploring Performance Assessment in Science. Universitet i Oslo. Robitaille, D. F. (Ed.) (1997). National Context for Mathematics and Science Education. Vancouver: Pacific Educational Press. Skolverket (1996a). Grundskolan. Kursplaner och betygskriterier. Stockholm: C E Fritzes AB. Skolverket (1996b). TIMSS. Svenska 13-åringars kunskaper i matematik och naturvetenskap i ett internationellt perspektiv. Skolverkets rapport nr 114. Stockholm: Liber distribution 25