07-03-09 TORULF PALM 1

07-03-09 TORULF PALM 1

Prov, betyg och bedömning Torulf Palm Institutionen för Matematik, Teknik och Naturvetenskap Umeå universitet 07-03-09 TORULF PALM 2

Händelser från skolvardagen Martin har bedömt en elevs provresultat med ett IG. Eleven ifrågasätter provet och denna bedömning hos rektor, som ber Martin argumentera för sin sak. Han känner sig osäker om vilka argument han ska använda och om de är hållbara (för sig själv och de andra), och känner sig illa till mods över detta. Mia har jobbat många år som lärare och är någorlunda nöjd. Han funderar dock på hur hon skulle kunna utveckla sin undervisning ytterligare för att än bättre hjälpa eleverna i deras lärande. 07-03-09 TORULF PALM 3

BETYG Läraren skall: vid betygssättningen utnyttja all tillgänglig information om elevens kunskaper i förhållande till kraven i kursplanen och göra en allsidig bedömning av dessa kunskaper. (Lpo 94) 07-03-09 TORULF PALM 4

Definition Assessment - Bedömning Assessment is the process of gathering, interpreting, and synthesizing information to aid decision making [in the classroom]. (Airaisian, 2001, sid. 16). Assessment is the process of gathering evidence about a student s knowledge of, ability to use, and disposition toward, mathematics and of making inferences from that evidence for a 5 variety of purposes (NCTM, 1995, p.3).

Syften med bedömning Kunskapsgaranti o lämplighet/förutsättning (för individ och system) (Information för t ex antagning/anställning och systemförändring) Konkretisering av mål och kriterier Lärande 07-03-09 TORULF PALM 6

Pallen 07-03-09 TORULF PALM 7

Pallen med linjal 07-03-09 TORULF PALM 8

Stolen 07-03-09 TORULF PALM 9

Bedömningsprocessen (Nyström, 2004) Inferenser Bedömnings situation Prestation Omdöme Konsekvenser 07-03-09 TORULF PALM 10

Kvalitet i bedömningar Spelar det någon roll? Är vi i behov av att våra bedömningar är av hög kvalitet? Vad är hög kvalitet? Hur vet vi om vi har hög kvalitet? Kan vi åstadkomma hög kvalitet? 07-03-09 TORULF PALM 11

Ur Zen och konsten att sköta en motorcykel (Robert M. Pirzig) Tanken dök upp på nytt. Kvalitet? Det låg något irriterande, rentav mycket irriterande i frågan. Han funderade på den saken, och funderade sedan litet till, och tittade sedan ut genom fönstret och funderade sedan litet till. Kvalitet? Kvalitet visst vet man vad det är för något, men samtidigt vet man det inte. Så uppenbarligen måste en del saker vara bättre än andra men vad är det då som gör dem bättre? 07-03-09 TORULF PALM 12

Ditt senaste konstruerade prov 1. Var det bra? 2. Varför? Varför inte? 3. Hur vet du det? 4. Hur avgör du om ett prov är bra eller inte? 07-03-09 TORULF PALM 13

Två klassiska kvalitetsbegrepp i samband med bedömningar Validitet Att bedöma det man vill bedöma och inte annat Hög validitet innebär minimering av systematiska fel Två grundläggande hot: construct-irrelevant variance och construct underrepresentation (Messick, 1989) Reliabilitet Bedömningens tillförlitlighet Hög reliabilitet innebär minimering av slumpmässiga fel Tre grundläggande hot: person-by-task interaction, inter-rater variation och temporal instability (Nyström, 2004) 07-03-09 TORULF PALM 14

Men Är inte validitet och reliabilitet tekniska begrepp som identifieras med metoder för att studera graden av validitet och reliabilitet Sammankopplas ofta med naiv empirism och en positivistisk grundsyn Detta innebär att de problem som fångas av begreppen släpps ut med badvattnet Begreppen validitet och reliabilitet handlar om problem som finns i alla former av bedömningar! 07-03-09 TORULF PALM 15

Ett utvecklat validitetsbegrepp Validitet är en integrerad utvärderande bedömning av i vilken grad empiriska belägg och teoretiska överväganden stöder det lämpliga och riktiga i inferenser och åtgärder baserade på resultat från prov och andra former för bedömning. (Messick, 1989) 07-03-09 TORULF PALM 16

Tukey s broar (Kane, Crooks & Cohen, 1999) PRESTATION OBSERVERAD POÄNG GENERALISERAD POÄNG MÅLPOÄNG 07-03-09 TORULF PALM 17

Kriterier för bra bedömningar Konsekvenser Samstämmighet Rättvisa och likvärdighet Överföring och generaliserbarhet Innehållslig kvalitet Kognitiv komplexitet Innehållslig täckning Språklig nivå och kvalitet Meningsfullhet Användbarhet och kostnad 07-03-09 TORULF PALM 18

Fyra nödvändiga områden för att kvalitetssäkra bedömningar Nyström (2004): Validitetsteori (Hur är en bedömning när den är bra?) Bedömningens syfte (Varför görs bedömningen och vad ska resultatet användas till?) Mål som ska utvärderas (Vad är det egentligen som ska bedömas? Kunskapssyn (Hur ser kunnandet ut?) 07-03-09 TORULF PALM 19

VAD ska vi bedöma Matematikens syfte och roll Skolan skall sträva efter att eleven Mål att uppnå (Bedömningens inriktning) (Betygskriterier) 07-03-09 TORULF PALM 20

Matematiska kompetenser Algoritmkompetens Problemlösningskompetens Resonemangskompetens Kommunikationskompetens Modelleringskompetens Begreppskompetens 07-03-09 TORULF PALM 21

Vad bedömer du? 07-03-09 TORULF PALM 22

Bedömning AV lärande Summativa bedömningar Prov för betyg i åk 9 TIMSS, PISA, NU Nationella prov Diagnoser 07-03-09 TORULF PALM 23

Bedömning FÖR lärande Formativ bedömning 07-03-09 TORULF PALM 24

Formativ bedömning We use the general term assessment to refer to all those activities undertaken by teachers - and by their students in assessing themselves - that provide information to be used as feedback to modify teaching and learning activities. Such assessment becomes formative assessment when the evidence is actually used to adapt the teaching to to meet the students learning needs. (Black & Wiliam, 1998) 07-03-09 TORULF PALM 25

Effekter av formativ bedömning Belägg för att förbättring av formativ bedömning ökar kunskapsnivån? Finns det belägg för att det finns utrymme för förbättringar? Finns det belägg för HUR vi kan förbättra formativ bedömning? 07-03-09 TORULF PALM 26

Hur formativ bedömning Frågor Feedback Kompis- och självbedömning Formativ användning av summativa prov 07-03-09 TORULF PALM 27

Frågeteknik Rowe: Den tid som lärare väntade efter att ha ställt en fråga innan de agerade om inget svar hade kommit var 0,9 sekunder! Ökad väntetid medförde att svaren blev längre svar uteblev mer sällan svaren framfördes mer självsäkert elever problematiserade eller förbättrade andra elevers svar flera alternativa förklaringar presenterades 07-03-09 TORULF PALM 28

Slutsatser om frågeteknik Bemöda sig mer om att formulera frågor som utforskar sådant som är kritiskt för utvecklingen av förståelse Öka väntetiden så att elever får tid att tänka och att alla kan förväntas kunna bidra till diskussionen Utforma rika uppföljande aktiviteter 07-03-09 TORULF PALM 29

Skriftlig återkoppling Butler: Skriftliga kommentarer som återkoppling på ett prov gav positiva effekter på lärandet, medan enbart provpoäng och en kombination av provpoäng och kommentarer inte gav någon effekt 07-03-09 TORULF PALM 30

Slutsatser om återkoppling Skriftliga uppgifter ska tillsammans med muntliga frågor uppmuntra elever att utveckla och visa förståelse Kommentarer ska identifiera det som är bra och det som behöver utvecklas, och ge vägledning till hur det kan ske Möjligheter för elever att följa upp kommentarer ska planeras in 07-03-09 TORULF PALM 31

Kompis- och självbedömning Sadler: Självvärdering kan vara en nödvändig beståndsdel i alla system för formativ bedömning 07-03-09 TORULF PALM 32

Slutsatser om kompis- och självbedömning Kriterierna för utvärdering av kunnande måste göras transparenta för eleverna Elever måste undervisas om samarbetsfärdigheter för kompisbedömning Elever ska uppmuntras att komma ihåg vad målet är och att bedöma sina egna framsteg 07-03-09 TORULF PALM 33

Formativ användning av summativa prov Elever ska ges goda möjligheter att reflektera över vad de gjort på provet för att veta vad de behöver utveckla Elever bör ges möjlighet att formulera frågor och bedöma elevsvar för att förstå bedömningsprocessen och för att fokusera sitt arbete Elever bör ges möjligheter (genom kompis- och självbedömning) att tillämpa kriterier som hjälper dem att förstå hur deras kunnande kan förbättras 07-03-09 TORULF PALM 34

Vad du kan göra Reflektera över vad vi gör nu Pröva förändring - ett steg i taget Samarbeta med kollegor Stöd från ledning och administratör Plan för tre år 07-03-09 TORULF PALM 35