TORULF PALM 1

Transkript

1 TORULF PALM 1

2 Prov, betyg och bedömning Torulf Palm Institutionen för Matematik, Teknik och Naturvetenskap Umeå universitet TORULF PALM 2

3 Händelser från skolvardagen Martin har bedömt en elevs provresultat med ett IG. Eleven ifrågasätter provet och denna bedömning hos rektor, som ber Martin argumentera för sin sak. Han känner sig osäker om vilka argument han ska använda och om de är hållbara (för sig själv och de andra), och känner sig illa till mods över detta. Mia har jobbat många år som lärare och är någorlunda nöjd. Han funderar dock på hur hon skulle kunna utveckla sin undervisning ytterligare för att än bättre hjälpa eleverna i deras lärande TORULF PALM 3

4 BETYG Läraren skall: vid betygssättningen utnyttja all tillgänglig information om elevens kunskaper i förhållande till kraven i kursplanen och göra en allsidig bedömning av dessa kunskaper. (Lpo 94) TORULF PALM 4

5 Definition Assessment - Bedömning Assessment is the process of gathering, interpreting, and synthesizing information to aid decision making [in the classroom]. (Airaisian, 2001, sid. 16). Assessment is the process of gathering evidence about a student s knowledge of, ability to use, and disposition toward, mathematics and of making inferences from that evidence for a 5 variety of purposes (NCTM, 1995, p.3).

6 Syften med bedömning Kunskapsgaranti o lämplighet/förutsättning (för individ och system) (Information för t ex antagning/anställning och systemförändring) Konkretisering av mål och kriterier Lärande TORULF PALM 6

7 Pallen TORULF PALM 7

8 Pallen med linjal TORULF PALM 8

9 Stolen TORULF PALM 9

10 Bedömningsprocessen (Nyström, 2004) Inferenser Bedömnings situation Prestation Omdöme Konsekvenser TORULF PALM 10

11 Kvalitet i bedömningar Spelar det någon roll? Är vi i behov av att våra bedömningar är av hög kvalitet? Vad är hög kvalitet? Hur vet vi om vi har hög kvalitet? Kan vi åstadkomma hög kvalitet? TORULF PALM 11

12 Ur Zen och konsten att sköta en motorcykel (Robert M. Pirzig) Tanken dök upp på nytt. Kvalitet? Det låg något irriterande, rentav mycket irriterande i frågan. Han funderade på den saken, och funderade sedan litet till, och tittade sedan ut genom fönstret och funderade sedan litet till. Kvalitet? Kvalitet visst vet man vad det är för något, men samtidigt vet man det inte. Så uppenbarligen måste en del saker vara bättre än andra men vad är det då som gör dem bättre? TORULF PALM 12

13 Ditt senaste konstruerade prov 1. Var det bra? 2. Varför? Varför inte? 3. Hur vet du det? 4. Hur avgör du om ett prov är bra eller inte? TORULF PALM 13

14 Två klassiska kvalitetsbegrepp i samband med bedömningar Validitet Att bedöma det man vill bedöma och inte annat Hög validitet innebär minimering av systematiska fel Två grundläggande hot: construct-irrelevant variance och construct underrepresentation (Messick, 1989) Reliabilitet Bedömningens tillförlitlighet Hög reliabilitet innebär minimering av slumpmässiga fel Tre grundläggande hot: person-by-task interaction, inter-rater variation och temporal instability (Nyström, 2004) TORULF PALM 14

15 Men Är inte validitet och reliabilitet tekniska begrepp som identifieras med metoder för att studera graden av validitet och reliabilitet Sammankopplas ofta med naiv empirism och en positivistisk grundsyn Detta innebär att de problem som fångas av begreppen släpps ut med badvattnet Begreppen validitet och reliabilitet handlar om problem som finns i alla former av bedömningar! TORULF PALM 15

16 Ett utvecklat validitetsbegrepp Validitet är en integrerad utvärderande bedömning av i vilken grad empiriska belägg och teoretiska överväganden stöder det lämpliga och riktiga i inferenser och åtgärder baserade på resultat från prov och andra former för bedömning. (Messick, 1989) TORULF PALM 16

17 Tukey s broar (Kane, Crooks & Cohen, 1999) PRESTATION OBSERVERAD POÄNG GENERALISERAD POÄNG MÅLPOÄNG TORULF PALM 17

18 Kriterier för bra bedömningar Konsekvenser Samstämmighet Rättvisa och likvärdighet Överföring och generaliserbarhet Innehållslig kvalitet Kognitiv komplexitet Innehållslig täckning Språklig nivå och kvalitet Meningsfullhet Användbarhet och kostnad TORULF PALM 18

19 Fyra nödvändiga områden för att kvalitetssäkra bedömningar Nyström (2004): Validitetsteori (Hur är en bedömning när den är bra?) Bedömningens syfte (Varför görs bedömningen och vad ska resultatet användas till?) Mål som ska utvärderas (Vad är det egentligen som ska bedömas? Kunskapssyn (Hur ser kunnandet ut?) TORULF PALM 19

20 VAD ska vi bedöma Matematikens syfte och roll Skolan skall sträva efter att eleven Mål att uppnå (Bedömningens inriktning) (Betygskriterier) TORULF PALM 20

21 Matematiska kompetenser Algoritmkompetens Problemlösningskompetens Resonemangskompetens Kommunikationskompetens Modelleringskompetens Begreppskompetens TORULF PALM 21

22 Vad bedömer du? TORULF PALM 22

23 Bedömning AV lärande Summativa bedömningar Prov för betyg i åk 9 TIMSS, PISA, NU Nationella prov Diagnoser TORULF PALM 23

24 Bedömning FÖR lärande Formativ bedömning TORULF PALM 24

25 Formativ bedömning We use the general term assessment to refer to all those activities undertaken by teachers - and by their students in assessing themselves - that provide information to be used as feedback to modify teaching and learning activities. Such assessment becomes formative assessment when the evidence is actually used to adapt the teaching to to meet the students learning needs. (Black & Wiliam, 1998) TORULF PALM 25

26 Effekter av formativ bedömning Belägg för att förbättring av formativ bedömning ökar kunskapsnivån? Finns det belägg för att det finns utrymme för förbättringar? Finns det belägg för HUR vi kan förbättra formativ bedömning? TORULF PALM 26

27 Hur formativ bedömning Frågor Feedback Kompis- och självbedömning Formativ användning av summativa prov TORULF PALM 27

28 Frågeteknik Rowe: Den tid som lärare väntade efter att ha ställt en fråga innan de agerade om inget svar hade kommit var 0,9 sekunder! Ökad väntetid medförde att svaren blev längre svar uteblev mer sällan svaren framfördes mer självsäkert elever problematiserade eller förbättrade andra elevers svar flera alternativa förklaringar presenterades TORULF PALM 28

29 Slutsatser om frågeteknik Bemöda sig mer om att formulera frågor som utforskar sådant som är kritiskt för utvecklingen av förståelse Öka väntetiden så att elever får tid att tänka och att alla kan förväntas kunna bidra till diskussionen Utforma rika uppföljande aktiviteter TORULF PALM 29

30 Skriftlig återkoppling Butler: Skriftliga kommentarer som återkoppling på ett prov gav positiva effekter på lärandet, medan enbart provpoäng och en kombination av provpoäng och kommentarer inte gav någon effekt TORULF PALM 30

31 Slutsatser om återkoppling Skriftliga uppgifter ska tillsammans med muntliga frågor uppmuntra elever att utveckla och visa förståelse Kommentarer ska identifiera det som är bra och det som behöver utvecklas, och ge vägledning till hur det kan ske Möjligheter för elever att följa upp kommentarer ska planeras in TORULF PALM 31

32 Kompis- och självbedömning Sadler: Självvärdering kan vara en nödvändig beståndsdel i alla system för formativ bedömning TORULF PALM 32

33 Slutsatser om kompis- och självbedömning Kriterierna för utvärdering av kunnande måste göras transparenta för eleverna Elever måste undervisas om samarbetsfärdigheter för kompisbedömning Elever ska uppmuntras att komma ihåg vad målet är och att bedöma sina egna framsteg TORULF PALM 33

34 Formativ användning av summativa prov Elever ska ges goda möjligheter att reflektera över vad de gjort på provet för att veta vad de behöver utveckla Elever bör ges möjlighet att formulera frågor och bedöma elevsvar för att förstå bedömningsprocessen och för att fokusera sitt arbete Elever bör ges möjligheter (genom kompis- och självbedömning) att tillämpa kriterier som hjälper dem att förstå hur deras kunnande kan förbättras TORULF PALM 34

35 Vad du kan göra Reflektera över vad vi gör nu Pröva förändring - ett steg i taget Samarbeta med kollegor Stöd från ledning och administratör Plan för tre år TORULF PALM 35