Mål, kriterier & bedömningsmatriser. Anders Jönsson Högskolan Kristianstad

Transkript

1 Mål, kriterier & bedömningsmatriser Anders Jönsson Högskolan Kristianstad

2 Om mig:

3 Projekt:

4 Vad är en bedömningsmatris?

5 Vad är en bedömningsmatris? K Kriterium r 1: Glad i t e Kriterium r 2: Grå i e r Nivå 1 Nivå 2 Nivå 3 Kvalitetsnivåer

6 Vad är en bedömningsmatris?

7 Varför bedömningsmatriser? Hur BRA är det som eleven presterat? Vad behöver jag titta på för att veta hur BRA elevens prestation är? Hur många RÄTTA SVAR eller POÄNG har eleven?

8 Varför bedömningsmatriser? Mål Kunna formulera argument i samhällsfrågor med ett naturvetenskapligt innehåll

9 Varför bedömningsmatriser? Mål Kunna argumentera i samhällsfrågor med ett naturvetenskapligt innehåll Kvaliteter/kriterier Eleven: Ger argument både för och emot Skiljer mellan fakta och värderingar Underbygger sina argument

10 Behövs bedömningsmatriser? Resultat (spridning i poäng, 0-100) Uppgift 1: Uppgift 2: Starch & Elliott (1912): Två öppna uppgifter skrivna av elever i high school. Kopior distribuerades till 200 skolor. Lärare ombads bedöma uppgifterna according to the practice and standards of the school (sid. 449).

11 Behövs bedömningsmatriser? Resultat (spridning i poäng, 0-100) Brimi (2011): Lät 90 lärare (som var speciellt utbildade i att bedöma Writing ) bedöma samma essä

12 Behövs bedömningsmatriser? Eells (1930): Lät 61 lärare rätta om fem uppgifter i historia och geografi 11 veckor efter första rättningen.

13 Behövs bedömningsmatriser? Resultat (andelen lärare som gjorde samma bedömning andra gången, %): Eells (1930): Lät 61 lärare rätta om fem uppgifter i historia och geografi 11 veckor efter första rättningen. Uppgift 1: 16 Uppgift 2: 90 Uppgift 3: 23 Uppgift 4: 34 Uppgift 5: 28 Ingen av lärarna gjorde samma bedömning på alla fem uppgifterna.

14 Behövs bedömningsmatriser? Resultat (korrelation): 0,25 0,51 Eells (1930): Lät 61 lärare rätta om fem uppgifter i historia och geografi 11 veckor efter första rättningen. It is unnecessary to state that reliability coefficients as low as these are little better than sheer guesses (sid. 52).

15 Behövs bedömningsmatriser? Resultat (reliabilitet): Jönsson & Svingby (2007): Forskningsöversikt om bedömning med stöd av bedömningsmatriser. Huvuddelen av studierna rapporterade koefficienter < 0,7.

16 Hur går bedömning till?

17 Hur går bedömning till?

18 Hur går bedömning till?

19 Hur går bedömning till? Fördelar Mätsäkert Täcker stor bredd Effektivt: Snabbt att rätta Kan genomföras i grupp Nackdelar Kan endast pröva skriftliga kunskaper I första hand begränsat till minneskunskaper Måste dela upp kunskaper i små fragment

20 Hur går bedömning till?

21 Hur går bedömning till? Fördelar Snabbt Kan användas för komplexa kunskaper och i funktionella situationer Nackdelar Bedömningen subjektiv och godtycklig Fungerar inte alltid formativt Inkluderar ofta irrelevanta faktorer (som personlighet) Haloeffekt

22 Vad är alternativet?

23 Vad är alternativet? Fördelar Kan användas för komplexa kunskaper och i funktionella situationer Goda förutsättningar för formativ bedömning Nackdelar Relativt låg mätsäkerhet Tids- och resurskrävande Bedömning inte godtycklig

24 Vad är alternativet?

25 Vad är alternativet? Reliabilitet och validitet Bedömningar av olika lärare blir något mer samstämmiga om de utgår från en bedömningsmatris.

26 Vad är alternativet? Reliabilitet och validitet Som lärare blir man mer konsekvent i sin bedömning om man utgår från en bedömningsmatris.

27 Vad är alternativet? Reliabilitet och validitet En bedömningsmatris kan hjälpa lärare att fokusera rätt kunskaper i sin bedömning.

28 Vad är alternativet? Reliabilitet och validitet Sammantaget: Bedömningsmatriser kan öka reliabilitet och validitet, så att bedömningen blir mer tillförlitlig och riktar sig mot rätt kunskaper

29 Vad är alternativet? Reliabilitet och validitet Man kan dessutom behöva: Konkretisera nivåerna i matrisen Träna på att använda matrisen Samarbeta med andra lärare.

30 Välutvecklat bildspråk eftersom Vad är alternativet? Utvecklat bildspråk eftersom Konkretisera nivåerna i matrisen Enkelt bildspråk eftersom

31 Vad är alternativet? Kriterium 1: Glad Nivå 1 Nivå 2 Kriterium 2: Grå

32 Min forskning om matriser

33 Forskning om matriser

34 0,40 Forskning om återkoppling 0 0,15 ZONE OF DESIRED EFFECTS REVERSE Från Hattie (2009)

35 0,40 Forskning om återkoppling 0 0,15 REVERSE ZONE OF DESIRED EFFECTS Återkoppling = 0,73 Baserat på 23 metastudier (totalt 1287 studier) 0,73 Från Hattie (2009)

36 0,40 Forskning om matriser 0 0,15 ZONE OF DESIRED EFFECTS REVERSE 0,99 Bedömningsmatris + självbedömning = 0,99 Baserat på < 10 studier Från Andrade, 1999; Jönsson & Svingby, 2007

37 0,40 Forskning om matriser 0 0,15 REVERSE ZONE OF DESIRED EFFECTS Bedömningsmatris + kamratbedömning = 1,46 Baserat på 1 studie 1,46 Från Balan, 2012

38 Formativ bedömning

39 Formativ bedömning Mål Bedömning Uppgifter Återkoppling Utvärdering Kamratrespons Självbedömning

40 Formativ bedömning Återkoppling Utvärdering Mål Bedömning Kamratrespons Uppgifter Informationen används av Självbedömning läraren studiekamrater studenten själv

41 Formativ bedömning analysera analysera analysera analysera Använd info Använd info Använd info Ökad förståelse för mål och kriterier Förbättrade prestationer

42 Formativ bedömning

43 Formativ bedömning

44 Formativ bedömning Från Jönsson, 2013

45 Forskning om matriser Bedömningsmatriser ökar transparensen i bedömningen, vilket i sin tur kan leda till att: Lärare har lättare att ge (och elever lättare att ta emot och förstå) återkoppling Arbete med själv- och kamratbedömning underlättas.

46 Forskning om matriser Bedömningsmatriser ökar transparensen i bedömningen, vilket i sin tur kan leda till att: Elevers stress/ängslan minskar Elevers medvetenhet om sin egen förmåga förbättras Elever har lättare att ta ansvar för sitt eget lärande.

47 Nivå 1 Nivå 2 Nivå 3 Nivå 4 Kriterium 1: Glad Forskning om matriser Kriterium 2: Grå För ökad transparens och formativ bedömning: - Analytisk - Direkt - Flera nivåer - Processinriktad - Uppgiftsnära

48 Forskning om matriser

49 Forskning om matriser Vad ska eleven kunna med sina kunskaper?

50 Forskning om matriser

51 Forskning om matriser

52 Forskning om matriser

53 Forskning om matriser 1. Bedömningar är inte alltid så komplexa som vi tror. 2. Bättre med viss insyn än ingen insyn alls. Kriterierna kan inte fånga hela komplexiteten i bedömningen (delarna helheten Fokus hamnar på att uppnå kriterierna, istället för på lärandemålen ( criteria compliance )

54 Forskning om matriser Olika för svag- och högpresterande. Strategiskt orienterade elever har alltid funnits. Bra eller dåligt? Beror på kriterierna! Kriterierna kan inte fånga hela komplexiteten i bedömningen (delarna helheten Fokus hamnar på att uppnå kriterierna, istället för på lärandemålen ( criteria compliance )

55 om matriser Kan inte användas för att bedöma faktakunskaper.

56 om matriser Bedömningsmatriser inte bättre än sin användare

57