Rätt mätt på prov. Peter Nyström Institutionen för tillämpad utbildningsvetenskap Umeå universitet

Transkript

1 Rätt mätt på prov Peter Nyström Institutionen för tillämpad utbildningsvetenskap Umeå universitet

2 Ur en Skolverksrapport (2008): Tio år efter förskolereformen Förskolans läroplan innehåller, i motsats till skolans, inga mål för vad barnen ska uppnå vid olika tidpunkter. Målen formuleras i vida och generella termer. De anger inriktningen på förskolans arbete och är formulerade som mål för verksamheten. Eftersom målen inte anger nivåer för barns förmågor eller prestationer är det inte heller det enskilda barnets resultat som ska bedömas eller utvärderas.

3 Ur Skolverksrapporten: Tio år efter förskolereformen Av fallstudierna framgår att många av de intervjuade är tveksamma eller skeptiska till IUP i förskolan. Tveksamheterna handlar bl a om svårigheter med sekretess och att det blir ett onödigt pappersarbete, men framför allt att det kan vara en svår balansgång att använda IUP utan att bedöma enskilda barns utveckling.

4 Men Läroplanen (Lpfö98) säger att Barn som tillfälligt eller varaktigt behöver mer stöd än andra skall få detta stöd utformat med hänsyn till egna behov och förutsättningar. Alla som arbetar i förskolan skall samarbeta för att erbjuda en god miljö för utveckling, lek och lärande och särskilt uppmärksamma och hjälpa de barn som av olika skäl behöver stöd i sin utveckling. Hur ska detta gå till om vi inte bedömer eller utvärderar det enskilda barnet

5 Ur Skolverkets nyhetsbrev (2008) Att förskolan ska bedöma verksamheten och inte det enskilda barnet är tydligt formulerat i läroplanen. Men Skolverkets utvärdering visar att det enskilda barnets prestationer bedöms alltmer.

6 Ur regeringens förord till Lpfö97 I förskolan är det inte det enskilda barnets resultat som skall utvärderas. Betyg eller omdömen utfärdas inte. Tolkningsnyckel?

7

8 det känns väldigt jobbigt, på en skala från ett till tio

9

10

11 Bedömning? Assessment is the process of gathering, interpreting, and synthesizing information to aid decision making [in the classroom]. (Airaisian, 2001, sid. 16). Alltså: Bedömning är att skaffa belägg för att fatta beslut

12 Assessment Enligt Wiggins (1993) kommer ordet från det latinska verbet assidere som betyder sitta med Such a sitting with suggests that the assessor has an obligation to go the extra mile in determining what the student knows and can do. The assessor must be more tactful, respectful, and responsive than the giver of tests more like a mother and a manager than an imperious judge.

13 Hur hänger bedömning ihop med undervisning och lärande? Undervisning och lärande Assessment and instruction conceived as curiously separate in both time and purpose. (Graue, 1993) Bedömning Det finns inga tvivel om att bedömning i skolan är något mycket kraftfullt och inflytelserikt. Bedömningen har kapa-citeten att hjälpa eller hindra, att vilse-leda eller klargöra, att begränsa eller bemyndiga.(broadfoot, 2002)

14 Bedömningsprocessen Användning Bedömningssituation Prestation Omdöme Inferenser Konsekvenser

15 Vad är summativ bedömning? Bedömning av lärande Bedömning som syftar till att sammanfatta det lärande som skett Exempel på summativ bedömning? Exempel på bedömning som inte är summativ? Ska [bedömningen] primärt identifiera kunskaper och kompetens för att individen lättare ska kunna planera och gå vidare i sin kunskapsutveckling, eller ska den ge formella meriter som visar vad han eller hon faktiskt kan? Det handlar med andra ord om att fokus ligger antingen på den befintliga kompetensen eller på potentialen att utvecklas vidare. (Andersson, Sjösten & Ahn, 2003)

16 Vad är formativ bedömning? Bedömning för lärande Bedömning som siktar framåt och bidrar till lärande Exempel på formativ bedömning? Exempel på bedömning som inte är formativ?

17 Formativ bedömning Assessments are formative if and only if something is contingent on their outcome, and the information is actually used to alter what would have happened in the absence of the information (Wiliam, 2006) What makes an assessment formative is not the lenght of the feedback loop, nor where it takes place, nor who carries it out, nor even who responds. The crucial feature is that evidence is evoked, interpreted in terms of learning needs, and used to make adjustments to better meet those learning needs. (Wiliam, 2006)

18 IUP och skriftliga omdömen Är IUP och skriftliga omdömen en formativ bedömning?

19 Bedömningens syfte Varje bedömning går ut på att översätta en observation av vad elever kan göra till någon sorts inferens om deras kunskap, kompetens, attityder, etc. Karaktären hos omdömet kan variera (t.ex. summativ eller analytisk) Resultat/slutsatser/omdömen/inferenser kan användas för olika syften: formativa, diagnostiska, sorterande, utvärderande, betygsättande, etc.

20 Olika typer av slutsatser i olika bedömningar Summativa slutsatser dominerar i Examinationer TIMSS, PISA, NU Nationella prov Betyg Analytiska slutsatser dominerar i Praktikbedömning Diagnoser Frågor till eleverna i klassrummet Och är i båda fallen ändamålsenliga för olika syften!

21 Many purposes for which educational assessment judgements might be used (1) Social evaluation uses (2) Formative uses (3) Student monitoring uses (4) Transfer uses (5) Placement uses (6) Diagnosis uses (7) Guidance uses (8) Qualification uses (9) Selection uses (10) Licensing uses (11) School choice uses (12) Institution monitoring uses (13) Resource allocation uses (14)Organizational intervention uses (15)Programme evaluation uses (16)System monitoring uses (17)Comparability uses (18)National accounting uses (Newton, 2007)

22 Betyg? (Christian Lundahl) används för kontroll av moralisk insikt och arbetsdisciplin (jfr kyrkoförhören) stimulerar till tävlan vilket befrämjar kunskapstillägnandet och gör lärandet lustfyllt är ett rättvist sätt att fördela positioner i samhället och utbildningsplatser, demokratiaspekten. informerar eleven och föräldrarna och skolan om elevens kunskapsläge kan ur rättssäkerhetssynpunkt informera om att skolan gjort vad den är skyldig att göra för elevens kunskapsutveckling ger läraren, skolan, kommunen och staten återkoppling och är därmed ett centralt instrument i en mål- och resultatstyrd verksamhet/förvaltning

23 Men vad ÄR betyg? Ett sammanfattande omdöme, endimensionellt Ett aggregerat (kondenserat) mått på vad eleverna vet och kan göra i ett ämne Ska vara kopplat till hur väl en individ har uppfyllt kriterierna för olika kunskapskvaliteter (kunskapskrav) Ett högre betyg betyder att man även uppfyllt kriterierna för ett lägre För godkänt måste alla kriterier vara uppfyllda. För VG och MVG kan styrkor i vissa avseende kompensera svagheter i andra

24 Formativ användning Formativt för vem? Eleven/studenten Läraren Skolan/universitetet/organisationen Kommunen/Landet Formativt för vad? Lärandet Undervisningen En bedömning blir formativ när resultaten används för att anpassa lärandesituationer så att de bättre möter behoven hos dem som ska lära sig Den formativa cykeln kan ha olika tidslängd All bedömning måste vara formativ för någon och någonting!

25 Klassrummet är indränkt i formativ bedömning (vare sig vi vill eller inte) Till exempel Lärarens frågor till eleverna Återkoppling på olika sätt Förmedling av kvalitetskriterier Självvärdering Forskning har visat att hur dessa tar sig uttryck i klassrummet spelar roll för elevernas lärande!

26 Wiliam (2006) fokus på användning av daglig formativ bedömning är ett av de mest kraftfulla sätten att förbättra lärande i klassrummet.

27 Kategoriseringar av bedömning i formativ och summativ eller kvalitativ och kvantitativ är ofta oklara och dessutom värdeladdade: formativ är bra och summativ är dåligt Viktigt med definition av begreppen, viktigt att utveckla ett professionellt språk Men formativ och summativ säger inget om kvalitén i bedömningen. Det är lätt att hitta dåliga bedömningar av alla sorter Det är nödvändigt att betrakta bedömningar utifrån ett kvalitetsperspektiv

28 Bedömning handlar om belägg för att fatta beslut Ju viktigare beslut desto viktigare att beläggen är starka, tydliga, kommunicerbara, försvarbara etc. (Håller hög kvalitet!) Om ett enskilt litet beslut blir fel kan det rättas till, men om dett enskilt stort beslut blir fel så kan det få stora konsekvenser

29 Ur Zen och konsten att sköta en motorcykel (Robert M. Pirzig) Tanken dök upp på nytt. Kvalitet? Det låg något irriterande, rentav mycket irriterande i frågan. Han funderade på den saken, och funderade sedan litet till, och tittade sedan ut genom fönstret och funderade sedan litet till. Kvalitet? Kvalitet visst vet man vad det är för något, men samtidigt vet man det inte. Så uppenbarligen måste en del saker vara bättre än andra men vad är det då som gör dem bättre?

30 Bedömningars kvalitet För att göra bedömningar av hög kvalitet krävs svar på följande: Vad är syftet med bedömningen? Vad menas med bra bedömningar? Vilka lärandemål handlar bedömningen om? Vilken kunskapssyn utgår bedömningen från?

31 Två klassiska kvalitetsbegrepp i samband med bedömningar Validitet Att bedöma det man vill bedöma och inte annat Hög validitet innebär minimering av systematiska fel Två grundläggande hot: construct-irrelevant variance och construct underrepresentation Reliabilitet Bedömningens tillförlitlighet Hög reliabilitet innebär minimering av slumpmässiga fel Tre grundläggande hot: person-by-task interaction, inter-rater variation och temporal instability

32 Men är inte validitet och reliabilitet väldigt tekniska begrepp? De sammankopplas ofta med en extremt kvantitativ inriktning Detta kan göra att de problem som fångas av begreppen släpps ut med badvattnet Begreppen validitet och reliabilitet handlar om problem som finns i alla former av bedömningar! Reliabilitet blir viktigare när provresultat får långtgående konsekvenser

33 Kriterier för bra bedömningar Konsekvenser Samstämmighet Rättvisa och likvärdighet Överföring och generaliserbarhet Innehållslig kvalitet Kognitiv komplexitet Innehållslig täckning Språklig nivå och kvalitet Meningsfullhet Användbarhet och kostnad

34 Bedömningars syften Ge information som underlag för olika beslut, typen av beslut bör påverka utformningen av bedömningen Konkretisering av mål och kriterier Främja lärande och utveckling hos den som bedöms och den som bedömer

35 Lärandemål För att kunna utvärdera kvaliteten hos en bedömning, och för att kunna designa och genomföra bra bedömningar, så krävs en explicit tolkning av målen Olika aspekter av mål Uttryckta, antydda och framväxande mål (Graybill, 1998) Avsedda, implementerade och uppnådda mål (TIMSS) Generella och specifika mål Mål för skolan och mål för eleven Strävansmål och uppnåendemål Innehålls- och processmål Kompetenser, förmågor

36 Mål för undervisningen Det är viktigt med tydliga mål Det är ännu viktigare med höga mål Några viktiga frågor att ställa sig: Vad ska man kunna? Hur ska man kunna? När ska man kunna? Hur länge ska man kunna? Vad ska man kunna hur länge?

37 Nya mål (2011) Ämnets syfte, inklusive långsiktiga mål : Undervisningen i ämnet ska ge eleverna förutsättningar att utveckla förmåga att: Centralt innehåll Undervisningen i ämnet ska behandla följande centrala innehåll: Kunskapskrav

38 Undervisningen i ämnet matematik ska ge eleverna förutsättningar att utveckla förmåga att: använda och beskriva innebörden av matematiska begrepp samt samband mellan begreppen. hantera procedurer och lösa uppgifter av standardkaraktär utan och med verktyg. formulera, analysera och lösa matematiska problem samt värdera valda strategier, metoder och resultat. tolka en realistisk situation och utforma en matematisk modell samt använda och utvärdera en modells egenskaper och begränsningar. följa, föra och bedöma matematiska resonemang. kommunicera matematiska tankegångar muntligt, skriftligt och i handling. relatera matematiken till dess betydelse och användning inom andra ämnen, i ett yrkesmässigt, samhälleligt och historiskt sammanhang.

39 Reflektioner Frihetsgrader? Är något mål viktigare än andra? Olika typer av kunskap: minnas, tillämpa, kommunicera, resonera etc. Kan eleverna på alla betygssteg förväntas kunna ämnet i alla dessa aspekter? Eller räcker det för betyget E att eleverna kan vissa fakta och kan ge exempel? Hur ska det centrala innehållet användas? Ska alla elever kunna något om hela det centrala innehållet?

40 Kunskapssyn Vad är kunskap och lärande? Här finns generella synsätt, men också skillnader mellan ämnen. Vad kännetecknar olika kunskapskvaliteter eller kunskapsnivåer i ett ämne? Hur kan kvaliteten hos någons kunskaper och kompetenser studeras? Hur visar sig kompetens?

41 Hur? Bedömningssituationen påverkar utfallet: enskilda bedömningstillfällen är alltid osäkra Mer systematik och mindre magkänsla Vad ger bedömningen belägg för?

42 Proven styr men vart?

43 Jesper Boesen NCM Göteborgs universitet

44 Nationella prov Syftet med det nationella provsystemet har varit att bidra till ökad måluppfyllelse för eleverna, förtydliga målen och visa på elevers starka och svaga sidor, konkretisera kursmål och betygskriterier stödja en likvärdig och rättvis bedömning och betygssättning ge underlag för en analys av i vilken utsträckning kunskapsmålen nås på skolnivå, på huvudmannanivå och på nationell nivå

45 Nu gäller följande Syftet med de nationella proven är i huvudsak att: stödja en likvärdig och rättvis bedömning och betygssättning ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå De nationella proven kan också bidra till: att konkretisera kursplanerna och ämnesplanerna en ökad måluppfyllelse för eleverna.

46 Nationella prov Styrdokumenten viktiga Nationella prov har ambitionen att täcka ämnesplanen och kunskapskraven Ett enskilt prov kan inte pröva allt Betygsstödjande funktion, vad betyder det? Nationella prov omfattas av sekretess Viktigt med delaktighet från rektorer, lärare och elever i utvecklingen av nationella prov

47 Provkonstruktionsprocessen

48 Kvalitetssäkring Ramverk Referensgrupper av lärare Interna granskningar Utprövningar

49 Slutord Utvecklingen av utvärderingskulturen måste bland annat präglas av konsekvent och klargörande begreppsanvändning (och mindre av slagord) mer användning av resultat (och mindre bortförklaringar) högkvalitativa bedömningar som är designade för sitt syfte Rektors roll?