Vurderersamling, Vann Nasjonale prøver i Sverige eller Vad är bra (med) bedömning - vurdering? Gudrun Erickson Göteborgs universitet Inst. för pedagogik och specialpedagogik gudrun.erickson@ped.gu.se Det svenska systemet Förskola Förskoleklass Grundskola (9 år) Gymnasium (3 år) Betyg från årskurs 6 (F-A) Lärare har ansvar för betygsättning Betyg används för urval. Kräver hög grad av assessment literacy Inga examensprov; Omfattande system av nationella prov för att stödja bedömning (kombineras med lärarens kontinuerliga observationer); Ingen central bedömning Nationella prov obligatoriska (ett ökande antal ämnen); Ett stort antal informativa, diagnostiska och formativa material erbjuds Summativa och formativa syften gudrun.erickson@ped.gu.se 1
Det nationella prov- och bedömningssystemet Grundskolan åk 3: sv/sva, ma åk 6: sv/sva, eng, ma, so, no åk 9: sv/sva, eng, ma, so, no Diagnosmaterial: sv, eng, ma (åk 1-6 + 7-9) Formativa material: fr, ty, sp Stödmaterial: dans, musik, teknik, teckenspråk Exempel på frågor som diskuteras runt nationella provmaterial i Sverige För många För få Innehåll Svårighetsgrad Bias Lärares bedömning av egna elevers prov Stöd Styrning (Vad är lagom stöd..?) Standardisering Anpassning Stabilitet över tid Presentation / Användning av resultat Sekretess Fusk Papper & Penna Datorbaserat Datoradaptivt Kostnader > 95% av lärarna/skolorna generellt nöjda med materialen men lärarna påpekar arbetsbördan i slutet av terminer ( Mål som eleverna ska ha uppnått efter avslutad kurs ) gudrun.erickson@ped.gu.se 2
Intresset för vurdering från Iskallt till Glödhett till Vidbränt? Uppfattningar om vurdering och examination Garanti för kvalitet, rättvisa och likvärdighet Granskning och kontroll Makt & Disciplinering Dömning Nödvändigt ont gudrun.erickson@ped.gu.se 3
Det dubbla bedömningsuppdraget Samma grundprinciper av tydlighet, giltighet, tillförlitlighet och respekt Befrämja lärande, reflektion och [därmed] utveckling Var är du/jag nu, vart är du/jag på väg, hur ta dig/mig dit? Att bedöma rätt saker på olika sätt OCH Säkra kvalitet och att [därmed] befrämja rättvisa och likvärdighet Hur visar du/jag dina/mina verkliga kunskaper på bästa sätt? Att bedöma rättvist, så fritt från slump och med så stor överensstämmelse mellan bedömare som möjligt Jfr. Formativ och Summativ bedömning Lärande Undervisning Bedömning Bra undervisning befrämjar bra lärande Bra undervisning kräver bra bedömning Bra undervisning och bra bedömning är inte detsamma men har ett antal gemensamma drag, till exempel, Relevans; Bredd; Tydlighet; Lyhördhet; Rättvisa; Ansvar; Respekt; Samverkan OCH, viktigast av allt: Bra undervisning/verksamhet och Bra bedömning har samma mål: Bra Utveckling & Lärande gudrun.erickson@ped.gu.se 4
Bedömning Att se det som ska ses Att kunna kommunicera vad man ser Att kunna dra riktiga slutsatser av det man ser Att finna bra sätt att gå vidare på basis av vad man ser Lärare och Elever! Grundläggande frågor VARFÖR? VAD? HUR? VEM? OCH? gudrun.erickson@ped.gu.se 5
VARFÖR? Syfte För Lärande / Av Lärande? Formativt / Summativt? Progress / Final (Exit)? För dikotom bedömning / För graderad bedömning? För Jämförelse / Jämförbarhet / Likvärdighet? Hur många syften kan kombineras? Formativ och Summativ bedömning (Scriven, 1967; Sadler, 1989; Taras, 2005, Harlen, 2012 ) Ingen motsättning båda är självklara och nödvändiga Metoder och syften kan variera men samma grundprinciper gäller Behov av att distingera mellan bedömning och feedback Behov av att - i någon mån definiera VAD bedömning är och NÄR den görs, för att undvika att turn life into one long never-ending test for the learner and a bureaucratic nightmare for the teacher. (Common European Framework of Reference for Languages, sid. 183) Allt är [väl] inte bedömning!? gudrun.erickson@ped.gu.se 6
Kommunikation kring kunskap è Bedömning Kommunikation av och kring kunskap ê Observation av och kommunikation kring visad kunskap / kunskapsuttryck ê Återkoppling Feedback och Feed forward ê Bedömning (dokumentation) ê Skriftliga omdömen; Betygsättning VAD? Begrepp / Construct Kunskaps- / Kompetensdefinitioner (taxonomier?) Reproduktion / Produktion / Reflektion Del / Helhet Dimensionalitet Process / Produkt Att veta / Att visa / Att göra CBT / CAT Hur undvika fragmentisering / för lite av det viktiga/avsedda / något annat än det viktiga/avsedda? gudrun.erickson@ped.gu.se 7
HUR? Rubric HUR konstruera / formulera / specificera uppgifter? HUR genomföra bedömningar? (modalitet / medium / konstellation)? HUR kombinera bedömningssätt & uppgifter / aggregera info/data? HUR bedöma? HUR analysera data? HUR fastställa krav-/betygsnivåer / standards och benchmarks? HUR återkoppla? HUR åstadkomma constructive alignment med förstånd? VEM? Aktör(er) Internt / Externt / Kollaborativt? Självbedömning Kamratbedömning (peer assessment) Lärar-/Mentorsbedömning Extern bedömning Sambedömning / Medbedömning gudrun.erickson@ped.gu.se 8
OCH? Impact Påverkan och konsekvenser på / för Individers lärande, syn på sig själva och andra Individers framtidsval och möjligheter Individers kompetens och kompetensutveckling Undervisningens och utbildningens innehåll och metoder Samhället i stort..... Grundläggande begrepp VALIDITET RÄTT saker, slutsatser, åtgärder, konsekvenser Construct under-representation Construct irrelevant variance RELIABILITET RÄTTVIST : tillförlitlighet, konsekvens, jämförbarhet, likvärdighet Att minimera inflytande av slump Interbedömarreliabilitet Intrabedömarreliabilitet (Att vara överens med andra Att vara överens med sig själv ) Validitet förutsätter reliabilitet gudrun.erickson@ped.gu.se 9
Exempel på validering Studier av bedömarsamstämmighet Studier av relationer mellan uppgifter för alla/vissa Studier av dimensionalitet Studier av elevers och lärares uppfattningar Studier av lärande och utveckling OSV! Validitet och Reliabilitet i vardagen Exempel på frågor Hur återspeglas styrdokumentens kunskapssyn i bedömningarna? Hur väl täcker vi in hela kursplanen? Hur är det med balansen mellan olika kunskapsaspekter och bedömningsformer? Hur stort och varierat är underlaget för beslut? Vad signalerar bedömningarna till eleverna? Hur presenteras resultaten för eleverna och hur brukbara är de? Hur ordnar jag/vi med samråd och medbedömning? OSV gudrun.erickson@ped.gu.se 10
Svenska elevsynpunkter på prov i engelska It s always difficult to understand when real people (not teachers) speak. People speak fast and not often so clearly. Good practice! Det är alltid bra att kunna uttala ord. Om man t ex är i England skriver man ju knappast lappar till alla man ser. I don t think you learn anything from this. Useless! It was the first test I like in english! It was funny! Perhaps you not like this text, but I hope you like it. I cant english, who you see, but I hope you can read and understand what I write It was very fun. I am happy. It s very very very fun. I like to write letter! Take words who you can bend! It was boring cause it was so easy. But shit happens! Så Vad är bra (med) bedömning? gudrun.erickson@ped.gu.se 11
Att tänka på vid bedömning Att betrakta och behandla bedömning som en integrerad del av helheten Att Feed back och Feed forward Att bäras åt /samarbeta Att kartlägga vad människor kan inte primärt vad de inte kan Att göra det viktigaste bedömbart inte det lätt mätbara till det viktigaste Att kommentera förtjänster före brister starka sidor före svaga Att skilja på fel som stör och fel som förstör [kommunikationen] Tydlighet Kommunikation EALTA http://www.ealta.eu.org European Association for Language Testing and Assessment Bred målgrupp: Lärare, Lärarutbildare, Studenter, Personer som utvecklar storskaliga prov, Forskare Icke-kommersiellt Individuellt medlemskap gratis Grundat med stöd av EU Resurssidor; Diskussionsforum för medlemmar; Särskilda intressegrupper; Seminarer och Workshops; Årliga konferenser Riktlinjer för god bedömning gudrun.erickson@ped.gu.se 12
EALTAs RIKTLINJER för god praxis vid prov och bedömning i språk Antagna 2006; Just nu översatta till 35 språk; Kompletteras under 2014-15 Översättningarna kan laddas ner gratis från EALTAs hemsida Vänder sig i första hand till de tre medlemskategorierna med hjälp av frågor Initial betoning av grundläggande principer för alla typer av kunskapsbedömning: TRANSPARENS Respekt för de studerande/ provtagarna, ansvar, rättvisa, reliabilitet, validitet och samverkan mellan berörda parter Exempel på frågeställningar Lärarutbildare Hur relevant är utbildningen för lärarstudenternas kommande bedömningsverksamhet? I vilken omfattning deltar lärarstudenterna i betygssättning och bedömning av elevers prestationer? I vilken mån följer de metoder som används för att bedöma lärarstudenterna de principer studenterna själva fått lära sig? Lärare i skolan Hur är syftet med bedömningen relaterat till läroplanen/kursplanen? Hur väl täcks läroplanen/kursplanen? Vilken hänsyn tas till elevernas uppfattningar om bedömningsmetoderna? Vilka ansträngningar görs för att befrämja överensstämmelse i bedömningsoch betygssättningspraxis mellan lärare och skolor? gudrun.erickson@ped.gu.se 13
Bra bedömning i språk enligt ca 1 400 ungdomar i 10 europeiska länder, inklusive Sverige och Norge Bredd och Variation Fokus på kommunikation / nytta Möjlighet att lära sig något Klarhet Rättvisa Tillräckligt med tid Utmaning Erickson, G. & Gustafsson. J-E. (2005). Some European Students' and Teachers' Views on Language Testing and Assessment www.ealta.eu.org/resources.htm gudrun.erickson@ped.gu.se 14