Forskning pågår Göteborg 28 okt 2015 Bedömning för Lärande och Likvärdighet Inst. för pedagogik och specialpedagogik Exempel på forskning kring bedömning och betyg vid Utbildningsvetenskapliga fakulteten GU De nationella proven i NO i åk 6 Skillnader i resultat mellan olika grupper (Bach et al, 2015) Teachers understanding and assessment of oral proficiency. A qualitative analysis of results from interviews with language teachers in Swedish lower secondary schools (Frisch, 2015) Challenges of Assessment in Ethics Teachers reflections when assessing national tests (Osbeck et al, 2015) Assessing Language or Content? A comparative study of the assessment practices in three upper-secondary Swedish CLIL schools (Reierstam, 2015) Kompetens i klassrumsbedömning - en studie av lärares reflektioner om videodokumenterad undervisning (Tornberg, 2015) Gymnasieungdomars erfarenheter av hur yrkeslärande bedöms (Wyszynska-Johansson, 2015) Looking Beyond Scores. A Study of Rater Orientations and Ratings of Speaking (Borger, 2014) Vaghet och vanmakt 20 år med kunskapskrav i den svenska skolan (Hyltegren, 2014) Pedagogisk takt i betygssamtal (Rinne, 2014) Möjligheter i kollegiala samtal om NO-undervisning och bedömning (Sjöberg, 2014) Dimensionality and Predictive validity of school grades: The relative influence of cognitive and social-behavioral aspects (Thorsen, 2014) To trust or not to trust? Teacher marking versus external marking of national tests (Gustafsson & Erickson, 2013) On the Validity of Reading Assessments: Relationships Between Teacher Judgements, External Tests and Pupil Self-Assessments (Johansson, 2013) Nationella prov i engelska En studie av bedömarsamstämmighet (Erickson, 2009) Self-Assessment of Writing in Learning English as a Foreign Language. A Study at the Upper Secondary School Level (Dragemark-Oscarson, 2009) Grades and grade assignment: effects of student and school characteristics (Klapp-Lekholm, 2008) 1
Det dubbla bedömningsuppdraget Samma grundprinciper: Tydlighet, giltighet, tillförlitlighet, respekt Befrämja LÄRANDE, reflektion och [därmed] utveckling Var är du/jag nu, vart är du/jag på väg, hur komma dit? OCH Säkra kvalitet och att [därmed] befrämja rättvisa och LIKVÄRDIGHET Hur minimera inflytande av slump hur visar du dina verkliga kunskaper på bästa sätt? Formativ bedömning / Bedömning för lärande Tydliggöra och kommunicera kring mål och grunder för bedömning Skapa situationer som synliggör lärandet Ge mångfacetterad och framåtriktad respons Aktivera eleverna som resurser för sig själva och varandra Betona och aktivt visa att det är eleverna som lär sig med stöd av andra ingen kan egentligen lära dem Befrämja samverkan mellan elever och lärare med gynnsam effekt för ömsesidigt lärande, dvs både för elevers lärande, lärares undervisning och skolors planering och utveckling 2
Summativ bedömning / Bedömning av lärande Täcka det som ska bedömas så fullständigt som möjligt Variera uppgifter och responsformer Om möjligt, pröva ut uppgifter samt alltid dra lärdom av tidigare [dokumenterade] erfarenheter Försäkra sig om att eleverna förstår uppgiften Be elever kommentera uppgifter och resultat Sträva efter medbedömning av mera komplexa uppgifter med en blandning av medvetna och slumpvis valda exempel Formativ och Summativ bedömning Ingen motsättning båda är självklara och nödvändiga; Varandras förutsättning; Metoder och syften kan variera men samma grundprinciper gäller Viktigt att definiera och kanske också distingera mellan observation, kommunikation, feedback och bedömning Behov av att - i någon mån klargöra när bedömning görs, för att undvika att göra livet till ett enda oändligt prov för eleven och till en byråkratisk mardröm för läraren. (Gemensam europeisk referensram för språk: Lärande, undervisning och bedömning, sid. 183) Det ska dock påpekas att det utifrån ett pedagogiskt perspektiv är viktigt att eleverna inte upplever att allt de gör bedöms hela tiden. Det är därför viktigt att eleverna är införstådda med när och hur läraren tänker följa upp deras kunskaper och vad som fokuseras vid olika tillfällen. (Skolverkets Allmänna råd: Planering och genomförande av undervisningen sid. 25) 3
Kommunikation kring kunskap è Bedömning Kommunikation av och kring kunskap ê Kommunikation kring visad kunskap/visade kunskapsuttryck ê Återkoppling / Feed back & Feed forward ê Bedömning (dokumentation) ê Skriftliga omdömen; Betygsättning Allt är vl inte bedömning? De grundläggande frågorna kring lärande, undervisning och bedömning VARFÖR? syfte VAD? kunskapsobjekt ( construct ) HUR? / NÄR? Metod(er) och tid VEM? Aktör(er) OCH? Användning och konsekvens(er) 4
Grundläggande begrepp VALIDITET RÄTT saker, slutsatser, åtgärder, konsekvenser Inte för lite Construct under-representation Inte något annat Construct irrelevant variance RELIABILITET RÄTTVIST : tillförlitlighet, konsekvens, jämförbarhet, övrensstämmelse, likvärdighet Att minimera inflytande av slump Att vara överens med andra Att vara överens med sig själv Inter- & Intra-bedömarreliabilitet Validitet förutsätter [rimlig] reliabilitet Hur överens är lärare med varandra? Studie av bedömaröverensstämmelse/ samstämmighet i nationella prov i eng, ma, sv 100 slumpvalda, lärarbedömda prov (Äp 9 + Ma C) Ombedömning av tre oberoende lärare av samtliga delprov utom de muntliga (ej dokumenterade) http://www.skolverket.se/publikationer?id=2200 RESULTAT Mycket hög grad av samstämmighet i engelska och matematik; väsentligt lägre i svenska Individuella bedömarprofiler kan urskiljas REFLEKTION Room for improvement! - även i de fall överenstämmelsen är god Vikten av samverkan och medbedömning - men hur? De nationella provens roll inte tillräckligt klargjord Skolinspektionen Uppdraget till Statens Skolinspektion om central rättning (rapporter 2010-2013) Motiv / metod / resultat / konklusion? www.skolinspektionen.se 5
Validitet och Reliabilitet i vardagen Exempel på frågor Hur återspeglas styrdokumentens kunskapssyn i bedömningarna? Hur väl täcker vi in hela kurs-/ämnesplanen? Hur är det med balansen mellan olika kunskapsaspekter och bedömningsformer? Hur stort och varierat är underlaget för beslut? Vad signalerar bedömningarna till eleverna? Hur presenteras resultaten för eleverna och hur brukbara är de? Hur ordnar jag/vi med samråd och medbedömning? (medbedömning sambedömning) Syftet med de nuvarande nationella proven är i huvudsak att [www.skolverket.se > Bedömning] stödja en likvärdig och rättvis bedömning och betygssättning ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå De nationella proven kan också bidra till att konkretisera kursplanerna och ämnesplanerna en ökad måluppfyllelse för eleverna * * * * Övriga bedömningsstöd Texter, filmer, diagnosmaterial, provuppgifter, provbanker 6
Utveckling av nationella provmaterial ( GG ) [exempel: www.nafs.gu.se] Analyser av styrdokument och relevant forskning Kontinuerligt samarbete med breda expertgrupper (bl.a. med specialpedagogisk kompetens) > Konstruktion av uppgifter Miniutprövningar > Modifieringar Storskaliga utprövningar i slumpvis valda elevgrupper i landet (n 400 elever per uppgift/språk) Analyser av resultat OCH av elevers och lärares uppfattningar och förslag (kvalitativa och kvantitativa metoder) Sammansättning av provmaterial (referensgrupper) Standard setting ( gränssättning ) and benchmarking (val och kommenterande av elevexempel) i brett sammansatta expertgrupper Analys/forskning (resultat &uppfattningar) > Rapportering Exempel på frågor som diskuteras runt nationella prov För många För få Innehåll Svårighetsgrad (inom/mellan ämnen) Bias Betygsstegen D/B Provbetyg/Slutbetyg Taggiga profiler/kompensation Stöd Styrning (Vad är lagom stöd..?) / Provbetyg Slutbetyg Lärares bedömning av egna elevers prov Standardisering Anpassning Stabilitet över tid Presentation / Matriser / Användning av resultat Sekretess Fusk Papper & Penna Datorbaserat Datoradaptivt Kostnader En stor majoritet ofta > 90 % av lärare/skolor är nöjda med materialen men påpekar arbetsbördan i slutet av terminer 7
Nationella provbetyg åk 9 vt 2014 % F E D C B A Engelska 3 11 17 30 22 18 Svenska 4 20 25 28 18 6 Matematik 13 36 19 17 9 7 Biologi 8 27 27 19 13 6 Fysik 12 32 25 16 10 5 Kemi 13 32 23 14 12 6 Geografi 7 21 22 29 13 8 Historia 13 19 27 19 13 11 Religionskunskap 7 30 17 26 12 9 Samhällskunskap 6 29 25 24 11 6 Relation provbetyg (np)/kursbetyg gy vt 2014 (n = > 10 000) Sb<Kb Kb =Pb Kb >Pb D Engelska 5 13 % 73 % 14 % + 1 Svenska 1 13 % 65 % 22 % + 9 Matematik 1a 2 % 68 % 31 % + 29 Matematik 1b 2 % 74 % 24 % + 22 Engelska 6 12 % 71% 17% + 5 Svenska 3 10 % 52 % 38 % + 28 Matematik 2b 1 % 59 % 40% + 39 8
Utredaren ska bl.a. Pågående översyn av de nationella proven för grund- och gymnasieskolan (dir. 2015:36) se över de nationella provens syften, funktion och omfattning, föreslå ett system för löpande nationell utvärdering för trendmätning över tid, föreslå hur bedömningen av elevlösningar av nationella prov bör utformas för att säkerställa att den görs på ett likvärdigt sätt, utarbeta ett förslag som ökar inslagen av extern bedömning av de nationella proven på ett kostnadseffektivt sätt, analysera förutsättningarna för att digitalisera de nationella proven och föreslå hur, i vilken omfattning och i vilken takt digitalisering kan ske, och lämna nödvändiga författningsförslag. Uppdraget ska redovisas senast den 31 mars 2016. EALTAs RIKTLINJER för god praxis vid prov och bedömning [i språk] Antagna 2006; För närvarande översatta till 35 språk Översättningarna kan laddas ner gratis från EALTAs hemsida (www.ealta.eu.org) Sektion om koppling till GERS tillagd 2014 Vänder sig i första hand till de olika medlemskategorierna med hjälp av frågor Initial betoning av grundläggande principer för alla typer av kunskapsbedömning: TRANSPARENS Respekt för de studerande/ provtagarna, ansvar, rättvisa, reliabilitet, validitet och samverkan mellan berörda parter 9
Exempel på frågeställningar EALTA Guidelines for Good Practice in Language Testing and Assessment Lärare i skolan Hur är syftet med bedömningen relaterat till kursplanen? Hur väl täcks kursplanen? Vilken hänsyn tas till elevernas uppfattningar om bedömningsmetoderna? Vilka ansträngningar görs för att befrämja överensstämmelse i bedömnings- och betygssättningspraxis mellan lärare och skolor? Lärarutbildare Hur relevant är utbildningen för lärarstudenternas kommande bedömningsverksamhet? I vilken omfattning deltar lärarstudenterna i betygssättning och bedömning av elevers prestationer? I vilken mån följer de metoder som används för att bedöma lärarstudenterna de principer studenterna själva fått lära sig? Viktiga egenskaper i bedömning och prov [i språk] enligt ca 1 400 elever i 10 europeiska länder, inklusive Sverige Variation Fokus på kommunikation / nytta Möjlighet att lära sig något Klarhet och tydlighet Rättvisa Tillräckligt med tid Utmaning Erickson, G. & Gustafsson, J-E. (2005). Some European Students' and Teachers' Views on Language Testing and Assessment www.ealta.eu.org > Resources 10