De nationella provens effekter på skolan och lärares arbete i åk 6 och 9 21/9 2016 2016-09-22 1
- Validitetsbegreppets 1900-tal en lång historia kort - Upplägget på vår studie - Lärarröster om proven - Frilagda validitetshot och rekommendationer 2016-09-22 2
Validitet Konsekvens, konsekvens, konsekvens! (Messick 1989) Konstrukt, konstrukt, konstrukt! (Cronbach & Meehl 1955) Innehåll, innehåll, innehåll! (Cureton 1951) Förutsägelse, förutsägelse, förutsägelse! (Guilford 1946) Reliabilitet, reliabilitet, reliabilitet! 2016-09-22 3
Validitet som kedja av underlag, handlingar (Crooks et al. 1999) 2016-09-22 4
Provdesign i den ideala världen 2016-09-22 5
Provanvändning i den ideala världen 2016-09-22 6
Övergripande syfte Det huvudsakliga syftet med utvärderingen är att öka kunskapen om vilka effekter de nationella proven har på lärares och skolans arbete. De tre övergripande frågeställningar som vi har utgått ifrån är följande: Hur går genomförandet till under provperioden (från förberedelse till bedömning)? Hur väl svarar nationella provens uppläggning mot befintliga lokala undervisningspraktiker? Hur tolkas, används och kommuniceras provresultaten lokalt? 2016-09-22 7
Materialinsamling urval och metod Semistrukturerade intervjuer (tot 50 timmar) med utgångspunkt i intervjuguider Lärare i åk 6 och åk 9 vid fem olika skolor (tre f-9 skolor, en f-6 skola samt en 7-9 skola) Skolledare vid dessa skolenheter Elever i åk 7 (de som gjort provet i åk 6 på de utvalda skolorna) Elever i åk 1 i gymnasiet (de som gjort provet i åk 9 läsåret innan) 2016-09-22 8
Förberedelser Vi försöker att ge eleverna bästa förutsättningar att visa vad de kan Jag försöker avdramatisera, och säga att proven inte är allt. Vi diskuterar hur det kommer att gå till, vilka delar de omfattar, att man har en viss tid på sig. Och att dom tidigt får titta på gamla prov om dom vill det, bara för att vänja sig vid formen, typen av frågor och uppgifter 2016-09-22 9
Genomförande Att genomföra proven går oftast bra, men det är ett omfattande arbete att få schemat att gå ihop under provperioden Enkelt ska jag väl inte säga att det är, det är ju himla mycket arbete att få ihop schemana. Vi skrapar ju alla resurser vi kan under själva genomförandet [ ] vi fördelar arbetet så att det ska bli så optimalt för barnen som möjligt. 2016-09-22 10
Bedömning Först rättar vi själva, sedan om det är möjligt tar vi med osäkerheter till sambedömning Vi vill ha rättvisa. Att man inte bara ska sitta med sin egen klass. Man ska titta på allas. Det är för sin egen skull också, att man får bekräftelse på att du tänker rätt, vi tänker lika. Det är den bästa fortbildning man kan få, att sitta tillsammans, diskutera och kolla på proven. 2016-09-22 11
Bedömning Bedömningsarbetet är det mest tidskrävande momentet och den tilldelade tiden räcker inte Här på skolan får vi en kvart per varje elev vi rättar. Så har jag tio elever får jag 2,5 timmar. Men ska man rätta ett prov så tar det minst en timma bara att läsa igenom instruktionerna och exemplen. Den rättning som inte hinns med på arbetstid blir ju på nätter och helger. Att rätta sätter ju sina spår tycker jag, i övrig undervisning. Det blir så tungt med det här så man måste hitta nåt lätt liksom under dom här perioderna. 2016-09-22 12
Provens utformning Proven svarar i stort bra mot kursplanerna De nationella proven är överlag väldigt bra. Dom är breda och tydliga och kontrollerar det man önskar. (6MaNo) Du har ju alla förmågorna med. Sedan är det klart att du inte kan testa alla typer av matematiska begrepp till exempel. Men jag tycker proven ger en bra spridning i alla fall. (9MaNo) Jag tycker dom både är intressanta och roliga [ ] både svenskan och engelskan. (6SvEng) Jag måste säga att det var förbaskat bra prov. Jag bara, yes. Jag hade undervisat i samma anda. Det var skönt att se. (6So) 2016-09-22 13
Resultatanvändningar och effekter Provresultaten är ju bara en del av betyget: Det lägger vi mycket kraft på att det här är en del av bedömningen. Vi gör så mycket annat under terminen också, som vi väger ihop. Det är en del av betyget, för jag har ju sett dom i tre år. 2016-09-22 14
Resultatanvändningar och effekter Provresultat kan avgöra betyget vid när det står och väger: Är du osäker på C eller B, ja [ ] och så klämde eleven in ett B på nationella som trots allt är ganska brett. Då lutar det åt ett B känner jag. 2016-09-22 15
Resultatanvändningar och effekter Provresultaten kan bara höja betygen: Om det påverkar, är det åt det positiva. Och det är väl så man vill använda det också, att det inte ska sänka någon utan dom ska gå åt det positiva. Uppåt. 2016-09-22 16
Resultatanvändningar och effekter Proven är en källa till inspiration för undervisningen Jag tycker ju att de nationella proven visar någon sorts riktning och jag strävar väl i den riktningen. Men jag har hållit på så många år så det är lite svårt att komma ifrån de mer traditionella undervisningensformerna. Men jag försöker bättra mig. (9NO) Vi har försökt att lägga större vikt vid muntliga diskussioner. Eleverna har helt andra uppgifter idag. (9Ma) eller är i alla fall i linje med hur man ändå gör (Eng/Ma/Sv) 2016-09-22 17
Resultatanvändningar och effekter Provresultaten bekräftar oftast betygen, men om de avviker är det viktigt att reflektera över varför Nej, man får ju på något sätt fundera över hur det ser ut i klassrummet. Hur ser den här elevens undervisning ut? Jag kanske har varit för hård? Eller så skärper dom till sig när det är ett så stort prov, som det står Skolverket på. 2016-09-22 18
Resultatanvändningar och effekter Provresultaten som underlag för skolutveckling: Vi knappar ju in någon redovisning till kommunen, men vart det tar vägen vet jag inte. Det är en uppgift som förstelärarna har [...] att de ska analysera detta. Ja att vi gör som på höstlovet när vi hade studiedagar och tittat liksom, hur det ser ut och varför vi ligger till som vi gör gentemot andra [ ] jag har nåt emot att bli jämförd. Det gör mig ingenting så, men jag kan tycka att det stöttar och hjälper inte oss i vårt jobb, utan det snarare stjälper oss tycker jag.?
Resultatanvändningar och effekter Det är irriterande att Skolverket och medier fokuserar avvikelser så mycket! - Jag tycker att det är lite underligt hur Skolverket går ut och säger att det ska vara som vilket prov som helst. Och sedan så analyseras detta in absurdum från kommunhåll och det blåses upp i media[ ] - Och från Skolverket också. - Ja [ ] - Och det stämmer ju inte överens med riktlinjerna för nationella provet. 2016-09-22 20
Resultatanvändningar och effekter Det vore önskvärt att hinna jobba vidare med eleverna efter proven, ge feedback och anpassa undervisningen. Men vi hinner inte mer än att meddela resultaten När det drar ut på rättningen så blir det svårt att använda det och hinna tala om vad dom fick för resultat och kolla på varenda fråga, det hanns ju inte med. Utan, ja, det gick såhär för dig. Jättesnabb fick man vara. Och så nästa! Om man nu har två veckor kvar på terminen det kan bli att det känns, inte onödigt men, ja men nu försvinner dom snart. Och jag vet inte ens om eleverna bryr sig så mycket heller. [ ] Dom är så less på proven då. 2016-09-22 21
Sammanfattande värdering Totalt sett är proven värda jobbet, eftersom de ger ett kvitto på om undervisningen fokuserat rätt delar ger bekräftelse på betygssättningen ger fortbildning i ämnet konkretiserar kursplaner och ger inspiration till undervisningen. 2016-09-22 22
Sammanfattande värdering Totalt sett är proven värda jobbet, trots att arbetsbelastningen är mycket hög i genomförandet (hade du frågat mig i maj hade jag sagt att de inte är värda arbetet) mycket av den ordinarie undervisningen faller bort eller hackas upp under provperioden många elever stressas av provmängden och av att de uppfattar proven som så viktiga för betygen det är problematiskt att de används för att ifrågasätta professionen 2016-09-22 23
Frilagda validitetshot: Stora variationer i fråga om bedömningsarbetets uppläggning och de förutsättningar lärare arbetar under. Stora variationer i fråga om innehållsvaliditet (SO/NOproven). Stora variationer i fråga konsekvensvaliditet Olika föreställningar om hur resultaten ska användas sänker likvärdigheten Glapp i synen på och användandet av aggregerade resultat mellan vi (lärare) och dom (medier, Skolverket). Professionens legitimitet ifrågasätts. 2016-09-22 24
Våra rekommendationer till Skolverket - Certifiera lärare och skolledare att arbeta med NP genom MOOC (bedömningsliteracy) - Utveckla ytterligare stödmaterial för elever och föräldrar för att underlätta kommunikationen och avdramatisera proven. - Vidareutveckla sambedömning uppmuntra sammarbetet i detta mellan kommun och friskolor - Utveckla konkreta riktlinjer för hur man på skolor kan arbeta med, analysera och värdera avvikelser mellan provresultat och betyg