Något om konsten att göra välfungerade prov

Transkript

1 Något om konsten att göra välfungerade prov Christina Wikström Institutionen för tillämpad utbildningsvetenskap /BVM Umeå universitet Prov = ett nödvändigt ont? Källa: 2 1

2 3 Vad är ett prov? When the cook tastes the soup, that s formative assessment; when the customer tastes the soup, that s summative assessment" Black (1998) Instrument för att erhålla information som ger underlag för formativa eller summativa beslut, som.. - Kan ta många olika former. - Kan variera i omfattning. - Kan ha olika betydelse för dem som ska använda eller påverkas av informationen High stakes vs low stakes Muntliga prov Pappersbaserade prov Datorbaserade prov Praktiska prov Portföljer 4 2

3 Prov (liksom betyg) har olika syften Motivation Rangordning (urval) Information Relativ mätning (normrelaterad) Absolut mätning (kriterie/målrelaterad) Hur ska informationen tolkas och användas? Vilka beslut ska tas? (summativ-formativa, high stakes-low stakes, mikro-makro osv) Vad ska informationen användas till? 1. Att stämma av eller förändra (formativt) Oftast inför eller under utbildningen Läraren/skolan: vad kan de elever som påbörjar sina studier här? Behövs särskilda insatser? Läraren: Vad kan eleven/eleverna, vilka kunskapsluckor finns, vad bör jag fokusera på? Eleven:-Var är jag?, -Vart ska jag härnäst? 2. Att fastställa måluppfyllelse? (summativt) Oftast i slutet av utbildningen Eleven: Nått målen (kunskapskravet)? Läraren: I vilken grad, vilket betyg skall tilldelas? Läraren/Skolan: hur väl har vi klarat vårt uppdrag? 3

4 Ett bra prov kan ge värdefull information, medan ett dåligt prov, eller ett i grunden bra prov som används på ett felaktigt sätt, kan ge osäker eller i värsta fall helt missvisande information. Vad kännetecknar ett bra prov? 7 Reliabilitet vs Validitet Reliabilitet = att mäta på ett tillförlitligt sätt. Mätningen är reliabel om den är konsekvent. Validitet = att mäta rätt. Mätningen är valid när den mäter det man avser att mäta samt att den fyller de funktioner man vill att den ska göra. Även konsekvenser! 4

5 Svårigheten att mäta rätt Constructirrelevant variance Ger för litet information Ger irrelevant information 9 Provkonstruktionsprocessen Beskriv provet: mål, syfte och målgrupp Gör en provspecifikation! 10 5

6 1. Analysarbete Mål (centralt innehåll +kunskapskrav)???? Konkretisering av vad man vill ta reda på (vad som ska mätas), hur många uppgifter/frågor krävs och vilka format som är lämpliga Konkretisering Exempel: Provspecifikation för prov i bedömningsteori 12 6

7 Hur värdera svaren? Antal rätt numeriska poäng rätt/fel Antal rätt - numeriska poäng med viktning Antal rätt av olika kvalitativa betyg (E-A; IG-VG osv) 13 Vilket/vilka format passar bäst? Stängda uppgifter Flervalsuppgifter av olika slag Öppna uppgifter Korta svar Långa svar Helt öppna svar (uppsats) Utförande den huvudsakliga arbetsinsatsen innan provet genomförts Rättningen enkel och snabb. Vissa mätmässiga begränsningar samt risk för fel pga. uteslutningsmetod eller chansning. huvuddelen av arbetet efter provet genomförts, när svaren ska tolkas och bedömas. Risk för oväntade svar, missförstånd och subjektiva bedömningar. 7

8 Riktlinjer öppna uppgifter Används i första hand för att mäta komplex kunskap. Bör riktas mot delmål snarare än allt för fragmenterade kunskaper. Kräver mycket tydliga anvisningar vad gäller vad (och hur mycket) som krävs. Rättningsmall/bedömningsanvisningar skall utformas tillsammans med uppgiften

9 Generella riktlinjer alla format Varje uppgift ska mäta en avsedd kunskapsdel (ha ett specifikt syfte). Ställ frågor om de mest viktiga aspekterna/ kunskapsdelarna undvik att fråga efter trivial kunskap. Skriv enkelt. Använd ett språk som passar målgruppen. Fråga aldrig efter åsikter! Vad är en åsikt? *Haladyna, T.M., and Downing, S.M. (1989). A taxonomy of multiple-choice item- writing rules, Applied Measurement in Education. p Frågeställningen (stammen) Frågan och instruktionen ska vara tydlig. Formulera stammen positivt (annars markera avvikelsen) Använd gärna kontext, men undvik window dressing. Window dressing: onödig information som ger intryck av att frågan är mer komplex än den är, utan att tillföra något mer än onödig läsning. Kontext: information som sätter frågeställningen i ett relevant (och förhoppningsvis) intressant sammanhang. Datum 18 9

10 Window dressing, kontext eller bara komplicerat? Anna och Lisa är två vänner som är intresserade av hästar. De arbetar och sparar så mycket de kan för att kunna rida så mycket som möjligt och har under sommarlovet arbetat med att sälja glass i kiosken vid badstranden. Båda har arbetat i sammanlagt tio dagar, men Anna har arbetat åtta timmar om dagen medan Lisa bara har arbetat fem timmar om dagen. I stället har Lisa tjänat tio kronor mer i timmen än Anna, som tjänade 50 kronor i timmen, eftersom Lisa är ett år äldre. De vill båda två använda sina pengar för att kunna delta i ett ridläger som kostar 3700 kronor för en vecka. Räcker pengarna för dem båda? Förklara hur du räknade ut svaret. 19 Svarsalternativ (flerval) skall alltid besvara frågan! (men rätt svar är helt rätt, och felaktiga svar är helt fel) skall stå i logisk eller numerisk ordning. skall vara homogena i innehåll och utformning Undvik flera rätta svar överlappning determinanter som alltid, aldrig formuleringar som alla ovan, inget ovan, jag vet inte. Tänk på att Variera placeringen av det rätta svaret Inte luras! 20 10

11 Svår kunskap eller svår fråga? 1. Vad heter Indiens huvudstad? a. Peking b. Delhi c. Seoul d. Istanbul 2. Vad heter Indiens huvudstad? a. Mumbai b. Calcutta c. Delhi d. Bangalore I vilken av del av Delhi finns Indiens parlament? a. New Delhi b. Old Delhi c. East Delhi d. West Delhi 21 Öppna uppgifter = var tydlig! Fråga: Idag arbetar man med förebyggande hälsa på olika nivåer. Diskutera hälsa ur ett samhällsekonomiskt perspektiv. Fördelar nackdelar? Etiska problem? Svar: Wedman, Prov och provkonstruktion

12 Gissa eller bluffa? Gissning är inte alltid bra men kan också vara det. Bluffning är mer problematiskt. Håll utkik efter indikatorer på att provtagaren bluffar, exempelvis genom att han/hon: Repeterar frågan och betonar ämnets vikt Väljer annat tema men justerar så att det relaterar till uppgiften Upprepar (viktiga men kanske inte i sammanhanget mest centrala) termer och hakar upp sig på dessa. Väljer saker som läraren uttryckt som särskilt viktiga och skriver om dessa. 23 Rättning öppna uppgifter Utgå från bedömningsanvisningar som innehåller kriterier för hur uppgiften skall värderas. Utvärdera/analysera svaret utifrån vad uppgiften frågar efter och förväntas mäta förleds inte av ett annars välformulerat och intressant svar. Rätta varje svar var för sig, dvs gå inte vidare till nästa innan alla elevers uppgift x är rättad

13 Exempel på bedömningsanvisningar av större uppgift (matris) 25 Kunskapskrav och bedömningsanvisning biologi 26 13

14 Kravgränssättning det önskvärda 27 Kravgränssättning vanliga problem 28 14

15 Kravgränssättning Var ska gränsen vara? Angoff s metod, Bookmarking, IRT Angoffs modifierade: Hur många av 100 provtagare som precis har den efterfrågade kunskapen kommer att klara uppgiften?

16 Granska frågorna 1. Innehållsvaliditeten 2. Språket 3. Korrektheten (fakta och facit) 4. Utformningen 31 Om du kan och har tid.. Pröva ut provet! 1. Fungerar frågorna som var tänkt 2. Är de av förväntad svårighetsgrad? 3. Diskriminerar de som avsett? 4. Finns det gruppskillnader? 5. Är kravgränsen/-erna rimlig? mm 32 16

17 Slutligen.. det handlar inte bara om provet Förklara för eleverna vad provet har för syfte och varför du ger dem detta prov. Berätta hur provet kommer att se ut, hur uppgifterna ska besvaras, vad du vill att de ska visa i sina svar, och hur du kommer att rätta och bedöma svaren, och vad som krävs för ett visst betyg. Visa exempel på typiska uppgifter. Ge tillräckligt med tid! - OM tiden av någon anledning är begränsad, förklara vilka strategier som kan användas för att planera tiden på bästa sätt. Everybody is a genius. But if you judge a fish by its ability to climb a tree, it will live its whole life believing that it is stupid. Albert Einstein (?) 34 17

18 Christina Wikström Institutionen för tillämpad utbildningsvetenskap avd Beteendevetenskapliga mätningar Umeå universitet 18