Flervalsfrågor - ett användbart och kostnadse ektivt alternativ vid examination - Pedagogiskt miniprojekt

Flervalsfrågor - ett användbart och kostnadse ektivt alternativ vid examination - Pedagogiskt miniprojekt Christian Andersson May 3, 2005 1 Inledning Att åstadkomma en examinationsform som är rättvis såväl som pålitlig och på samma gång kostnadse ektiv kan ses som en omöjlig ekvation att lösa. På nationalekonomiska institutionen, där jag är verksam, är detta precis vad som efterfrågas. Särskilt så eftersom institutionen har mycket stora studentkullar på grundnivån vilket innebär att administration och rättning av tentor tar stora resurser i anspråk. I dagsläget plågas institutionen av dålig ekonomi. Besparingsåtgärder har genomförts på en rad områden, men ännu har ingenting skett med den kostsamma administrationen av tentor på grundnivån. Finns det något sätt att minska de stora kostnaderna för rättning av tentorna utan att skära ner på antalet tentor eller kvaliteten på examinationen? Ett möjligt svar på denna fråga skulle kunna vara att införa ervalsfrågor, så kallade multiplechoice frågor, på tentamen. Denna typ av frågor är mycket lätta att rätta och administrera och skulle därmed kunna spara avsevärda resurser för institutionen. Internationellt och då särskilt i USA är användandet av ervalsfrågor vid examination mycket vanligt förekommande. Systemet används frekvent inom nationelekonomi och en rad andra ämnesområden. Detta korta papper undersöker vilka möjligheter och begränsningar användandet av ervalsfrågor vid examination har. Jag försöker också föra fram vilka för- respektive nackdelar användandet av ervalsfrågor kan tänkas ha. Vidare så kommer jag gå igenom en rad praktiska punkter som är viktigt att tänka på vid konstruktionen av ervalsfrågor. Artikeln är upplagd enligt följande; i kapitel 2 ges en beskrivning av det som karaktäriserar ervalsfrågor och hur ervalsfrågor är upplagda. I kapitel 3 görs en genomgång av för- respektive nackdelar i användandet av ervalsfrågor. Därefter, i kapitel 4, följer av beskrivning av hur ervalsfrågor används och i kapitel 5 presenteras praktiska rekommendationer för konstruktionen av e ektiva ervalsfrågor. Artikeln avslutas därefter med avslutande kommentarer i kapitel 6. Nationalekonomiska institutionen, Uppsala universitet, Box 513, 751 20 Uppsala, tel. 018-471 16 36, e-mail: christian.andersson@nek.uu.se 1

2 Kännetecknande för ervalsfrågor Flervalsfrågor består av ett stam (eng. stem) som presenterar problemställningen och era alternativ (optioner eller val). Alternativen innehåller det korrekta svaret och era möjliga felaktiga alternativ som kallas distraktorer. Själva stammen kan formuleras antingen i frågeform eller som ett ofullständigt påstående. När det gäller alternativen som studenten har att välja mellan så kan dessa konstrueras på olika sätt. Antingen kan de olika svarsalternativen konstrueras så att enbart ett alternativ är korrekt och att de resterande alternativen är klart felaktiga. En annan typ av ervalsfråga konstrueras så att alla alternativen kan vara mer eller mindre rätt, men att det endast nns ett svar som är "bäst". Denna typ av frågor ställer större krav på den som skriver tentan och testar en mer komplex färdighet eftersom studenten måste välja det bästa skälet för sitt handlande. Huruvida man bör använda sig av frågetypen med ett korrekt svar eller formen av era möjliga svar men ett som är bäst beror på vilken typ av färdighet som examinationen avser att mäta. Flervalsfrågor använder sig vanligtvis av tre till fem olika svarsalternativ. Ett större antal svarsalternativ minskar givetvis studentens chans att välja rätt svar genom att gissa. Fram till nyligen har forskare kring ervalsfrågor trott att tre eller fyra distraktorer varit nödvändigt för att en fråga ska ha tillräcklig svårighetsgrad. Ny forskning har dock visat att det ofta är tillräckligt med tre alternativ. Självklart är det som tidigare påpekats så att er distraktorer gör det mindre troligt för de som gissar att välja rätt alternativ. Om det nns fem svarsalternativ så är den teoretiska chansen att gissa rätt endast en på fem. Att ha er svarsalternativ kan givetvis synas vara en bra strategi eftersom det minskar chansen för studenter som gissar att chansa rätt. Att ta fram svarsalternativ som är lika rimliga kan dock vara svårt och det nns inget självintresse i att ha ett extra alternativ om det sista alternativet som läggs till är ett uppenbart felaktigt svar. Det viktigaste är att försöka konstruera alternativ som har liknande rimlighet. Vidare nns det ingen anledning att alla ervalsfrågorna i en tentamen har lika många alternativ. Vissa frågor kan ha tre, vissa fyra och andra fem svarsalternativ. Att ha olika antal svarsalternativ på olika frågor innebär endast ett problem om tentan korrigeras för gissningar. Som praxis är korrigeringar av poängen för gissningar dock inget som rekommenderas av de som forskat kring ervalsfrågor. Intelligenta gissningar kan till och med vara något som bör uppmuntras. Flervalsfrågor är oftast uppställda antingen i form av en fråga eller ett ofullständigt påstående. Båda typerna kan användas för att illustrera samma problem, men oftast är det så att formen med ett ofullständigt svar resulterar i en mer koncis stam. Det är dock lättare att skriva i frågeform och det tvingar också testkonstruktören att ställa tydliga frågor. Tyvärr tenderar frågeformen att ge längre frågor så en e ektiv strategi kan vara att försöka gå över till ofullständiga påståenden i de fall då det ger en mer koncis frågaställning utan att påverka frågans tydlighet. För att illustrera ervalsfrågetypen och de två olika typerna av frågor med en fråga respektive ett ofullständigt svar så ges nedan ett exempel. 2

Ofullständigt svar: Om den nominella bruttonationalprodukten (BNP) ökar i en takt av 10% per år och BNP-de atorn ökar med 8% per år. Real BNP; A. förblir då oförändrad. B. ökar då med 10%. C. faller då med 8%. D. ökar då med 2%. Frågetypen: Om den nominella bruttonationalprodukten (BNP) ökar i en takt av 10% per år och BNP-de atorn ökar med 8% per år. Vad händer då med real BNP? A. Den förblir oförändrad. B. Den ökar med 10%. C. Den faller med 8%. D. Den ökar med 2%. Från exemplet ovan ser vi att frågan med ofullständigt svar är något mer koncis än frågeformen, dock till viss del på bekostnad av tydligheten. 3 För- respektive nackdelar med ervalsfrågor I väldigt grova dra kan olika typer av examination delas upp i två stora grupper; en där svaret konstrueras av den som skriver tentamen och en där svaret väljs från era olika alternativ. Frågan är om det egentligen spelar någon roll om den som skriver provet väljer ett svar istället för att skriva det på egen hand? Vilka fördelar respektive nackdelar nns med ervalsfrågor i förhållande till vanliga skivna prov? I detta avsnitt analyseras detta utifrån sådana aspekter som provoch frågekonstruktion, administration, poängsättning, pålitlighet och validitet. Inledningsvis vad gäller frågekonstruktion så är en nackdel med ervalsfrågor att det många gånger kan vara svårare och mer tidskrävande att konstruera bra och e ektiva ervalsfågor än frågor där ett svar skall konstrueras på egen hand (i fortsättning kallas denna typ av fråga av enkelhet essäfråga). Särskilt svårt är det att konstruera frågor som testar de högre nivåerna, syntes och värdering, i Blooms taxonomi. Till skillnad från essäfrågor kan ervalsfrågor i större utsträckning återanvändas eftersom det är vanligt att ha ganska många frågor totalt på ett prov vilket gör det svårare att komma ihåg enskilda frågor än frågor av essätyp som oftast är färre. Möjligheten till återanvändning är en klar fördel i användandet av ervalsfrågor. Vad gäller administration nns det klara fördelar med ervalsfrågor jämfört med essäfrågor. För det första så tar genomförandet av ett ervalsprov mycket mindre tid i anspråk än ett prov där studenterna ska skiva sina egna svar. Ett ervalsprov tar i de esta fall endast en till två timmar att genomföra medan ett essäprov oftast tar två till fyra timmar att genomföra. Att skiva en tentamen under så lång tid kan vara fysiskt ansträngande och detta kan vara ett av skälen till att studenter generellt föredrar ervalsprov. Ett essäprov poängsätts utifrån en bedöming av svaret som studenten skrivit, vanligtvis utifrån en bedömningsskala eller en checklista. Den ideala proceduren 3

för rättning är ofta mycket invecklad och mödosam. Det nns en mängd felkällor vid rättningen och poängsättningen av essäfrågor. Det har bland annat visat sig nnas ett samband mellan handstilen och poängsättningen vid essätest. Vidare är relationen mellan meningslängd samt skrivsätt och poängsättning väldokumenterad. Dessa problem är givetvis ett hot mot essäprovens validitet. I rättningen ligger ytterligare ett av de starkste argumentet för att använda ervalsfrågor. Flervalsfrågor rättas objektivt och det nns tydligare regler för hur poäng ska ges. Det nns ingen som helst tvekan om studenten har gett det rätta svaret eller ej eller hur detta svar ska poängsättas. Ett problem som ofta omtalas när det gäller ervalsfrågor är att studenterna kan gissa. Med essäfrågor nns det oftast mycket liten chans för studenterna att gissa sig till det rätta svaret. Används ervalsfrågor kan gissningar vara ett problem eftersom det alltid nns en chans att studenterna gissar det rätta svaret utan att egentligen ha den kunskap som frågan är avsedd att testa. E ekten av dessa gissningar skall dock inte överskattas. Sannolikheten att gissa rätt svar på en fråga med fyra alternativ är givetvis 25 procent. Sannolikheten att gissa rätt på tio sådana frågor är dock endast 0.00000001 procent, så risken att en student som gissar på ett prov med 50 eller er frågor och får en hög poäng på provet är trots allt väldigt liten. Pålitligheten eller reliabiliteten är en annat viktig aspekt både för den som konstruerar provet och den som skriver det. Pålitlighet är ett nödvändigt villkor för ett provs validitet. Pålitligheten har att göra med i vilken utsträckning det nns mätfel i testresultaten. För jämförbara administrationstider så har det visat sig att essäprov har gett en lägre pålitlighet än jämförbara ervalsprov. Detta har till viss del att göra med subjektiviteten i poängsättningen av essäfrågor. Den viktigaste frågan när det gäller all form av testning rör dock testets validitet. För att ett test ska ha validitet är det viktigt att det ska testa en rättvist och representativ del av den kunskap som kursen har som mål att lära ut. Eftersom ett större antal frågor kan ställas i ett ervalsprov är det rimligt att anta att ett sådant prov kan täcka in en större del av kursmaterialet än ett essätest. Ytterligare en viktig aspekt i bedömingen av ett provs validitet är att det ska kunna mäta även högre nivåer av tänkande. Essäfrågorna har här en fördel då de med lätthet kan konstrueras för att testa åtskilliga nivåer. Detta kan vara problematiskt i användandet av ervalsfrågor då konstruktion av ervalsfrågor som mäter högre nivåer i till exempel Blooms taxonomi kan vara svårt. Litteraturen på området har dock visat att detta inte är omöjligt även om det ställer stora krav på testkonstruktören. Kritiker till användandet av ervalsfrågor hävdar ofta att essäfrågor mäter något annat än ervalsfrågor. I korthet så menar dessa kritiker att valet av ett svar från en lista med möjliga svar är fundamentalt annorlunda än att på egen hand skriva det rätta svaret. Exempelvis är en fördel med essäfrågetypen att tänkande i era steg kan uppfattas och att essäfrågor av denna anledning bör föredras framför ervalsfrågor. Ytterligare en begränsning i användandet av ervalsfrågor är att de är ine ektiva för en del typer av problemlösning och för att testa förmågan att organisera och uttrycka ideér. Sammantaget nns det starka skäl både för användandet av essäfrågetypen och ervalsfrågor. Båda typerna är användbara och det är inte uppenbart att den ena alltid bör föredras framför den andra. Kanske kan det vara så att en blandning av frågor i många fall kan vara en bra väg för att skapa ett prov som 4

både är pålitligt, lätträttat och samtidigt testar kunskaper från ett ertal av nivåerna i Blooms taxonomi på ett e ektivt sätt. 4 Användandet av ervalsfrågor I detta avsnitt gör en genomgång av den vanligast användningen av ervalsfrågor. Majoriteten av ervalsfrågor testar de tre lägsta nivåerna i Blooms taxonomi; faktakunskap, förståelse och tillämpning. En vanligt förekommande missuppfattning är att ervalsfrågor uteslutande används för att testa enkla faktakunskaper, alltså första steget i taxonomin uppställd av Bloom. Ny forskning har dock visat att ervalsfrågor kan bedöma alla sex kognitiva nivåer i Blooms taxonomi (Se exempelvis Bull & McKenna, 2001 eller Pritchett, 1999). Den vanligaste användningen av ervalsfrågor är dock för bedömning av faktakunskaper, men ervalsfrågor används också i relativt hög utsträckning för att testa de nästa stegen i taxonomin; förståelse och tillämpning. Övriga nivåer testar endast undantagsvis. I den resterande delen av detta kapitel görs en lite närmare genomgång av de tre vanligaste nivåerna till vilka ervalsfrågor vanligtvis används. Kunskapsfrågor mäter i allmänhet i vilken omfattning tidigare inlärt material har lagts på minnet. Denna typ av fråga fokuserar främst på enkla minneskunskaper av information och det kan röra sig om termer, faktakunskaper eller andra speci ka aspekter av kunskap. Det som efterfrågas är vanligtvis att personen ska beskriva, komma ihåg, identifera, känna igen, namnge eller räkna upp information. Förståelsefrågor testar vanligtvis den lägsta nivån av förståelse. Frågor av denna typ bedömmer om studenterna har förstått meningen i det material som examineras utan att det är ett krav på att de ska kunna tillämpa kunskapen. Det viktigaste i denna typ av frågor är att de ska innehålla något som är nytt eller ovant för studenten. Tillämpningsfrågor mäter också förståelse, men vanligtvis på en högre nivå än förståelsefrågorna. Vid denna typ av frågor måste studenterna visa att de inte bara har förstått informationens innehåll utan också att de kan applicera kunskapen på konkreta situationer som är nya för dem. Flervalsfrågor av tillämpningstyp visar i vilken utsträckning studenterna på ett e ektivt sätt kan använda sin kunskap för att lösa nya problem. Denna typ av frågor ställer alltså krav på att studenterna ska kunna tillämpa olika aspekter av den inhämtade kunskapen såsom faktakunskaper, koncept, lagar, regler, metoder och teorier. I Blooms taxonomi så karaktäriseras denna typ av kunskapstestning av att studenterna ska kunna konstruera, demonstrera och använda sina kunskaper. Både förståelse- och tillämpningstypen av ervalsfrågor är anpassningsbara till i praktiken alla ämnesområden och de tillhandahåller de grundläggande möjligheterna för att mäta förståelse. Vid konstruktionen av en tillämpningsfråga är det viktigt att välja problem som studenterna inte har stött på tidigare och som de därmed inte kan lösa enbart med hjälp av generell kunskap. Varje fråga bör konstrueras så att den kräver användande av en speci k faktakunskap, koncept, princip eller procedur som eftersöks från inlärningsprocessen. 5

5 Rekommendationer vid konstruktion av ervalsfrågor En e ektivt konstruerad ervalsfråga ger studenterna som ska besvara den en uppgift som är viktig och lättförstådd. En sådan fråga kommer också att kunna besvaras korrekt av alla som har uppnått den efterfrågade inlärningsnivån. Ingenting i innehållet eller strukturen av en speci k ervalsfråga ska kunna hindra en väl påläst student att svara korrekt på frågan. På samma sätt ska ingenting i innehållet eller strukturen göra det möjligt för en icke påläst student att välja det korrekta svaret. För att göra sammanställningen av vad som är viktigt att tänka på vi konstruktion av ervalsfrågor så kommer jag att presentera en rad punkter som är viktiga att tänka på för att få ervalsfrågor att fungera på ett e ektivt sätt. Detta stycke bygger i stora stycken på material från Gronlund, 1998, Linn & Gronlund, 1995 och Brown & Bull, 1997 men kompleteras med egna kommentarer och tillägg. 5.1 Konstrera varje fråga så att den mäter en viktig del i resultatet av lärandet Problemet kring vilket en fråga byggs bör vara relevant och samtidigt på ett pålitligt sätt kunna mäta om studenten lärt sig den efterfrågade kunskapen. När en fråga konstrueras är det viktigt att fokusera på vad frågan ska utvärdera och försöka undvika att inkludera irrelevant eller mindre viktigt material för att öka frågans svårighetsgrad. Själva syftet med varje fråga är ju att bestämma i vilken utsträckning den avsedda inlärningen har åstadkommits. Frågor som är konstruerade för att mäta mer komplexa prestationer måste innehålla något som är nytt eller ovant för studenten. Exempelvis skulle en kunskapsfråga kunna kräva en identi kation av en de nition från läroboken, en förståelsefråga kan tänkas kräva en identi kation av en modi erad form av samma de nition. Slutligen kan en tillämpningsfråga efterfråga en identi kation av den rätta användningen av de nitionen från ett exempel. För både förståelse- och tillämpningsfrågorna gäller dock att de ska innehålla material som är nytt för studenterna för att kunna mäta den kunskap som efterfrågas. Med detta menas att studenterna måste visa att de har förstått meningen i materialet och kan använda sig av kunskapen i situationer som är nya för dem. 5.2 Presentera ett enda klart formulerat problem i stammen Uppgiften som läggs fram i frågeställningen skall vara så tydlig och klar att studenterna ska kunna förstå den utan att läsa de olika alternativen. Ofta konstrueras ervalsfrågor som ofullständiga påståenden. Detta kan vara en bra strategi för att få frågorna koncisa, men det får inte gå ut över möjligheten att förstå frågan. Ett bra sätt för att kontrollera tydligheten och fullständigheten i en ervalsfråga kan till exempel vara att hålla för alternativen och avgöra om frågan kan besvaras utan att titta på alternativen. 6

5.3 Formulera stammen av en fråga på ett enkelt och tydligt språk Problemformuleringen i stammen av en ervalsfråga bör återges så noggrant som möjligt och skall vara fri från onödligt svårt språk eller komplex meningsbyggnad. Vem som helst som har kunskapen som avses mätas av ervalsfrågan skall kunna välja det rätta svaret. En dåligt formulerad stam ger ofta en sådan oklarhet att även studenter som lärt sig det efterfrågade materialet får problem att ge det korrekta svaret. Dessutom kan det vara så att en mer komplex meningsbyggnad kan göra frågan till mer av en läsförståelseuppgift än en fråga som mäter en speci k del i kursmaterialet. 5.4 Försök att få huvuddelen av frågans text i stammen Undvik att upprepa samma material i varje svarsalternativ. Genom att ytta allt material som är gemensamt till frågeställningen så förbättras och klargörs oftast problemet. Genom att konstruera frågorna på detta sätt så reduceras även tiden som studenten behöver för att läsa alternativen. Ofta kan det krävas en omformulering av hela frågan för att åstadkomma mindre text i alternativen. Det är dock oftast värd besväret då skärpa i formuleringarna och återhållsamhet i ordmängden är viktiga mål att sträva efter i konstruktionen av e ektiva ervalsfrågor. 5.5 Formulera stammen i en positiv form när det är möjligt En positivt uttryckt fråga tenderar att mäta viktigare resultat av lärande än då negationer används för att formulera frågorna. Detta beror på att det oftast är viktigare att ha kunskap om saker som exempelvis den bästa metoden eller det mest relevanta argumentet än att kunna till exemple den sämsta metoden eller minst relevanta argumentet. Negativt formulerade frågor uppkommer främst eftersom de är lätta att konstruera och sällan på grund av att de testar ett viss lärande särskilt bra. Dessutom nns en risk att studenterna förbiser negationen och av denna anledning missförstår frågan. 5.6 Poängtera negationer när de används i stammen Vid vissa tillfällen är det både nödvändigt och önskvärt att använda negationer i frågeformuleringar för att kunna mäta resultatet av lärande. Att till exempel veta att man inte ska gå över gatan när det är röd gubbe eller att man inte ska blanda vissa kemikalier är givetvis en viktig kunskap som ska kunna testas. En situation som innehåller något som potentiellt är farligt kan kräva en negation. I dessa fall är det viktigt att negationen betonas antingen genom att använda sig av stora bokstäver eller understrykning. Negationen bör också placeras nära slutet av frågeställningen, eftersom studenterna då lättare kommer ihåg att frågan är ställd med en negation när de studerar svarsalternativen. 7

5.7 Var säker på att det planerade svaret är korrekt eller uppenbart det bästa När svarsformen är av typen där ett korrekt svar ska avges skall det bara nnas ett svar som är det rätta. Det ska vara odiskutabelt att detta svar är det korrekta. När svarsformen är av typen med ett svar som är det bästa så bör det avsedda svaret vara ett som ertalet av de som är kompetenta på området skulle vara överens om är det bästa svaret. I det senare fallet kan det också vara värt att lägga till "av de följande" i frågeställningen eftersom det skulle kunna nnas icke inkluderade svarsalternativ som passar lika bra, eller bättre, till den ställda frågan. 5.8 Gör alla alternativen grammatiskt konsistenta med stammen Det korrekta svaret i en ervalsfråga formuleras ofta med stor omsorg så att det stämmer grammatiskt överens med stammen. Viktigt att tänka på är att vara lika noggrann och omsorgsfull när man formulerar distraktorerna. Om inte samma omsorg läggs på distraktorerna kan dessa lätt bli grammatiskt felaktiga eller skrivna i fel tempus vilket ger studenterna ledtrådar till vilket som är det korrekta svaret. Hur som helst blir de distraktorer som inte är grammatiskt riktiga ine ektiva. Det är också värt att tänka på att inte använda sig av exempelvis bestämd artikel eftersom den kan skilja sig åt för de olika svarsalternativen. Ett möjligt sätt att undvika problemet med bestämd artikel är att ändra svarsalternativen från singular till plural och på så vis utesluta den bestämda artikeln. Vidare är det viktigt att försöka skriva alla svarsalternativen på samma form så att studenterna inte utifrån hur svarsalternativen stämmer överens med stammen kan bestämma vilket alternativ som är korrekt eller vilka som är felaktiga. 5.9 Undvik språkliga ledtrådar som kan hjälpa studenterna att välja det korrekta alternativet eller utesluta felaktiga alternativ En av de vanligaste formerna av ledtrådar i ervalsfrågor kommer från ordanvändandet i stammen och svarsalternativen. Detta kan förekomma på en rad olika sätt i ervalsfrågor. En av de vanligaste typerna av sådana ledtrådar är när liknande ordval görs såväl i stammen som i det korrekta svaret. Nyckelord från frågan kan oavsiktligt ha upprepats ordagrannt i det rätta svarsalternativet, en synonym kan ha använts, eller kan ord helt enkelt låta eller se liknande ut. Ett annat sätt som ledtrådar kan smyga sig in i ervalsfrågor är genom att det korrekta svaret är skrivet på typiskt läroboksspråk eller är stereotypt uttryckt. Detta kan ge studenterna hjälp eftersom det alternativet då känns känns bekant. Vidare kan ett korrekt svar som uttrycks väldigt nogrannt i förhållande till distraktorerna vara en ledtråd. Dessutom kan det vara så att svaret står tillsammans med bestämmningsord som associeras med sanna påståenden vilket gör att detta svar mer sannolikt väljs. Ytterligare ett sätt som ledtrådar, utan avsikt, kan dyka upp i ervalsfrågor är då det i distraktorerna läggs till absoluta uttryck såsom "alltid", "aldrig", "alla" eller "ingen" vilka associeras till falska påståender. Detta kan göra det 8

korrekta svaret uppenbart eller åtminstone så ökar det chansen för gissande studenter att välja det korrekta svaret. Att ha två svarsalternativ som är heltäckande gör det möjligt att eliminera de andra alternativen, eftersom ett av de två heltäckande svaren uppenbart måste vara det korrekta. Ett annat konstruktionsfel i ervalsfrågor är att inkludera två alternativ som har samma innebörd. Eftersom enbart ett svar ska anges kan dessa två alternativ uteslutas. Detta eftersom det är uppenbart att inget av dem kan vara det korrekta svaret. Yttre ledtrådar till det korrekta svaret måste i största möjliga mån elimineras för att frågan ska fungera som det är tänkt. Det kan dock ibland vara en god strategi att leda de studenter som inte är pålästa bort från det rätta svaret genom att använda den ovanstående typen av ledtrådar. Mer om detta i nästa stycke. 5.10 Gör distraktorerna rimliga och attraktiva för de okunniga Distraktorerna i ervalsfrågor bör vara så lockande att studenter som saknar kunskapen som efterfrågas i hög utsträckning väljer någon av distraktorerna framför det rätta svaret. Att få väl fungerande ervalsfrågor hänger mycket på konstruktionen av e ektiva distraktorer. I litteraturen anges en rad saker att tänka på när distraktorerna konstrueras. Några av dessa är: 1. Använd vanliga missuppfattningar eller fel som studenterna ofta gör som distraktorer. 2. Använd ord som låter trovärdiga (t.ex. riktig, viktig) i såväl distraktorerna som i det rätta svaret. 3. Gör distraktorerna lika det rätta svaret både i längd och i ordvalets komplexitet. 4. Som tidigare nämnts kan yttre ledtrådar såsom sterotypa eller vetenskapligt klingande uttryck användas i konstruktionen av distraktorer. 5.11 Variera det korrekta svarets relativa längd för att undvika ledtrådar i form av svarets längd Det har visat sig nnas en tendens till att det korrekta svaret ofta är längre än distraktorerna i ervalsfrågor. Detta beror oftast på att testkonstruktören vill göra det otvetydigt att detta är det korrekta svaret. Studenter som är vana att skriva ervalsfrågetest ges då en klar ledtråd till det korrekta svaret. Detta problem löses givetvis enklast genom att variera den relativa längden på det korrekta svaret så att det ibland är det kortaste alternativet ibland det längsta och ibland lika i längd med resten av alternativen. När frågornas längd konstruerar kan det också vara bra att tänka på positionen av det korrekta svaret. Det är givetvis av yttersta vikt att det korrekta svaret placeras ut slumpmässigt så att studenterna inte får onödig hjälp genom att positionen av det korrekta svarsalternativet följer ett speciellt mönster genom tentamen. Som ses från alla punkterna ovan så är konstruktionen av en bra ervalsfrågor inte det lättaste. I litteraturen kring ervalsfrågor nns ytterligare tips på hur e ektiva ervalsfrågor konstrueras. 9

6 Avslutande kommentarer Flervalsfrågor är en examinationsform som inom den svenska universitetsvärlden fortfarande används relativt sällan. Särskilt i jämförelse med länder som USA där denna typ av examination inom många ämnesområden är mycket vanlig. Jag har i denna korta artikel visat på hur ervalsfrågor kan och bör användas. Vid införandet av ervalsfrågor tror jag det är av yttersta vikt att vara mycket noggrann i konstruktionen av frågor. Att konstruera bra och väl fungerande frågor är något som inledningsvis tar betydligt längre tid än att konstruera essäfrågor. Denna extra tid det tar att konstruera bra ervalsfrågor får man dock tillbaka mångfalt då rättningen av denna typ av test är så enkel. Jag tror dessutom att det just i pålitligheten och objektiviteten nns mycket stora vinster att göra i användandet av ervalsfrågor. Vidare tror jag det är viktigt att göra konstruktörer av ervalsfrågor uppmärksamma på att denna typ av frågor kan testa mycket mer än enkla minneskunskaper. I USA är fallet ofta att tentor enbart består av ervalsfrågor. Jag tror dock att en viss del essäfrågor bör vara kvar i examinationen då ervalsfrågor fungerar mindre bra för att testa till exempel problemlösning. En kombination av ervalsfrågor och essäfrågor skulle kunna vara ett e ektivt sätt att öka examinationens pålitlighet och dessutom vara ett billigare alternativ än att som i dagsläget endast använda sig av essäfrågor. References [1] Bloom, Bejamin S., George F. Madaus & J. Thomas Hastings, 1981, Evaluation to Improve Learning, McGraw-Hill, USA. [2] Brown, George, Joanna Bull & Malcolm Pendlebury, 1997, Assessing Student Learning in Higher Education, Routledge, London. [3] Bull, Joanna & Colleen McKenna, 2004, Blueprint for Computer-Assisted Assessment, Routledge Falmer, London. [4] Gronlund, Norman E., 1998, Assesment of Student Achievement, Sixth edition, Needham Heights, Massachusetts. [5] Haladyna, Thomas M., 1994, Developing and Validating Multiple-Choice Test Items, Lawrence Erdbaum Associates, New Jersey. [6] Harper, Ray, 2003, "Multiple-Choice Questions - A Reprieve", Bioscience Education E-Journal, Volume 2. [7] Linn, Robert L. & Norman E. Gronlund, 1995, Measurement and Assessment in Teaching, Prentice-Hall, New Jersey. [8] McKeachie, Wilbert J., 2002, McKeachie s Teaching Tips, Houghton Mi in, Boston. [9] Pritchett, Norma, 1999, E ective Question Design. In Computer-Assisted Assessment in Higher Education, Ed s Brown S., Bull J. & Race P., Kogan Page Ltd., London 10