Utforme gode spørsmål og tester

Transkript

1 Utforme gode spørsmål og tester 5 April 2006 Lise-Lotte Appelgren

2 Enlights certifieringsområden Dutch Ministry of Education 14 länder 3000 testcenters Oberoende certifieringar Certifieringar företagsspecifika kompetenser Produktcertifieringar AutoDESK Sema Group

3 What is correct regarding Acropolis? The Parthenon is the most important and characteristic monument of the ancient Greek civilization and still remains its international symbol. It was dedicated to Athena Parthenos, the patron goddess of Athens. It was built between 447 and 438 B.C. and its sculptural decoration was completed in 432 B.C. The Parthenon is the least important and characteristic monument of the ancient Greek civilization and still remains its international symbol. It was dedicated to Athena Parthenos, the patron goddess of Athens. It was built between 1200 and 1210 and its sculptural decoration was completed in 1230 The Parthenon is the most important and characteristic monument of the ancient Greek civilization and still remains its international symbol. It was dedicated to Nikae, the patron of Athens. It was built between 447 and 438 B.C. and its sculptural decoration was completed in 432 B.C. The Parthenon is the least important and characteristic monument of the ancient Italian civilization and still remains its international symbol. It was dedicated to Parthenos, the patron goddess of Rom. It was built between 1200 and 1210 and its sculptural decoration was completed in 1230

4 What monument in Acropolis is described in the text? Parthenon Erechtheion Temple of Nike The Propylaea This monument is the most important and characteristic of the ancient Greek civilization and still remains its international symbol. It was dedicated to Athena, the patron goddess of Athens. It was built between 447 and 438 B.C. and its sculptural decoration was completed in 432 B.C.

5 Huvudbegrepp inom kunskapsmätning Validitet Reliabilitet

6 Validitet och reliablitet Validitet Att mäta rätt Reliabilitet Att mäta konsekvent Set objective Set objective Set objective Reliabel men inte valid Varken reliabel eller valid Reliabel och valid

7 Validitet exempel Matematik, grundnivå 30 frågor Division Skapar kategorier 6 % -+ 6 Matematik x / 6 Tabell o diagram % -+ 3 Matematik / x 5 Tabell o diagram 5 10? % -+? Matematik / x? Tabell o diagram??

8 Vilka delar ingår i en utbildning kontra ett test? Externa Krav Test Utbildning

9 Kognitiva nivåer Värdering Syntes Analys Tillämpning Förståelse Erinran / Fakta Avgöra, bedöma, kritisera, skilja mellan, välja Föreslå, generalisera, organisera, producera, dra slutsatser Dela upp, identifiera, klassificera, skilja ut, jämföra Avläsa, använda, demonstrera, mäta, registrera Bevisa, förklara, översätta, urskilja, tolka Beskriva, definiera, återge, presentera, räkna upp Baserad på Bloom s taxonomy

10 Utvecklingsprocesser Training Program Design Design av kunskapsområde Utbildnings objekt Test Syllabus & Blueprint Skapande Av Utbildning Testkonstruktion Utvärdering Validering av test Kontinuerlig validering Certification Program Design

11 Blueprint Testets ritning Utvalda kunskapsdelar Antalet frågor per mätpunkt/kategori/totalt Frågornas kognitiva nivå

12 Hur kvalitetssäkras en fråga? Säkerställ kopplingen till; Vilken kunskap (mätpunkt) frågan ska rikta sig till. Den kognitiva nivå som är aktuell De generella reglerna kring frågekonstruktion Den övergripande målbeskrivningen av kunskapsområdet i Syllabusen

13 Granskningsprocessen Konstruktion Grupp- Modifiering Åter- Modifiering Keying Korrigering Språk- Slut- frågeutkast granskning granskning granskning granskning

14 Exempel Blueprint

15 Exempel kognitiv nivå Mätpunkt: Sales and Service skills: Partners kognitiv nivå fakta Vilken av våra följande partners är verksam inom testområdet? Deverill Enabler Donath group Symatrix

16 Exempel kognitiv nivå Mätpunkt: Sales and Service skills: Partners kognitiv nivå? En stor internationell kund ringer in till dig. Kunden har behov av att kvalitetssäkra sin utbildningsprocess men framförallt vill kunden säkerställa att de tester de använder är av bra kvalitet. Vilken partner är lämplig att ta hjälp av gentemot kunden? Deverill Enabler Donath group Symatrix

17 Examle Blueprint

18 Exempel kognitiv nivå Mätpunkt: Sales and Service skills: Communication skills kognitiv nivå? Du pratar med en kund som undrar över en faktura från oss. Vad måste du alltid fråga om och varför? Kundnumret, för att kunna göra en uppföljning. Fakturanumret, för att kunna registera kunden. Betaldatumet, för att kunna avgöra hur brådskande ärendet är. Personnumret, för att kunna göra en kreditprövning.

19 Exempel kognitiv nivå Mätpunkt: Sales and Service skills: Communication skills kognitiv nivå? En kund har skrivit på ett kontrakt för en ny affär. Några dagar senare vill kunden ändra några villkor. Hur ska du hantera detta? Informera kunden om ångerveckan och sen hjälpa kunden att genomföra ändringen. Förklara för kunden vilka möjligheter hon har och låta kunden fundera över nästa steg. Eftersom kunden redan skrivit på kontraktet måste du ta ställning till om du kan hjälpa kunden på något annat sätt. Föra ärendet vidare till din chef och bifoga dokumentationen kring er tidigare kundkontakt.

20 Dålig fråga? Ämne: Farmakologi Mätpunkt: Produktsubstanser Betablockerare är en vanlig substans i mediciner för behandling av hypertoni. Vad är utmärkande för medicinen Heart? Medicinen verkar mycket snabbt och effektivt. Tabletten måste delas i två delar innan den intas. Förpackningen kräver ett speciellt handgrepp för att öppnas. Tabletten måste intas i samband med en måltid.

21 Dålig fråga? Ämne: Ordbehandling - Datakunskap Mätpunkt: Kopiera text Vilka olika sätt kan du använda dig av när du ska kopiera en text? Tangenterna Ctrl+C Alternativ "Tecken " under Format menyn Kopiera-knappen Dubbelklicka på texten

22 Några av de viktigaste Generella Regler Frågan ska mäta det som beskrivs i mätpunkten Svarsalternativen ska vara trovärdiga och attraktiva Frågan ska formulera ett klart o tydligt problem Frågan får ej vara subjektiv

23 Validitet och reliablitet Validitet Att mäta rätt Reliabilitet Att mäta konsekvent Set objective Set objective Set objective Reliabel men inte valid Varken reliabel eller valid Reliabel och valid

24

25 Exempel kognitiv nivå Mätpunkt: Sales and Service skills: Communication skills kognitiv nivå? I vilken av följande situationer är din röst ditt viktigaste instrument i en kommunikation? Under en telefonkontakt. I ett kundmöte. När du tränar inför en föreläsning. När du skriver ett mejl.

26 Exempel kognitiv nivå En kund ringer in och frågar om sitt konto. Vad gör du? Uppger korrekt information. Frågar efter personnummer. Vidarekopplar till kundtjänst. Skickar information till kunden via mejl.

27 Exempel kognitiv nivå En kund har problem med sin faktura och förstår inte vad som har blivit fel. Kommentar? Kunden verkar ha läs och skrivsvårigheter. Kunden har ringt fel telefonnummer. Fakturaproblem ska kundservice lösa. Du kan inte hjälpa kunden om du inte har fakturanumret.