Betygskriterier / bedömningskriterier LH216V Utveckla lärandet med betygskriterier, dag 1 Viggo Kann Skolan för datavetenskap och kommunikation och hur väl kursens lärandemål uppfylls Skolan för teknikvetenskaplig kommunikation och lärande viggo@kth.se 1 Uppgift i grupper om fyra Syften med betygskriterier Ge argument för betygskriterier ur fyra olika synvinklar: Ger tydlighet och motivation för studenterna Gör eaminationen rättvisare Ger lärarna struktur och hjälp vid eaminationen Pedagogiskt hjälpmedel i samtal med studenter och lärare Vilken funktion kan betygskriterier fylla 1. för studenterna? 2. för kursledaren/eaminatorn? 3. för lärare i andra kurser? 4. för avnämare? Betygskriterier är bra Ökar kvaliteten! Sparar tid för läraren! men kräver ny eamination Betygskriterierna måste integreras med eaminationen för att bli verkningsfulla nnars ses kriterierna som hyckleri, både av studenter och lärare
Vi måste börja med kursmålen Relativa, kriteriebaserade och målrelaterade betyg Relativa betyg Kriteriebaserade betyg Målrelaterade betyg B = studenten rankas högt i förhållande till andra studenter Målrelaterade kriterier B = studenten har fått mer än poäng på tentan B = studenten kan och med stor grad av Relationen betygskriterier lärandemål Betygskriterierna beskriver hur väl studenterna ska uppnå lärandemålen. Kriterierna för betyg - är ofta kvalitativa preciseringar av lärandemålen. Praktikfall: utveckling av betygskriterier i kursen DK DK - lgoritmer, datastrukturer och kompleitet Vad betyder det att tentanden klarat 40 % av tentapoängen? Obligatorisk kurs i årskurs 3 för Datateknik 9 hp, ges i period 1-2 12
för DK amination i kursen DK fter kursen ska studenten kunna utveckla och implementera algoritmer med datastrukturer och analysera dem med avseende på korrekthet och effektivitet, jämföra alternativa algoritmer och datastrukturer med hänsyn till effektivitet och pålitlighet, definiera begreppen P, NP, NP-fullständighet och, jämföra problem med hänsyn till kompleitet med, förklara hur man kan hantera problem med hög kompleitet. Labbar 3 hp med teori 1 2 Mästarprov 1 1,5 hp 3 Mästarprov 2 1,5 hp tralabb 0 hp 4 Teoritenta 3 hp Munta 0 hp 13 Var eamineras lärandemålen? analysera algoritmer med avseende på effektivitet analysera algoritmer med avseende på korrekthet definiera begreppen P, NP, NP-fullständighet och jämföra problem med hänsyn till kompleitet med jämföra alternativa algoritmer och datastrukturer med hänsyn till effektivitet och pålitlighet Målrelaterade betygskriterier tralabb implementera algoritmer med datastrukturer Teoritenta Mprov 1 utveckla algoritmer med datastrukturer Mprov 2 Labbar förklara hur man kan hantera problem med hög kompleitet 14 D B utveckla algoritmer med datastrukturer implementera algoritmer med datastrukturer analysera algoritmer med avseende på effektivitet analysera algoritmer med avseende på korrekthet jämföra alternativa algoritmer och datastrukturer med hänsyn till effektivitet och pålitlighet definiera begreppen P, NP, NP-fullständighet och X jämföra problem med hänsyn till kompleitet med förklara hur man kan hantera problem med hög kompleitet 15 Bedömningsområden är Ladokmomenten 16 aminationen som flödesschema Tre graderade och ett ograderat betyg ges: MS1 - lgoritmkonstruktion (mästarprov 1, munta) MS2 - Kompleitet (mästarprov 2, munta) TN1 - Teori och hantering av svåra problem (teoritenta, etralabb, munta) LB1 - lgoritmimplementation (datorlabbar) 17 18
Betygskriterier för, och för kompleitetsmålet Uppgifter på mästarprov 2 jämföra problem med hänsyn till kompleitet med förklara principerna, utföra enklare reduktioner mellan givna problem jämföra problem med hänsyn till kompleitet med förklara principerna, utföra enklare reduktioner mellan givna problem Bevisa att Påskmusttillverkning är NP-fullständigt genom att reducera Hamiltonsk stig. Visa att Optimal eamen är NP-fullständigt. Reducera vilket känt problem du vill. Gör en algoritm som konstruerar en optimal eamen och analysera den. 19 Betygskriterier även för D och B för kompleitetsmålet Hur mästarproven genomförs Tre uppgifter av olika svårighetsgrad leverna har två veckor på sig Individuellt, inget samarbete alls Skriftlig inlämning Sedan muntlig redovisning för en assistent under 15 minuter Vid redovisningen kan mindre fel och missar rättas och läraren kan förklara missuppfattningar D B Teoritentans betygskriterier definiera begreppen jämföra problem med hänsyn till kompleitet med förklara principerna, utföra enklare reduktioner mellan givna problem förklara hur man förklara behovet kan hantera problem med hög kompleitet givet ledtråd givet ledtråd 22 Hur teoritentan genomförs D 1.Två timmars tenta i KTHs största föreläsningssal, inga hjälpmedel 2.Genomgång av tentan 3.Kamraträttning 4.Läraren kollar rättningen analysera algoritmer förklara principerna, med avseende på analysera enklare effektivitet algoritmer P, NP, NPfullständighet, förklara principerna, utföra enklare reduktioner mellan givna problem 21 20 förklara principerna 150 tentor klara samma dag nonym tenta Bara betyg upp till delas ut konstruera enkla heuristiker 23 24
Muntans betygskriterier B för icketriviala problem för svårare problem med den metod som passar bäst jämföra problem med hänsyn till kompleitet med visa NPfullständighet och göra konstruktionsreduktioner givet ledtråd göra konstruktionsreduktioner konstruera och analysera enklare approimationsalg. konstruera och analysera approimationsalg. förklara hur man konstruera enkla kan hantera problem heuristiker med hög kompleitet Hur muntan genomförs utveckla algoritmer med datastrukturer Minst på två av tre moment (Mprov, teori) krävs för att få gå upp Tentanden satsar på ett betyg (-) Får 1-3 skräddarsydda uppgifter för betyget Får tänka ostört i en timme Kursboken som hjälpmedel Redovisar muntligt för lärare lla uppgifter måste vara godkända 25 Resultat 2012 26 levenkät 2012, 75 svar (50 %) (drygt 150 elever) Vad tycker du om eaminationssättet? 2/3 klara med kursen i tid 50% fick betyg, 5% D, 20%, 5% B och 20%, ungefär samma fördelning varje år 7 fick utan att gå upp på muntan 52 behöriga att munta, varav 21 inte redan var garanterade minst 36 (2/3) gick upp på muntan 2/3 klarade muntan 27 empel 2: Bedömningsgrunder och kriterier för ejobb Tre bedömningsgrunder 1.Process (i tre delar) 2.Ingenjörsmässigt och vetenskapligt innehåll (i två delar) 3.Presentation (i två delar) Kriterier på tre kvalitetsnivåer 1.Tillräckligt 2.Bra 3.Utmärkt 28 jobb: kriterier för del 1 av andra bedömningsgrunden 1. Utifrån problemställning och metodik, visa viss förmåga att tillämpa ingenjörsmässiga och vetenskapliga färdigheter som modellering, analys, utveckling och utvärdering. 2. Utifrån problemställning och metodik, visa god förmåga att på ett systematiskt sätt tillämpa ingenjörsmässiga och vetenskapliga färdigheter som problemformulering, modellering, analys, utveckling och utvärdering. 3. Utifrån problemställning och metodik, visa mycket god förmåga att på ett systematiskt sätt tillämpa ingenjörsmässiga och vetenskapliga färdigheter som problemformulering, modellering, analys, utveckling och utvärdering.
empel 3: Uppsats i kursen Kommunikation för Öppen ingång Fyra graderade bedömningsgrunder 1.Innehåll (-), vikt 3 2.Språk (-), vikt 2 3.Form (-), vikt 1 4.Skrivprocessen (-), vikt 1 Hur kan en traditionell tenta genomföras med betygskriterier? Inget allmängiltigt sätt finns Uppgifterna måste konstrueras efter betygskriterierna och märkas med nivå Tentan kan delas upp i delar efter nivå (//) och inom varje del efter bedömningsområden Läraren kan sätta betyg efter vilka kriterier som uppfyllts eller med en komplicerad formel Kriterier för bedömningsgrunden språk i kommunikationskursen. Teten är utomordentligt logiskt och sammanhängande komponerad, och strukturen är utmärkt lätt att följa. Rent språkliga kvaliteter såsom grammatik, meningsbyggnad, ordval och stil håller en utmärkt hög nivå. Teten är mycket logiskt och sammanhängande komponerad, och strukturen är mycket lätt att följa. Rent språkliga kvaliteter såsom grammatik, meningsbyggnad, ordval och stil håller en mycket hög nivå. B.. Teten är logiskt och sammanhängande komponerad, och strukturen är lätt att följa. Rent språkliga kvaliteter såsom grammatik, meningsbyggnad, ordval och stil håller en hög nivå. D. Teten är någorlunda logiskt och sammanhängande komponerad, och strukturen är relativt lätt att följa. Rent språkliga kvaliteter såsom grammatik, meningsbyggnad, ordval och stil håller en någorlunda nivå.. Teten är bitvis logiskt och sammanhängande komponerad, och strukturen är möjlig att följa. Rent språkliga kvaliteter såsom grammatik, meningsbyggnad, ordval och stilnivå håller en acceptabel klass. empel 4: Molekylär struktur Vid KS1, KS2 och tentamen kommer uppgifterna att vara indelade i betygsnivåerna, och. Dessa kommer att pröva lärandemålen enligt följande: : redogöra för grundläggande begrepp och teori : tillämpa teorin på enkla problemställningar : tillämpa teorin på svårare problemställningar, liksom kombinera flera delar av kursens innehåll vid problemlösningen KS1: tre uppgifter, alla på nivå (5 p var) KS2: två uppgifter, en på nivå, en på nivå (5 p var) Tentaupplägg för Molekylär struktur Uppgifter på tentan: 20 p, 25 p, 15 p 20 p och 5 p läggs till från KS-arna Krav för olika tentabetyg: F: 27 på nivå : 30 på nivå D: 30 på nivå, 8 på nivå : 30 på nivå, 15 på nivå B: 30 på nivå, 15 på nivå, 5 på nivå : 30 på nivå, 15 på nivå, 10 på nivå empel 5: gymnasiets nationella prov i matematik Tre nivåer finns Tre skriftliga delar och en muntlig Del 1: bara svar ska ges Del 2: hela lösningar ska ges Del 3: hela lösningar, miniräknare okej För varje uppgift anges hur många poäng den maimalt ger på de tre nivåerna, till eempel (1/2/0)
Målrelaterade betygskriterier på KTH Betygssammanvägning i nationella provet i matematik lla fyra delars poäng räknas ihop på de tre nivåerna Fakultetsrådets utbildningsutskott har tagit initiativ till att införa betygskriterier i alla KTH-kurser på alla nivåer Mjuk övergång, först frivilliga lärare som skapar goda eempel erbjuder denna kurs gratis för lärare tre gånger per läsår Mapoäng på -nivå 28, -nivå 24, -nivå 24. Betyget sätts efter en formel, t e: : 18 poäng D: 29 poäng varav 8 poäng på minst -nivå : 38 poäng varav 15 poäng på minst -nivå B: 50 poäng varav 8 poäng på -nivå : 61 poäng varav 14 poäng på -nivå Kriterier för hela kursen eller per bedömningsområde? Inlämningsuppgift 1: skriv egna betygskriterier! 1. Om kursen bara har ett Ladokmoment kan betygskriterierna skrivas holistiskt. 2. nnars måste dom delas upp per bedömningsområde, som kan vara eamination eller (grupper av) delmål. 3. Då måste också en sammanvägningsformel konstrueras. 5. 4. 6. Börja med att skriva om lärandemålen om det behövs. Om du bara har/tänker ha ett enda eaminationsmoment i kursen och vill skriva holistiska betygskriterier: hoppa till steg 5! Gör en matris som visar vilka mål som eamineras var (se DK-eemplet). Bryt ner lärandemålen i delmål så att varje delmål eamineras på samma sätt i (den tänkta eaminationen av) kursen. Notera hur varje delmål eamineras. Utforma betygskriterier för (godkäntnivån) för varje delmål. Markera vilka delmål som inte behöver ha kriterier på högre nivå än. 40 Inlämningsuppgift 1, fortsättning Till sist en 2-minutersutvärdering 7. Titta igenom gamla eaminationsuppgifter och fundera över vad som brukar krävas för olika betyg. Vad borde krävas? 8. Utforma betygskriterier för -nivån för varje delmål. Om du anser att ett delmål inte behöver ha kriterier på högre nivå än till eempel så skriver du kriterier för den högsta nivån som används! 9. Utforma betygskriterier för -nivån. 10. Skissa på hur betygskriterierna ska användas i eaminationen. Kan flera delmål eamineras med samma uppgift? Behövs flera uppgifter för att eaminera ett delmål? Behövs olika uppgifter för olika betygskriterier? Skicka in via KTH Social senast 4 december Nästa gång blir 6/12 klockan 9.15-12.00 Godbitar ur innehållet: studentperspektiv på betygskriterier utvärdering av betygskriterier (gäst) betygskriterier i din egen kurs testning och granskning av betygskriterier sammanvägning av betyg fallgropar och tips 41 42