Målsamverkan - om lärandemål, examination och undervisning Kristina Edström Göteborgs Universitet kristina@kth.se 28 mars 2007 Programmet idag 9.00 9.30 Målsamverkan, ett verktyg för kursdesign 9.30 11.30 Modeller för studentaktiva seminarier: Kamratgranskning med kaffe Kryssuppgifter 11.30 12.00 Summering Lunchpaus 13.00 13.30 Claes Martinsson 13.30 14.45 Examination som styrmedel Kaffepaus 15.00 16.00 Målsamverkan, fördjupning 1
Målsamverkan Constructive alignment (John Biggs 1999, 2003) Målsamverkan betyder att kursen som helhet (mål, aktiviteter, examination) ska utformas för att gynna djup lärstrategi och motverka ytlig lärstrategi. [Biggs 1999, Prosser & Trigwell 1999] 2
Målsamverkan Kursmål Vad ska studenterna kunna göra som resultat av kursen? Constructive alignment [Biggs] Målsamverkan Aktiviteter Examination Vilket arbete ska studenterna göra för att nå målen? Vad ska studenterna göra för att visa att de har nått målen? Djup lärstrategi Ytlig lärstrategi Intention: att lära sig, att förstå Ger välstrukturerad kunskap som sitter kvar Intention: att klara kursen Ger dåligt strukturerad kunskap som snabbt glöms bort Positiva känslor Inre motivation Negativa känslor Yttre motivation [Marton & Säljö 1976, 1984, Gibbs 1992, Biggs 1999] 3
Varför sitter studenter så här? Det är ju vi som har satt dem så! Läraren -aktiv Student - passiv Student - passiv Student - passiv 4
Kom ihåg att vad studenten gör är viktigare för lärandet, än vad läraren gör. [Shuell, citerad i Biggs 2003] Lärarens fundamentala uppgift är att engagera studenterna i läraktiviteter som leder till att de når de avsedda lärandemålen på ett någorlunda effektivt sätt. [Shuell, citerad i Biggs 2003] 5
Hur får vi mer studentaktiva seminarier? Exempel är illustrationer av principer Ett specifikt exempel är till för att illustrera generella principer som kan ge inspiration till tillämpningar i många olika varianter. 6
Kamratgranskning Läs caset med analys på sid 43-47 i Using Assessment Strategically to Change the Way Students Learn (Gibbs 1999) Notera särskilt hur upplägget går till, och lägg märke till de fem principerna i analysen. Nu: läsning inklusive kaffe Gå till era grupper kl 10.10 Grupprum Rosa = ljudvågen Blå = mikrovågen Gul = ute till vänster, fyrkantigt bord Grön = ute till vänster, avlångt bord Grå = stannar här 7
1. Skulle det vara bättre om rättningen gjordes av lärare? Motivera! 2. Är kvalitén på rättningen verkligen inte viktig? Motivera! Hur skulle era varianter av upplägget kunna se ut? 8
Ett exempel till: Kryssuppgifter Kryssuppgifter Till en lektion i veckan ska alla studenter förbereda vissa uppgifter. När de kommer till lektionen kryssar de på en lista: vilka av uppgifterna är du beredd att redovisa? Läraren väljer slumpmässigt ut en student som får komma fram och redovisa första uppgiften på tavlan, en ny student får redovisa andra uppgiften osv. Kravet på redovisningen är inte 100% rätt, men man måste kunna redovisa ett ärligt försök (vara uppenbart förberedd), och kunna leda en diskussion fram till en tillfredsställande behandling. Det är ett krav att kryssa minst (säg) 75% av uppgifterna för att få gå upp att tentera. Slumpen får lite hjälp på traven... I vissa kurser består lektionen helt av kryssuppgifter, i andra är det ett stående inslag som inledning på en annan aktivitet. 9
Tillbaka i grupperna Analysera metoden kryssuppgifter med hjälp av de fem principerna i Gibbs artikel. Redovisa på blädderblocksark. Tejpa upp kl 11.30. De 5 principerna: 1. Generera time on task 2. Generera lämpliga läraktiviteter 3. Omedelbar feedback 4. Feedback som studenterna bryr sig om 5. Internalisera kvalitetskriterier [Gibbs (1999) Using Assessment Strategically to Change the Way Students Learn] 10
En viktig princip till... Isbergseffekten: Ger hög utväxling på schemalagd tid! För varje studentledd redovisning vi ser... har kanske 20 studenter gjort arbetet att först lösa uppgiften och sedan förbereda sig att redovisa. 11
Ett annat exempel: Dra sticka Invändning I oro att studenterna ska vara negativa till upplägget Jag tror inte KTH-studenterna skulle ställa upp på det här. 12
Invändning II oro över kvalitén på studenternas presentationer Är det inte bättre att plocka ut två studenter som vet att de kommer att få redovisa varsin uppgift? Då kan de förbereda sig noga och presentationen blir av bättre kvalitet! Invändning III oro över lärarrollen...det är väl ändå bättre att läraren presenterar problemen, vi är trots allt experterna och det är vårt jobb... 13
Lärarens fundamentala uppgift är att engagera studenterna i läraktiviteter som leder till att de når de avsedda lärandemålen på ett någorlunda effektivt sätt. Kom ihåg att vad studenten gör är viktigare än vad läraren gör. [Shuell, citerad på försättsbladet i Biggs 2003] Alla principerna handlar om vad studenten gör Generera time on task Generera lämpliga läraktiviteter Omedelbar feedback Feedback som studenterna bryr sig om Internalisera kvalitetskriterier Isbergseffekten (att det ska vara billigt att generera goda studier) 14
Hur skulle era varianter av kryssuppgifter kunna se ut? förklara begrepp (med hjälp av en plastoverhead som man förberett) analysera små case förberedelseuppgifter på litteraturen (textreflektioner) Referenser för Kryssuppgifter Bladet Anteckningar från Kjell Lindqvists besök (utdelas) Crawley et al (2007) Rethinking Engineering Education: The CDIO Approach (Kommer i juli på Springer Verlag) 15
Varför välja kamraträttning och kryssuppgifter som exempel? visa hur olika upplägg kan illustrera samma princip. vi får inte fastna i exemplen i sig, då blir de bara stela pepparkaksformar, vi måste kunna urskilja det generella som exemplen illustrerar. de är kostnadseffektiva som innovationer (randvillkor) de visar implikationerna av huvudprincipen att fokusera på vad studenten gör: det viktigaste är inte kvalitén på rättningen, eller kvalitén på studenternas presentationer denna tanke är kontraintuitiv för lärare som ägnat så mycket tid och möda att själva göra bra rättningar och bra presentationer därför visar exemplen att det faktiskt är en helt annat läge när vi fokuserar på vad studenten gör förmiddagen gick ut på att träna på att analysera med ett lärandeperspektiv och lära två metoder Lunchpaus 16
Programmet idag 13.00 13.30 Claes Martinsson 13.30 14.45 Examination i målsamverkan Kaffepaus 15.00 16.00 Målsamverkan, fördjupning Examination 17
It is not the actual methods or tools of assessing which we believe should be changed, rather the underlying philosophy and the aims of their use and application. [Harris and Bell 1990] Vad är bra examination 18
Vad är syftet med examination, vad vill och kan vi åstadkomma 19
Stödja och styra studenternas lärande (formativt syfte) Kontrollera studenternas kunskaper, färdigheter (etc) (summativt syfte) Exemplet med kamraträttning i Gibbs (1999) Using Assessment Strategically... Var det summativt eller formativt syfte? 20
Providing feedback on students work is one of the most expensive components in their education but it is often not an effective investment simply because it happens too slowly. [...] But even timely feedback may not have much impact if students do not pay attention to it. (Gibbs, Using Assessment strategically...) För att verkligen påverka: Examination med inbyggd feedback 1. Studenterna gör något (lämnar in rapport, presentation, uppgift, whatever...) 2. De får feedback (formativ examination) 3. Studenterna gör samma sak igen 4. De får betyg (summativ examination) - nu utan feedback 21
1. Skriva tentan. Exempel 2. Kopiera på rasten. 3. Dela ut tentorna igen. 4. Genomgång: Skapa rättningsmallen i en gemensam diskussion. 5. Rätta sin egen tenta och lämna in igen. 6. Läraren kollar igenom.? Vilka fördelar har denna modell? (minst 5) Examinationen är i sig ett bra lärtillfälle med inbyggd repetition Studenten går hem med hela svaret Snabb och detaljerad feedback Synliga kriterier för kvalitet Studenterna görs aktiva och delaktiga Passar bra för mål på högre nivå Mindre rutinarbete för läraren 22
Är detta formativ eller summativ examination? DN 2004-04-26 Vapenskåpskontroll gav köprusch När polisen i Nordmaling skulle kontrollera hur traktens vapen förvarades blev det köprusch på vapenskåp. - Vi sålde ett hundratal skåp på 1,5 månads tid, berättar vapenhandlare Göran Eriksson i Nordmaling för Västerbottens- Kuriren. Polisen kontrollerade slumpvis valda vapenägare i Vännäs, Nordmaling och Bjurholm. Och konstaterade nöjt efter ett tjugotal kontroller att samtliga ägare hade vapnen i godkända skåp. Å andra sidan är det kanske inte förvånande, då polisen meddelade samtliga vapenägare via post att inspektion var på väg. Göran Eriksson på Utterströms järnhandel i Nordmaling fick en hel del samtal från oroliga vapenägare, som undrade om de verkligen behövde vapenskåp, och om alla skulle kontrolleras. Men efter kontrollen har köpruschen lagt sig. Tomas Erixon vid polisen i Nordmaling är nöjd. De föga överraskande kontrollerna har ju trots allt lett till att många vapenägare skaffat sig nya, godkända vapenskåp. ANDREAS ÖBRINK Även summativ (kontrollerande) examination har starka formativa (påverkande) effekter. och 23
Stödja och styra studenternas lärande (formativt) Kontrollera studenternas lärande (summativt) Vilka effekter kan vi uppnå med examinationen 24
Examinationen påverkar studenternas lärande genom att 1. Framkalla arbete i kursen (time on task). 2. Påverka hur studenternas fördelar arbetet över kursens längd. 3. Påverka vad studenterna ägnar sig åt (generate the appropriate learning activity). 4. Definiera målen och signalera vilken kvalitet som förväntas (instruktioner/kriterier i förväg eller feedback). 5. Skapa motivation (inre, yttre, social, prestations...). 6. Påverka vilken lärstrategi studenterna väljer (djup eller ytlig). Markera på citatet vilka faktorer som känns relevanta. Djup lärstrategi Ytlig lärstrategi Intention: att lära sig, att förstå Ger välstrukturerad kunskap som sitter kvar Intention: att klara kursen Ger dåligt strukturerad kunskap som snabbt glöms bort Positiva känslor Inre motivation Negativa känslor Yttre motivation [Marton & Säljö 1976, 1984, Gibbs 1992, Biggs 2003] 25
KTH -Teknolog: Djup lärstrategi "Jag tycker att det som man kan efter en kurs är de delar som man gjorde en inlämningsuppgift på. Då har man fått sitta och klura ut lösningen själv. Sitter man och gör gamla tentor kollar man lätt i facit om man kör fast och går sedan vidare istället för att verkligen lära sig." Ytlig lärstrategi Samma student kan använda både djup och ytlig lärstrategi - i samma kurs! Examinationen påverkar vilken lärstrategi studenten använder. Här framkallar inlämningsuppgifterna djup lärstrategi, medan tentaplugget leder till ytlig lärstrategi. Kom ihåg: Examinationen påverkar studenternas lärande både och Öka! Minska! 26
Students can escape bad teaching: they can t avoid bad assessment. [David Boud 1994] Validitet = att vi examinerar de kunskaper och färdigheter som vi avser att studenterna ska uppnå + att vi uppnår avsedda effekter [effektvaliditet: Ridgway 1992] Reliabilitet = att mätningen är tillförlitlig (rättvisa och säkerhet, oavsett bedömare och tidpunkt) 27
Validitet och reliabilitet Var hör validitet hemma i constructive alignment? Kursmål Vad ska studenterna kunna göra som resultat av kursen? Validitet Validitet Aktiviteter Examination Vilket arbete ska studenterna göra för att nå målen? Vad ska studenterna göra för att visa att de har nått målen? 28
Vad händer om du i examinationen mäter andra saker än det som formuleras i målen? (när vi inte har målsamverkan) Du tillåter inte studenterna att arbeta mot målen! Dolda mål MÅL EXAMINATION (Dolda mål) [The Hidden Curriculum, Snyder 1971] 29
It is not the curriculum that shapes assessment, but assessment which shapes the curriculum. [Brown & Knight 1994] Exemplet med kamraträttning i Gibbs (1999) Using Assessment Strategically... Det var formativt syfte. Är det då viktigt med validitet eller reliabilitet? 30
Vad ska prioriteras - validitet eller reliabilitet? 1. VALIDITET Påverka studenternas lärande 2. VALIDITET 3. VALIDITET RELIABILITET SÅKLART MYCKET VIKTIGT Kontrollera studenternas lärande MEN VALIDITET ÄR FORTFARANDE # 1 Constructive alignment och taxonomier 31
Bloom s taxonomi Feisel-Schmitz Technical Taxonomy Judge: Solve: Explain: Compute: Define: To be able to critically evaluate multiple solutions and select an optimum solution Characterize, analyze, and synthesize to model a system (provide appropriate assumptions) Be able to state the outcome/concept in their own words Follow rules and procedures (substitute quantities correctly into equations and arrive at a correct result, Plug & Chug) State the definition of the concept or is able to describe in a qualitative or quantitative manner 32
SOLO-taxonomin Biggs s. 48 Kursmål Vad ska studenterna kunna göra som resultat av kursen? Aktiviteter Examination Vilket arbete ska studenterna göra för att nå målen? Vad ska studenterna göra för att visa att de har nått målen? 33
Constructive alignment och integrering av färdigheter (och varför vi på KTH började skriva mål på formen learning outcomes från 2001) Hur tillgodoser vi de programövergripande målen? För Kandidatexamen skall studenten visa förmåga att muntligt och skriftligt redogöra för och diskutera information, problem och lösningar i dialog med olika grupper. 34
Systematisk integrering av programövergripande mål i kurserna UTVECKLINGSLINJER Årskurs 1 Kurs A Kurs B Kurs C Kurs D Årskurs 2 Kurs E Kurs F Kurs G Kurs H Årskurs 3 Kurs I Kurs J Kurs K Kurs L Årskurs 4 Kurs M Kurs N Kurs O Kurs P Årskurs 5 Muntlig presentation Rapportskrivning Projektplanering Teamwork Varför integrering av färdigheter? Färdigheterna är kontextberoende och bör läras och examineras i sitt tekniska sammanhang....kommunikation som generell färdighet...... Kommunikation som kontextualiserad färdighet... 35
Kommunikationsfärdigheten för en ingenjör betyder att man kan använda de tekniska begreppen bekvämt, förklara tekniska problemställningar för olika målgrupper, se problem på olika nivå och avgöra vad som är relevant för den aktuella situationen, värdera alternativa lösningar och argumentera för och emot, utveckla idéer genom diskussion och i gemensam skissning, uttrycka sig med självförtroende inom området. Kommunikation som kontextualiserad färdighet är inbäddad i, och kan inte separeras från, studenternas tillämpning av ämneskunskap. Varför integrering av färdigheter? När studenterna tränar färdigheter fördjupar de samtidigt sina ämneskunskaper genom att de får tillämpa och uttrycka dem - de utvecklar arbetande kunskap. Jag kan inte se att en poäng rapportskrivning i min kurs är en bortkastad poäng. Det är ju ett bra sätt att träna ämnet. (Claes Tisell, KTH Maskinkonstruktion) Lärarna är ingenjörsförebilder och visar vad som är viktigt i utbildningen genom att integrera färdigheterna i programmets kurser. 36
Academics perception of how generic skills are developed [Simon Barrie 2002] Place in curriculum Integral Application Associated Not part of curriculum Perception of generic graduate skills and attributes They are integral to disciplinary knowledge, infusing and ENABLING scholarly learning and knowledge. They let students make use of or apply disciplinary knowledge, thus potentially changing and TRANSFORMING disciplinary knowledge through its application. Skills are closely related to, and parallel, discipline learning outcomes. They are useful additional skills that COMPLEMENT or round out discipline knowledge.they are part of the university syllabus but separate and secondary to discipline knowledge. They are necessary basic PRECURSOR skills and abilities. We may need remedial teaching of such skills at university. 74 OK, då lägger vi väl in en föreläsning om gruppdynamik 37
Deep learning is associated with doing. If the learner is actively involved, then more connections will be made both with past learning and between new concepts. Doing is not sufficient for learning, however. Learning activity must be planned, reflected upon and processed, and related to abstract conceptions. (ur dagens artikel, Gibbs citerar Biggs...) Projektkurs på T-programmet Uppgiften 2002: Konstruera, bygg och flyg ett solcellsdrivet flygplan som kan bära 2 kg nyttolast... 38
Introducera (I): berörs i kursen, men examineras inte Undervisa (U) - del av utvecklingslinje: obligatorisk aktivitet, ska finnas explicit i kursmålen, studenterna får återkoppling på sina prestationer (vanligen i examinationen) Använda (A): färdigheten används i obligatoriskt moment, men huvudsakligen för att nå och/eller examinera andra mål i kursen. Integrering av färdigheter i mål, aktiviteter och examination Kursmål Vad ska studenterna kunna göra som resultat av kursen? Aktiviteter Examination Vilket arbete ska studenterna göra för att nå målen? Vad ska studenterna göra för att visa att de har nått målen? 39
Målsamverkan Constructive alignment (Biggs 1999, 2003) Vi tänker på kursen som ett system (mål, aktiviteter och examination) som ska uppmuntra studenten till ändamålsenliga studier med djup lärstrategi. 40
Målsamverkande kursutvärdering Tänk på utvärdering som en komponent i constructive alignment 1. Förväntningar på studenter och lärare som indirekt kommuniceras i vår utvärderingsrutiner måste vara i överensstämmelse med den studentroll och lärarroll som vi vill att de ska ha, och 2. utvärderingssystemen måste vara sådana att de stödjer läraren i utvecklingen av kursen (studenternas lärande). System alignment Tänk på högskolan som ett system som ska uppmuntra läraren att ta sig an undervisningen med fokus på studentens lärande ( deep approach to teaching?). Det betyder att våra strukturer måste vara målsamverkande med den utbildning vi vill skapa: - policies - speciellt kring hårda frågor som befordran och finansiering, - hur processerna organiseras, - infrastruktur, - etc. 41