KURSUTVÄRDERING Tove Forslund, Lärcentret Februari 2015 www.abo.fi/stodenhet/kursutvardering 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 1
INNEHÅLL Kursutvärdering vid min fakultet och mitt ämne Olika sätt och metoder för att utvärdera kurser Hur utnyttja resultaten av kursutvärderingar God praxis för kursutvärdering Att ta i bruk (gemensamt) system för kursutvärdering 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 2
www.abo.fi/stodenhet/kursutvardering 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 3
EXAMENSSTADGAN 56 : UTVECKLANDE AV UTBILDNINGEN Akademin, dess fakulteter och utbildningslinjer har till uppgift att fortlöpande utveckla examina, de studier som ingår i examina, undervisningen, examinationen, handledningen och lärmiljöerna. ägna särskild uppmärksamhet åt undervisningens och studiernas kvalitet, arbetslivsrelevans, examinas och studiernas nationella och internationella motsvarighet samt uppnående av goda resultat i utbildningen. För att utveckla, utvärdera och mäta utvecklingsarbetets effekter på utbildning och undervisning samlar akademin systematiskt in respons på fyra olika sätt: genom obligatorisk kursutvärdering undersökningar av studieklimatet arbetslivsenkäter och kandidatrespons. 4
ES 56 FORTS. Fakulteterna bör se till att alla kurser utvärderas regelbundet och bör fatta följande principbeslut om kursutvärderingen: 1) hur och med vilken tidtabell kurser utvärderas 2) vilka frågor som ställs, 3) vilken skala som används, samt 4) när och hur utfallet meddelas till studerandena och lärarna Den ämnesansvariga ansvarar för genomförande av kursutvärderingen inom ämnet och meddelar utfallet till fakulteten. ES 8 : Den utbildningslinjeansvariga ska koordinera den pedagogiska utvecklingen av undervisningen, använda rapporterna om studieklimat, utexaminering på arbetsmarknaden, kandidatrespons och meddelandena om kursutvärdering och därefter göra förslag om förbättring av undervisningen till fakultetsrådet. 5
KURSUTVÄRDERING VID MIN FAKULTET OCH MITT ÄMNE Tills andra beslut gjorts följer ni besluten för er tidigare institution Inst-/fakultetsrådsbeslut om minimikrav på kursutvärdering 6
SYFTEN MED KURSUTVÄRDERING Utveckla fakultetens/linjens/ämnets undervisning Utveckla utbildningen Förbättra kurser och handledning Förbättra lärarens undervisningsförmåga Studentens rätt att bli hörd (på lika grunder) 7
METODER FÖR OCH SÄTT ATT UTVÄRDERA 8
FORMER/HUR? Obligatoriskt /inte obligatoriskt Muntligt/skriftligt Elektroniskt/på papper, exempel: Snabbutvärdering skriver x saker på lapp då går ut ur salen Programvara för att utvärdera under föreläsningens gång Moodles opinionsundersökning i nätkurser Individuellt/av grupp/i grupp Arbetsgrupp av studenter som utvärderar kursen de deltar i Utvärdering i grupp Diskussion med eller utan lärare Skriv på post-it-lappar som samlas upp, sorteras och prioriteras på tavlan Anonymt/ej anonymt Frågeformulär/i samband med tent/som övningsuppgift, exempel Utvärderingsformuläret obligatorisk uppgift Dagbok, portfölj 9
Från utvärdering av en kurs till utvärdering av den egna undervisningens kvalitet överlag Vem utvärderar? Studentutvärdering Självutvärdering Blankett Lärarens egen utvärdering, jfr psykologi och logopedi Videoinspelning Reflektion > dokumentera Kollegieutvärdering Deltagande observation > Skuggning, se http://www.abo.fi/personal/skuggning Fördelar: utomstående ser med andra ögon, direkta lösningsförslag Nackdelar: svårt utvärdera andra ärligt, kollega har ev. inte förmåga se, kräver tid av andra Utvecklingssamtal UTVÄRDERING AV DEN EGNA UNDERVISNINGENS KVALITET 10
LÄRARENS UTVÄRDERING AV KURSEN Psykologins lärarutvärdering (läraren fyller i efter att hen läst studenternas utvärderingar): Lärarens reflektioner över hur kursen förlöpte samt kursfeedbacken: Eventuella förändringar som kommer att göras: Lärarens meddelande till ämnet angående kursen, praktiska arrangemang, önskemål för kommande år etc. 11
VERKTYG FÖR KURSUTVÄRDERING Pappersblanketter E-lomake Moodles enkätfunktion För korta frågor > snabbt svar Moodles opinionsundersökning (i nätstödda kurser) Programvaror för snabb utvärdering (ex. mentimeter, socrative) Utnyttja andras utvärderingsblanketter Finns exempel på ÅA-frågor/ÅA-blanketter för utvärdering av kurs, handledning och lärarens utvärdering Finns ÅA-kursutvärderingsblanketter i Moodles enkätfunktion och i e-lomake att kopiera och editera enligt behov Gör modellblankett för egen enhet eller utvärdera enhetens alla kurser i samma blankett 12
E-lomake/E-blankett Egen enkät-funktionen i Moodle-kurs Pappersblankett Genomföra utvärderingen Några steg för att kunna ta i bruk utvärderingen och för att distribuera till studenterna. Enkelt använda och modifiera. Enklast Modellblankett Kan göra modellblankett som alla kan kopiera (lite fixande). Enhetens alla kurser kan utvärderas i en blankett. Kan göra modellblankett att använda i alla kurser. Skild blankett i varje Moodle-kurs, alla kurser kan inte utvärderas i en och samma kurs. I mapp på enhetens hemområde, på webben eller i mapp i kafferummet Få studenterna att besvara Kan kontrollera vem som svarat och vem inte > påminnelse (gruppinbjudan) Om inte obligatorisk uppgift > ev. svårt få in svar. Kan kontrollera vem som svarat och vem inte > kan skicka påminnelse Om alla är närvarande på närstudier > svar av alla Sammanställa resultaten Rätt enkelt om inte gör ändringar till modellblanketten. Enkelt jämföra olika kurser. Utvärdering av enhetens alla kurser kan sammanställas. Enkelt fastän gör ändringar till blanketten. Moodle gör sammanställningen. Enkelt distribuera resultaten till studenterna. Inte lika överskådlig jämförelse av kurser MYCKET arbete! Övrigt Anonymitet. Stabil programvara. Anonymitet. I uppgradering av Moodle kan enkätfunktionen ändra... Anonymiteten ev. riskerad (handstilen bekant, ser vem som lämnar upp vilken 13 blankett)
NÄR? I slutet av kurs/ mellanutvärdering/ kontinuerlig utvärdering Vanligen olika syften Summativ utvärdering (ex. slututvärdering): tillbakablickande, sammanfattande (men kan vara formativ för nästa kurs) Formativ utvärdering (ex. mellanutvärdering): för att anpassa pågående verksamhet Om mellanutvärderar > bör finnas beredskap att ändra! Snabbutvärdering Vid ex. varje föreläsning/för varje tema: betona studentens inlärning ( viktigaste du lärde dig idag / en sak som blev oklar ) Programvaror för att kontrollera hur studenterna hänger med under föreläsning Punktinsatser/över tid, exempel Utvärdering av kand- och graduhandledning, över längre tid för att garantera anonymitet och för att vara mer riktgivande (exempel: psykologi och logopedi) Ofta / mera sällan 14
KURSUTVÄRDERINGSFRÅGOR Samma frågor för alla kurser/delvis skräddarsydda/ lärarens egna frågor Kvantitativa svarsalternativ /fritext (öppna eller riktade frågor) Många / få frågor Fråga endast om det som du specifikt vet att behöver utvecklas Viktigaste frågan: Fråga som kontrollerar hur väl de studerande upplever att de uppnått lärandemålen, hur väl kursen stött studentens lärande (och följdfråga: hur kunde kursen bättre stöda det) Exempel på kursuvärderingsfrågor för olika typer av utvärderingar finns på www.abo.fi/stodenhet/kursutvardering 15
HUR FÅ IN UTVÄRDERINGAR 16
HUR FÅ STUDENTERNA ATT UTVÄRDERA Organisationen har ett genomskinligt utvärderingssystem Informera hur utvärdering görs och hur resultaten behandlas och utnyttjas Organisationen har en kultur med kontinuerlig utvärdering & utveckling där alla gör sitt I kurserna visar läraren på att resultaten används (exemplifiera) Obligatorisk uppgift i kursen ingå i lärandemålen, exempel:... ha reflekterat över undervisningsmetoder i relation till innehåll och examination och över egen inlärning (hur kunskaper och färdigheter har ändrats) 17
HUR FÅ STUDENTERNA ATT UTVÄRDERA BÄTTRE Lär ut hur man utvärderar och ger feedback Logopedin: äldre studenter handleder yngre I introduktion till psykologins och logopedins kursutvärderingsblanketter (ex: https://survey.abo.fi/lomakkeet/5104/lomake.html) Vad är icke-konstruktiv feedback? Ex. beskrivning av persons negativa egenskaper, personjämförelser, sur ton bl.a. sarkasm, vaga uttryck där man inte får grepp om vad som är problemet) Hur blir man mera konstruktiv: Var konkret; Reflektion> säg varför; Förbättringsförslag; Saklig, vänlig ton; jag föredrar i st. för man ska ; Sätt dig in i föreläsarens roll Simberg, S: Hur motivera studenter att göra kursutvärderingar. Kursutvärderingsseminarium 18.3.2013 18
ANVÄNDNING AV RESULTATEN 19
HUR PÅLITLIGT ÄR UTFALLET AV KURSUTVÄRDERINGAR Finns många faktorer som gör kursutvärderingsresultat svåra att tolka Finns inte en definition på vad bra undervisning är (vad vi utvärderar mot) Frågar vi vad studenterna tyckte om eller om de lärde sig? Ev. inte alltid klart varför utvärderingen görs och hur resultaten ska användas Studentens avsikt med hens utvärdering Studenterna har inte fått lära sig konstruktiv utvärdering Moilanen, P; Nikkola, T & Räihä, P. 2008. Opiskelijapalautteen käyttökelpoisuus yliopisto-opettamisen kehittämisessä. Aikuiskasvatus (1) 15-24. 20
ANVÄNDNING AV RESULTEN ES 8 : Den utbildningslinjeansvariga ska koordinera den pedagogiska utvecklingen av undervisningen, använda rapporterna om studieklimat, utexaminering på arbetsmarknaden, kandidatrespons och meddelandena om kursutvärdering och därefter göra förslag om förbättring av undervisningen till fakultetsrådet. För genomskinligt system Beslut vid linjen/ämnet om vad som ska åtgärdas > uppföljning att det gjorts Information åt studenterna hur resultaten behandlas och användas Dokumentation: i MinPlan om åtgärder som vidtagits 21
KURSUTVÄRDERING I MINPLAN Ange i MinPlan 22
ANVÄNDNING AV RESULTEN Dokumentation ex. i lärarmodul i egen Moodlekurs: notera resultat och vad som bör åtgärdas då kursbeskrivningen i kursdatabasen uppdateras och då detaljplaneringen av kursen görs Delge resultaten (med lärarens motiveringar vid behov + åtgärder som kommer att vidtas) åt dem som utvärderar + vid mellanutvärdering: meddelar hur pågående kurs kan förändras i samband med introduktionsföreläsningen då kursen går nästa gång i början av nästa kurs Behandling på lärarmöten Behandling på möten med studenter Utnyttja studenterna till att ge synpunkter på hur brister kan förbättras (brainstormning, post-it-lappar, de Bonos hattar...) Om man sammanställer ämnenas alla utvärderingar > generella förbättringar i ämnets alla kurser (och i utbildningsprogram) 23
(GEMENSAMMA) SYSTEM FÖR KURSUTVÄRDERING 24
PROCESSEN ATT TA I BRUK GEMENSAMT SYSTEM FÖR KURSUTVÄRDERING Kontrollera fakultetens beslut om kursutvärdering Bestäm frågor, jfr fak-beslut (samma/olika för olika typer av undervisning) Skapa elektronisk(a) blankett(er) i e-lomake och/eller Moodle på svenska och engelska (för e-lomake: gör underlag för sammanställning av resultaten) Beslut hur studenterna får tillgång till utvärderingsblanketterna Beslut hur resultaten behandlas informationen om utfall till studenter, lärare och fakultet dokumentation av resultaten användningen av resultaten för att utveckla kursen/utbildningen 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 25
DIN EGEN UTVÄRDERINGSPLAN Varför utvärderar du? (fakultetsrådsbeslut, eget behov) Vad bör du eller vad vill du specifikt utvärdera? Fundera på frågeställningar (om inte givna) Välj utvärderingsmetod (om inte given) Informera studenterna om vad du tänker göra och få dem med på det (vid behov omformulera frågeställningar och justera metoden) Gör upp underlag och samla in information Analysera och tolka informationen. Jämför ev. med tidigare utvärderingar. Välj utvecklingsobjekt Vad är orsaken till problemen Vilka förbättringsåtgärder bör vidtas Dokumentera resultaten och åtgärdsförslagen ex. i kursens Moodlerum, bestäm när åtgärderna ska vidtas Informera om utfallet av utvärderingen och åtgärdsförslagen till berörda parter (ex. fakulteten, ämnet, förman, nuvarande och kommande studenter) Gör de ändringar som bör göras Nästa år: utvärdera det som ändrats Baserat på Hyppönen, O. & Lindén, S: Opettajan käsikirja opintojaksojen rakenteet, opetusmenetelmät ja 26 arviointi. Teknillisen korkeakoulun Opetuksen ja opiskelun tuen julkaisuja 4/2009
STÖD FÖR KURSUTVÄRDERING www.abo.fi/stodenhet/kursutvardering Exempel på kursutvärderingsblanketter Guide för kursutvärdering m.hj. av e-lomake och Moodles enkätfunktion Modell för excel-blanketter för sammanställning per kurs av resultaten från e-lomake E-blankett: www.abo.fi/stodenhet/elomake E-guide och textguider för e-blankett Handledning: larandestod@abo.fi 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 27
VIDEON OM KURSUTVÄRDERING Kursutvärderingsseminarium 18.3.2013 - kursutvärdering vid IPL och HHÅA: Prefekt Matti Laine, IPL: Presentation av IPL:s kursutvärderingssystem ( video 13 min ) Vice-prefekt Susanna Simberg, IPL: Hur motivera studerande att fylla i kursutvärderingar? ( video 14 min ) Akademilektor Mira Karrasch, IPL: Psykologiska synpunkter på feedback i universitetsutbildningen ( video 13 min ) Kursutvärderingsseminarium 19.3.2010 Vähemmän on enemmän - kurssiarvioinnit Turun yliopistossa, utvecklingschef Matti Lappalainen ( videofil 21 min) Kursutvärdering vid företagets organisation och ledning, univ.lärare Eerika Saaristo ( videofil 19 min) 19.2.2013 Åbo Akademi Domkyrkotorget 3 20500 Åbo 28