Examination och bedömning

Examination och bedömning 7.10.2016 Kan ingå i universitetspedagogik, modul 3 Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 1

Deltagarnas förväntningar och målsättningar (Swoten som grund) d) Examination och bedömning hösten 2016 Kunskap kring reglerna för examinationen Hur bedöma rättvist? Är bedömningen för generös? Beräkna arbetsmängden för studerande i olika typer av kurser > behandlas 18.11 Vilken examinationsform lämpar sig bäst? Utnyttja olika examinationsformer Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 2

Lärandemål för denna kortkurs Efter genomgången kortkurs om examination och bedömning förväntas deltagarna kunna: Hitta och använda akademins regler Formella krav, rättigheter och skyldigheter Ställa frågor utgående från eget behov som tentator, ansvarsperson, övervakare m.fl. samt hitta svar på dem Och om svar inte hittas: Kunna kontakta personal som kan ge råd Uppmärksamma ansvariga personer på att regler bör kompletteras eller ändras Använda regler och lämpliga teoretiska referensramar vid utformning av examinations- och bedömningssystem i kursbeskrivningarna Utgående från lärandemålet utforma tydliga och samordnade kursbeskrivningar med examinationsformer som stöder inlärning Förklara systemet för studerande och kollegor Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 3

Innehåll idag 1. Helhetsplanering av examination och bedömning 1.1. Yttre ramar European Standards and Guidelines Forskningsetiska delegationens anvisningar (Tenk) 1.2. Inre ramar EB och God lärandemiljö 1.3. Teoretiska referensramar Exemplifiering genom Kvalitetslärande i högre utbildning (Pettersen 2008, sid. 403-418) Blooms taxonomi och andra taxonomier 2. Verktyg för bedömning 2.1. God praxis på basis av utbildningslinjernas självutvärderingar 2.2. Uppföljningar och utvärderingar 3. Examination på basis av lärandemål 3.1. Tentatorernas arbete i praktiken 3.2. Samordnade och tydliga kursbeskrivningar Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 4

1. Helhetsplanering av examination och bedömning Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 5

1.1. Yttre ramar: European Standards and Guidelines,ESG Reviderad 14-15.5.2015, https://revisionesg.wordpress.com/ Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 6

ESG också på svenska www.uka.se/nyheter/svenskoversattningavesgnutillganglig.5.6a0740f1150a87f42a75cc7.html Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 7

Studentcentrerat lärande, undervisning och bedömning (ESG, sid. 9-10) 1/2 Considering the importance of assessment for the students progression and their future careers, quality assurance processes for assessment take into account the following: Assessors are familiar with existing testing and examination methods and receive support in developing their own skills in this field; The criteria for and method of assessment as well as criteria for marking are published in advance; The assessment allows students to demonstrate the extent to which the intended learning outcomes have been achieved. Students are given feedback, which, if necessary, is linked to advice on the learning process; Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 8

Studentcentrerat lärande, undervisning och bedömning (ESG, sid. 9-10) 2/2 Where possible, assessment is carried out by more than one examiner; The regulations for assessment take into account mitigating circumstances; Assessment is consistent, fairly applied to all students and carried out in accordance with the stated procedures; A formal procedure for student appeals is in place. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 9

Pedagogiskt förhållningssätt Lärarcentrerad undervisning Fokus på vad lärarens ska ge Innehåll och målsättningar > undervisning > examination Studentcentrerad undervisning Fokus på vad studenten ska kunna Lärandemål <> läraktiviteter och undervisning <> allmänfärdigheter <>examination och bedömning <>utvärdering Lärandemål synliggör för studenten vad som krävs eller förväntas Jfr Constructive alignment Biggs & Tang 2011 Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 10

Forskningsetiska delegationen (Tenk) God vetenskaplig praxis och handläggning av misstankar om avvikelse från god vetenskaplig praxis (GVP-anvisningar) www.tenk.fi/sv/god-vetenskaplig-praxis-anvisningar Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 11

1.2. Inre ramar: [EB] Begrepp och definitioner samt God lärandemiljö God vetenskaplig praxis och avvikelser från den (förslag) Examination och bedömning Studieprestation och kursbeskrivning Examinationsspråk Tidpunkter och tidsgränser Studerandes anmälan och deltagande Hjälpmedel Studerande med funktionsnedsättning Plagiatgranskning Vitsordsskala Resultat och registrering God lärandemiljö Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 12

Förslag på remiss: [EB] 1a God vetenskaplig praxis och avvikelser från den Forskningsetiska delegationens anvisningar (Tenk) anvisningar om god vetenskaplig praxis (GVP) följs vid akademin inom Grund- och forskarutbildning All övrig verksamhet Avvikelserna delas in i två kategorier Oredlighet i vetenskaplig verksamhet Försummelse av god forskningspraxis Anvisningarna definierar även kategorin Övriga ansvarslösa förfaranden Akademin har därtill fastställt en definition för avvikelsen Fusk i tentamen Att notera: Frågor och närmare anvisningar > webbadress Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 13

[EB] 3 Examination och bedömning: definitioner Examination Formell prövning av inhämtade kunskaper och färdigheter med någon av akademins examinationsformer Prövningen gäller kunskaper, färdigheter eller värderingsförmåga Bedömning En värdering som bygger på en examination utgående från lärandemål Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 14

[EB] 4 Studieprestation och kursbeskrivning Studieprestation = resultatet av en prövning Prestationernas omfång Studiepoäng i heltal, minsta prestation är 5 sp, alla delbara med 5 Undantag Externt samarbete och studentaktiviteter enligt undervisningsplanen Godkänd prestation registreras Kursbeskrivningen utgör grund för en studieprestation Studieprestationen kan bestå av delprestationer Examineras separat, registreras inte i Sture Bör anges hur de olika delarna examineras och bedöms Resultaten kommuniceras till de studerande Jfr ES 18: Ska av lärarna dokumenteras i en lärplattform för att garantera studerandes rättsskydd och så att de kan kontrollera sin prestationer Att notera: Kurser med flera inlämningsuppgifter, presentationer eller aktiviteter bör dokumenteras i Moodle Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 15

[EB] 19 Examinationsspråk Akademins examensspråk är svenska. I examensstadgan bestäms om användning av andra språk än svenska vid examination. Att notera: ES Bilaga 3 innehåller undervisnings- och examinationsspråket. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 16

[ES] Bilaga 3, exempel Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 17

[EB] 20 Tidpunkter och tidsgränser 1/2 Fakulteterna ordnar examination under det aktuella läsåret om kursen hålls på eller en uppgifts tidsgräns är på hösten under det aktuella kalenderåret om kursen hålls på eller en uppgifts tidsgräns är på våren fastslår minst tre tentamensmöjligheter för alla skriftliga tentamina och offentliggör dem på webben studerandens tre möjligheter räknas utgående från de fastslagna datumen Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 18

[EB] 20 Tidpunkter och tidsgränser 2/2 Tentator fastslår en tidsgräns för skriftliga och muntliga uppgifter, kompletteringar eller höjningar av vitsord, fastslår i vilken form och till vem uppgiften inlämnas och offentliggör reglerna på webben, i kursbeskrivningen eller i samband med start för undervisningen. Tidsgränser för skriftliga uppgifter bör definieras och informeras de studerande i god tid före kursstart om inlämning förutsätts inom den första veckan. Den som tar emot en skriftlig uppgift antecknar datum för inlämnandet på handlingen Studeranden förvarar en kopia av handlingen till den bedömts och registrerats kan om särskilda skäl föreligger förlänga en tidsgräns så att alla studerande har samma rättighet för den aktuella prestationen. Efter de av fakulteten och tentatorerna fastslagna tidsgränserna erbjuder fakulteterna inte mera examination för den aktuella kursen eller skriftliga uppgiften Studeranden bör inleda en ny kurs eller följa en ny tidsgräns för skriftlig uppgift följande gång den ordnas. Tentator kan tillåta undantag, dock så att alla studerande har samma rättigheter och skyldigheter. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 19

[EB] 21 Studerandes anmälan och deltagande 1/2 Studerande har rätt att delta i examination under förutsättning att de: visar att de är inskrivna och närvaroanmälda under den aktuella terminen och bestyrker sin identitet anmäler sig i regel senast åtta dagar på förhand på det sätt som framgår av kursbeskrivningen och samtidigt anmäler om eventuella behov av hjälpmedel eller specialarrangemang har fullgjort de prestationer som enligt kursbeskrivningen är en förutsättning för deltagande i examination högst två gånger tidigare anmält sig till den aktuella examinationen, eller gällande e-tent högst två gånger tidigare påbörjat den vid elektronisk anmälan fått ett elektroniskt meddelande om de har fått tentamensrätt och svar gällande eventuella hjälpmedel eller specialarrangemang eller på annat sätt kommit överens om och erhållit tentamensrätt. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 20

En studerande nekas rätt att genomgå en examination, till vilken studeranden redan anmält sig, eller gällande e-tentamen påbörjat den, tre gånger. då studeranden inte har fullgjort de prestationer som enligt kursbeskrivningen är en förutsättning för att få genomgå denna examination. Studerandena ska ges tillträde till ett tentamensutrymme senast vid den tidpunkt då tentamen ska börja. En studerande [EB] 21 Studerandes anmälan och deltagande 2/2 som anländer mer än 15 minuter försenad till tentamen får inte tentera. får avlägsna sig tidigast 45 minuter efter att tentamen inletts. I annat fall underkänns tentamen oprövad. Kan av särskilda skäl avlägsna sig för en kort stund, men i regel tillsammans med en övervakare. Den tid som har anslagits för tentamen får inte överskridas om inte annat följer av EB 22. Om en studerande trots korrekt anmälan vid tentamen har blivit utan tentamensuppgifter, om elektronisk tentamen inte har kunnat genomföras på grund av tekniska problem eller om tentamen har avbrutits p.g.a. oförutsebara omständigheter ska studerandena beredas en ny examinationsmöjlighet snarast möjligt, senast dock inom en vecka. Undantag gäller för sommartentamen, där ny möjlighet ges först efter 1.9. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 21

[EB] 22 Hjälpmedel Hjälpmedel får användas vid examination om denna rätt anges i kursbeskrivningen eller på examinationsuppgiften. Studeranden har rätt att vid en examination som inte gäller språk använda språklexikon, om inte annat anges i kursbeskrivningen. För varje examination är det tillåtet att erbjuda möjlighet att besvara uppgifterna på av akademin godkänd dator. Mobiltelefoner eller därmed jämförbar elektronik får inte användas under examination, utan lämnas på angiven plats. Undantag är om de är angivna som tillåtna hjälpmedel för ifrågavarande examination. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 22

[EB] 23 Studerande med funktionsnedsättning Examination för en studerande med funktionsnedsättning ordnas så att skillnaden mellan studeranden och övriga studerande utjämnas utan att avkall ges på kvalitetskraven vid examinationen. Studeranden bör i god tid informera om behov av specialarrangemang. Studerande med funktionsnedsättning ska erbjudas flexibel tentamen, alternativ examination eller komplettering m.m. enligt EB 10. Specialarrangemang för tentamina bör i god tid meddelas tentamensövervakaren. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 23

[EB] 30 Plagiatgranskning Avhandlingar plagiatgranskas alltid med programvara. En lärare kan även använda programvara för plagiatgranskning av andra skriftliga uppgifter. I användningen betonas öppenhet och principen om likabehandling. Om programvara används i en kurs ska granskningen gälla samtliga studerande genom att de själva skickar in sitt arbete. I en kurs där programvara inte använts kan en lärare som i sin egen granskning av en uppgift fattar stark misstanke om fusk skicka in ett enskilt arbete med studerandens tillstånd. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 24

Vad är fusk? Exempel på fusk vid tentamenstillfället är Att ha med otillåtet material Att utan lov ha tentamenslitteraturen eller teknisk utrustning direkt tillgänglig Att ha kontakt med externa källor Att läsa andra studenters tentamenssvar Exempel på fusk i annan studieprestation är Att presentera andras material som ditt eget Att presentera påhittat material eller observationer i föredrag eller labbrapport Att medvetet förvränga eller utelämna resultat som är väsentliga för analysen Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 25

Kan man undvika fusk? Studerandena bär alltid det etiska ansvaret Universitetet och lärarna stöder processen via Återkommande information om bestämmelser och etiskt beteende i vetenskap Förutsätta rätt referensteknik genast från början av studierna, träna in rätt teknik Betona reflektion fram om utantill-kunskap i arbetsuppgifter Tydliga tidsgränser, krav och instruktioner Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 26

[EB] 31 Vitsordsskala De godkända studieprestationerna bedöms enligt skalan 5 (A, utmärkta), 4 (B, synnerligen goda), 3 (C, goda), 2 (D, tillfredsställande), 1 (E, nöjaktiga) 0 (F, underkänd). Lärandemålen utgör betygskriterier, så att en studerande som har godkänts har bedömts uppfylla alla lärandemål. En godkänd studieprestation kan även ges bedömningen godkänd om studieprestationen är av ett sådant slag att en gradering inte är meningsfull. Kunskap i det andra inhemska språket bedöms enligt skalan goda eller nöjaktiga insikter. Genom förnyad examination eller då begäran om rättelse avgörs kan den tidigare bedömningen inte försämras. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 27

[EB] 34 Resultat Tentator rapporterar examinationsresultaten elektroniskt snarast möjligt, senast två veckor efter tentamen, inlämningstidpunkt eller motsvarande om studerandena till antalet är färre än 60 senast tre veckor efter om studerandena är flera än 60. Dekanus kan, om vägande skäl föreligger, bevilja tentator ytterligare högst tre veckor tilläggstid för bedömningen. Resultaten från elektroniska tentamina rapporteras senast tre veckor efter tentamen. Resultaten från eventuell sommarexamination bör rapporteras senast i mitten av september. Examinationsresultatet registreras i studieprestationsregistret. Datum för avläggande av en studiehelhet är detsamma som datum för avläggande av den sista delprestationen under förutsättning att alla delprestationer då har godkänts. En godkänd studieprestation som är införd i studieprestationsregistret föråldras inte utan är giltig för examen förutsatt att lärandemålen är oförändrade. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 28

[EB] 35 Förvarande av resultat Examinationssvaren förvaras hos tentator eller på en plats som tentator har bestämt minst sex månader från den tidpunkt då resultaten offentliggjordes. Efter denna tidpunkt förstörs examinationssvaren. För sådana examinationsresultat som har offentliggjorts 1.6 31 augusti räknas tiden med början från 1 september samma år. Om studeranden inom denna tid meddelar sin önskan att se studieprestationen ska tillfälle ges till detta. Studeranden har inom samma tid rätt att på egen bekostnad få en kopia av sin studieprestation. [Avhandlingar förvaras fr.o.m. 1.8.2015 elektroniskt i akademins publikationsarkiv för obegränsad tid. > när tillstånd fåtts] Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 29

[EB] 36 Offentlighet 37 Registrering 36 Enskilda examinationssvar får inte ges offentlighet utan tillstånd av studeranden. Med tillstånd av tentator får examinationssvar användas i undervisnings- och forskningssyfte, dock så att studerandens identitet inte avslöjas. 37 Forsknings- och utbildningsservice och öppna universitetets personal registrerar godkända och tillgodoräknade hela studieprestationer i akademins studieregister. Registreringen sker inom två veckor efter det att tentamensresultatet har inkommit från tentator eller beslutet om tillgodoräknande har fattats. Tentamensresultaten arkiveras för obegränsad tid i studieprestationsregistret. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 30

1.3. Teoretiska referensramar Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 31

Kvalitetslärande i högre utbildning (Pettersen 2008, sid. 403 ff.) Examinations- och bedömningssystem kan stimulera eller hämma kvalitetslärande Perspektivskifte: Betoning på tydligare lärsituation > formativ och utvecklingsinriktad bedömning Kontroll- och mätaspekterna tonas ner Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 32

Bedömnings- och examinationsformer (Pettersen 2008, sid. 403 ff.) Examinationssystemen ska fylla flera funktioner Grund för kontroll, rangordning summativ bedömning Information och feedback till studenterna om framgång i lärarbetet i deras strävan att förbättra det egna lärandet formativ bedömning Information till enhet och lärare om starka och svaga sidor inom undervisningen Ett led i bestämningen av avd som är viktig och giltig kunskap inom ämnet Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 33

Examinationen ändrar karaktär (Pettersen 2008, sid. 403 ff.) Från Till Skriftlig slutexamination > Alternativa bedömningsformer Lärarbedömning > Medstudent- eller självbedömning Implicita bedömningskriterier > Explicita kriterier Innehåll > Kompetenser Lärarstyrd examination > Studentinflytande över examinationen Produktbedömning > Processbedömning Individuell examination > Gruppexamination och projektarbete Konkurrens > Samarbete Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 34

Bedömning och examination i ett lärandeperspektiv (Pettersen 2008, sid. 403 ff.) Examinationssystemen Inverkar på hur mycket arbete och tid som studenterna investerar i lärarbetet Har direkta effekter på studenters val av läransatser och lärstrategier Ytligt lärande/djuplärande Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 35

Formativ och summativ bedömning (Pettersen 2008, sid. 403 ff.) Tät, snabb och detaljerad (ofta skriftlig) feedback är avgörande för studenters lärande och lärandeutbyte Formativ bedömning Fast och fortlöpande element Lärare eller medstudenter Vägledande och utvecklingsinriktade intentioner Kan inräknas i bedömningen, men behöver inte Formativ och summativ bedömning kan kombineras Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 36

Kriteriebaserad eller normbaserad bedömning (Pettersen 2008, sid. 403 ff.) Kriteriebaserad bedömning innebär att Alla studenter i princip kan få toppvitsord Normbaserad bedömning Inbördes rangordning av prestationer och resultat Tankegången att eftersträva en spridning Kriterie- och normbaserade bedömningar kan kombineras Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 37

Examinations- och bedömningssystem (Pettersen 2008, sid. 403 ff.)(1/3) Principiella och traditionella krav som ställs på bedömningssystem, t.ex: Standardisering Bedömningssituationen så lika som möjligt för alla studenter Objektivitet Uppgiftstyper, tidsramar, hjälpmedel... Bedömningsresultaten ska inte påverkas av subjektiva faktorer Anonymisering ett sätt att säkra opartisk bedömning Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 38

Examinations- och bedömningssystem (Pettersen 2008, sid. 403 ff.)(2/3) Reliabilitet Pålitligheten hos de bedömningar som görs Provresultatet oberoende av vem som bedömer en prestation Principiellt ska samma prestation vid upprepad bedömning av samma person leda till samma resultat Handlar om två förhållanden: Interbedömarreliabilitet = överensstämmelse mellan olika bedömares bedömning Intrabedömarreliabilitet = överensstämmelse mellan samma bedömares upprepade bedömning av samma uppgift Nyckel till hög reliabilitet = bedömare använder samma kriterier, tolkningar och ämnesförståelse Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 39

Examinations- och bedömningssystem (Pettersen 2008, sid. 403 ff.)(3/3) Validitet och relevans Inre validitet Bedömningen ska på ett giltigt sätt täcka de områden som har relevans i förhållande till utbildningens innehåll och lärandemål Yttre validitet Bedömningen ska på ett giltigt sätt täcka den samlade kompetens som utbildningen ska ge i förhållande till framtida praktik och användning av ämnet Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 40

Hur stimulera och stöda kvalitetslärande via examinations- och bedömningssystem? (Pettersen 2008, sid. 403 ff.) Fånga studenternas uppmärksamhet Få studenter att jobba intensivt och mycket Skapa lämpliga läraktiviteter hos studenterna Stimulera till riktig läraktivitet, d.v.s. kvalitetslärande Ge lämplig feedback som studenterna ägnar uppmärksamhet åt Tät och snabb feedback Var studenterna står, vart de är på väg, hur de kommer vidare Hjälp studenterna att internalisera ämnets normer och kvalitetsbegrepp Vad innebär kvalitetslärande inom ämnet? Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 41

www.filfak.liu.se/anstalld_vid_filfak/planer/tips/1.186853/bloomstaxonomi.pdf Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 42

2. Verktyg för bedömning Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 43

2.1. God praxis på basis av utbildningslinjernas självvärderingar ht 2014, exempel 1 Djuplärande befrämjas med varierande lärandemetoder Examinationsuppgifterna blir gradvis mer komplexa och kvalificerade Inlärningen utvärderas på olika sätt. I samband med att kurserna för följande läsår planeras kommer personalen överens om vilka examinationsformer som används i respektive kurs så att studerande skall ha en mångsidig examination inom sina studier. De olika examinationsformerna är: traditionell tentamen, partentamen, grupptentamen, muntlig grupptentamen och skriftliga inlämningsarbeten enskilt, i par och i grupp. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 44

God praxis, exempel 2 Inlärningen utvärderas på flera olika sätt. Nedan finns några exempel på examinationsformer som för närvarande används: traditionell salstentamen där man identifierar sig med matrikelnummer, muntlig tentamen, hemtentamen i essäform, grupptentamina där man i team söker svar på frågor och resonerar sig fram till ett resultat, problemlösningsuppgifter som härrör från autentiska fall, uppsats, muntligt symposium där man presenterar och diskuterar sitt arbete, reflekterande kursdagböcker, posterpresentation samt skriftlig rapport över en forskningsövning. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 45

God praxis, exempel 3 Praktikperioden som avslutar studierna bedöms av fälthandledaren. Som stöd för bedömningen finns ett ramavtal som utarbetats av ämnet där bedömningsgrunderna och praktikperiodens förhållande till lärandemålen och den akademiska inlärningen poängteras. Ramavtalet undertecknas av studerande och fälthandledare innan praktikperioden inleds. Mitt i praktikperioden görs också en mellanevaluering. Evalueringen görs i form av ett samtal mellan studerande och fälthandledare, där en för detta utvecklad blankett används. Blanketten överlämnas ifylld till praktikkoordinatorn på ämnet som vid behov kan vidta vidare åtgärder. Praktikperioden bedöms av fälthandledaren under överseende av praktikkoordinatorn som är examinator. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 46

God praxis, exempel 4 De kliniska praktikperioderna bedöms av handledarna. Som stöd för bedömningen och den avslutande diskussionen har de en blankett med variabler som är relaterade till lärandemålen och den allmänna målsättningen med praktiken. Diskussionen innehåller också studentens självvärdering över sin praktikperiod. Dokumenten finns i Praktikhandboken och är tillgängliga både för studenter och för handledare. Både de praktiska och de teoretiska färdigheterna beaktas i bedömningen. Studenterna skriver i sin redogörelse också en självreflektion över terapiperioden. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 47

2.2. Uppföljningar och utvärderingar Auditering www.abo.fi/personal/auditering Utvärderingar Studieklimatundersökningar (SKU) Rapporter: www.abo.fi/student/sku_rapporter Kandidatrespons Rapporter: www.abo.fi/student/kandidatrespons_rapporter Placeringen på arbetsmarknaden Rapporter: www.abo.fi/stodenhet/placeringpaarbetsmarknaden Doktoranduppföljning Arbetsklimatundersökningar https://www.abo.fi/personal/uppfoljning_utvardering Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 48

Orättvis bedömning, Svaren i procent, inom parentes svaret 2015. % Ja Nej Kan inte bedöma Upplever du att du någon gång blivit felaktigt/orättvist bedömd i dina studier? 4,6 % (8,0) 81,2 % (78,4) 13,6 % (13,6) Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 49

[SKU 2016 åk 1] Orättvis bedömning Tycker i grunden allt är bra men... lite orättvist bedömd kan man dock känna sig när vissa gruppers grupparbete betygsätts. Alla är inte motiverade och satsar därför lågt. Jag känner ibland att jag skulle ha fått högre betyg om jag gjort arbetet ensam. Skulle vara bra om personer med läs- och skrivsvårigheter skulle tas i beaktande i uppsatser eller liknande uppgifter, man kunde ha en mildare skala när det gäller språket. Vissa får uppgiften godkänd och andra inte, trots att alla har samma svar. Det är inte okej att en lärare kommenterar mitt tentresultat så att alla på föreläsningen hör att det inte gick så bra. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 50

Orättvis bedömning Upplever du att du någon gång blivit felaktigt/orättvist bedömd i dina studier? Ja Nej 3 5 Kan inte bedöma Ja Nej Kan inte bedöma 14,8 % 72,2 % 13,1 % 5,7 % 83,6 % 10,7 % Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 51

[SKU 2016 åk 3&5] Orättvis bedömning Vissa har fått förlängd deadline trots att det ska vara lika för alla. (åk 3) Det känns ibland så att vissa studerande får mera lättnader än andra. (åk 3) Man får känslan av att läraren bedömer inlämningsuppgifter på basis av VEM det är som gjort uppgiften. (åk 3) Jag har i några kurser fått sämre vitsord än vad jag själv anser att jag borde ha fått. (åk 5) Tentamen tyngde mer än inlämningsuppgifter och essä. Jag fick 5 i alla fem inlämningsuppgifter och misslyckades i tenten och fick en 1 som slutvitsord i kursen. Jag förstår poängsättningen för kursen, men jag anser att tenter är utdaterade medel att bedöma kunskap Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 52

Blankett för begäran om rättelse Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 53

Kandidatrespons 2015 Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 54

59 förslag Åbo Akademis Studentkår: 59 förslag till smidigare studievägar (2012) Studentcentrerade undervisnings- och inlärningsmetoder som den största inspirationskällan ÅA bör... bl.a.: Främja studenternas motivation och akademiska färdigheter genom att utveckla studentbaserade, d.v.s. innovativa undervisnings-, inlärnings- och examinationsmetoder Öka respekt för lärandet och undervisningen vid sidan av toppforskningen Göra en kontinuerlig utvärdering av uppnådda lärandemål genom deltest i kurserna web.abo.fi/karen/bilagor/59forslag_tryck.pdf Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 55

3. Examination på basis av lärandemål Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 56

3.1. Tentatorernas arbete i praktiken Definition på tentator Tentatorernas uppgifter Examination Examinationsformer Examinationsuppgifter och svar Bedömningskriterier och grunder Målrelaterad bedömning Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 57

[EB] 12 Tentatorer Tentatorn ansvarar för en enskild studieprestations examinationsuppgifter, bedömning och resultatrapportering till studieprestationsregistret. är i regel koordinator och övervakare för kurstentamina. Huvudansvarig tentator för prestationer med flera tentatorer ansvarar för att examinationsuppgifter görs och räknar samman alla tentatorers resultatrapportering i form av studerandens delprestationer i en sammanfattande slutresultatrapportering i form av helprestationer till studieprestationsregistret. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 58

[EB] 12 Tentatorernas uppgifter 1/2 Tentatorernas uppgift är att 1. göra examinationsuppgifter utgående från lärandemålen så att de motsvarar innehåll, krav och arbetsmängd enligt kursbeskrivningen stöder studerandens lärande och innehåller problemlösning och kräver reflektion över egen inlärning 2. av koordinatorn få eller själv skriva ut listor med de studerande som är anmälda till tentamen 3. kontrollera att studerandena har examinationsrätt genom att de har fullgjort de prestationer som enligt kursbeskrivningen är en förutsättning för deltagande i examination 4. meddela elektroniskt åt de studerande som anmält sig via ett elektroniskt anmälningssystem om de har fått eller nekats examinationsrätt 5. lämna uppgifterna och deltagarlistorna på överenskommet sätt till koordinatorn för en tentamen 6. kontrollera om studeranden har anmält behov av hjälpmedel och anteckna beviljad rätt att använda hjälpmedel på examinationsuppgiften Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 59

[EB] 12 Tentatorernas uppgifter 2/2 Tentatorernas uppgift är att 7. meddela tentamens koordinator om eventuella överenskomna specialarrangemang för studerande med funktionshinder, eller själv ordna specialtentamen 8. avgöra om bedömningskriterierna för uppgiften har uppfyllts och bedöma hur bra lärandemålen uppnåtts enligt vitsordsskalan 9. avbryta bedömningen och anmäla studeranden för utredning om fusk avslöjas efter tentamen 10. använda deltagarlistorna som grund för elektroniska rapporteringen av resultatet 11. förvara tentamenssvaren under minst sex månader. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 60

[EB] 17 Examination Examinationsformerna synliggör hur formell prövning sker. examinationen har en omfattning som tar hänsyn till den studieprestation som examineras. formerna och deras omfattning ska alltid finnas i kursbeskrivningarna, vilka ingår i akademins undervisningsplaner. Examinationen kan vara uppbyggd av flera delar med olika examinationsformer för att på bästa sätt kunna pröva om lärandemålen har uppfyllts. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 61

[EB] 17 EXAMINATIONSFORMER 1/3 Vid akademin finns följande examinationsformer: 1. Skriftlig uppgift: avhandling för lägre eller högre högskoleexamen, mognadsprov, uppsats, övningsuppgift, rapport, portfölj, inlärningsdagbok, hemtentamen eller annan skriftlig studieprestation som lämnas in. 2. Muntlig uppgift: föredrag, presentation, muntlig tentamen/förhör eller annan muntlig studieprestation 3. Skriftlig tentamen: ordnas i ett reserverat utrymme, varav a. Kurstentamen: ordnas under/i slutet av en kurs och läraren ger vid kursstarten information om kurstentamen b. Allmän tentamen: erbjuds samtidigt för flera olika kurser och är fyra timmar lång c. Elektronisk tentamen (e-tent): ordnas i ett specialinrett utrymme, där tidpunkt kan väljas individuellt inom vissa ramar. d. Flexibel tentamen (flextent) för studerande med specialbehov: ordnas i ett reserverat utrymme som garanterar studeranden ostördhet, längre tidsgränser eller som vid behov utrustas med dator eller annan specialutrustning Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 62

[EB] 17 EXAMINATIONSFORMER 2/3 4. Obligatorisk aktivitet av studerande: närvaro obligatorisk eftersom prövning av kunskaper och färdigheter sker fortlöpande under varje tillfälle, t.ex. gruppundervisning, seminarium, laborationer, fältarbete, övningar 5. Tillgodoräknande: process för prövning av sådana kunskaper och färdigheter som studerande förvärvat inom studier eller på annat sätt, antingen före eller efter antagning till nuvarande studier och som studerande önskar använda för avläggande av examen vid akademin 6. Alternativ examination: ifall vägande skäl föreligger kan den studerande ansöka om att få avvika från de i kursbeskrivningen fastställda examinationsformerna eller -tidpunkterna. Ansökan görs i samråd med egenläraren och de berörda lärarna och inlämnas till examinator. I anhållan anges önskemål om alternativ examinationsform, rätt att avvika från det stipulerade antalet tentamenstillfällen eller stipulerad inlämningstid. (ES 52) Gäller för a. Studerande som inte har avklarat hela eller delar av sina studieprestationer enligt sin personliga studieplan för läsåret och som önskar avklara dem under läsårets sista period b. Studerande som önskar avklara studieprestationer utanför läsårets perioder Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 63

[EB] 17 EXAMINATIONSFORMER 3/3 7. Komplettering av partiellt godkänd examination: studerande som deltagit i tentamen eller inlämnat en uppgift inom korrekt tidsgräns, men inte blivit godkänd i sin helhet eller som missat en obligatorisk aktivitet, kan av tentator ges möjlighet att komplettera examinationen inom en ny tidsgräns. Kompletteringen ska gälla lika för den aktuella examinationsuppgiftens alla partiellt godkända studerande, vara kopplad till lärandemålen och stå i proportion till den arbetsinsats för studerande som gällde för den ursprungliga uppgiften 8. Höjning av vitsord av redan godkänd examination: studerande som blivit godkänd i examination, men som strävar efter ett högre vitsord kan delta i förnyad examination förutsatt att det a. för en skriftlig tentamen finns kvar någon av de minst tre möjligheterna b. för en uppgift eller aktivitet av tentator ges rätt till komplettering inom en ny tidsgräns, där kompletteringen ska gälla lika för alla studerande, vara kopplad till lärandemålen och stå i proportion till den ursprungliga arbetsinsatsen. I regel ges alltid en möjlighet att höja vitsordet för en uppgift eller aktivitet. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 64

[EB] 18 EXAMINATIONSUPPGIFTER OCH -SVAR Tentatorn uppgör examinationsuppgifter utgående från lärandemålen så att de motsvarar innehåll, förkunskapskrav, arbetsmängd hjälpmedel som alla får använda noteras enligt vad som står i kursbeskrivningen de ska stöda studerandens lärande och företrädelsevis innehålla problemlösning och reflektion över egen inlärning. Tentatorn antecknar eventuella hjälpmedel och specialarrangemang på examinationsuppgiften. Studeranden får behålla beskrivningen av examinationsuppgifterna efter examinationstillfället om inte annat anges på uppgiften. Examinationssvaret vid skriftliga tentamina förses endast med studerandens matrikelnummer och inte med namn. Undantag gäller studerande inom det öppna universitetet eftersom de saknar matrikelnummer. Identiteten kontrolleras alltid vid examination. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 65

[EB] 28 BEDÖMNINGSKRITERIER OCH BEDÖMNINGSGRUNDER Bedömningskriterierna anger Vad som bedöms och de konkretiseras i ett eller flera lärandemål. Lärandemål formuleras och kommuniceras för varje kurs och de fungerar som skriftliga bedömningskriterier. Alla lärandemål ska vara möjliga att examinera och bedöma. I kursbeskrivningen ska anges lärandemål som beskriver kärninnehållet anger tröskeln för vad som krävs för godkänd prestation. Bedömningsgrunderna anger hur bra en studerande enligt vitsordsskalan uppnått lärandemålen. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 66

God lärandemiljö: Examination och bedömning Vad bedöms? Hur bra ska man prestera? Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 67

GOD LÄRANDEMILJÖ: EXAMINATION OCH BEDÖMNING Bedömningskriterier, vad som bedöms: 7.1. Examinationsformer och uppgifter som stöder inlärning 7.2. Bedömningskriterier och bedömningsgrunder 7.3. Lärarens feedback på övningsuppgifter och tentamina Bedömningsgrunder, hur bra? Inledande > under utveckling > inarbetade 7.1. Ett mångsidigt utbud av pedagogiskt väl uppbyggda former av examination. Lärarna stöds i att planera och förverkliga examinationsuppgifter och examinationen. 7.2. Det finns dokumenterade rekommendationer för formulering av lärandemål och examination och bedömning. Bedömningskriterierna är tydligt uppräknade och vissa bedömningsgrunder för vitsorden finns. En stor del av kurserna har tydligt utskrivet hur viktningen inför slutvitsord uträknas. Studerande uppmuntras att ansöka om tillgodoräknande av tidigare förvärvat relevant kunnande och färdigheter. 7.3. Läraren ger feedback på alla övningsuppgifter och tentamina genom att dessa ges tillbaka åt studenten försedda med vissa kommentarer. Studerande medvetandegörs hur man vid behov kan begära rättelse. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 68

[EB] 29 MÅLRELATERAD BEDÖMNING 1/2 Läraren ska vid kursstart utifrån lärandemålen redogöra för bedömningskriterier och -grunder för examinationen, Finns i skriftlig form finns i kursbeskrivningen. Akademins bedömningsskala är målrelaterad eftersom lärandemålen utgör bedömningsgrund för de godkända vitsorden. Alla lärandemål ska vara godkända, för att studieprestationen ska vara godkänd En studerande som blivit godkänd har sålunda uppfyllt alla lärandemål. En tentator har rätt att godkänna en prestation endast partiellt och då krävs att den studerande kompletterar sin examination. I kursbeskrivningen ska ytterligare klargöras praktiska frågor som inlämning, kurs- och tentamensanmälan, uppgifters form och längd eller hjälpmedel som får användas. Tentator kan tillåta avvikelser ifall studeranden har motiverad orsak och då påverkas bedömningen inte. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 69

[EB] 29 MÅLRELATERAD BEDÖMNING 2/2 Om för en kurs krävs motiverad obligatorisk aktivitet och närvaro av studerande bör aktiviteterna samt antal timmar eller procent närvaro vara klargjorda i kursbeskrivningen. Tentator kan tillåta frånvaro ifall studerande har motiverad laga orsak och då påverkas bedömningen inte. Om en skriftlig prestation inte har inlämnats inom utsatt tid är tentator inte skyldig att bedöma prestationen. Om tentator trots allt bedömer prestationen kan bedömningen påverkas i negativ riktning. Tentator kan tillåta försenad inlämning ifall studerande har motiverad laga orsak och då påverkas bedömningen inte. Studeranden ska beredas tillfälle att ta del av sin examinationsuppgift och bedömningen av den. Tentator ska på begäran redovisa för hur bedömningsgrunderna tillämpats på examinationsuppgiften. Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 70

3.2. Samordnade och tydliga kursbeskrivningar Vad är lärandemål? Exempel på examinationsformer Checklista för lärandemål och examination Granskning av samordning Granskning av bedömningskriterier och -grunder Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 71

Vad är lärandemål? Studerandeperspektiv Vad ska studenten uppnå? Vad krävs av studenten? Efter godkänd kurs kan studenten... Allmänfärdighet kan vara lärandemål Examinationen utgår ifrån lärandemålen Alla lärandemål ska kunna examineras Ska gärna kräva reflektion också över egen inlärning Lärandemålet gräns för godkänd prestation Alla lärandemål ska vara godkända Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 72

[SKU2014] Lärandemål Lärandemålen är ibland ganska vaga. Det finns inte en klar övergripande struktur så att kurser tydligt bygger på varandra, utan samma saker kan komma upp gång på gång i olika kurser (åk 3) Kraven på godkänd kurs kunde höjas så att de verkligen kräver att man uppnår målen för kursen (åk 3) Syftet och målen för kursen bör redovisas tydligt för studerande och ge möjlighet till frågor och diskussion, inte visas 30 sekunder i slutet av power pointen som presenterar kursen (åk 5) Svårt att själv få en uppfattning av den röda tråden i utbildningen (åk 5) Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 73

[SKU2016 åk 1] Har du fått följande information i dina studier? Lärandemålen för en kurs har presenterats i början av kursen 92,0% 91,6% Fjolårets utvärdering av kursen presenterades i början av kursen 18,6% 24,3% Läraren redovisade resultaten av din grupps kursutvärdering i slutet av/efter kursen 20,6% 35,2% 2015 2016 Läraren redovisade för sin egen utvärdering av sin kurs i slutet av/efter kursen 14,1% 25,1% 0% 20% 40% 60% 80% 100% Andel ja-svar Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 74

[SKU 2016 åk 3&5] Har du fått följande information i dina studier? Lärandemålen för en kurs har presenterats i början av kursen 94,3 % 88,6 % Fjolårets utvärdering av kursen presenterades i början av kursen Läraren redovisade resultaten av din grupps kursutvärdering i slutet av/efter kursen 34,7 % 22,9 % 21,0 % 12,1 % 3 5 Läraren redovisade för sin egen utvärderuing av din kurs i slutet av/efter kursen 14,8 % 8,6 % 0% 20% 40% 60% 80% 100% Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 75

Checklista för lärandemål och examination Om du anser att kursbeskrivningen fungerar bra i sin nuvarande form, men du vill försäkra dig om att den är samordnad, fundera på följande: Vad kan en studerande göra efter att ha genomfört examinationsuppgifterna? Vad kan en studerande göra efter att ha läst litteraturen? Vad kan en studerande göra efter att ha deltagit i undervisningen? Baserat på Oldsjö och Ekecrantz 29.10.2009 http://www.abo.fi/personal/videoseminarier1 Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 76

Praktiska råd för att formulera lärandemål och välja examinationsformer Inled med en förutsättningslös diskussion om allt som är värdefullt med kursen Granska vad som är målsättningar och innehåll, undervisningsaktiviteter och examinationsuppgifter Identifiera och formulera de lärandemål (=förväntade studieresultat) som ligger bakom innehåll, undervisning och examination Hämta inspiration i kunskapstaxonomier Jämför med andra kurser Pröva formuleringarna på studerande och kollegor Baserat på Oldsjö och Ekecrantz 29.10.2009 http://www.abo.fi/personal/videoseminarier1 Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 77

Arbetsblad 2 för lärare: Granskning av samordning www.abo.fi/stodenhet/pedguider Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 78

Arbetsblad 2 för lärare: Granskning av samordning, modell Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 79

Granskning av bedömningskriterier och - grunder Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 80

Bedömningskriterier för licentiat- och doktorsavhandlingar (FI 36 ) Sju kriterier, som innehåller beskrivningar av vad som förväntas. Se närmare FI 36. Valet av ämne och forskningsproblem Begreppslig klarhet och teoretisk behärskning av ämnet Forskningsmetoder Material och källkritik Presentation av resultaten Slutsatser Arbetet som helhet och språkdräkten Försvaret av avhandlingen under disputationen www.abo.fi/personal/stuforf Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 81

Bedömningsskala och -grunder för doktorsavhandlingar (FI 37 ) Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 82

4. Information Styrdokument om utbildning för personal och studerande Examensstadga (ES) Instruktion för examination och bedömning (EB) Definition på och kriterier för God lärandemiljö Direktiv för hantering av fusk och plagiat Anvisningar Blanketter för begäran om rättelse Webbsidor: www.abo.fi/personal/stuforf www.abo.fi/student/regler Begäran om utlåtande om ändringsförslag i ES, EB och direktiv www.abo.fi/personal/utskick_enheterna Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 83

Webbinarieserie hösten 2016 Webbinarier via Adobe Connect: www.abo.fi/stodenhet/connecting Nytt system för kursutvärdering vid ÅA, 12.9 Dra nytta av studieklimatundersökningen, 19.9 Dra nytta av karriäruppföljning, 26.9 Dra nytta av kandidatrespons, 3.10 Rapporterna hittas här: www.abo.fi/personal/internuppfoljning Videoinspelningarna hittas här: www.abo.fi/personal/videoseminarier Ytterligare kurser och närmare info: www.abo.fi/personal/kurskatalog Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 84

Frågor? Ta gärna kontakt! E-post monica.nerdrum@abo.fi Monica Nerdrum, Åbo Akademi, forskning och utbildning/lärandestödet 7.10.2016 85