Utveckling av examination av examensarbeten på kandidatnivå. (UEX)

Utveckling av examination av examensarbeten på kandidatnivå. (UEX) Dag Haugum Jonas Lundberg Victoria Nygren Tommie Nyström Gary Svensson Maria Thunborg Tobias Trofast Tomas Törnqvist 2011-10-12

Sammanfattning Denna projektrapport beskriver arbetet med att utveckla en modell för utveckling av examination av examensarbeten på kandidatnivå (UEX) vid Institutionen för Teknik och Naturvetenskap, Linköpings Universitet under läsåret 2010-2011. Modellen har utvecklats och testats vid utbildningsprogrammet Grafisk Design och Kommunikation (GDK), men med syfte att kunna appliceras även på andra kandidatprograms examensarbete. Det projektet prövat är om man kan höja kvaliteten på examensarbeten och effektiviteten i hanteringen av dessa jämfört med nuvarande modell. Modellen bygger på att tvärvetenskapliga kompetensgrupper med flera examinatorer granskar examensarbetenas kvalitet utifrån sina spetskompetenser. Vidare kompletteras de individuella handledningarna med gruppseminarier för att få ett kunskapsutbyte mellan examensarbetena. Projektet har också mynnat ut i en gemensam bedömningsgrund för examensarbeten på kandidatnivå, samt en språkgranskningsmall som kan användas för att öka den språkliga kvalitén på examensarbetsrapporten. Genom enkätundersökningar både bland studenter, handledare och examinatorer har resultatet av modellen undersökts. Efter enbart ett års testande av modellen är det svårt att dra långtgående slutsatser. Resultatet har till viss del störts av förändringar av examensarbeteföreskrifterna vid Linköpings Universitet. De slutsatser som kan dras är att kompetensgrupperna med flera examinatorer skapar en kunskapsbrygga mellan examinatorerna samt en gemensam bedömningsgrund. En hel del slutsatser kan användas som rekommendationer för att ytterligare utveckla modellen. 2

Innehållsförteckning 1. Inledning... 4 1.1. Bakgrund... 4 1.2. Syfte & Mål... 4 2. Metod & Genomförande... 5 2.1. Metod... 5 2.1.1. Arbetslagens sammansättning och arbetsuppgifter... 5 2.1.2. Grupphandledning och seminarier... 5 2.1.3. Individuell handledning... 7 2.1.4. Språkgranskning... 7 2.1.5. Gemensamma framläggningar... 8 3. Resultat... 9 3.1. Mall för gemensamma bedömningsgrunder samt språkgranskning... 9 3.2. Problem som påverkat resultatet... 9 3.3. Studentenkät... 9 3.4. Lärarenkät... 14 4. Slutsatser & Diskussion... 16 4.1. Slutsatser... 16 4.1.1. Sammanfattning av intryck från språkhandledningen... 16 4.2. Diskussion... 17 5. Bilagor 1. UEX-ansökan 2. Examensarbetsföreskrifter LiTH 3. Granskningsmall vid Sem 3 4. Språklig granskningsmall 5. Mall för gemensamma bedömningsgrunder 3

1. Inledning 1.1. Bakgrund Det treåriga kandidatprogrammet Grafisk Design och Kommunikation (GDK) är ett tämligen nystartat utbildningsprogram vid Tekniska Högskolan (LiTH), Linköpings Universitet. Första studenterna antogs hösten 2006 och den första årskursens examinerades således våren 2009. Utbildningen avslutas med ett examensarbete som omfattar 16 högskolepoäng. Examensarbetena kan utföras vid någon av de tre institutionerna; ITN (Institutionen för Teknik och Naturvetenskap), IEI (Institutionen för Ekonomisk och industriell utveckling) eller IDA (Institutionen för Datavetenskap). Examensarbetena kan utföras antingen externt, på uppdrag av ett företag eller dylikt, eller internt på institutionen, eventuellt i samarbete med någon forskargrupp. Denna projektrapport omfattar endast arbeten utförda vid institutionen ITN, som huvudsakligen finns vid Campus Norrköping. Fram till och med år 2011 har ITN årligen examinerat c:a 20-25 examensarbeten inom ämnesområdet Grafisk Design och Kommunikation. Dessa arbeten har fördelats mellan 4-5 st examinatorer och handledare. Fram till och med år 2010 var handledare och examinator ofta samma person, men efter en ändring i LiTHs gemensamma examinationsregler för examensarbeten måste sedan år 2011 handledare och examinator vara olika personer. I de utvärderingar som Högskoleverket under perioden 2011-2014 avser göra av samtliga svenska universitets- och högskoleutbildningar kommer stor vikt läggas vid kvalitén på examensarbeten. Ur Högskoleverkets system för kvalitetsutvärdering 2011 2014 : Studenternas självständiga arbeten ska tillsammans med de utbildningsresultat som redovisas i självvärderingen utgöra det huvudsakliga underlaget för det samlade omdömet. Mot ovanstående bakgrund sökte författarna till denna rapport så kallade Medel för pedagogisk utveckling under våren 2010 (se bilaga 1), för att kunna öka examensarbetenas kvalitet och effektivisera hanteringen av dem. 1.2. Syfte & Mål Syftet med projektet var att ta fram en modell för examination av examensarbeten på kandidatnivå inom LiTH. Det projektet prövat är om man kan höja kvaliteten på examensarbeten och effektiviteten i hanteringen av dessa jämfört med nuvarande modell. Genom arbete i tvärvetenskapliga kompetensgrupper (se kap 3 Metod) var förhoppningen att öka kvalitén på examensarbetena vad gäller innehåll, form och språk. Projektet avsåg även undersöka om fler grupphandledningar kan leda till ökad genomströmning, att fler arbeten blir klara inom utsatt tid. Projektet har även undersökt lämpliga parametrar för en gemensam bedömningsgrund när arbetena fördelas mellan flera examinatorer, samt när examensarbetena inom en snar framtid troligen kommer att betygssättas med U, G, VG jämfört med dagens U, G. 4

2. Metod & Genomförande 2.1. Metod Baserat på tidigare erfarenheter och en gemensam övertygelse valdes två grundläggande metoder för arbetet i projektet; 1. Examinatorerna indelades i två tvärvetenskapliga kompetensgrupper, nedan kallade arbetslag. 2. Traditionell individuell handledning kompletterades med grupphandledning, seminarier och särskild språkgranskning 2.1.1. Arbetslagens sammansättning och arbetsuppgifter De två arbetslagen har haft liknande sammansättning med följande kompetenser; En språkvetare, med ansvar för språkgranskning En ansvarig för grafisk produktion/medieproduktion En ansvarig för visuell kommunikation En ansvarig för grafisk design. Denna sammansättning beror så klart till stor del på de tillgängliga examinatorernas kompetenser, men harmonierar också med utbildningen GDKs huvudområden. Examensarbeten från GDK utförda vid ITN tenderar att beröra ett eller flera av dessa områden. Varje arbetslag ansvarade för 10-12 examensarbeten. Fördelningen av inkomna examensarbetesförslag gjordes med utgångspunkt utifrån i vilket arbetslag den mest lämpliga examinatorn för respektive examensarbete fanns. Examensarbeten med likartade eller närbesläktade ämnesområden placerades i samma arbetslag. Lämplig handledare utsågs inom respektive arbetslag. Ansvarsfördelningen mellan handledare och examinator framgår i Bilaga 2. (Även externa examensarbeten skall ha en handledare vid lärosätet enl. LiTHs nya examensarbetesföreskrifter (se Bilaga 2). Även om examinatorn var och är ytterst ansvarig för examensarbetets olika valideringssteg, såsom startgodkännande, halvtidsrapport och slutlig framläggning, diskuterades samtliga dessa beslut gemensamt i arbetslaget. Samtliga examensarbeten granskades vid ett eller flera steg av samtliga examinatorer i arbetslaget, så att en samsyn kring bedömningsgrunder fanns. 2.1.2. Grupphandledning och seminarier De gemensamma grupphandledningarna och seminarierna hade två huvudsakliga syften; att effektivisera handledningen och att skapa förutsättningar för större utbyte av erfarenheter, resurser och kunskap mellan studenterna i respektive arbetslag. Seminarierna fungerade också som tydliga avstämningspunkter för arbetenas progression. Förhoppningen var att detta skulle öka genomströmningen, bland annat eftersom arbeten som inte följde sin tidplan skulle upptäckas tidigare. 5

Seminarierna hade följande struktur och innehåll: Seminarium 1 Idé Vid första seminariet presenterade studenterna sin exjobbsidé och fick direkt feedback från respektive arbetslag. Innan seminariet laddade studenterna upp en kort beskrivning till den gemensamma kurshemsidan bestående av: Idé Titel Arbetsplan Varje exjobbsidé fick 20 minuter (individuellt/i par) tillsammans med respektive arbetslag. Syftet var att ge snabb och omedelbar feedback om idén var tydlig, genomförbar och hade rätt nivå. Seminarium 2 Pitch Efter att ha jobbat vidare med sin idé från Seminarium 1 (eller eventuellt förkastat den och arbetat fram en ny) träffades nu arbetslaget och hela studentgruppen för första gången. Studenterna presenterade muntligt på c:a 10 minuter: Idé Problemformulering/Frågeställning Syfte Metod Avgränsningar Efter presentationen följde 10 minuter med kommentarer från examinatorerna samt övriga studenter. Arbetet inför och feedbacken från de två inledande seminarierna låg till grund för den planeringsrapport som studenterna tog fram för sitt examensarbete efter detta seminarium. Seminarium 3 Halvtid Enligt LiTHs examensarbetesföreskrifter skall en halvtidskontroll göras av examensarbetet ungefär halvvägs in i arbetet (i detta fall c:a 5 veckor). Så här skriver föreskrifterna: Halvtidskontroll skall genomföras vid den tidpunkt som är angiven i planeringsrapporten, och det är ditt ansvar som student att påtala när det är dags. Normalt sker det ungefär halvvägs in i examensarbetet. Du skall då för examinator redovisa hur arbetet fortskrider relativt planeringsrapporten. Även handledaren bör då medverka. Formerna för halvtidskontrollen kan variera från en muntlig genomgång till ett öppet seminarium och bestäms av examinator. Halvtidskontrollen kan leda till tre utfall 1. Arbetet har väsentligen genomförts enligt planeringsrapporten och kan fortsätta som planerat. Halvtidskontrollen är godkänd. 2. Arbetet har genomförts med vissa avvikelser från planeringsrapporten, arbetet bedöms dock kunna slutföras med mindre justeringar i problemformulering, angreppssätt och/eller tidplan. Halvtidskontrollen är godkänd. 3. Arbetet har i väsentliga avseenden avvikit från planeringsrapporten och arbetet riskerar att underkännas. Halvtidskontrollen är inte godkänd. En ny planeringsrapport måste tas fram och en ny halvtidskontroll göras. 6

Halvtidskontrollen utfördes i samband med det tredje seminariet där studenterna åter presenterade muntlig inför arbetslaget och hela studentgruppen enligt följande: Titel, syfte, frågeställning, metodval (kortfattad repetition och ev. uppdatering) Utfört arbete, nuläge, tänkt fortsättning Problem Åtta minuter per examensarbete avsattes för denna presentation. Vid detta seminarium utsågs också, för första gången dittills i seminarieserien opponenter till presentationerna. Opponenterna, som utsågs av arbetslaget, fick ta del av respondenternas halvtidsrapport några dagar före seminariet och gjorde sin opponering utifrån en förutbestämd opponentmall (Se Bilaga 3). Opponeringen gjordes både muntligt och skriftligt. Tolv minuter avsattes för den muntliga opponeringen. Syftet med opponeringen var att öva sitt kritiska granskande inför kommande slutopponeringar. Seminarium 4 Genrep Cirka två veckor innan de planerade framläggningarna hölls ett genrepsseminarium, där studenterna förväntades agera som vid de slutliga framläggningarna. I övrigt liknade upplägget det som användes vid Seminarium 3, med skillnaden att examensarbetsrapporten nu förväntades vara till 90-95% klar och att de muntliga presentationerna fokuserade mer på: Analys Resultat Diskussion Inför seminariet samlades arbetslaget för att gemensamt avgöra vilka examensarbeten som var så pass långt framskridna så att de kunde få ett godkännande för slutlig framläggning. 2.1.3. Individuell handledning Studenterna gavs också möjlighet att boka individuell handledning med sin handledare. Detta utnyttjades av samtliga studenter, men i varierad utsträckning. 2.1.4. Språkgranskning I syfte att öka den språkliga kvalitén i examensarbetsrapporterna och på så vis bland annat underlätta arbetet för examinatorerna och handledarna har två språklärare från ISV (Institutionen för Samhälle och välfärdsstudier) deltagit i projektet. Deras arbete utgick från en språklig modell som tagits fram för projektet (Se Bilaga 4). I bilagan kommenteras modellen ytterligare. En modell för språkgranskning skapades för att förtydliga de olika grundläggande krav på examensarbeten som institutionen har. (se bilaga 1). Eftersom studenterna läser en utbildning i Grafisk Design och kommunikation föll det sig naturligt att överlåta t.ex. layoutfrågor till dem. Modellen ska främja samarbetet och tydliggöra ansvarsfördelningen mellan språkhandledare och student. Den språkliga modellen bygger till viss del på Magnus Merkels modell i Lathund för studenter (2002). Språkhandledaren och studenten träffades när ca 10 sidor text fanns att diskutera. Texten skulle innehålla syfte, frågeställningar, metod och någon form av bakgrundsavsnitt. Före träffen skulle studenten själv granska sin text utifrån några grundläggande frågor angående 7

språk och layout, (se bilaga). Texten skickades till språkhandledare via mail ca en vecka i förväg. Före handledarmötet gick språkhandledaren igenom granskningspunkterna. 2.1.5. Gemensamma framläggningar Som en naturlig följd av de gemensamma seminarierna grupperades även framläggningarna, så att examensarbeten inom samma arbetslag med gemensamma ämnesområden, i så stor utsträckning som möjligt, lades fram vid samma dag. I de fall där det var möjligt behölls samma opponenter som vid tidigare seminarier för att få en kontinuitet. De gemensamma framläggningarna bidrog också till en större publik vid framläggningarna, vilket får anses som positivt. 8

3. Resultat I huvudsak har typer av enkäter använts för att bedöma huruvida projektet uppnått de mål som beskrivs i projektets syfte. En enkät riktad till deltagande studenter samt en enkät riktad till deltagande examinatorer, handledare och språkgranskare. Resultatet av dessa enkäter presenteras nedan. 3.1. Mall för gemensamma bedömningsgrunder samt språkgranskning Vid sidan av arbetet med modellen har två utvärderingsverktyg tagits fram för att bedöma examensarbetenas innehållsliga kvalitet samt språkliga kvalitet. Dessa finns i sin helhet som bilaga 4 och 5. 3.2. Problem som påverkat resultatet Ett antal oförutsedda förändringar har tydligt påverkat projektet resultat. Ingen av dessa förändringar är av sådan karaktär att de omkullkastar modellen som sådan, men de har tydligt förändrat förutsättningarna för att kunna dra entydiga slutsatser om modellens effekt. Förändringar i examensarbetsföreskrifterna I uppstartsfasen av examensarbetena introducerade LiTH, som tidigare nämnts, nya examensarbetsföreskrifter med ett antal förändringar för genomförandet av examensarbeten samt arbetsfördelningen mellan examinator och handledare. Dessa förändringar introducerade ett antal nya moment för examensarbetena, som t.ex. halvtidsavstämningen, som till viss del tvingade UEX-projektet att förändras. Förändringen av arbetsfördelning för examinator och handledare påverkade projektet främst eftersom detta gjorde att en del av besluten föll mellan stolarna mellan handledare och examinator. En del negativ kritik har uppkommit kring detta i diskussionerna med studenterna. Förändringar i ITNs administrativa verktyg X-Sys För att förenkla administrationen av examensarbeten, kontakten mellan examinator, handledare och student samt förenkla inlämningen av olika rapporter från studenten, använder ITN ett egenutvecklat administrativt system, X-Sys. På grund av förändringarna i examensarbetsföreskrifterna byggdes detta system om under projekttiden. Detta ledde bland annat till att de tidigare automatiska påminnelserna som systemet skickade ut per e- post försvann, vilket i sin tur ledde till en hel del onödig väntan i examensarbetesadministrationen. Flera studenter har påpekat att detta i stor utsträckning påverkat deras examensarbete. 3.3. Studentenkät Enkäten gjordes elektronisk via ett webgränssnitt några dagar före de slutliga framläggningarna. Totalt svarade 10 studenter på enkäten. En del frågor har utelämnats i denna sammanställning, då de berör områden som ligger utanför detta projekts omfattning. 9

Fråga 1: Jag har överlag fått bra handledning under mitt projekt. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 2: Jag har haft så här mycket individuell handledningstid. Svaren varierar mellan 3 timmar och endast 10 minuter, med ett medeltal på c:a 2 timmar. Fråga 3: Vid så här många handledningstillfällen. Svaren varierar mellan 4 och 1 ggr, med ett medeltal på 2,2 tillfällen. Fråga 4: Jag har försökt boka mer tid med handledaren än jag fått. 8st svarar Nej, medan 2st svarar Ja. Fråga 5: Handledaren har varit tillgänglig via telefon eller epost. 8st svarar Ja, medan 2st svarar Ja. Fråga 6: Jag lägger fram (har lagt fram) mitt exjobb i: 7st svarar Juni, 3st svarar Senare i höst. Framläggning i juni är det normala vid GDK och innebär tio veckors arbete i enlighet med fullfartsstudier, medan examensarbeten som läggs fram under hösten inte blivit klara inom avsatt tid. Fråga 7: Orsaker till att jag inte blivit färdig till juni. Flera nämner att andra uppgifter tagit tid från arbetet, t.ex. praktikuppgifter hos uppdragsgivaren. 10

Fråga 8: Det var bra att få sin rapport språkgranskad. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 9: Tydlig återkoppling under seminarierna från lärargruppen. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 10: Tydlig återkoppling under seminarier från medstudenter (opponenter). 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med 11

Fråga 10: Givande att höra presentationer av andra studenter av deras arbeten. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 11: Givande att höra den återkoppling andra studenter fått. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med 12

Fråga 12: Givande att läsa och opponera på andra studenters arbete under arbetets gång (det vill säga, frågan gäller inte slut-oppositionen på framläggningen) 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 13: Hur många andra studenters återkoppling jag hade velat lyssna på om jag fick välja nu? Svaren varierar mellan tre och ingen, med ett medeltal på knappt två. Fråga 14: Egna kommentarer kring seminarierna Många upplever att seminarierna tar mycket tid, i synnerhet de seminarier då studenterna förväntas opponera. Många vill ha ett större engagemang från handledare och examinatorer. Ett förslag som flera tar upp är att göra seminarierna i mindre grupper där deltagarna jobbar med liknande frågeställningar. Fråga 17: Det har varit tydligt för mig vilka deadlines och milstolpar i arbetet som gäller för att bli klar till juni. 3 2 1 0 1 - Håller inte alls med 2 3 4 5 6 7 - Håller helt med Fråga 24: Övriga kommentarer och förslag. Kommentarerna varierar ganska kraftigt mellan stort och smått. Den kommentar som känns mest relevant för detta projekt är att framförhållningen i informationen inför seminarierna bör bli bättre. 13

3.4. Lärarenkät Lärarenkäten ämnar svara på frågor om hur examinatorer och handledare upplevt att arbetet med examensarbetena förändrats i och med arbetet enligt projektmodellen som denna rapport beskriver. Fråga 1: Hur uppfattar du tidsåtgången för handledning och examination per examensarbete, omfattning och i jämförelse med tidigare? Tidsåtgången för handledning av examensarbete är enligt lärargruppen i stort sett densamma som före projektets början. Möjligen är tiden något omfördelad från individuell handledning till deltagande i seminarieserien. Fråga 2: Hur uppfattar du tidsåtgången för dig som handledare och/eller examinator, omfattning och i jämförelse med tidigare? Flera faktorer som inte ligger inom ramen för projektet påverkar dess resultat. En sådan faktor är universitetets krav på att en lärare inte kan vara både handledare och examinator på examensarbeten. Denna uppdelning gör att arbetet ändrat form och vissa frågor faller mellan stolarna. Handledningstiden har dock minskat säger lärarna samtidigt som en jämförelse är svår att göra eftersom premisserna alltså ändrats. I utvärderingen påpekas att respektive roller skulle ha definierats tydligare för att underlätta arbetet och därigenom spara tid. Lärargruppen konstaterar att handledningstiden för examensarbetena nu främst koncentreras till inledningen av arbetet och början av skrivprocessen. Detta kan bero på att språkhandledning ingått i projektet. Fråga 3. Hur har du upplevt effektiviteten i handledningsarbetet? Lärargruppen efterlyser fler och tuffare kontrollpunkter för hur arbetet fortskrider mellan träffarna i seminarieserien. Halvtidseminariet borde ha inneburit en större och mer omfattande avstämning, och redan här hade lärarna kunnat signalera till studenterna att arbetet t.ex. måste läggas fram senare än beräknat. Det är också viktigt att träffarna i seminarieserien uppfattas som lärtillfällen för att öka effektiviteten i arbetet. För att åstadkomma mer aktiva studenter, och ett större utbyte mellan studenterna i grupperna förslås färre antal studenter i grupperna. Fråga 4. Hur har du upplevt effektiviteten i examinationsarbetet? Effektiviteten har förmodligen ökat beroende på tre faktorer, gemensam bedömningsgrund, sammanlagda examinationsdagar som gör examinationstillfällena mer tidseffektiva, samt bra stöd inom lärargruppen när problem ska hanteras. Ett sådant problem kan vara att tackla alltför knepiga ämnesval bland studenterna. Effektiviteten kan öka genom att rollfördelningen förtydligas ytterligare, att lärarna är bättre förberedda inför seminarierna. Lärargruppen tror också att när rutiner kring arbetet med t.ex. seminarier skapats och erfarenheter vävts in ökar effektiviteten i nästa seminarieomgång. Fråga 5: Hur har du upplevt kvalitén i examensarbetena (innehåll, genomförande och rapport)? Lärargruppen är enig om att det är förtidigt att uttala sig om huruvida kvaliteten på arbetena förbättrats. Urvalet är alltför litet. Resultatet av projektet påverkas av de studenter som deltagit i projektets seminarieserie och de uppdrag de fått detta år. 14

Fråga 6: Hur har du upplevt att samarbetet mellan lärarna påverkat examensarbetena? Tre punkter poängteras; Tydligare roller och bättre kommunikation kan effektivisera arbetet. Samarbetet utvecklar den egna kompetensen. Samsynen inom lärargruppen ökar. Fråga 7: Hur har du upplevt att seminarierna påverkat examensarbetena? Seminarieserien har påverkat examensarbetena mindre än väntat, men med vissa förändringar finns möjligheter att öka effektiviteten med detta arbetssätt. Förslag på förändringar: Mindre grupper Starkare kontroll Tydligare krav Lärargruppen uppfattar dock att seminarieserien fungerade som en väckarklocka för studenterna, och delvis gjorde att de arbetade efter en tidsplan. Mer erfarenhet och rutiner inom lärargruppen gör att en andra seminarieomgång skulle flyta bättre. Fråga 8: Har du andra synpunkter som bör diskuteras i utvärderingen? Fråga 9: Har genomströmningen ökat? Frågan kan inte besvaras med detta underlag. 15

4. Slutsatser & Diskussion 4.1. Slutsatser Utifrån resultaten ovan kan ett antal slutsatser dras, samt ett antal rekommendationer göras för framtida applicering av modellen. De studenter som deltagit i projektet har inga tidigare erfarenheter av att skriva och genomföra ett examensarbete och kan således inte jämföra med hur arbetet hade fortlöpt utan den testade modellen. De enda som kan göra denna jämförelse är de deltagande examinatorerna och handledarna, som alla har tidigare erfarenhet av examensarbeten. Det finns en enighet mellan studenter och lärare kring att effektiviteten i seminarieserien skulle kunna ökas. Ett förslag som återkommer är att minska seminariegruppernas storlek och i ännu större utsträckning gruppera arbeten med liknande teman. Detta kommer sannolikt att öka engagemanget vid seminarierna, och samtidigt göra dem kortare. Belastningen för handledare och examinator ökar inte nämnvärt. Det är också tydligt att de gemensamma seminarierna inte räcker som handledning, utan att det viktigt att poängtera att individuell handledning måste komplettera avstämningen av arbetets fortskridande mellan seminarierna. Det går inte utifrån enkätsvar och statistik påvisa att kvalitet och genomströmning ökat med den prövade modellen under denna första testårgång. 4.1.1. Sammanfattning av intryck från språkhandledningen Studenternas del av arbetet har inte fungerat riktigt tillfredsställande. De bör involveras mer i arbetet, och med tydligare krav. Modellens punkter och frågor måste vara mer anpassade och relevanta i skrivprocessen. Punkterna känns inte relevanta för studenterna förrän i slutskedet och de har något svårt att ta till sig språkhandledning i det tidigare skede när handledningen faktiskt sker. Tiden som avsattes för språkhandledning uppfattas ändå av lärarna som lagom. Skrivprocessen pågår hela tiden och det gör att versionen som språkgranskas ibland redan är passerad vid handledningsmötet. Lärarna tror ändå på en tidigt förlagd träff, eftersom det är viktigt att ge råd i ett tidigt skede, så att studenterna själva kan tillämpa dem. Studenterna har också i vissa fall avsiktligt väntat med möten för att få mer hjälp. Modellen kan kompletteras med konkreta språkliga råd och länkar till t.ex. Harvardsystemet, som studenten sen kan tillämpa på resten av texten. Möjligen främjar det egen inlärning och tillämpning mera. Mallens del 2 har varit en checklista till nytta för språkhandledare (se bilaga 4). Diskussionsfrågorna bör dock lyftas ut, för att tydliggöra rollfördelningen mellan språkhandledaren och ämneshandledaren. Ofta kommer man in på ämneshandledning och metod, framförallt. I och med att de deltagande språkhandledarna tidigare hållit i ett metodavsnitt i en kurs i termin 5 blir det naturligt, men det kan dock bli en konflikt eftersom det är ämneshandledarens ansvar. Lärargruppen bör inför framtiden diskutera hur denna typ av frågor hanteras. 16

Språkhandledningen har varit till stor nytta och hjälp för studenterna, utifrån de texter lästs och frågor som besvarats under arbetets gång. Språkgranskning sker bara ungefär halvvägs i processen, och det är svårt att bedöma hur stor betydelse språkhandledningen haft när det kommer till slutprodukten. Förslag till förändringar i språkhandledningen; Extra föreläsning om rapportskrivning inom seminarieserien Mallen revideras enligt ovan Studentens medverkan i språkhandledningen förtydligas. Språkhandledning på inlärningsnivå. Ett referenssystem används gemensamt på GDK? Klara roller mellan handledare med olika uppdrag Ett seminariepass med föreläsning och handledning under en dag i Norrköping? Utvärdering från studenterna angående språkhandledning 4.2. Diskussion Som tidigare nämnts påverkades projektet av en rad faktorer projektet såsom ändrade rutiner angående handledare och examinators roller. Förändringar i rutinerna med rapportering kring examensarbeten i X-Sys fördröjde information till handledare, och försvårade arbetet. Ett problem som framträdde under projektet och som lärargruppen uppfattar som specifikt för programmet Grafisk Design och kommunikation är det nära samarbetet med företag som ofta är grunden för ett examensarbete inom programmet. Arbetet ska då leda fram till en produkt och studenterna tvingas anpassa sig till t.ex. företagets tidsplan eller särskilda önskemål. Detta påverkar arbetet med rapporten, och det akademiska kravet på arbetet kan uppfattas stå i vägen för samarbetet med företaget. Lärargruppen menade att ett av projektets resultat kan anses vara att en GDK-standard för examensarbeten håller på att växa fram. Projektet har medfört att lärargruppen förtydligat hur ett examensarbete på GDK bör se ut. Vilka typer av arbeten är fruktbara, vilka metoder och teorier kan användas, och hur bör programmet förhålla sig till just samarbeten med externa intressenter? För att ytterligare bestämma denna standard kan t.ex. förslag på ämnen till examensarbeten kopplas till pågående projekt inom programmet, och även till tidigare framlagda examensarbeten. Lärargruppen är enig om att arbetsformen kan leda vidare, och modellerna och arbetsformerna kan vidareutvecklas. 17

5. Bilagor 1. UEX-ansökan 2. Examensarbetsföreskrifter LiTH 3. Granskningsmall vid Sem 3 4. Språklig granskningsmall 5. Mall för gemensamma bedömningsgrunder 2011-10-12

Ansökan om medel för pedagogisk utveckling vid LiTH Projektnamn: UEX (Utveckling av Examination av X-jobb på kandidatnivå) Sökandes namn: Tommie Nyström Kontaktuppgifter (institution, e-post, telefon): ITN tommie.nystrom@liu.se 011-363124 Övriga projektdeltagare: Tomas Törnqvist, ITN Tobias Trofast, ITN Jonas Lundberg, ITN Dag Haugum, ITN Gary Svensson, ITN Maria Thunborg, ISV Victoria Nygren, ISV Sökt summa (endast summa utan SUHF-OH, beräkning och ev. detaljer ges i bilaga): 172 000 SEK Kort sammanfattning av projektet (högst 10 rader, ev. längre beskrivning i bilagor): Projektet syftar till att ta fram en modell för examination av examensarbeten på kandidatnivå inom LiTH. Det vi önskar pröva är om man kan höja kvaliteten på examensarbeten och effektiviteten i hanteringen av dessa jämfört med nuvarande modell. Vår modell bygger på arbetslag som arbetar förutom med traditionell individuell handledning även med grupphandledning, seminarier och särskild språkgranskning. Vi önskar även undersöka lämpliga parametrar för bedömning av kvalitet i examensarbeten. Förväntat pedagogiskt resultat: Bilaga 1 - UEX-ansökan Vår övertygelse är att examination med arbetslag i form av tvärvetenskapliga kompetensgrupper inom teknik, språk, kommunikation och design kommer att öka kvaliteten på examensarbetena vad gäller innehåll, form och språk. Som ett resultat av den tydligare coachningen med bättre feedback till studenterna tror vi också att modellen ger en ökad genomströmning av studenter med färdiga examina. Det senare är en viktig komponent i den ekonomiska situationen för examensarbete. Vi är också övertygade om att ett sådant här arbetssätt kommer att stärka den enskilda examinatorn i sin roll och att viss kompetensöverföring kommer att ske mellan de inblandade lärarna. Andra troliga sidoeffekter tror vi kommer att vara: Bättre värderingar från HSV genom en högre och jämnare kvalitet på examensarbetena Ökad rekrytering som resultat av bättre omdömen från HSV Bättre förberedda studenter för vidare studier på masterprogram på LiU Planerad presentation av projektresultat: Institutionen för Teknik och Naturvetenskap (ITN) Programnämnden för Data- och Medieteknik CUL-dagarna (om projektet passar in på valt tema) Ev. paper till någon konferens inom pedagogik 1 1

Bilaga 1 - UEX-ansökan Utvärderingsplan: Vad vi vill utvärdera är i första hand pris/prestanda, men även hur studenterna ser på handledningssituationen. Tidsåtgång per examensarbete, totalt och per handledare Genomströmning inom förväntad tid Kostnaden för varje examensarbete med denna metod kopplat till genomströmning Studenternas syn på handledningssituationen Bilagor: A: Metodval och projektplan med resursbehov, tidsåtgång och tidplan. Norrköping den 30 mars 2010 Tommie Nyström Sökande Dag Haugum Studierektor/motsvarande 2 2

Bilaga 1 - UEX-ansökan Bilaga A Metodval (modell) Den modell vi kommer att använda oss av i projektet är arbetslag med bred kompetens (tvärvetenskapliga kompetensgrupper inom teknik, språk, kommunikation och design). Vi kommer att använda oss av grupphandledning och seminarier som komplement/ersättning till traditionell handledning. En del i metodiken är också att specialister inom språk granskar rapporterna innan de ämnesgranskas. Under projektet kommer vi att arbeta med studenter från programmet GDK, men är övertygade om att resultaten kan användas generellt inom LiTH vid examination av kandidatarbeten. För att få tillräckligt med jämförelsematerial mot tidigare års examinationer avser vi att genomföra projektet med två arbetslag om 4 lärare i varje och räknar med att kunna examinera c:a 10-15 examensarbete per grupp. Detta ger oss också möjlighet att om så behövs pröva något olika upplägg i de två arbetslagen. Vi avser även att försöka påverka studenterna att i mesta möjliga mån göra sina arbeten i grupper om två. Projektplan Projektfas När Vad skall göras Resursbehov per person Tidsåtgång totalt Utveckling: Vt10 Förstudier (litteratur, m.m.) Ansvarsfördelning 6 h / person 48 Ht10 Ta fram modeller för grupphandledning Ta fram modeller för seminarier Ta fram modeller för språkgranskning 20 h / person 160 Genomförande: Vt11 Test-seminarier Grupphandledning 12 h / person 96 Utvärdering: Juni 2011 Kvalitet: vilka mått kan användas? Tidsåtgång per examensarbete Tidsåtgång per handledare Genomströmning Kostnaden för varje examensarbete med denna metod kopplat till genomströmning 8 h / person + 20 h för projektledare 84 Presentationer: Ht11 Framställning av presentationsmaterial 16 h Presentation på ITN 2 h Presentation i DM-nämnden 2 h Presentation på CUL-dag 2 h Ev. paper till konferens 22 Total tid 410 3 3

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Examensarbeten på ITN Nya regler och rutiner på LiTH och ITN Klargörande a av redan infört system med huvudområden udo 16 februari 2011 Nya förutsättningar Idag förväntas ingenjörsstudenter (antagna 2007 och senare) att ta två examina, en yrkesexamen och en generell examen Civilingenjör och teknologie master Högskoleingenjör och teknologie kandidat Kandidat- och masterprogram ger enbart en examen Nya kursplaner ger skärpning av kraven för att uppfylla flera mål 2 Linköpings universitet 1 1

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Civilingenjörsexamen ihop med master, TQxx31 Ämneskunskaper Den studerande förväntas systematiskt kunna integrera sina kunskaper förvärvade under studietiden. visa väsentligt fördjupade metodkunskaper och ämnesmässiga kunskaper inom huvudområdet. kunna tillgodogöra sig innehållet i relevant facklitteratur och relatera sitt arbete till den. Individuella och yrkesmässiga färdigheter Den studerande förväntas visa förmåga att planera, pa ea,genomföra öaoch dokumentera teaettett självständigt arbete. formulera frågeställningar samt avgränsa dessa inom givna tidsramar. söka och värdera litteratur. Arbeta i grupp och kommunicera Den studerande förväntas redovisa ett självständigt arbete genom att professionellt uttrycka sig skriftligt och muntligt. kritiskt granska och diskutera ett i tal och i skrift framlagt examensarbete av annan student. CDIO ingenjörsmässighet Den studerande förväntas kunna skapa, analysera och/eller utvärdera tekniska lösningar i form av system, teorier eller metoder. göra bedömningar med hänsyn till tillämpliga etiska och samhälleliga villkor såsom ekonomiskt, socialt och ekologiskt hållbar utveckling. 3 Masterexamen utan civilingenjör, TQxx30 Ämneskunskaper Den studerande förväntas systematiskt kunna integrera sina kunskaper förvärvade under studietiden. visa väsentligt fördjupade metodkunskaper och ämnesmässiga kunskaper inom huvudområdet. kunna tillgodogöra sig innehållet i relevant facklitteratur och relatera sitt arbete till den. Individuella och yrkesmässiga färdigheter Den studerande förväntas visa förmåga att planera, a, genomföra och dokumentera ett självständigt arbete. formulera frågeställningar samt avgränsa dessa inom givna tidsramar. söka och värdera litteratur. Arbeta i grupp och kommunicera Den studerande förväntas redovisa ett självständigt arbete genom att professionellt uttrycka sig skriftligt och muntligt. kritiskt granska och diskutera ett i tal och i skrift framlagt examensarbete av annan student. CDIO vetenskaplighet Den studerande förväntas kunna skapa, analysera och/eller utvärdera vetenskapliga frågeställningar i form av teorier eller metoder. göra bedömningar med hänsyn till tillämpliga etiska och samhälleliga villkor såsom ekonomiskt, socialt och ekologiskt hålbar utveckling 4 Linköpings universitet 2 2

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Högskoleingenjörsexamen ihop med kandidatexamen, TQxx11 Efter examensarbetet ska den studerande inom huvudområdet kunna planera, genomföra och redovisa ett självständigt arbete formulera frågeställningar samt avgränsa inom givna tidsramar systematiskt integrera sina kunskaper förvärvade under studietiden tillämpa metodkunskaper och ämnesmässiga kunskaper inom huvudområdet skapa, analysera och utvärdera tekniska lösningar göra bedömningar med hänsyn till relevanta vetenskapliga, samhälleliga och etiska aspekter professionellt uttrycka sig skriftligt och muntligt. tillgodogöra sig innehållet i relevant facklitteratur och relatera sitt arbete till den kritiskt granska och diskutera ett i tal och i skrift framlagt examensarbete. 5 TQxx10, Kandidatexamen utan högskoleingenjörsexamen Efter examensarbetet ska den studerande inom huvudområdet kunna planera, a, genomföra och redovisa ett självständigt stä arbete formulera frågeställningar samt avgränsa inom givna tidsramar systematiskt integrera sina kunskaper förvärvade under studietiden tillämpa metodkunskaper och ämnesmässiga kunskaper inom huvudområdet göra bedömningar med hänsyn till relevanta vetenskapliga, samhälleliga och etiska aspekter professionellt uttrycka sig skriftligt och muntligt. tillgodogöra sig innehållet i relevant facklitteratur och relatera sitt arbete till den kritiskt granska och diskutera ett i tal och i skrift framlagt examensarbete. 6 Linköpings universitet 3 3

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Högskoleexamen (El-auto o Drift), TQxx01 Efter examensarbetet ska den studerande inom teknikområdet kunna planera, genomföra och redovisa ett självständigt arbete formulera frågeställningar samt avgränsa inom givna tidsramar systematiskt integrera sina kunskaper förvärvade under studietiden tillämpa metodkunskaper och ämnesmässiga kunskaper inom huvudområdet göra bedömningar med hänsyn till relevanta vetenskapliga, samhälleliga och etiska aspekter professionellt uttrycka sig skriftligt och muntligt. tillgodogöra sig innehållet i relevant facklitteratur och relatera sitt arbete till den kritiskt granska och diskutera ett i tal och i skrift framlagt examensarbete. 7 Huvudområden, gäller redan Exjobb görs alltid inom ett huvudområde Varje program tillåter några utpekade huvudområden Varje avdelning har några huvudområden inom vilka man kan examinera som default. Dispens ges av programnämnd. 8 Linköpings universitet 4 4

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Huvudområden på ITN, med Nrkp-prg Masternivå Elektroteknik (WNE, ED, KTS) Transportsystem (ITS, KTS) (Teknisk) fysik (Tillämpad) matematik Datateknik (MT) Medicinsk teknik Medieteknik (ACG, MT) Industriell ekonomi (KTS) Kandidatnivå Byggteknik (BI) Logistik (SL, FTL) Grafisk design och kommunikation (GDK) Datateknik Elektroteknik Medieteknik (Teknisk) fysik Programmering Matematik Huvudområden på ITN som inte kopplar till något program kan användas när Vallastudenter ex-jobbar hos oss. Programnämnd kan ge tillfälligt tillstånd till fler huvudområden. 9 Nya regler från fakulteten avseende exjobb på avancerad nivå Obligatorisk planeringsrapport Obligatorisk halvtidskontroll Handledare och examinator skilda personer (dispens beslutas av programnämnd) Handledare skall ha examen på lägst avancerad nivå (gärna doktorand) Examinator skall vara anställd som fo-ass, lektor eller professor Mer medel tilldelas institutionen per exjobb Syfte: Öka kvalitén, ge möjlighet att stoppa hopplösa exjobb 10 Linköpings universitet 5 5

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Kandidatexjobb och h-ing exjobb på ITN Fördel om handledare och examinator är olika personer; studierektor beslutar Planeringsrapport och halvtidskontroll blir obligatoriska, men avpassas till den mindre omfattningen 11 El-auto och Drift Programansvarig beslutar 12 Linköpings universitet 6 6

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Nya rutiner på ITN för påbörjan av exjobb Studenten uppsöker relevant studierektor, och har med en examensarbetsbeskrivning samt ladokutdrag Studierektor kontrollerar formell behörighet genom att fråga studievägledaren Studierektor utser examinator och handledare (efter att ha talat med dessa!), och meddelar studenten Studenten uppsöker examinatorn, och tar då med sig ifylld ansökningsblankett. Examinatorn tillser att relevanta kurser finns med, och skriver därefter på att förkunskaperna är tillräckliga 13 Examensarbetsbeskrivningen Kontaktuppgifter till dig, och till handledare på företaget/i organisationen ifall det är ett externt examensarbete Syftet med arbetet, inklusive en bakgrund Planerad frågeställning som behandlas i arbetet med de avgränsningar som görs. Vilket angreppssätt kommer att användas för att lösa problemet/frågeställningen? Relaterade kurser/delmoment i utbildningen som examensarbetet kommer att knyta an till. Här skall du peka ut en eller flera kurser inom din inriktning på studierna som är relevanta. Förslag till huvudområde som arbetet skall göras inom En bra arbetsbeskrivning kommer att underlätta planeringsrapporten Skall vi ha en särskild blankett för detta för att få med allt enklare? 14 Linköpings universitet 7 7

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Nya rutiner för genomförandet Obligatorisk planeringsrappport skall skrivas preliminär titel på examensarbetet en preliminär problemformulering satt i relation till litteraturbasen en preliminär beskrivning av angreppssätt planerad litteraturbas en tidplan för examensarbetets genomförande inklusive planerade datum för halvtidskontroll och framläggning Obligatorisk halvtidskontroll skall genomföras. Utfallet kan bli: Arbetet har väsentligen genomförts enligt planeringsrapporten och kan fortsätta som planerat. Halvtidskontrollen är godkänd. Arbetet har genomförts med vissa avvikelser från planeringsrapporten, arbetet bedöms dock kunna slutföras med mindre justeringar i problemformulering, angreppssätt och/eller tidplan. Halvtidskontrollen är godkänd. Arbetet har i väsentliga avseenden avvikit från planeringsrapporten och arbetet riskerar att underkännas. Halvtidskontrollen är inte godkänd. En ny planeringsrapport måste tas fram och en ny halvtidskontroll göras. examinator bestämmer formerna 15 Examinator före start kontrollera att relevanta kurser har avklarats Ge studenten tillträde till X-sys godkänna/underkänna planeringsrapporten ansvara för att handledaren fullgör sina uppgifter Godkänna/underkänna halvtidskontrollen godkänna/underkänna genomförd framläggning och opposition godkänna ett avslutande reflektionsdokument tillse att det godkända examensarbetet uppfyller kursplanens lärandemål och övriga krav samt betygsätta examensarbetet Handledare expertstöd i generella metodfrågor, ämneskunskap samt rapportskrivning problemformulering och avgränsningar för arbetet tidsmässig planering av arbete och val av lämpliga lösningsmetoder För interna examensarbetare blir det betydligt mer omfattande och kräver mer ämnesspecifika kunskaper 16 Linköpings universitet 8 8

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 Opposition och opponering (påminnelse) Skriv en mycket kort sammanfattning (max en sida) av examensarbetet. Skriv en kort bedömning av varje kapitel i rapporten. Sätt samman 10 frågor till den muntliga opponeringen (endast för examinator och får EJ visas för respondenten före opponeringen!!). Istället för att redovisa 1 + 2 vid opponeringen så läggs fokus på de 10 frågorna, vilka blir den väsentliga delen av opponeringen och gör den mer intressant för alla deltagare. 1 + 2 + 3 lämnas till examinator på examensarbetet fem arbetsdagar före framläggningen. Opponent och examinator går tillsammans igenom oppositionens upplägg 17 Publicering av examensarbete Görs på Electronic press Vi kan inte tvinga ngn student att lägga ut på Ep, men vi skall presentera det som att det är hur det går till X-sys blir enbart för arkivering 18 Linköpings universitet 9 9

Bilaga 2 - Examensarbetesföreskrifter LITH 2011-02-16 När? Nya reglerna gäller de som påbörjar sina examensarbeten (= blir registrerade i X-sys) 1 mars 2011 eller senare Huvudområden, de uppskärpta kursplanerna och oppositionsreglerna gäller redan nu 19 www.liu.se Linköpings universitet 10 10

TQGD10 - Granskningsmall vid seminarium 3 vt2011 Granskningspunkter för studenter 1 Frågor och kommentarer 1. Finns vetenskaplig förankring? (Hur används begrepp?) 2. Går frågeställningen att besvara? Är den för stor? Bilaga 3 - Granskningsmall vid Sem3. 3. Är metoden lämplig för att kunna besvara frågeställningen? 4. Empirianvändning? Håller empirin för att ge svar på frågan eller bör mer inhämtas? Måste frågeställningen justeras? 5. Analysmetod! Hur skall materialet analyseras? Skulle annan metod kunna användas? 6. Relevans inom huvudområdet för GDK? 7. Identifiera problem eller risker för x- jobbets genomförande?

Bilaga 4 - Språklig granskningsmall UEX Förslag till språklig modell Språkhandledaren och studenten träffas när ca 10-15 sidor text finns att diskutera. Texten bör innehålla syfte, frågeställningar, metod och någon form av bakgrundsavsnitt. Före träffen är det viktigt att studenten själv granskat sin text utifrån några grundläggande frågor angående språk och layout, (se nedan). Vanlig korrekturläsning av texten förutsätter vi att ni gjort vid inlämning. Texten måste skickas till handledarna ca en vecka i förväg. Före handledarmötet går språkhandledaren igenom granskningspunkterna. Modellen ska förtydliga olika grundläggande krav på examensarbeten som institutionen har. Eftersom studenterna läser en utbildning i Grafisk Design och kommunikation faller det sig naturligt att överlåta t ex layoutfrågor till dem. Modellen ska främja samarbetet och tydliggöra ansvarsfördelningen mellan handledare och student. Den språkliga modellen bygger till viss del på Magnus Merkels modell i Lathund för studenter (2002). Granskningspunkter för studenter Frågor och kommentarer Är innehållsförteckningen korrekt? Är dokumentet överskådligt? Är de använda teckensnitten lämpliga? Är placeringen och utformningen av tabeller och figurer lämplig? Finns figur och tabelltexter och är dessa numrerade och utformade på lämpligt sätt? Finns sidnumrering och är den lämpligt placerad? Används talspråk? Används en konsekvent terminologi? Granskningspunkter för språkhandledare: Frågor och kommentarer Är språket begripligt, adekvat och störningsfritt? Är resonemangen tydliga? Används sammanhangsord? (se särskild lista) Har texten en röd tråd/logisk disposition? Är syfte och frågeställningar tydliga och möjliga att besvara? Är källhänvisningarna korrekta i texten, samt i referenslistan? Diskussionsfrågor vid handledarträff, gärna tillsammans med ämneshandledare: Kvalitetsaspekter: 1. Finns vetenskaplig förankring? (Hur används begrepp?) 2. Är metoden väl beskriven? 3. Empirianvändning? 4. Kritisk förmåga? 5. Kreativitet? 1

Bedömning U G (VG) Utvecklingsmöjlighet Åtgärd 1 Bilaga 5 - Mall för gemensamma bedömningsgrunder Syfte/frågeställningar Problematisering (varför är området intressant för GDK) Syftet är rimligt och avgränsat Frågeställningarna är möjliga att besvara Självständighet/relevans (forskning, uppdragsgivare, program) Metod Metodbeskrivning och motivation av vald metod Transparens, går undersökningen att upprepa Tillämpning (inhämtning av empiri och hur denna analyserats) Metoddiskussion (diskuterar för och nackdelar med metoden) Litteratur Terminologi (begrepp beskrivs) Tillämpning och användning av begrepp Kritiskt förhållningssätt Tidigare forskning beskrivs Resultat/Analys Teori och empiri sammanförs Resultatet förmedlas Tolkningar Vetenskaplig relevans, ny kunskap genereras Diskussion Syntes Kritiskt förhållningssätt Återkoppling till problematisering Arbetets transparens Kommunikativ förmåga/språk Saklighet och klarhet Läsbarhet Struktur, samband Formalia