Rapport över användningen av programvaran Urkund för plagiatdetektion vid Åbo Akademi år 2010

Rapport över användningen av programvaran Urkund för plagiatdetektion vid Åbo Akademi år 2010 1.9.2010

Inledning Det elektroniska informationssamhällets framfart har medfört stora utmaningar vad gäller korrekt hantering av tillgängligt material. Även inom universitetsvärlden har man sett tecken på att plagiering eller annan felaktig användning av material blivit allt vanligare. Som ett led i strävandena att trygga verksamhetens kvalitet och trovärdighet har Åbo Akademi införskaffat programvaran Urkund, som är ett verktyg för plagiatdetektion. Programvaran testades av några enheter vid ÅA under år 2009, och på basis av de erfarenheter man då fick beslöts att Urkund används i den obligatoriska plagiatgranskningen vid Akademin från och med 1.1.2010. Med avsikten att utvärdera användningen av programvaran Urkund gick följande förfrågan tillsammans med en elektronisk utvärderingsblankett ut i juni 2010 till de anställda vid ÅA som använt Urkund: Obligatorisk plagiatgranskning med hjälp av Urkund har nu varit i bruk sedan 1.1.2010. Vi vill följa upp systemet för att se vilka förbättringar som kunde göras för att det ska fungera så smidigt som möjligt. Vi vill också ha feedback på Urkund för att vid behov utreda alternativa programvaror. Deadline: 25.8.2010 Tack på förhand! Tove Forslund, lärcentret Ole Karlsson, kvalitetsenheten Dan Holm, datacentralen Den här rapporten har gjorts upp utgående från de svar som kommit in inom utsatt tid och är sammanställd av Sara Sandholm, som fungerar som praktikant vid Lärcentret och Kvalitetsenheten hösten 2010. Åbo den 1 september 2010 1

1 Bakgrund Utvärderingen gjordes under sommaren 2010 med hjälp av en blankett i E-lomake. I den grupp som förfrågan skickades till ingick alla anställda vid Akademin som analyserat minst tre arbeten med hjälp av Urkund under år 2009 samt de som analyserat minst ett arbete fram till den 15 juni under år 2010. Nämnas kan att av de lärare som använt Urkund under 2010 hade 79 analyserat endast 1-2 arbeten. Av denna grupp på sammanlagt 217 personer hade 46, med andra ord dryga tjugo procent, inkommit med svar per 25.8.2010. Utvärderingen efterlyste kommentarer om bland annat hur väl programmet fungerar rent tekniskt, huruvida plagiat upptäckts med hjälp av Urkund, hur informationen till studenterna ser ut och så vidare. Frågorna i utvärderingsblanketten finns som bilaga. Bortsett från Rättsvetenskapliga institutionen fanns samtliga institutioner vid ÅA samt Öppna universitetet och Centret för språk och kommunikation representerade bland de svarande. Det förekom ändå betydande skillnader i svarsfrekvens mellan de olika institutionerna. Från första fakultetsområdet inkom sammanlagt 16 svar, från det andra endast 9 (varav 7 var från Handelshögskolan vid ÅA) och från det tredje 19 svar. Över hälften av svaren lämnades in samma dag (23.6.2010) som förfrågan skickades ut, men ännu i augusti droppade några ifyllda utvärderingar in. Den stora majoriteten har granskat främst kandidat- och pro gradu- eller diplomarbeten med hjälp av Urkund. En person har även använt programvaran för att plagiatgranska doktorsavhandling(ar). Sammanlagt 13 personer har granskat andra sorters övningsarbeten, av vilka tre inte har granskat några examensarbeten utan enbart övningsarbeten. 2 Arbetsmängd I utvärderingen ombads lärarna inledningsvis uppskatta hur lång tid det tar att granska ett examensarbete med hjälp av Urkund. Största delen av de svarande har angett att granskningen av en enskild kandidat- eller magisteravhandlig inte är särskilt tidskrävande. Av de fem svarsalternativen har 31 personer svarat att det endast tar 1-15 minuter och ytterligare 10 att det tar 15-30 minuter att granska ett dylikt examensarbete. Alternativen 31-60 minuter samt 1-2 timmar har endast valts av en person respektive, medan tre personer angett att granskningen tagit mer än 2 timmar i anspråk. 3 Programvarans tillförlitlighet På en öppen fråga om hur pass väl man tror att programvaran lyckats hitta kopierade avsnitt har omkring hälften av svarspersonerna svarat med helt ok, rätt väl eller därmed jämförbara uttryck. Av dessa har rätt många ändå försett sitt svar med ett visst förbehåll, så som tror jag, troligtvis eller att det verkar fungera helt bra. 2

Sju personer ansåg att programvaran är mycket tillförlitlig på denna punkt. Lika många har dock uttryckt sig negativt om saken. Flera hade väntat sig flera träffar och misstänker att granskningen inte är heltäckande. Några har kommenterat de procenttal som Urkund presenterar; de tyckte det var konstigt att programvaran hittade 0 % likhet då till exempel litteraturförteckningarna borde ha orsakat träffar. Ytterligare sju har angett att det är svårt att säga eller att de inte vet, medan två personer valt att inte svara på frågan. Bland dem som uttryckt sig skeptiskt angående programvarans tillförlitlighet lyfte flera fram översättningsproblemet: av det jämförelsematerial som Urkund har att tillgå antas en rätt liten del vara skriven på svenska, och programvaran lyckas inte hitta sådana fall där skribenten själv direkt översatt en text från ett annat språk. Några poängterade också det, att Urkund inte kan jämföra texterna med sådant material som enbart finns i tryckt format, så som vanliga böcker eller halvgammalt stoff som inte finns på nätet, som ett par svarande uttryckt saken. En person såg studenternas möjlighet att avgränsa analysresultatens synlighet som en brist. Begränsningen innebär alltså att det enbart är lärare vid Akademin som får fram arbetet vid en eventuell referensträff. Om uppsatser som analyseras av användare utanför ÅA uppvisar likheter med ÅA-studentens arbete, får denna användare enbart upplysningen om att likhet med ett arbete i databasen förekommer. Användare utanför Akademin får således inte tillgång till arbetet. Trots en viss skepticism angående Urkunds tillförlitlighet lyfte en person i sitt svar fram något mer indirekta fördelar med programvaran: Möjligen kan Urkund ha en förebyggande funktion - en potentiell plagierare vågar kanske inte ta risken. 4 Funktionaliteter Då Urkund utgör ett nytt tillskott i raden av verktyg som står till förfogande för Akademins lärare, var frågeställarna intresserade av att utreda hur väl verktyget fungerar rent tekniskt. Av de svarande har hela 39 svarat nekande på frågan om de upplevt tekniska problem. Av de sju personer som haft problem med det tekniska har tre personer anmält svårigheter med filformaten: det är närmast vissa pdf-filer och Word-filer med mycket bilder och ekvationer som har orsakat problem. Angående pdf-filerna framgår det ur Urkunds användarmanual (tillgänglig på www.urkund.se > Support) att det främst är filer skapade med vissa gratisprogram som kan ställa till problem. En person ansåg också att användargränssnittet lämnar en del att önska, då personen vid användning i webbläsaren Firefox stött på oläsliga vyer. I ett fall, som aktualiserades redan under testningen av programvaran år 2009, har Urkund bevisligen inte hittat träffar i sin egen referensdatabas trots att sådana funnits. Problemet togs upp med Urkunds personal, men någon förklaring har hittills inte fåtts. Andra tekniska problem som nämnts rör inloggning, vilket dock kunnat rättas till av Datacentralen. Någon ansåg också att antalet e-postmeddelanden som skickas till läraren enligt de förvalda inställningarna är onödigt stort. En person efterlyste även möjligheten att ladda upp flera 3

filer på en gång. I dagens läge är det för studenter fullt möjligt att bifoga flera filer i ett och samma e-postmeddelande, men lärarna kan inte via sitt konto i Urkund på webben ladda upp flera filer på samma gång. Ett sätt att komma runt detta är till exempel att be studenten själv skicka in filerna eller att läraren skickar in filerna via e-post. Gällande funktionaliteterna ställdes slutligen följande fråga: I dagens läge jämför Urkund inte en students egna arbeten med varandra. Detta betyder t.ex. att en student kan lämna in samma övningsarbete för flera kurser utan att detta märks i Urkund. Det är dock bra med tanke på att en slutlig version av avhandlingen inte jämförs med tidigare versioner av samma avhandling som studenten skickats in (i det fallet skulle Urkund uppvisa väldigt mycket likheter). Denna inställning torde dock gå att ändra. Vilket system skulle du föredra? Fyra personer har inte tagit ställning till denna fråga, medan 17 svarade att de föredrar det befintliga systemet. Drygt hälften skulle ändå hellre se ett system där arbetena jämförs också med sådana texter som tidigare skickats in av samma student. 5 Information till studenterna I en öppen fråga ombads de svarande berätta hur de informerat studenterna om plagiatgranskningen. Bortsett från dem som enbart svarat att de informerat sina studenter var det vanligaste svaret att man informerat om saken under den individuella handledningen eller i samband med seminarier. En knapp handfull av lärarna uppgav att de upplyser sina studenter om plagiatgranskningen eller om plagiering i allmänhet genast i början av alla kurser. Ett tiotal svarade kort och gott att de informerat studenterna om saken antingen muntligen eller per e-post; några har även hänvisat till material på ÅA:s webbsidor. Två av lärarna har inte ägnat saken någon större uppmärksamhet, eftersom eleverna känner... väl till detta. Den stora majoriteten har uppgett att användningen av Urkund inte lett till förändringar i hur referensteknik lärs ut. Endast två personer har svarat jakande; den ena av dem preciserar svaret med att referenstekniken nu fått mer plats i undervisningen. Fyra personer menade att undervisningen i referensteknik inte förändrats, men att användningen av Urkund ändå lett till förbättringar i hanteringen av referenser i och med att (de) studerande kanske tar saken mera på allvar nu eller att studenterna förstår bättre att man inte kan plagiera. En lärare, till vars bord undervisning i referensteknik inte hör, beklagar sig över att studenterna inte delgetts tillräcklig information om den egna institutionens referensteknik och således inte har vetskap om hur de ska förfara. 4

6 Plagiat Då det gäller Urkunds huvudsakliga uppgift, alltså att upptäcka likheter med annat material, har två tredjedelar av dem som svarat på utvärderingen meddelat att de inte upptäckt några fall av plagiat. Elva av de svarande har valt svarsalternativet Endast sådant som jag antog berodde på oförsiktig användning, medan fyra personer uppgett att de upptäckt fall av plagiat. I de fall där åtgärder blivit aktuella, har studenten blivit ombedd att göra korrigeringar i eller omarbeta delar av sitt arbete för att det skulle kunna godkännas. Ett par av lärarna angav enbart att de diskuterat igenom saken med studenten, medan ett fall har lett till att studenten underkändes i kursen. Av de sammanlagt 15 personer som varit med om fall som krävt åtgärder har tre uppgett att det uteslutande rört sig om utbytesstudenter. Två lärare meddelade att de använt sig av Urkund först då misstankar om plagiat väckts; åtminstone den ena av dem lät då granska samtliga av kursdeltagarnas uppsatser. 7 Intyg över plagiatgranskning För att ett examensarbete ska kunna bedömas och godkännas krävs i dagens läge någon form av intyg över genomförd plagiatgranskning med Urkund. Detta sker på lite olika sätt vid de olika institutionerna: somliga fyller i en särskild blankett, andra gör en anteckning om saken i utlåtandet eller i själva examensarbetet. I utvärderingen ombads svarspersonerna bedöma smidigheten i detta skede av plagiatgranskningsprocessen. Fyra personer har antingen avstått från att svara eller uppgett att de inte granskat examensarbeten med hjälp av Urkund. Av de resterande har de flesta, 35 stycken, ansett att det system som är aktuellt för dem fungerar helt smidigt. Sju personer har däremot menat att systemet kunde göras smidigare. Bland förslagen till hur detta kunde göras efterlyste några ett enhetligare system, alternativt ett förfarande där intygandet vävs in i befintliga system: det kunde exempelvis finnas en ruta för ändamålet att kryssa i i TeRes. Flera menade att det nuvarande systemet innebär onödigt mycket pappersarbete eller nummerexcerciser och är för tidskrävande. En person ansåg det helt onödigt att skilt intyga plagiatgranskningen, eftersom det ingår i den allmänna akademiska bedömningen av ett arbete att det inte är plagiat och Urkund garanterar ingenting. I en kommentar påpekades det även att intygandet bidrar till att dra ut på processen då studenter ska utexamineras. 8 Övriga kommentarer Många har använt sig av möjligheten att framföra övriga kommentarer angående användningen av Urkund. Tre personer passade på att berömma användningen av Urkund som ett enkelt och välfungerande system, medan två andra beskrivit det som meningslöst eller rätt värdelöst. 5

En stor del av de övriga kommentarerna har tagit fasta på frågan huruvida arbeten borde jämföras med tidigare arbeten av samma student. Ett par stycken ansåg det svårt att hitta en bra lösning på frågan, medan en person efterlyste en funktion som tillåter att man väljer till eller väljer bort tidigare arbeten. Några var överraskade eller rent av förvånade över de befintliga inställningarna, eftersom de har erfarenhet av att flera versioner av samma avhandling har granskats och då även jämförts mot varandra. Detta kan ha att göra med att Urkund identifierar personer med hjälp av e-postadresser; arbeten inskickade från en och samma e-postadress jämförs inte med varandra. Har man däremot skickat flera versioner av samma arbete från olika e- postadresser, så jämförs versionerna med varandra. En person önskade vidare att lärplattformen Moodle kunde integreras med Urkund, så att arbeten som lämnas in där automatiskt genomgår plagiatgranskning. I en kommentar togs problemet med siffertabeller upp; så fort det rör sig om siffror lär programvaran hitta en mängd likheter med annat material. Två personer lyfte fram Akademins stöd i användningen av Urkund som väldigt bra; en menade dock att handledarna borde få tydligare information om vilket jämförelsematerial programvaran har tillgång till och att andra, så som tryckta, källor bör kollas upp av handledaren. En person tyckte att stödmaterialet till studenterna skulle behöva utvecklas. Samma person menade att behovet av upplysning om plagiat är störst på första årskursen, för vi har nog mest problem under grundkursen, inte med examensarbeten. Personen fick medhåll av en annan, som tycker att risken för plagiat i examensarbeten är väldigt liten med tanke på att läraren följer med arbetets gång på så nära håll; Urkunds huvudsakliga funktion borde enligt denna lärare vara att komma åt sådana fall där samma arbete lämnas in i flera kurser. 9 Diskussion De erfarenheter som lärarna inom Akademin hittills hunnit få av programvaran Urkund tyder på att systemet rent tekniskt sett fungerar rätt väl och inte kräver särskilt mycket tid, åtminstone inte i granskningsskedet. Med tanke på det totala antalet personer som använt Urkund är den andel som anmält tekniska problem försvinnande liten. De flesta var också nöjda med systemen för att intyga genomförd granskning, men det finns de som efterlyser enklare eller enhetligare system som kunde snabba på det hela. Överlag tycks det förekomma en viss osäkerhet och skepticism kring programmets tillförlitlighet, men detta till trots anser en stor del av de svarande att systemet är åtminstone rätt så tillförlitligt. Detta sagt verkar den största bristen vara översättningarna; direktöversättningar upptäcks inte av Urkund, och det faller alltså även framöver på lärarna att upptäcka sådana fall. Detta problem är svårt att komma åt, eftersom en stor del av den facklitteratur som används vid många ämnen och det material som arbeten jämförs med är på ett annat språk än svenska. Dessutom finns det alltfortfarande en hel del material som enbart förekommer i tryckt form och som Urkund således inte har tillgång till. 6

Ytterligare ett problem som hittills inte fått någon lösning ligger i svårigheterna att få fast studenter som lämnar in samma arbete för flera kurser, utan att behöva tas med långa listor på likheter då flera versioner av samma avhandling analyseras. De befintliga inställningarna var en överraskning för flera av de svarande och många upplevde saken som problematisk. Då de ombads ta ställning enbart för eller emot, blev fördelningen förhållandevis jämn. Jämfört med dem som föredrar inställningarna som de är, alltså att arbeten av en och samma student inte jämförs med varandra, var de som hellre skulle ändra på dem aningen fler. Då det gäller informationsgången till studenterna verkar det förekomma en del variationer. De flesta tar upp plagiathantering i samband med seminarier eller handledningstillfällen, medan vissa nöjer sig med att hänvisa till webbmaterial om ämnet eller bara kort nämna om saken. Av de svarande har ändå 15 stycken upptäckt sådana fall med hjälp av Urkund, där studenten antingen slarvat med referenshanteringen eller använt material på ett direkt felaktigt sätt. Följderna för studenterna i fråga har trots allt vanligtvis stannat vid en diskussion och nödvändiga omarbetningar i den egna texten. Utan att vidare bedöma förfarandet i just de här fallen, kan man fråga sig om olika former av fusk och plagiat överlag ses med för blida ögon inom universitetsvärlden. Avslutningsvis borde det eventuellt påpekas noggrannare, att det ur jämlikhetssynvinkel är mycket viktigt att samtliga arbeten i en kurs granskas i Urkund om man i något fall misstänker plagiat och vill använda programvaran. 7

BILAGA Utvärderingsblanketten Utvärdering av Urkund våren 2010 Obligatorisk plagiatgranskning med hjälp av Urkund har nu varit i bruk sedan 1.1.2010. Vi vill följa upp systemet för att se vilka förbättringar som kunde göras för att det ska fungera så smidigt som möjligt. Vi vill också ha feedback på Urkund för att vid behov utreda alternativa programvaror. Deadline: 25.8.2010 Tack på förhand! Tove Forslund, lärcentret Ole Karlsson, kvalitetsenheten Dan Holm, datacentralen Bakgrundsinformation Lärarens namn? Institution/motsv. enhet? --Välj-- Ämne, enhet, avdelning eller motsvarande: För vilken typ av studentarbeten har du använt Urkund? Kandidatavhandling Pro gradu-avhandling/diplomarbete Licentiatavhandling Doktorsavhandling Övriga övningsarbeten Arbetsmängd Om du har analyserat kandidat- och/eller magistersavhandlingar, hur mycket arbetstid har det i medeltal tagit att granska ett arbete? Programvarans tillförlitlighet Hur väl tror du att programvaran hittade kopierade avsnitt ur allmänt tillgängligt material på Internet, ur elektroniska databaser mm? Funktionaliteter Har du upplevt tekniska problem med Urkund? Nej Ja 8

Tekniska problem? Om du svarade ja på föregående fråga, vad i så fall (utöver sådant du redan meddelat Dan Holm om)? Jämförelse av studentens olika inskickade arbeten med varandra I dagens läge jämför Urkund inte en students egna arbeten med varandra. Detta betyder t.ex. att en student kan lämna in samma övningsarbete för flera kurser utan att detta märks i Urkund. Det är dock bra med tanke på att en slutlig version av avhandlingen inte jämförs med tidigare versioner av samma avhandling som studenten skickats in (i det fallet skulle Urkund uppvisa väldigt mycket likheter). Denna inställning torde dock gå att ändra. Vilket system skulle du föredra? Vilket system? Studentens arbeten jämförs med tidigare arbeten som studenten lämnat in Studentens arbeten jämförs INTE med tidigare arbeten som studenten lämnat in Information till studenterna Hur har du informerat dina studenter om plagiatgranskningen? Har användningen lett till förändringar i hur referensteknik lärs ut? Plagiat Har du i dina analyser av arbeten i Urkund upptäckt plagiat? Upptäckt plagiat? Nej, ingenting som krävde några som helst åtgärder Endast sådant som jag antog berodde på oförsiktig användning Ja Om det krävdes åtgärder, vilka vidtogs i så fall? Intyg över plagiatgranskning 9

Olika institutioner har olika sätt att intyga att plagiatgranskning av examensarbeten har genomförts (intygas i bedömningsblankett, skrivs in i utlåtande, fylls i i själva gradun/kandidatarbetet, fylls i i TeRes). Hur har det fungerat att intyga att examensarbeten har genomgått plagiatgranskning? Intyg Jag har inte plagiatgranskat examensarbeten Helt smidigt Det kunde göras smidigare Om du svarade "Kunde göras smidigare", hur tycker du att det kunde göras? Övrigt Övriga kommentarer (t.ex. om stödmaterialet på webben, stödet av dc/lc/kvalitetsenheten): Skicka Tack! 10