Rapport över arbetsgruppen för utvärdering av Urkund och Turnitin Lärcentret 19.6.2013
INNEHÅLL 1 Inledning... 2 1.1 Arbetsgruppens arbete... 3 2. Jämförelse av Urkund och Turnitin... 3 2.1 Fördelar och nackdelar med Urkund och Turnitin... 4 2.2 Kommentarer om Turnitin... 5 3. Arbetsgruppens slutsatser... 5 Bilaga: Jämförelse av Urkund och Turnitin... 5 1 Inledning Åbo Akademi har haft Urkund i permanent bruk sedan 2010 (piloterades 2009). I Åbo Akademis styrelses beslut från 17.9.2009 sägs att alla examensarbeten vid ÅA räknat from 1.1.2010 genomgår plagiatkontroll med hjälp av ett plagiathanteringsprogram beslöts att ÅA för detta ändamål anskaffar programmet Urkund för ett år åt gången. Urkund används för tillfället av 24 högskolor i Finland. Den andra beaktansvärda programvaran för plagiatgranskning är Turnitin som anskaffats av vissa universitet. Akademin borde utvärdera Urkund för att inför 2013 besluta om det finns anledning att byta ut Urkund mot någon annan. Direktören för Forskning och utbildning tillsatte 29.1.2013 en arbetsgrupp med uppgift att - utvärdera Urkund och jämföra det med Turnitin (hur väl programvaran hittar plagiat, användarvänlighet, årlig kostnad för programvarulicens) - göra en bedömning av om ett ev. byte av programvara lönar sig, beaktande årlig kostnad för programvarulicens, resurser för att ta i bruk ny programvara (guider, "omskolning" av användarna) etc. - rapportera till direktören för Datacentralen senast 1.9.2013 som underlag för anskaffningen av programvarulicens för år 2014. I arbetsgruppen ingick Ole Karlsson, kvalitetskoordinator, LC (ordf.) Monica Nyholm, universitetslärare, HHÅA Dan Holm, systemplanerare, DC Tove Forslund, lärcenterchef, LC (sekr.) Rapporten har sammanställts av Tove Forslund, med kommentarer av övriga arbetsgruppsmedlemmar. Rapporten inlämnas till planeringschef Datacentralens direktör Björn Pundars och till direktören för Forskning och utbildning, Mats Lindfelt. Rapporten görs tillgänglig (utan ev. kostnadskalkyler) på webben: www.abo.fi/stodenhet/rapporter. 2
1.1 Arbetsgruppens arbete Arbetsgruppen sammanträdde till fyra möten (15.2, 21.3, 8.4 och 8.5.2013) och hade ett mötesrum i Moodle för diskussion och distribution av material. 8.4.2013 gav Risto Korhonen för Ilona IT en demonstration via Adobe Connect av programvarorna Turnitin för arbetsgruppen. Vi har även bekantat oss med informationen på Turnitins egna webbsidor. Arbetsgruppen har också begärt in tilläggsinformation av bl.a. Totti Tuhkanen vid Turun yliopisto och Pauliina Kupila vid Helsingfors universitet. På arbetsgruppens första möte beslöt arbetsgruppen att engagera ett antal lärare som piloterare av Turnitin, dvs. vi hade planerat att de skulle be frivilliga studenter skicka in arbeten till såväl Urkund som Turnitin. Detta beslöt vi dock att inte genomföra då det framgick att prisskillnaden mellan Urkund och Turnitin trots allt var så stor att ett byte av programvara i detta skede därför var rätt osannolikt. I mars 2013 framgick det också att nationellt samarbete kring plagiathantering planerades, vilket gjorde att vi tyckte att det i detta skede är bäst att fortsätta som tidigare och i stället följa med den nationella utvecklingen. Arbetsgruppens medlemmar testade programvarorna själva genom att skicka in egna dokument till båda programvarorna och jämföra såväl användarvänlighet som resultat av träffar över likheter. 2. Jämförelse av Urkund och Turnitin I BILAGA 1 finns en matris där vi jämför programvarorna. Vi gjorde en grov viktning av kriterierna, där vi i detta skede ansåg priset vara en avgörande faktor: priset stod för 60 %, användarvänligheten för 20 % och förmågan att hitta likheter för 20 %. 3
2.1 Fördelar och nackdelar med Urkund och Turnitin Nedan sammanfattar vi fördelar och nackdelar med Urkund och Turnitin: Urkund Turnitin Fördelar Enklare än Turnitin att använda både för lärare och studerande ÅA-personalen vet hur man använder Urkund. Stödpersonerna kan Urkund. Stödmaterialet finns. Garanterar studenternas rättsskydd bättre (gällande indexering av material i programvarans databas). Många universitet & högskolor i Finland har Urkund. I Urkunds databas finns redan ganska mycket svenskt referensmaterial, dvs. dels ÅAstudenters material och svenska universitetsstudenters material. Priset (dvs. ca 30 % billigare). Urkund verkar hitta nordiska källor bättre. Företaget ger service på svenska Återförsäljare i Finland Översättningar hittas i viss mån. Indexerar också gamla webbsidor (ex. sådana Wikipediasidor som har uppdaterats senare). Övningsarbetenas layout bibehålls i analysrapporten, dvs. ger en mer överskådlig analys. Snabb kontroll en fördel ifall läraren har många mindre arbeten, men skillnaden till Urkund är inte avgörande stor Kan exkludera bibliografiskt material, dvs. så att analysen inte visar träffar med källförteckningar. Nackdelar Latexfiler fungerar inte (men texten kan enkelt kopieras till läsbart format) Läser inte kyrilliska bokstäver Kan inte tolka indrag som citat Priset ÅA-personalen måste lära sig en ny programvara. Stödpersonerna måste lära sig en ny programvara. Stödmaterialet måste förnyas. Mer arbete för läraren innan studenterna kan börja skicka in arbeten (dvs. läraren måste skapa en kurs och övningsuppgifter). Mer komplicerat för studenterna att skicka in övningsarbeten. Turnitin läser inte några väsentliga format (t.ex. excel) 4
2.2 Kommentarer om Turnitin Turnitin är en programvara som innehåller verktyg också för andra funktioner än plagiatdetektion. Där finns verktyg som läraren kan använda för att ge feedback på övningsuppgifter och verktyg för studenternas feedback på varandras arbeten. Dessa verktyg verkar vara rätt sofistikerade och mer mångsidiga än i Moodle, men arbetsgruppen upplevde dock att det kunde upplevas som förvirrande för studenterna om vissa lärare skulle använda Turnitins verktyg för feedback, medan andra använder Moodle. ÅA kunde nog säkert förbättra sina system för feedback åt studenterna, men åtminstone just nu har vi inte behov av ett nytt tekniskt verktyg för det. Om Turnitin skaffas skulle det i så fall också vara förnuftigt att utnyttja hela dess potential, dvs. även feedbackverktygen. Eftersom andra faktorer talade emot en övergång till Turnitin så utredde vi inte i detalj hur studenternas övningsarbeten sparas i Turnitins arkiv, t.ex. ifall Akademin kan sätta in en inställning att arbeten inte automatiskt indexeras i arkivet utan att studenten själv kan välja. 3. Arbetsgruppens slutsatser Arbetsgruppen föreslår att Åbo Akademi i detta skede fortsätter använda Urkund. Orsakerna till detta är följande: - Turnitin uppvisar inga avgörande fördelar jämfört med Urkund, beaktande de behov vi har idag. - Licenskostnaderna för Turnitin skulle i detta skede vara betydligt högre än för Urkund. Därtill kommer kostnader för framställande av stödmaterial för och handledning i ibruktagning och användning. Det kräver också resurser av lärarna att lära sig en ny programvara. - På nationell nivå funderar universiteten som bäst på samarbetsformer gällande plagiathantering. Detta arbete görs i ett antal arbetsgrupper, grundade i april 2013, varför det inte ännu går att säga i vilken riktning samarbetet utvecklas, dvs. blir det t.ex. fråga om en strävan efter användning av samma programvara/-varor för plagiatdetektion. Turnitin är dock en programvara som används av flera universitet i Finland, bl.a. Turun yliopisto, varför vi fortsätter följa med hur programvaran utvecklas och vilka erfarenheter andra universitet har av programvaran. Bilaga: Jämförelse av Urkund och Turnitin 5
Viktning Urkund TurnIt In 60 % 20 % 20 % Pris/ år Använda r-gränssnittets språk Sve. Eng. Fi. m.fl. Eng. I vilka källor söker den? Mycket svenskt material i egen databas. Mycket ÅAuppsatser i databasen. + Se Urkunds webb Ej information på TurnItIns webb Hur bra hittar likheter? Hittar inte översättninga r. Översättningar hittas i viss mån. Diverse om funktioner Kan inte tolka indrag som citat. Kan ställa in att inskickade dokument inte listas i programvarans referensdatabas. Har grademark-funktion, men nytta? Indexeringen i referensdatabasen - borde utredas närmare; verkade som om läraren själv beslutar för varje kurs. Bör skapa Joint account för att en annan lärare ska kunna ta del av analysen. Användarvänlighet (lärarsynvinkel) Integreringen till Moodle? Integrering tekniskt möjligt i Moodle 2.4 Lätt ge instruktioner åt stud. Inloggning via Shibboleth. Användaren har inte automat. tillgång till Urkund, måste kontakta urkund@abo.fi (men bra, då får vi reda på vem som är nya handledare och kan informera om stöd för handledarna!) Integrering tekniskt möjligt i Moodle 2.4. Shibboleth fungerar inte ännu kräver eget lösenord. Inskickade arbetets layout bibehålls i analysen (ex. källorna tydligare.) Användar-vänlighet ur studentsynvinkel Lätt skicka in till e-postadress. Integrering tekniskt möjligt i Moodle 2.4 Studenten ser egen analys endast om läraren skickar den åt dem. Integrering till Moodle 2.4 möjligt Studentena kan se analyserna genom att logga in i TurnItIn Shibboleth fungerar inte ännu kräver eget lösenord. Filformat, alfabet Latex-filer fungerar dåligt (ex. går inte fastän görs till pdf). Kan inte hantera kyrilliska bokstäver Doc verkar inte fungera, nog docx. Enligt webben: stöder ej ppt och excel Service av leverantören. Tekniskt underhållsarbete. Behovet av kontinuerligt stöd DC måste plocka in nya Urkundanvändare i systemet manuellt. Urkund-kontot upphör samtidigt då abo.fianvändarnamnet upphör att fungera. Litet behov av kontinuerligt stöd. Hur lång tid tar analyser na? Max 24 h Snabbare! Kan exkludera bibliograf.material, så att inte visar träffar med källförteckningar