UTVÄRDERING AV SMS-TJÄNSTER I SLUNIK (SLU) OCH PINGPONG (UMU)
Introduktion SMS är ett kommunikationmedel som har fått stor genomslagskraft speciellt i de de yngre generationerna. Inom UniNet har vi startat ett delprojekt som ser närmare på hur vi i Kvarkenregionen kan utnyttja mobila lösningar för att stärka kommunikation och lärande bland lärare och studenter. SMS är som sagt ovan redan en teknologi som är mogen med bred acceptans inom den största målgruppen på universitet i Kvarken regionen. En viktig del är därför att utvärdera och förstå hur befintliga SMS tjänsters används inom existerande lärandemiljöer. Därför har UniNet tillsammans med CUT på Umeå Universitet genomfört en pilotstudie av sms-tjänster integrerad i två olika kursplattformar. Tjänsterna användes av två institutioner på var sitt universitet och har gällt kurser om tio poäng. En pilotstudie av en sms-tjänst, integrerad i två olika kursplattformar på två institutioner där tio poängskurser har bedrivits av olika slag, en distansutbildning och en campusutbildning, har genomförts mellan 22 marsl 4 juni, 2004. I utvärdering av sms-tjänsten har olika utvärderingsmetoder använts för att samla in data, med intervjuer som den primära metoden. Nedan presenteras resultat från campuskursen, Fiskbiologi 10 p, på Sveriges Lantbruksuniversitet, Umeå, där kursplattformen SLUNIK används (11 studenter samt en lärare). Utvärderingen av SMS i distansutbildning gjordes vid NURS, Umeå, omvårdnad C, 10p där PingPong använts som kursplattform(29 studenter samt 2 handledare, 1 kursansvarig samt 1 programansvarig). Redovisning Redovisningen och spridningen av resultaten i Kvarkenområdet sker dels i form av denna rapport men även som seminarium med videokonferens mot Vasa och Karleby under HT2005.
UTVÄRDERING AV SLUNIK Intervju med lärare Nedan presenteras resultat från inledande intervju med lärare vid studiens början med syfte om att fånga tidigare erfarenhet av kurswebbsanvändning, kommunikationsbehov, informationsförmedling och förväntad användning. Intervjun skedde enskilt och spelades in på minidisc och transkriberades sedan (se bilaga 1). Resultat Läraren vid denna kurs har använt kurswebben någon gång tidigare, men har inte nyttjat den i någon stor utsträckning på grund av ett lågt studentantal och därmed har kommunikation och informationsspridning skett i största utsträckning vid fysiska möten och via e-post och ibland telefon vid brådskande ärenden. Användningsområdet har då varit framför allt att lägga ut information om schema och salsnummer. Förväntat användning av den implementerade sms-funktionen är att meddela schemaändringar eller för att meddela plats för träffar och dyl. Vidare så kommer läraren att skicka ut information om seminarieinnehåll vid tillfälle, då detta inte är fastställt förrän dan innan. Sammanfattningsvis tror läraren att det är för koordinering och informationsspridning som sms-tjänsten kommer att nyttjas. Studentenkäter Vid studiens början svarade 11 studenter på en enkät (se bilaga 2) med syfte att skapa en bild om hur de använder kurswebben vid olika kurser, hur de kommunicerar med varandra och med lärare och hur de samlar information gällande kursen. Vidare var det av intresse att ta reda på om de har tillgång till en mobiltelefon samt om de har vana att använda sms. Resultat Studenterna vid i denna kurs har inte för vana hämta information på kurswebben eller att använda annan teknik för kommunikation i så stor utsträckning. Detta beror enligt dom att vissa kurser inte erbjuder kurswebb och att läraren delger informationen vid fysiska möten. Användandet av kurswebben sker vanligtvis framför allt för att kolla schemat och kontrollera litteratur. 9 av de 11 studenterna har tillgång till mobiltelefon men sms sker mest för privatanvändande, men även ibland för koordinering i grupparbetssituationer. Kommunikation med lärare och medstuderande sker sammanfattningsvis framförallt via e- post och fysiska möten, där de flesta studenter föredrar fysiska möten, men e-post kommer inte långt efter. Fast telefon är även ett kommunikationsmedel som nyttjas som ett tredje alternativ. Utvärdering med lärare och studenter Vid utvärderingen av den implementerade sms-tjänsten på plattformen Slunik medverkade 6 studenter (av ca tio studenter) samt en lärare. Syftet var att få feed-back på hur funktionen
fungerat och hur den har använts, i vilka situationer och vilken typ av information som skickats ut. Utvärdering skedde i samband med en planerad föreläsning i en semistrukturerad intervju form (se bilaga 3), där både lärare och studenter fick möjlighet att diskutera och kommentera tjänsten. Sessionen videofilmades och anteckningar fördes, sammanställt nedan under Resultat. Användning: -Vid schema ändringar -Informationsspridning angående lokaler/föreläsningssalar -Frågor liknande; Vart ska vi träffas? -Uppmaningar som; Ta med detta material till nästa träff! Tekniska aspekter: - Problematiskt att registrera mobiltelefonnummer för studenterna. Divergerande sätt att utföra detta vilket innebär att det inte ter sig användbart. Bör underlättas genom att till exempel i användargränssnittet bara göra det möjligt att fylla i på ett sätt eller genom visualisering i formuläret hur det ska fyllas i. - Alla studenter fick inte sms:en som skickades ut. - Vissa fick sms vid enstaka tillfällen. Sammanfattning: Tekniska problem begränsade användningsområdet och både studenter och lärare ansåg därmed att det var svårt att se någon nytta av tjänsten som den är idag. Läraren påpekade att eftersom det inte gick att lita på att alla studenter kunde motta meddelanden och information som skickades ut via sms, så skickade samma meddelanden ut via e-post. Studenterna hade även möjlighet att hämta samma information på anslagstavlan då funktionen är utformad så att sms-texten även läggs ut på denna vid smsutskick. Läraren och någon student menade dock att en sms-tjänst skulle vara användbar i denna kontext och då för att meddela ändringar i sista sekund. Det måste dock vara enkelt och mindre problem än det är i dagsläget för att det ska vara värt att använda den. Om de tekniska problemen och svårigheten med att registrera sig består uppväger inte nyttan besvären.
UTVÄRDERING AV PINGPONG Intervjuer med lärare Nedan presenteras resultat från inledande intervju med lärare vid studiens initiala skede med syfte om att fånga tidigare erfarenhet av kurswebbsanvändning, kommunikationsbehov, informationsförmedling och förväntad användning. Intervjun skedde enskilt och spelades in på minidisc och transkriberades sedan (se bilaga 1). Divergerande erfarenheter och framtida användning Erfarenheterna att använda PingPong och olika medier har bland de fyra respondenterna varierat en aning. Någon hade aldrig tidigare bedrivit undervisning via PingPong medan de andra tre hade mer eller mindre erfarenhet av plattformen. Förväntad användning av smsfunktionen var framför allt att skicka korta meddelanden, och en möjlighet att nå studenterna snabbt. Någon tänker sig testa tjänsten mot en student som läser utomlands då det är en tidsskillnad som gör att det kan vara problematiskt att till exempel ringa. En kommentar eller reflektion var att det verkar som denna tjänst kan liknas vid en tandläkarservice som hon har. Dagen innan tandläkarbesöken mottar man en påminnelse om sin tid hos tandläkaren. Kan tänka sig att använda det på liknande sätt mot sina handledningsstudenter det vill säga påminnelser. Ingen använder idag sms för att meddela sig jobbrelaterat, men några använder det till viss del privat. Studentenkäter Vid studiens början svarade 29 studenter på en enkät (bilaga 2 återfinns på institutionen för informatik) med syfte att skapa en bild om hur de använder kurswebben vid olika kurser, hur de kommunicerar med varandra och med lärare och hur de samlar information gällande kursen. Vidare var det av intresse att ta reda på om de har tillgång till en mobiltelefon samt om de har vana att använda sms. Positiv inställning till teknik användning Denna studiegrupp är erfarna teknikanvändare då stor del av undervisningen i deras utbildning bedrivs genom tekniken på ett eller annat sätt. Man kan därför se att majoriteten är positivt inställda till att använda befintlig teknik, men de är även öppna för ytterligare funktioner och tjänster. Tekniken kan sägas vara en möjliggörare för att de ska kunna utföra utbildningen i huvudtaget. De har använt sig av flertalet kanaler och kommunikationsmedel för att kommunicera eller meddela sig till lärare eller medstudenter. E-post är något som idag ofta används för kontakt med lärare men även telefon samt PIM anses vara möjliga kanaler att använda. För att kommunicera med varandra inom studiegruppen är fysiska möten det som anses vara att fördra, men även vid dessa tillfällen anses e-post, PIM och fast telefon vara alternativ att välja. Alla studenter svarade att de har tillgång till en mobiltelefon och det var endast 3 personer som svarar att de inte brukar kommunicera eller meddela sig via sms.
Utvärdering sms-tjänst Vid utvärderingen av den implementerade sms-tjänsten på plattformen PingPong medverkade 4 lärare. Syftet var att få feed-back och åsikter på hur funktionen fungerat och hur den har använts, i vilka situationer och vilken typ av information som skickats ut. Utvärdering skedde parvis uppdelat på två olika sessioner med en semistrukturerad intervju form (se bilaga 3), där lärarna fick möjlighet att diskutera och kommentera tjänsten. Då studenterna inte hade möjlighet att medverka förmedlades deras åsikter via kursansvarig som deltog i session 2. Vid sessionerna fördes anteckningar, som sammanställts och presenteras nedan. Användning Personerna i studien har använt tjänsten i olika omfattning utifrån upplevt behov. Den kursansvarige läraren har använt sms-tjänsten flest gånger och då i situationer då denne snabbt ville få ut information till alla studenter. Innehållet har oftast varit korta meddelanden eller uppmaningar som till exempel; Nu ligger schemat ute eller Hej alla i kursen. Jag vill bara påminna er att ni ska skicka in ert förslag till projektplan i dag via mail. Handledare och programansvarig menar också att användningen främst har bestått av korta meddelanden som; Ni har mail! Eller Hör av er. En kommentar kring innehåll var att det kändes svårt att ställa en fråga genom att skicka ett sms, då studenterna inte har möjlighet att skicka ett svar via samma teknik, speciellt om det kräver ett snabbt svar. Studenterna skulle då behöva logga in på en dator eller använda till exempel en telefon för att svara. Vissa typer av frågor anses dock vara möjliga att skicka via denna funktion. Ett exempel på detta är vid tillfällen då en student som är svårt att få tag på av olika anledningar då ger sms-tjänsten ytterligare en möjlighet att försöka få kontakt med denne genom att skicka ut en fråga, Var är du? Hör av dig. Alla respondenterna var överens om de inte vill låta studenterna få möjlighet att skicka sms till dom som lärare. Kommentarer från den handledaren som inte använt tjänsten mer än två gånger var att tjänsten inte bidragit med något ytterligare mervärde i jämförelse med det konceptet som tidigare funnits i PingPong. Det finns redan många möjligheter att nå och bli nådd av personer. Gruppen storlek kan dock ha betydelse menar alla inblandade och har man bara 2-4 studenter så är meddelar och kommunicerar man enklast via e-post samt PIM. Studenterna har dessutom varit aktiva att höra av sig själva och det kan vara en bidragande orsak till ett mindre behov av en sms-tjänst.
En fördel med tjänsten som lyftes fram var att man kan nå studenter vart de än är, vilken tid som helst och det krävs inte att studenterna är inloggad eller nära en dator. SMS skickades dock endast under arbetstid, men det har varit en fördel med tidsoberoende gällande till exempel kontakt med en student som läst kursen från USA. Man blir inte lika beroende av tidsskillnaden gällande korta meddelanden som måste förmedlas. Förslag till förbättringar Som det är i dagsläget ligger sms som default när man skriver ett anslag. Alla var överens om att det inte borde ligga som default. Anledningarna till detta var flera; Kostnadsfråga, integritetsaspekter, redundans och risken för att det till slut blir så att studenterna blir less på allt pipande om man glömmer att bocka av tjänsten. Det borde snarare vara så att man måste ta ställning till om anslaget ska ligga både på anslagstavlan och skickas som sms. Kommentarer kring detta var genomgripande att det var onödigt och sms används för att nå studenterna när de inte är inloggade. Ett förslag var att lägga en mall kopplat till anslagstavlan som innehöll meddelandet; Läs anslagstavlan, och att det var detta meddelande som skickades ut om man ville uppmärksamma studenterna på att ny information uppkommit på anslagstavlan. Respondenterna saknade större möjlighet att selektera flera individer från kontaktlistan samt önskade möjlighet att gruppera. Detta för att öka flexibiliteten i systemet. Om man till exempel i dagsläget ska skicka sms till två studenter i klassen går det inte att para ihop dessa och skicka ett sms till två personer. Användaren måste skicka samma meddelande två gånger genom att först gå igenom alla steg en gång för att sedan göra om samma procedur igen för att skicka meddelandet. Det går dock att spara sms:en som mall för återanvändning, vilket ansågs som positivt. Det är dock inte lika positivt att alla aktiva lärare inom kursen får tillgång till varandras mallar. Detta anses som privat och man vill inte heller ha tillgång till andras mallar. Vidare saknas det möjlighet att radera mallar man inte vill ha kvar och detta är något som efterfrågats. Det finns även en viss osäkerhet kring om sms:en gått iväg eller inte vid vissa tillfällen och det kan te sig svårt att hitta information kring detta. Man kan välja att även skicka sms till sig själv som kvittens, men viss osäkerhet kan ändå uppkomma om det verkligen gick fram till alla. Det är dessutom svårt att få en snabb överblick om vilka studenter som har lagt in att de vill ta emot sms och därmed vet man inte om alla fått meddelanden eller inte om man skickar ut till en hel klass. Reflektioner på möjligheten att ställa krav på att studenterna att lägga in sina mobiltelefonnummer diskuterades. Det är bra att veta att alla studenterna får meddelandena och att man inte missar enstaka personer som inte får informationen. De kom dock överens om att det inte kan vara tvingande då alla inte äger en mobiltelefon så problemet kvarstår gällande redundansen, det vill säga att man måste skicka ut samma meddelande via flertalet tekniker. I början av användandet upplevde respondenterna att det uppstod en förvirring gällande vilken tid meddelandena gick iväg genom kommentarer från mottagare. När de fått förklaring på detta så förstod de orsaken men detta i sin tur väckte frågan om studenterna meddelanden som skickats när mobilen är avstängd och de slår på den igen. Om så är fallet är det av vikt för studenten att kunna utläsa när sms:et var utskickat och om fallet är det motsatta uppkommer andra problem som att hur vet man att alla har mobilen på. Om detta inte går att lösa på grund av kostnadsavtal anser användarna att information kring
tidsangivelse bör vara tydligare och integreras inom lärmiljön, för att undvika oklarheter från studenters och lärares sida om hur detta fungerar. Avslutningsvis anses 160 tecken som rimlig omfattning ställt mot behov och innehåll i sms. Detta är även vad en ordinär mobiltelefon kan ta emot inom ramen för ett sms. Att tänka på: Defaultfunktionen Grupphantering/selektering Enskilda mailmallar för lärare Mottaget sms bekräftelse/kvittens Polletter (vem har åtkomst) Tidsangivelse Sammanfattning: Sammanfattningsvis ansågs sms-funktionen vara bra som ett komplement till andra redan integrerade kommunikationskanaler där det var extra positivt att den är integrerat i lärmiljön. I diskussion kring framtida nytta med SMS-tjänsten uppkom en kommentar att funktionen kan vara användbar vid en kurs där det är många studenter som är spridda geografiskt, till exempel vid Receptarieutbildningen. Det ses som positivt när man vill nå ut till många snabbt. Reflektioner kring nytta ställt mot kostnad kom även upp under diskussionerna och att detta är något man som användare bör tänka på anser respondenterna, men för kort och snabb informationsändring samt vid tidsskillnader mellan mottagare och avsändare är sms användbart. Alla har mottagit sms som inte varit riktad till dem, men detta beror enligt den som skickat ut dessa på att hon varit bekväm och inte valt mottagare korrekt. Detta skedde dock bara någon gång och det berodde inte på att det var svårt att förstå hur man väljer mottagare. Även omedveten användning har skett någon gång på grund av default-inställning vid anslagstavlan. Studenterna inom Omvårdnad C, 10p har varit odelat positiva och inte kommit med några negativa kommentarer alls. De har inte upplevt det som störande att motta sms snarare tvärtom om än en student fick problem när hon bytte telefonnummer. Denne student ändrade telefonnumret under sin profil, men kunde inte efter detta ta emot sms längre. Studenterna uttryckte som att det var bra att kunna ta emot korta meddelanden utan att vara inloggad till exempel när de satt och pluggande i grupp eller läste. Vi har inte fått några kommentarer från studenterna vid Palliativ Vård då ansvarig för denna kurs hoppade av studien i inledningsskedet. Hon meddelar dock att hon inte använt sig av sms-tjänsten då hon inte funnit behov att detta. Gränssnittet anses okej. Det man inte förstår använder man inte eller så lär man sig. Användargränssnittet har generellt förbättrats under åren utan att det har gjorts allt för stora förändringar som förvirrar.
Intervju med lärare Vilken typ av undervisning kommer du att bedriva på den aktuella kursen vi studerar? - roll lärare/handledare - ämne KURSWEBB Beskriv hur du uppfattat systemet hittills! Har du använt Ping-Pong/Slunik i någon tidigare kurs? Om ja, hur använder du systemet? Om nej, använder du något annat kurssystem och i så fall vilket? Vilka förväntningar har du på systemet generellt? Hur fungerar det inledningsvis på en kurs för studenterna att använda detta systemet enligt din erfarenhet? Om du använt Ping-Pong/Slunik, har du introducerat systemet för studenterna och hur går denna introduktion till? Om du inte introducerat systemet, hur går denna introduktion till? KOMMUNIKATION Hur kommunicerar du med studenter idag? Vilken form av teknik nyttjar du då (Muntligt (ansikte-ansikte, telefon)/skriftligt (hand-outs, mail, forum osv))? Varför? I vilka situationer/kontexter? Informationsinnehåll? Hur meddelar du dig till studenter idag? Vilken form av teknik nyttjar du då (Muntligt (ansikte-ansikte, telefon)/skriftligt (hand-outs, mail, forum osv))? Varför? I vilka situationer/kontexter? Informationsinnehåll? Har du erfarenhet av att använda mobiltelefon och specifikt SMS? När (i vilka utbildningssituationer?) tror du att du kommer att använda SMS-funktionen? Vilken typ av innehåll tror du att sms-kommunikationen kommer att bestå av?
Frågeformulär För projektet: SMS-tjänst som stöd i webbaserade lärmiljöer Tack för att du fyller i detta formulär. Fyll i dina svar så sanningsenligt som möjligt och formuläret lämnas därefter in till lärare. All information kommer att behandlas anonymt. Ange ålder genom ett kryss i rutan till höger: ÅLDER 20-30 30-40 40-50 50+ Ej svar Ange vilken utbildning du är antagen till samt vilken kurs/kurser du ska studera resten av terminen VT 2004: UTBILDNING: Biologprogrammet/ Biologi Skogsvetare/Skogsekologi Övrigt/Inget svar KURS/KURSER (vecka 14-23): Kryssa i aktuellt svar nedan! Har du tillgång till, och använder en mobiltelefon? Brukar du kommunicera och meddela dig via SMS? Har du tillgång till en Internetuppkoppling? JA JA JA NEJ NEJ NEJ Om, ja vilken typ av uppkoppling! Modem ADSL Bredband ANVÄNDNING AV KURSWEBBEN 1.1. Använder du kurswebb i samband med din utbildning? Kryssa i aktuellt svar! Ja, på varje kurs Ja, på de flesta kurser Ja, men bara på ett fåtal kurser Nej, aldrig 1.2. Om du svarat nej, Vad beror det på att du väljer att inte använda kurswebb? Kryssa för aktuellt svar, alternativt fyll i och definiera annat. Läraren ger mig all den information jag behöver vid fysiska möten All information finns att tillgå i pappersformat Kurserna jag deltar i brukar inte erbjuda tillgång till kurswebb. Annat [vad?]
1.3. Om du svarat ja, Hur många gånger i veckan i genomsnitt besöker du kurswebben? Kryssa i aktuellt svar! 0-5 6-10 11-15 16-20 21 1.4. Under dessa besök, Vad använder du kurswebben till? Flera alternativ kan kryssas för! Kontrollera schema Kontrollera anslagstavla Kontrollera litteratur Kontaktinformation Länkar Diskussions forum/chat Administrera eget kursmaterial samt inlämningsuppgifter Annat [Vad?] KOORDINERING VIA KURSWEBBEN 1.2.1. Använder du kurswebben för att koordinera studieaktiviteter som grupparbeten, individuella uppgifter, seminarier och så vidare gällande tider, uppgiftsbeskrivningar etc? Kryssa i aktuellt svar! Ja, på varje kurs Ja, på de flesta kurser Ja, men bara på ett fåtal kurser Nej, aldrig Inget svar 1.2.2. Om nej, Vad beror det på att du väljer att inte använda kurswebben för att koordinera aktiviteter inom kursen och hur gör du istället? KOMMUNIKATION MELLAN STUDENTER I KLASSEN 2.1. Vilka kommunikationsmedel använder du för att kommunicera med eller meddela dig till/mellan personer (ej lärare/handledare) i klassen gällande kursen eller i samband med ett grupparbete? Kryssa för aktuellt svar, alternativt fyll i och definiera annat. Fysiska möten E-Post Fast Telefon Mobiltelefon (röst) Mobiltelefon (SMS) Forum ICQ/PIM Annat (vad?) En kommentar: Oftast fysiska möten. 2.2. Gradera vilket kommunikationsmedel du använder mest från A till H! A (mest) H (minst). Kommunikationsm. Ranking Fysiska möten E-post Fast telefon Mobiltelefon(RÖST) Mobiltelefon (SMS) Forum ICQ/PIM Annat (VAD?)
2.3. I vilka situationer och till vilket ändamål (informationsinnehåll) kommunicerar du med klasskamrater? Koppla ihop situation och ändamål med vilket kommunikationsmedel som används! Situation/Ändamål Fysiska möten E-Post Fast Telefon Mobiltelefon (röst) Mobiltelefon (SMS) Forum ICQ/PIM Annat KOMMUNIKATION MED LÄRARE 3.1. Kommunicerar du med läraren/handledaren utöver de schemalagda föreläsningarna eller de schemalagda handledningarna under kursernas gång? Kryssa i aktuellt svar! Ja, på varje kurs Ja, på de flesta kurser Ja, men bara på ett fåtal kurser Nej, aldrig Inget svar 3.2. Om du svarat ja, Vilka kommunikationsmedel kommunicerar du (ni) via? Kryssa för aktuellt svar, alternativt fyll i och definiera annat. Fysiska möten E-Post Fast Telefon Mobiltelefon (röst) Mobiltelefon (SMS) Forum ICQ/PIM Annat (vad?) 3.3. Grader vilket kommunikationsmedel du använder mest från A till H! A (mest) H (minst). Kommunikationsm. Ranking Fysiska möten E-post Fast telefon Mobiltelefon(RÖST) Mobiltelefon (SMS) Forum ICQ/PIM Annat (VAD?)
3.4. I vilka situationer och till vilket ändamål (informationsinnehåll) kommunicerar du med klasskamrater? Koppla ihop situation och ändamål med vilket kommunikationsmedel som används! Situation/Ändamål Fysiska möten E-Post Fast Telefon Mobiltelefon (röst) Mobiltelefon (SMS) Forum ICQ/PIM Annat 3.5. Om du svarat nej, Vad beror det på att du väljer att inte kommunicera med läraren/handledaren utöver de schemalagda föreläsningarna/handledningarna? Läraren ger mig all den information jag behöver vid fysiska möten All information finns att tillgå i pappersformat All information finns att tillgå på kurswebben Annat [vad?] 1 TACK FÖR DIN MEDVERKAN!