IFv Utveckling av test för mätning av informationssökningskompetens

Transkript

1 IFv Utveckling av test för mätning av informationssökningskompetens Projektet har utvecklat Internet i Sverige Projektet var framgångsrikt Projektet nådde målen Projektet höll budgeten Projektet höll tidsplanen Projektet följde projektplanen Projektets slutdatum Licens som gavs till resultatet t.ex. CC, MIT, GPL, APACHE Förtydligande angående ovan frågor Under projekttidens gång utvecklades samarbetet med tekniker på så sätt att vi i ett sent skede upptäckte betydligt smidigare sätt att registrera data. Det som skulle blivit sluttestet för mitt projekt, då testet skulle verifieras, fungerade därför inte helt perfekt. Då tekniken ska användas också i andra projekt, kommer arbetet att fortsätta i höst. I princip är det klart men statistisk verifiering saknas. Detta är anledningen till att frågan om att nå målen är svår att besvara. Svaret skulle kunna vara "ja, nästan, fortsättning följer" Resultat och nytta Projektets konkreta mål var att för svenska högstadieelever kontextualisera ett test utvecklat av van Deursen, van Dijk och Peters (2011) och som mäter informationssökningskompetens eller -kunnighet som blivit ett vanligare begrepp. Testet skulle anpassas för svenska högstadieelever och utvecklades i tre cykler tillsammans med elever på så sätt att små grupper av elever fick prova att göra testet och diskutera frågorna tillsammans med mig. Informationssökning generellt handlar inte enbart om att lokalisera information. Det handlar också om att värdera den med en kritisk blick och använda den, förhoppningsvis klokt - hur nu klokt kan definieras. I undervisningssammanhang har fokus legat mycket på användningen av den sökta och funna informationen. Forskare inom informationssökningstraditionen har presenterat olika modeller. Det som ändå förenar är att det är meningsfullt och att informationskunnighet är en viktig komponent i det livslånga lärandet.

2 Om högre, komplexa förmågor inom fältet informationssökning på internet finns, som inom många andra områden, ingen total enighet. Skillnaderna beror mestadels på utifrån vilken tradition man arbetar och eftersom området i sig är komplext och också innebär att kunna koordinera olika delförmågor handlar det också om för forskare att operationalisera något som inte så lätt låter sig fångas. Olika forskare har olika fokus och använder olika begrepp, men vissa begrepp återkommer i olika former hos samtliga. Dessa är att formulera sökfrågor, hitta, analysera och värdera information samt att använda informationen. Det här projektet handlar om internetsökning och då krävs också en kunnighet i att hantera det specifika mediet, som i det här fallet är uppkopplade ipads, som eleverna på skolorna som ställt upp varit vana vid. Denna kunnighet förändras i takt med tekniken. Testet inrymmer därför uppgifter som spänner från praktiskt handhavande till självständig reflektion. Läroplanen är inte helt tydlig på vad som krävs, men en ambition att ligga på en nivå som niondeklassare bör klara har givetvis funnits, därav arbetet med de tre cyklerna och utprovning av frågorna. Testet görs online och består förutom av några bakgrundsfrågor av 9 uppgifter av olika svårighetsgrad. Samtliga uppgifter handlar om vardagsföreteelser som att hitta en vägbeskrivning, jämföra produkter etc. För att kunna mäta testets inre konsistens behöver testet innehålla tillräckligt många urskiljbara variabler, här kallade items, som är relaterat till en tänkbar analysmetod. I testet finns ett stort antal urskiljbara items och exempel på dessa är att kunna är hitta söktjänst, följa en länk, använda sökfunktion på webbplats, formulera relevant sökfråga, skrolla på en webbsida, växla mellan webbsidor, öppna länk i ny webbsida, följa instruktioner, söka expertåsikt med mera. Varje item förekommer flera gånger, för att på så sätt minimera risken att det är en tillfällighet att en testperson lyckas eller misslyckas. På grund av att vissa tekniska förutsättningar inte hann uppfyllas, har testet inte kunnat valideras som test. Det arbetet återstår och kommer att ske under hösten Däremot stod det klart att det fanns en negativ korrelation mellan testpersonernas självskattning av sin internetsökningskunnighet och hur de klarade att genomföra testet. Detta är ett fenomen som kan jämföras med Dunning-Kruger-effekten, dvs att den som är inkompetent saknar insikt i detta. Det fanns vissa luckor i elevernas kunskaper i det praktiska handhavandet. En testomgång med en grupp lärare gjorde detta fullt förståeligt. Av 17 lärare var det bara ett fåtal som klarade att genomföra testet med acceptabelt resultat och då handlar det om kunskaper som kan förväntas av niondeklassare. Även i lärargruppen fanns en negativ korrelation mellan självskattad kunnighet och förmåga att klara av testet. Utan statistiska analyser konstaterades att elevernas och lärarnas luckor var av samma art. 2

3 Spridning Resultatet från testomgången med lärargruppen ger en indikation att många lärare inte klarar det som eleverna förväntas klara. Detta är i och för sig ingen nyhet, men det är viktigt att de lärare som ska ansvara för elevers utveckling av kompetenser och kunnighet också själva klarar detta. Vissa lärare i kollegiet kan ta ett större ansvar, men det är en rimlig tanke att samtliga lärare klarar det som kan förväntas av en elev som gått ut grundskolan, för hur ska de annars kunna leda elevernas lärande då internetsökning ingår i de flesta ämnen. En fortsättning på projektet kommer därför att bli att testa lärarstudenter för att utifrån resultaten, erbjuda lärarstudenter stöd i att utveckla sin internetsökningskunnighet på samma sätt som vi idag vid vårt universitet erbjuder stöd i skrivutveckling utifrån resultat på tester. Innehållet i testet kan lätt justeras till att beröra områden som lärare bör vara bekanta med, men likt det test vi gjorde med lärargruppen, kan lärarstudenter genomföra det test som är avpassat för årskurs nio. En start på detta arbete planeras redan i höst. När testet verifierats med hjälp av statistiska metoder, kan resultaten spridas via rapporter och föreläsningar och förhoppningsvis vetenskapliga artiklar och konferenspresentationer. Webbsida för projektresultat Klicka vidare eller gå direkt Utmaningar och lärdomar En svår avvägning var huruvida det skulle finnas en tidsbegränsning på varje fråga såsom det nederländska testet haft. Det skulle kunna innebära att vissa elever på grund av långsam läsning, inte skulle klara någon uppgift. Då avsikten aldrig varit att mäta läshastighet, togs tidmätningen bort efter första testcykeln. Den slutliga versionen av testet tog ca en timme att genomföra för dem som gjorde det seriöst. Efter en timme fick de som inte avslutat, lämna testet, medan de som ville fick fortsätta, då det skulle vara möjligt att se tidsanvändningen i loggen. Denna möjlighet fanns inte i den nederländska testsituationen. En bärande idé för att kunna genomföra testet, var att logga vissa aktiviteter så som tidsanvändning, sökord och besökta webbplatser. En doktorand på institutionen hade samma intresse och vi inledde ett samarbete. Under projekttidens gång hoppade tilltänkta samarbetspartners av olika anledningar av och det var först en tredje samarbetspartner som kunde fullfölja samarbetet. Detta tog tid, samtidigt som nya, smidigare och bättre fungerande lösningar diskuterades. Vi landade i en lösning som kom att testas skarpt i ett läge då mitt projekt borde avslutats. Vi upptäckte då att all teknik inte fungerade optimalt och en del data sparades inte som planerat. Då det andra projektet är beroende av att tekniken utvecklas och fungerar, kommer detta arbete att fortsätta. 3

4 Kontrakt med utvecklare är signerat inför hösten. Det utvecklade testet är nu beroende av teknik som utvecklats i ett annat projekt. Det är ett mobilt laboratorium som kommer att fungera mot olika plattformar. Förslag och idéer Den största ögonöppnaren var när lärarna testades och det stod klart att de inte klarade mer än eleverna. Detta ledde tankarna mer i banor av att det är angeläget att se till att lärare klarar minst de krav som ställs på elever i årskurs nio. För egen del, innebär detta att fortsättningsvis fokusera mer på lärarutbildning än grundskoleelever i denna fråga. Övrigt Min ursprungliga idé var att använda spionprogramvara för att logga testpersonernas aktiviteter. Denna idé blev ganska omgående problematisk, då budgeten inte räckte till att skaffa egna ipads och en process inleddes att hitta finansiering på annat håll. Detta ledde till ett samarbete med en av våra doktorander, Lennart Karlsson, som också ville genomföra ett webbaserat test, men med en något annan inriktning. Vid mitt första möte med en elevgrupp skulle jag ha använt mig av övervakningsprogramvara som jag tillfälligt installerat på några ipads. Det var omfattande problem med tekniken just denna dag och jag kunde inte använda mina medhavda ipads. Spionprogramvaran förblev otestad i skarpt läge. Tillsammans lyckades Lennart och jag så småningom utverka ett antal begagnade ipads från lärarutbildningen som också hade intresse av att våra projekt skulle kunna genomföras. Lennart jobbade också på en idé om ett bärbart labb och undan för undan började bitar och ekonomi att falla på plats. Dock behövde han hjälp med utveckling av viss teknik och olyckligtvis var det två kontakter efter varandra som av olika anledningar hoppade av projektet. Först på senvåren fanns en kontakt som hade möjlighet att fullfölja projektet. Tyvärr var detta i ett så sent skede att för få testkörningar hanns med innan det var dags för mig att göra mina avslutande test. Vid det laget, hade jag förändrat testet på så sätt att genomförandet blivit beroende av denna teknik. Det visade sig alltså att den registrering av aktiviteter på ipads som vi räknat med, inte fungerade tillräckligt bra för att få ihop data till verifiering av själva testet. Detta är problem som går att lösa och denna externa kontakt har nu ett kontrakt under hösten för att jobba vidare med det. Det bärbara labbet består av en egen server och tillhörande mobila enheter. I detta första steg handlade det alltså om 27 st. ipads. I framtiden kommer även bärbara datorer, mobiler och andra surfplattor att kunna anslutas. Allt som försiggår på de mobila enheterna som är kopplade till labbet, loggas. På så sätt samlas data in som inte behöver redovisas av testpersonerna själva såsom 4

5 sökord, besökta webbplatser etc. Detta gör testet mer tillförlitligt än de test som hittills byggt på självskattning. I detta finns en samfinansiering som är svår att redovisa ekonomiskt då det handlar om samordningsvinster. Resorna till de aktuella skolorna samordnades också med ett annat projekt. 5