Möte med multimodalt material Vilken roll spelar dyslexi för uppfattandet av text och bild? Eva Wennås Brante eva.wennas.brante@gu.se
Presentationens innehåll Vad är multimodalitet Vad är eye-tracking och hur det kan användas Resultat från avhandlingen Pedagogiska implikationer och slutsatser
Multimodalt betyder Multi = många, flera Modalitet (på svenska) = sinnen Bortanför enbart text Kommunikationen sker på flera sätt Både ge ut och ta in budskap
Multimodalitet kan förklaras som..det fenomen som uppstår när en och samma text av något slag innehåller teckensystem av fler än ett slag, och därigenom kombinerar medietyper - såsom ljud, fotografi, text, animationer och rörliga bilder.
Skilda fält skilda fokus Psykologisk tradition främst våra sinnen hur information integreras över sinnena Utbildningspsykologisk tradition multipla representationer av information lärosyfte Socio-semiotisk tradition meningsskapande budskap via ord, bild, gester, blickar mm
Inget nytt under solen.. Text och bild i ett samspel redan på 1600-talet
Multimodalt material för vem? Vanlig uppfattning bland både lekmän och forskare att flera modes ökar lärandet Bygger bland annat på the dual coding theory (Clark & Paivio, 1991) Kan vi vara säkra? För alla personer?
Varför fokus på multimodalitet idag? Tekniskt möjligt att beforska videoinspelningar (gester, tonläge mm) eye-tracking (ögonrörelseinspelningar)
Exempel på läsning av modulär text
Exempel läsning linjär text
Varför fokus på multimodalitet idag? Tekniken förändrat texters utseende från linjära texter till modulära vad innebär det för läsandet? Kress (2014); när en text är tolkad är den läst läsaren blir viktigare än författaren texter blir individuella, ingen naturlig början eller slut
Avhandlingens forskningsfrågor På vilket sätt erfars multimodalt material? Hur återges information? Vad innebär det att se enbart text jämfört med text och bild? Hur påverkar typen av bild resultaten för de två grupperna av deltagare?
Experiment n=46 Kontrollgrupp n=27 Grupp med dyslexi n=19 Villkor text n=13 Villkor text + bild n=14 Villkor text n=9 Villkor text + bild n=10
Text och bild i samspel informationen i texten skulle speglas i bilden och vice versa bilden skulle ge fördjupad visuell information, så.. information berörde konstgenrer (6 olika genrer)
Schematisk bild över experiment
Datamaterial DUVAN screeningtest Ögonrörelseinspelningar Flervalsfrågor Bildfrågor Öppna muntliga frågor Intervjuer kring läsning Till en HELHET
Ögonrörelsemätning
Hur ögat fungerar
Vad mäts vid eye-tracking? Bland annat: Hur många fixeringar Hur långa sackader Sackaders riktning Hur länge en person tittar på en area of interest Det mönster (scan-path) som bildas Med mera
Läsa en bild
Att läsa en bild
Delresultat från studien
Resultat; individuella skillnader
Resultat; individuella skillnader
Resultat; individuella skillnader
Kombination text och bild.. ledde till att andelen korrekta svar på textfrågor sjönk för deltagarna med dyslexi. ledde till kortare vistelsetid på skärmen för kontrollgruppen tvärtom för gruppen med dyslexi.
Tre bildexempel Neutral komp. Figur/bakgrund Komplex komp.
Vistelsetid på bilder i %
Medelvärde på första fixeringens längd på bilden per grupp
När inspekteras bilden första gången?
Kategorisering av muntliga svar Grupp Kubism RomanCken Surrealism Repeterar Tolkar Repeterar Tolkar Repeterar Tolkar Grupp med dyslexi Kontroll grupp 9 1 8 2 2 8 11 3 8 6 2 12
Slutsatser Kontrastrik bild ger tidig inspektion Tidig inspektion av bilden ökar läsförståelsen Undervisning i bildstrategier behövs
Pedagogisk tillämpning Medvetenhet om läsningens processer! Uppspelning av den egna läsningens ögonrörelser - ökad självinsikt Tillsammans med en kunnig person analyser hur ögonen rör sig, finna nya strategier - bjuda in till delaktighet i textsamhället.
Tack för er uppmärksamhet! eva.wennas.brante@gu.se Länk till Evas avhandling https://gupea.ub.gu.se/handle/2077/35512 Länkar till artiklar http://journals.ils.uio.no/index.php/adno/article/view/314/315 http://onlinelibrary.wiley.com/doi/10.1111/1467-9604.12022/full