Läsförståelse och multimodal information

Läsförståelse och multimodal information Hur ser det ut för personer med dyslexi? Eva Wennås Brante Post doctor, PhD e.w.brante@iped.uio.no

En bild säger mer än 1000 ord Vilka ord? Hur förstås de?

Och vad är en bild egentligen? Grafer Diagram Abstrakta Föreställande Fotografier Målningar Förstärkning av text mm mm (Scheiter et al. 2011)

Olika typer av bilder Dekorativa Representativa Organiserande Tolkande Transformativa (Carney & Levin, 2002)

Hur uppfattar vi bilder?

Av betydelse för bildinspektion är Förkunskaper (Henderson, 2003) bilkörning, omvärldsförståelse Lay-out av material (Björkvall, 2009) rubriker, färger, saliency, placering mm Kontext materialet återfinns i (Oliva &Torralba, 2007) inferenser mellan objekt Vilka instruktioner som ges (Yarbus, 1967) eye-mind hypothesis Dessutom texter avkodas linjärt, bilder dynamiskt utifrån en helhetsuppfattning (Holsanova, 2014; Underwood, 2005)

Förkunskaper spelar roll Finsk studie 11-åringar Högre intellectual ability använder bilder till att konceptualisera Lägre intellecual ability memorerar detaljer (Hannus & Hyönä, 1999)

Layouten har betydelse

Kontexten inferens mellan objekt

Instruktioner har betydelse

Att läsa en bild

Varför har vi bilder till texter? Vanlig uppfattning bland både lekmän och forskare att flera modes ökar lärandet Mer än ett sinne/mode används för att ta in informationen Optimalt om det finns tillfälle för det verbala att visualiseras det visuella att verbaliseras Kan vi vara säkra? För alla personer?

Tidigare forskning kring text och bild De som tittar på bilden presterar bättre ibland! Texten verkar föredras före bild Högpresterande lägger mera tid på bilden (Hannus & Hyönä, 1999) Sekventiell presentation låga förkunskaper tjänar på att se bilden först. The bushy hypothesis bilden associationsrik

Tidigare forskning kring text och bild Skriven text och stillbild - texten prioriteras Deltagare ägnar text mera tid än bild Talad text - mera tid åt illustrationerna Ger ej en ökad läreffekt Skriven text och dynamisk illustration Fortfarande mer uppmärksamhet till texten (Schmidt Weigand, Kohnert & Glowalla, 2010)

Multimodalitet kan förklaras som..det fenomen som uppstår när en och samma text av något slag innehåller teckensystem av fler än ett slag, och därigenom kombinerar medietyper - såsom ljud, fotografi, text, animationer och rörliga bilder.

Olika perspektiv på multimodalitet Psykologisk tradition främst våra sinnen hur information integreras över sinnena Socio-semiotisk tradition meningsskapande budskap via ord, bild, gester, blickar mm Utbildningspsykologisk tradition (multimediateori) multipla representationer av information lärosyfte

Principer för multimedia-design Mayer tagit fram fem principer (2005) undvika upprepning närhet mellan text och bild i tid närhet mellan text och bild i rum signalera vad som är viktigt se till att endast det nödvändiga är med Vid optimal design kan en multimediaeffekt uppstå

Old Literacy vs New Literacy (Leu et al, 2013) Linjär läsning Förf. skapat texten Lika texter Redan kritiserad text Dynamisk läsning Läsaren skapar texten Olika texter Kritiskt betraktande

Digitalt/modulärt läsande Förmåga till rumsligt tänkande Arbetsminnet Förkunskaper Förmåga att skapa sammanhang mellan olika uttryck Förmåga att sortera information Förmåga att tolka bilder och varur härstammar den..? Hur är detta för en person med dyslexi?

Ögonrörelsemätning

Hur ögat fungerar

Vad mäts vid eye-tracking? Bland annat: Hur många fixeringar Hur långa sackader Sackaders riktning Hur länge en person tittar på en area of interest Det mönster (scan-path) som bildas..med mera

Forskningsfrågor i min avhandling På vilket sätt erfars multimodalt material? Hur återges information? Vad innebär det att se enbart text jämfört med text och bild? Hur påverkar typen av bild resultaten för de två grupperna av deltagare?

Text och bild i samspel informationen i texten skulle speglas i bilden och vice versa bilden skulle ge fördjupad visuell information, så.. information berörde konstgenrer (6 olika genrer)

Experiment n=46 Kontrollgrupp n=27 Grupp med dyslexi n=19 Villkor text n=13 Villkor text + bild n=14 Villkor text n=9 Villkor text + bild n=10

DUVAN screeningtest Ögonrörelseinspelningar Flervalsfrågor Bildfrågor Öppna muntliga frågor Intervjuer kring läsning Data Till en HELHET

Experimentets design

Kombination text och bild.. Ledde till att andelen korrekta svar på textfrågor sjönk för deltagarna med dyslexi Ledde till kortare vistelsetid på skärmen för kontrollgruppen tvärtom för gruppen med dyslexi

Tre bildexempel Neutral komp. Figur/bakgrund Komplex komp.

Vistelsetid på bilder i %

Första fixeringens längd på bilden

När inspekteras bilden första gången?

En speciell bild vad var det som hände? Dataskärmen en enhet en vag uppfattning av vad där var Bröt normen för hur bilder ser ut Valde fortsatt inspektion Inspektionsmönstret skilde sig från övriga bilder, speciellt för gruppen med dyslexi

Kategorisering av muntliga svar Grupp Kubism Romantiken Surrealism Repeterar Tolkar Repeterar Tolkar Repeterar Tolkar Grupp med dyslexi Kontroll grupp 9 1 8 2 2 8 11 3 8 6 2 12

Nils, Karin och Cilla Nils 29 år Läser kurser Karin 20 år Blivande lärare Cilla 21 år Blivande förskollärare

Fem första sekunderna; Nils

Fem första sekunderna; Karin

Fem första sekunderna; Cilla

Nils citat När jag får en text... så jag har väldigt svårt och liksom se att det finns information där. Jag ser linjerna i texten, alltså hur det estetiska, hur uppbyggnaden, hur långa är raderna i förhållande till, finns det något mönster där. Jag tittar på hur mycket vitt finns det till exempel runt texten och det bakom. Fast det ser ofta ut som ett stort svart block, då blir det tyngre för mig. För jag har väldigt svårt, det är någonting jag arbetar väldigt mycket med idag, att inte bara se ett stort svart block utan att se okej alltså jag måste gå in där, jag måste börja i texten och sen låta mig liksom läsa vad som finns bakom liksom själva bilden.

Fem första sekunderna; Karin

Karin - citat Jag läser ord på ord, och så tar jag ihop det till en mening så att jag ska få en djupare insikt i vad jag läser. När jag läser en skönlitterär bok flyter det på ett helt annat sätt. Jag läser meningar i helhet istället för att jag måste förstå ord för ord.

Karin - citat Jag läser ord på ord, och så tar jag ihop det till en mening så att jag ska få en djupare insikt i vad jag läser. När jag läser en skönlitterär bok flyter det på ett helt annat sätt. Jag läser meningar i helhet istället för att jag måste förstå ord för ord. Alla ord jag läser blir till bilder. Så säg att det står katt, då ser jag en katt. För jag läser inte bokstäverna utan jag ser bilden på ordet katt och så ser jag då en katt.

Karin - citat Jag läser ord på ord, och så tar jag ihop det till en mening så att jag ska få en djupare insikt i vad jag läser. När jag läser en skönlitterär bok flyter det på ett helt annat sätt. Jag läser meningar i helhet istället för att jag måste förstå ord för ord. Alla ord jag läser blir till bilder. Så säg att det står katt, då ser jag en katt. För jag läser inte bokstäverna utan jag ser bilden på ordet katt och så ser jag då en katt. Om det är ett ord som och då är bilden ordet på sidan. Eftersom jag ser bilder hela tiden så är det ju liksom ett dubbelt arbete i kroppen.

Fem första sekunderna; Cilla

Cilla- citat Ord som jag inte känner igen, jag vet inte hur jag ska uttala det heller så om jag försöker läsa högt så vet jag inte riktigt hur jag ska säga det. jag har det svårt, för jag vet inte hur jag uttalar det, svårt att få ett grepp om det liksom.

Cilla- citat Ord som jag inte känner igen, jag vet inte hur jag ska uttala det heller så om jag försöker läsa högt så vet jag inte riktigt hur jag ska säga det. jag har det svårt, för jag vet inte hur jag uttalar det, svårt att få ett grepp om det liksom. Jag har ju vissa ord som jag säger, som jag själv tycker jag säger rätt i huvudet, men andra säger att jag inte säger rätt.

Slutsatser i avhandlingen Kontrastrik bild ger tidig inspektion Tidig inspektion av bilden ökar läsförståelsen Undervisning i bildstrategier behövs

Longitudinell case-study

Tillgänglig 30 mars

Work in progress.. Anmarkrud, Ø., Brante, W. E., & Andresens A. (manuscript). Challenges and affordances with Internet for dyslexic readers.

Stavningsproblem försvårar sökning i databaser (Berget et al., 2016) Läsa på skärm med bilder, blinkningar och annonser krävande (Habib et al., 2012) Crowding - innebär svårigheter att känna igen objekt som är omgivna av liknande items. (Cassim et al., 2014; Gori & Facoetti, 2015) Hyperlinks kognitivt krävande (DeStefano & LevFevre, 2007) Större mellanrum mellan bokstäver positivt (Marinus et al., 2016) EF speciellt shifting, har ett direkt samband på läsförståelse (Giorgiou & Das, 2016) Datavana och korta textsnuttar fördelaktigt (Castek et al., 2011)

Behöver vi egentligen bilder? http://themetapicture.com/this-man-opens-abook/

Tack för er uppmärksamhet! e.w.brante@iped.uio.no Länk till Evas avhandling https://gupea.ub.gu.se/handle/2077/35512 Länkar till artiklar http://journals.ils.uio.no/index.php/adno/article/view/314/315 http://onlinelibrary.wiley.com/doi/10.1111/1467-9604.12022/full http://www.tandfonline.com/doi/abs/10.1080/23796529.2013.11674708 http://onlinelibrary.wiley.com/doi/10.1002/dys.1545/full http://www.tojet.net/volumes/v16i1.pdf#page=112