Sociosemiotik Analys av multimodal text
Definitioner av TEXT (i vardagsspråket: ) löpande skrift (i språk- och litteraturs-forskning: ) verbalt språk (dvs skrift eller talspråket) (i boken: ) inkluderar visuella element Tar fasta på texternas kommunicerande & betydelseskapande funktioner, där både bilder, illustrationer & textlayout tas med Ref 1: kap 1
Multimodala texter Texter som omfattar flera kommunikationsformer: Skrift och bild, Tal och musik, Rörliga bilder och musik, Rörliga bilder, tal, musik Bokens multimodala texter: Texternas visuella design, bilder, illustrationer, layout och typografi är nästan alltid i relation till skrift Ref 1: kap 1
Multimodal text En text kan definieras som multimodal när den kombinerar två eller flera semiotiska system Det finns fem semiotiska system totalt
Multimodal text Språkliga Ordförråd, generisk struktur, och grammatiken i muntligt och skriftligt språk Visuella Färg, vektorer och synvinkel i stillbilder och rörliga bilder Ljud Volym, tonhöjd och rytm i musik och ljudeffekter Gester Rörelser, hastighet och stillhet i ansiktsuttryck och kroppsspråk Rumsliga Närhet, riktning, placering av layout och organisation av objekt i rymden
Exempel på multimodala texter Bildbok Text och visuella element är anordnade på enskilda sidor men bidrar tillsammans till en helhet Webbsidor Ljudeffekter, muntligt språk, skriftspråk, musik, stillbilder, och rörliga bilder kombineras Balettföreställning (manuskript) Gester, musik och utrymme är de viktigaste delarna
Sociosemiotik - betydelsebaserat Allt betydelseskapande antas vara socialt motiverat och grundat i mäniskans behov att skapa mening tillsammans. Ref 1: kap 1
Sociosemiotik Se på text som att den är sociosemiotisk (betydelsebaserad)- dvs att den vill förmedla något till oss. Metafunktionella betydelser Ideationella Interpersonella Textuella Ref 1: kap 1, sid 11-12
Semiotisk modalitet En uppsättning semiotiska resurser, byggstenar som skapar betydelser, används för att kommunicera Exempel på resurser: Betydelser i skrift: t.ex. bokstävers utformning Betydelser i bilder: t.ex. bildvinklar Ref 1: kap 1
Boken presenterer en modell för hur flera av de resurser som används för att skapa betydelse i multimodala texter analyseras, och hur dessa resurser kan kombineras Ref 1: kap 1
Textelement Visuella avgränsningar för att identifiera textelement (bilder och skrift) Avstånd till andra text-element Inramningar: linjer Olika färger Storlekskontraster Ref 1: kap 1,sid 24
Bildens och skriftens relation Förankring skriften vägleder och pekar på betydelser som ska uppfattas som centrala i bilden (specificerar bilden) Illustration bilden gör att beskrivningen blir mer specifik. Avbyte skrift och bild kompletterar varandra, tillsammans får man den överordnande betydelsen Uttrycka (ungefär) samma sak i reklam Pellemetare, bild på Pelle som metar och skriver Pelle metar. Ref 1: kap 1 sid 24
Boken presenterar inte alla tänkbara tolkningar av texterna Boken använder Modelläsning Tittar på de specifika val som den som gjort texten har gjort: det blir en snitslad bana som läsaren kan följa eller inte Ref 1: kap 1
Interaktion interpersonella metafunktioen Hur personer i texterna relaterar till läsaren utanför texterna Ref 1: kap 2
4 grundläggande språkhandlingar Frågor -> svar Påstå -> notera & överväga rimlighet Uppmana -> åtagande Erbjuda -> accepterande Ref 1: kap 2, sid. 32
Grundläggande språkhandling Talroll Utbyte Varor & tjänster Information givande erbjudande påstående krävande uppmaning fråga Ref 1: kap 2, figur 4
Grundläggande bildhandling Roll Bildhandling Bildexempel Givande erbjudande Se åt sidan inte möta blicken Krävande krav Person ser direkt på betraktaren Ref 1: kap 2, figur 6
Kommunikativ handling -interaktivitet Både det verbala språket och det visuella uppmanar till kommunikativ handling (bidrar mer tillsammans än var och en för sig) Verbaltext Påstående Erbjudande om varor & tjänster Frågor & uppmaningar Interaktion neutral kontaktskapande Tydligare kontaktskapande Bilder Krav Erbjudande Interaktion Mest interaktivt mest påträngande Interaktiva & kontaktskapande tonas ner Ref 1: kap 2, sid. 38
Distans - zoner Proxemiska zoner - korrelerar det fysiska avståndet med social distans Antropologen Edward T. Hall Ref 2
Bildutsnitt semiotisk resurs Symbolisk distans i multimodala texter och symbolisk representation av distans. Ref 1: kap 2, sid. 39
Bildens interaktiva distans Extrem närbild intim Vanlig närbild nära, personlig, personligt samtal, Medelavstånd social distans Nära medelavstånd Medelavstånd Långt medelavstånd Ref 1: kap 2, sid. 41
Språklig semiotisk resurs Tilltal närhet du din Namn Smeknamn slangord distans ni Frånvaro av personligt tilltal Titlar efternamn Fackord specialord Ref 1: kap 2, sid. 46, 48
Attityder kameravinkeln semiotisk resurs Subjektiva bilder Inbyggt perspektiv Tvingar betraktaren se bild ur en viss vinkel Utnyttjar perspektiv som en semiotisk resurs: skapa interaktiv betydelse & avbild med en viss attityd Ref 1: kap 2, sid. 51 Objektiva bilder Perspektiv saknas eller är otydligt Ser i princip allt som finns att se (karta, föremål i genomskärning)
Visuella resurser för makt Fågelperspektiv den som betraktar har makt Öga-mot-öga perspektiv maktbalans Grodperspektiv - makten hos den som avbildas Ref 1: kap 2, sid. 52
Visuella resurser för engagemang Framifrån perspektiv inkludering i fotografens värld, engagemang med de som avbildas Bakifrån perspektiv exkluderande attityd, inte accepterande, oengagerad Sidoperspektiv inte en del av betraktarens värld eller sociala sammanhang Ref 1: kap 2, sid. 54
Typografi Typografisk betydelsepotential Typografi har betydelse i sig inte bara som en bärare av verbalspråket I komplexa multimodala texter spelar typografin ofta en semiotisk roll Ref 1: kap 6
Typografins semiotiska resurser För att skapa mening med hjälp av typografi: Konnotation Erfarenhetsbaserad metafor Ref 1: kap 6
Typografins konnotation & betydelsepotential Typsnitt Konnotation Betydelsepotential Edwardian Script ITC Helvetica Tradition personligt Funktionalitet Kollektivism likriktning En svunnen tid Knuten till industriproduktion (inte handarbete) Ref 1: kap 6
Typsnitt och dess betydelse och budskap Presidentvalskampanjen 2008 Optima Typsnitt från 1950-talet, Läkemedelsförpackningar & skönhetsprodukter Betydelse: inte förändring och nystart Ref 1: kap 6 Gotham Typsnitt från 2000 Designades för manliga livsstilsmagasinet GQ Betydelse: bestämt men aldrig påträngande, vänligt men aldrig folkligt, självsäkert men aldrig överlägset
Erfarenhetsbaserad metafor Genom erfarenhet av hur världen fungerar i ett visst avseende kan människan skapa betydelse kring hur den fungerar i andra avseende Fet stil - normal stil Ref 1: kap 6, sid 129
Linjers betydelse utifrån betydelseskapande - konnotation och erfarenhetsbaserad metafor Linje Horisontell Vertikal Horisontell + vertikal Rundade linjer Lutade linjer Öppenhet Tidlöshet Passivitet Lugn Stolthet Strukturerat Teknisk intryck rationalitet Betydelsepotential Mer mänsklig (mindre teknisk) mjuk Dynamisk På väg Ref 1: kap 6
Typografiska resurser vid analys Typvikt Horisontell & vertikal orientering Lutning Sammanbindning Rundning /kantigt Ref 1: kap 6, sid 136-141
https://www.swedbank.se/
Kompositionens betydelse - textuella metafunktionen Layoutprinciper och deras betydelse presenteras Ref 1: kap 4
Komposition Hur textelementens inbördes relationer kan ha betydelsepotential utifrån elementens placering i det visuella runnet (skärmen/pappersyta) Textelementens placering och relation till andra element Hur textelementen förenas och separeras utifrån semiotiska principer Ref 1: kap 4
Textens informationsvärde Hög - låg dimension Höger-vänster dimension Idealiserat, generellt given, känd ny Specifika informationsvärde Ref 1: kap 4
Text-elements informationsvärde hög vänster Periferi Ideal (generell) Given höger Periferi Ideal (generell) Ny centrum låg Periferi Reell (specifik) Given Periferi Reell (specifik) Ny Ref 1: kap 4, sid 90
Visuellt framskjutna, viktiga Grad på typsnitt Relativ storlek Avvikande bakgrund semiotiska resurser Ref 1: kap 4
Visuell framskjutenhet Skapa hierarki mellan textelement i en multimodal text Storlek Typsnittsvariation Färg Fokus Förgrund/överlappning Kulturell symboler Ref 1: kap 4 s. 100
Resurser för avgränsning & sambandsskapande Inramning Överlappning Avstånd Visuellt rim Kontrast Ref 1: kap 4 s. 105
För att få en balanserad analys bör man väga informationsvärde visuell framskjutenhet avgränsning och sambandsskapande mot varandra Ref 1: kap 4
Modalitet Hur texterna kan presenteras som om de är mer eller mindre verkliga eller pålitliga Interpersonella metafunktionen Ref 1: kap 5
Kodningsorientering av bilden (Ett förhållningssätt gentemot en typ av verklighet) Naturalistisk Vetenskaplig teknologisk Sinnlig Abstrakt Ref 1: kap 5
Visuell resurs för att uttrycka modalitet: Färgmättnad Detaljrikedom Djup Belysning Ljuskontrast Ref 1: kap 5, sid 118
Modalitet & vid naturalistisk kodning färgmättnad detaljrikedom Svartvit bild Låg detaljrikedom Högsta färg mättnad Högsta detaljrikedom Låg modalitet Högsta modalitet Lägre modalitet Ref 1: kap 5, sid 122
Analys av multimodal text Textelement Interaktion Komposition Modalitet
Referenser 1. A. Björkvall, Den visuella texten multimodal analys I praktiken, Hallgren & Fallgren studieförlag, Stockholm, 2009. 2. E. Hall, Distances in Man: The Hidden Dimension, Garden City, New York: Double Day, 1966.