tal är en multimodal funktion.

Transkript

1 Mänskligt tal är en multimodal funktion. Multimodalt tal är det primära sättet vid perception av tal, och inte en funktion som rider på hörbart tal. Sensoriska modaliteter är till stor del osynliga för talperceptionsfunktionen, och den relevanta informationen för fonetisk resolution är modalitetsneutral. 1.! Att den är automatisk och att den alltid är närvarande 3.! Den neurofysiologiska överlägsenheten hos multimodalt tal 2.! Extremt tidig talintegration 4.! Modalitetsneutral talinformation Multimodalt tal använt i många dagliga sammanhang Lyssnare med hörselproblem Visuellt tal underlättar också förståelsen för lyssnare med normal hörsel Förstärker visuellt tal vårt auditiva tal när det är sämre pga bakgrundsljus eller en stark utländsk accent Förstärker tydligt auditivt tal med komplicerat innehåll Hjälper barns språkutveckling - barn med en visuell nedsättning som har normal hörsel är ofta senare med att ta till sig fonetiska distinktioner som är svåra att höra men inte att se tex /m/och /n/ Bevis för automatiseringen av multimodal talintegration Godtar /uppfattar Mc-gurk-effekten oavsett om man ser på filmen utan att veta om dubbningen eller inte Personer med olika språkbakgrund 5-månader gamla spädbarn

2 Motorteorin och direkt/ekologiska teoriers syn på talperception har hållt fast vid att ursprunget för talperceptions fuktioner härstammar från gester Auditivt baserade teorier hävdar att tal perceptionen härstammar från en auditiv form En av de mest studerade frågorna inom multimodalt tal handlar därmed om i vilket steg i processen som information från de separata sensorimodaliteterna blir integrerad. Informationsinmatningen Erbjuder övertygande argument för att multimodalt tal är integrerat i processesen i ett tidigt skede, före fonetisk kategorisering. Hävdar att talperceptionssystemet tar in alla auditiva- och visuell-linguistiska dimensioner, integrerar dem, och sen utför fonetisk kategorisation (input). Före urskiljning av särdrag. Efter urskiljning av särdrag. Efter segment- eller ordigenkänning Mkt Visuellt påverkad koartikulatorisk information kan påverka perceptionen av närliggande segment på samma sätt som auditiv information, och koartikulatorisk kontext som bara finns i en modalitet kan påverka segment i en annan modalitet av forskningen på multimodal talperception har bevis för att en integration sker före segment är fonetiskt kategoriserade, kanske t.o.m före fonetiska drag är uttagna MEN: Sett från en annan synvinkel, visar forskning bevis för att audiovisuellt tal är integrerat i en av de tidigaste skeden som kan observeras genom att använda beteendebaserad metodik

3 Dock bör det nämnas att bevisen för automatiseringen och den tidiga integreringen av multimodalt tal stämmer väl överens med fynd på multimodal perception utanför taldomänen Spädbarn väldigt känsliga för audiovisuell överensstämmelse på objektlokalisation De närmar sig saker som ger ifrån sig ljud samt mänskliga ansikten Alltså, övertaget av multimodala influenser som nu finns rapporterade i litteraturen, föreslår att äkta unimodal perception (perception som inte är påverkad av mer än en modalitet) är ovanlig! Neurologiska fynd stöder tidig integration och att det skulle finnas en gemensam mekanism för auditivt och visuellt tal. Tidig forskning: Fokus på lateralisering Baynes mfl: Med hjälp av McGurkeffekten funnit evidens för att båda hjärnhalvorna är involverade. Smeele: Vä hemisfär mer aktiverad vid läppläsning. fmri: Har med hjälp av tyst läppläsningstal visat att det kan medföra aktivitet i primära auditiva cortex (PAC), liknande aktivitet som man kan finna i vid auditivt tal. Fynden tyder på att modaliteten är relativt oviktig för talperceptionsmekanismen. Mycket tyder på att den sensoriska hjärnan är organiserad kring multimodal input. Sams mfl: Använde mismatched negativity. Kom fram till att förändringar i den visuella talinformation förändrade aktiviteten i auditiva cortex under audiovisuell integration. Callan: Liknande resultat med EEG. Dvs Auditiva cortex är känslig för multimodal information.

4 En förklaring till den tidiga integrationen är att vid talperception är de sensoriska signalerna aldrig separerade. Rosenblum: modality is invisible to the speech perception function, and that the relevant sensory information is best interpreted as neutral with regard to input modality Evidens för att informationen är modalitetsneutral Informationen har samma form genom olika modaliteter. Informationen består av olika energimönster. Bättre uppskattning av akustiska signalen om man mäter ansiktsrörelser än om man mäter inne i ansatsröret. Synliga ansiktsrörelser reflekterar ansatsrörets öppning och stängning. Eftersom dessa parametrar motsvaras akustiskt kan man säga att det är modalitets-neutrala. Summerfield 1987: /ma/ flera gånger! den visuella och auditiva infon tar en gemensam form! kan påverka amplitud och formantstrukturer i samma takt som artikulationen. Vatikiotis-Bateson 1998: Överensstämmelse mellan synliga ansiktsrörelser och akustiska dimensioner.! De har också gjort artikulatoriska dimensioner synliga som tidigare varit osynliga: - läpprörelser - tungrörelser - förändringar i intraorala trycket Influenserna av multimodalt tal i utvecklingen av talat språk Två nya inflytesrika teorier om språkutvecklingen som håller ett kritiskt öga på den visuella informationen MacNeilage frame -teori om språkutvecklingen - (föda, tugga först, sen gester) Corballis (gester först, sen utvecklades rösten)

5 Grundstommen i talad språkproduktion är konstruerad från komponenter av intagande av föda och tuggning Språket har utvecklats i tre steg. Från att ha varit 1.! primärt kroppsligt, 2.! till ansiktsuttryck och kroppsligt, 3.! och sen slutligen till ansiktsuttryck och röst. till talperception är multimodal teori stöds av den allmänna förekomsten och automatiken samt av beteendemönster och neuropsykologiska upptäckter Bevis för modalitets-neutral information: överenstämmensen mellan auditiva och visuella talsignaler Hävdar att det första sanna språket var gestikulerat av naturen, inte talat. Dessa gester va en kombination av kroppsspråk och ansiktsuttryck. Som bevis diskuterar Corballis den fortsatta användningen av gestikulerat språk för aporna, men också bevis att Broca s area va förstorat långt innan struphuvudet och rösten va redo för att prata. de vokala aspekterna på språket fick större betydelse av flera anledningar, däribland dess användbarhet i mörker och över större avstånd, så väl som dess förmåga att fria händerna. Grunden känslig Denna senaste arkitektur för multimodal input. litteraturen på ickeverbal multimodal perception visar prototypiska exempel på multimodal överlägsenhet tal är speciellt - teori inspirerar till fortsatt forskning

6 Framgångsrikt överlappande mellan modaliteter En spårbar fylogenes av multimodalt tal Bevis att visuellt tal kan ha influenser på fonologiska inventarier Om stimulus inom modalitet ändras skulle det ha en obetydlig/relativt liten störande effekt på tal perceptionen Dessa och andra prognoser kan användas för att fastställa förslaget att sinnesmodalitet är relativt osynlig för talfunktionen och talinformationen är bäst tolkad som modalitets-neutral.