Ljud och interaktion
Innehåll och mål Om ljud och hörsel Om ljudinteraktion Lite om virtuellt 3D-ljud Tips och trix Mål: att ni ska få verktyg att resonera om ljudinteraktion, samt få lite exempel
Ljudet och hörseln
Vad är ljud? Ljud är kombinationen mellan vågrörelserna i mediet (luft) som utgör ljudtryckvågen och det som örat uppfattar.
Snäckan och basilarmembranet http://www.hearingaidscentral.com/howtheearworks.asp
Loudness - frekvensberoende http://www.phys.unsw.edu.au/~jw/hearing.html
Interaktionsljud
Ljudikoner (auditory icons) Ljud som ska föreställa någonting i appen Jfr traditionella visuella ikoner ( t ex papperskorgen i Windows) Om de väljs på rätt sätt kan de underlätta förståelsen
Lyssningstest 2 4 6 1 3 5
Exempel på ljudanvändning Informera om genomförda eller möjliga interaktioner Indikera pågående processer eller moder Hjälpa till vid navigation
Designrymd Funktioner: Vad ska ljudikonerna användas till i appen? Mappning: Hur ska de mappas till händelserna i appen? Vokabulär: Vilka ljud ska användas? Irritation: Hur använda ljud utan att irritera användarna?
Olika typer av ljudikoner Ikoniska eller direktmappande Metaforer Ljud-effekter
Direktmappande Ljud som tydligt är kopplade till hur fysiska föremål låter T ex ett hasande ljud när ett fönster flyttas på en skärm
Metaforiska Hur låter t ex en fil som kopieras? När det är svårt att hitta ett direktmappat ljud, men det finns något sätt att göra en ljudmetafor
Ljud-effekter Nydesignade ljud Jfr lasersvärd =)
Lyssningstest II A. Ritprogram, klistra in B. Ritprogram, storleksförändring av objekt C. Ritprogram, sudda D. Slut på batteri, mobil E. Ritprogram, kopiera F. Start av dator C 2 A 4 D 6 E 1 F 3 B 5
Parametriska ljudikoner Ljudikoner som varierar någon dimension för att Ge en mer dynamisk upplevelse av ljudgränssnittet Gör det möjligt att förmedla små variationer, t ex starkare ljud för större objekt
Earcons Earcons inte föreställande, ofta musikaliska Svårare att lära sig Lättare att göra en enhetlig ljudbild Lättare att variera Möjliga att generera
Sonifiering Att medvetet ljudsätta Data Gränssnitt Exempel En matematisk kurva kan modelleras för att kunna upplevas utan att se den Geigermätare
Driftsljud
Signalljud
Signalljud Använd signalljud där det är nödvändigt Ljudet ska matcha funktionen med avseende på intensitet och frekvens Gradera olika ljudsignaler efter deras betydelse Bygg in en meningsfull ljudbild där detta passar sig Var uppmärksam på att signalen, oavsett vad den betyder, inte i sig själv ska vara så skrämmande att användaren blir handlingsförlamad
Återkopplingsljud
Kontrollfrågor Ger ljuden ett positivt bidrag till produktens övergripande ljudbild? Överensstämmer ljuden med produktens övriga upplevda värde? Ger ljuden en signal om att den underliggande (mekaniska) konstruktionen håller god kvalitet?
Kontrollfrågor Utgör summan av akustiska kvitteringar en sammanhängande och logisk helhet? Skiljer sig ljuden tydligt från driftsljud och bakgrundsljud i den miljö där produkten ska användas? Kan ljuden uppfattas av den användargruppen det är fråga om?
Talat ljud Inspelat tal Informationstätt Svårt att göra dynamiskt Syntetiserat tal
TTS Text-to-speech Två steg: 1. Konvertera text till fonem, identifiera delar av ord, meningar och fraser... 2. Syntetisera den konverterade texten Syntetiska eller samplade fonem Erik, Emma och Elin
Skärmläsare Program som läser av skärmen och presenterar det i tal eller på en punktdiplay
Ljudgränssnitt Tornspelet Klockspel
Riktningshörsel och virtuellt 3D-ljud Fundera och diskutera: Hur avgör man från vilket håll ett ljud kommer?
ITD Interaural Time Difference Icke-kontinuerliga ljud Kontinuerliga ljud (<1500Hz)
IID Interaural Intensity Difference > 1500 Hz
Ytterligare riktningsbestämning ITD och IID i horisontalplanet Riktningsbestämning Ytterörat Hörselgången Överkroppen Huvudrörelser
Reflektioner
IID & ITD Simulering av 3D-ljud HRTF Head Related Transfer Function Generell vs personlig Innebär en hel del förenklingar av en full fysikalisk modell
Lyssnaren Lyssnar-objektet ( listener ) placering av öronen Position Orientering Roll-off (logaritmisk, linjär...) Doppler faktor - när ljudkällan rör sig i förhållande till lyssnaren
Ljudkällor Soundmanager Ljudkällor ( source ) placering av källa Position Ljudkoner (inre o yttre vinkel) Min och max avstånd (påverkar roll-off)
Rumsklang och effekter Rumsklang - reverb Reflektionsmodeller - beräkningsintensivt Dämpnings-modeller Occlusion = Dämpat direktljud och reverb (vägg) Obstruction = Dämpat direktljud, opåverkat reflektionsljud (stolpe) Exclusion = Opåverkat direktljud, dämpat reverb (dörrhål)
Tips och trix
Tänk på: Designa för bred användning Låt användarna välja ljudstyrkan (observera skillnaden på mediavolym och ringvolym) Välj ljud som passar bra för den miljö de är tänkta att användas i Perceptualisera viktig information i flera modaliteter (ljud, visuellt, taktilt)
Gör-det-själv Spela in själv. Använd: Ljudinspelare (t ex telefonen) Ljudredigeringsprogram (eg. Audacity) Fantasi (skapa egna ljud som liknar det man vill få fram men inte nödvändigtvis är en inspelning av ett naturligt ljud) FormatFactory (för att göra om från ett ljudformat till annat) Och/eller: Googla sound effects, eller sound FX www.freesound.org har ganska mycket
Audacity
Ljud på Android http://developer.android.com/guide/top ics/media/mediaplayer.html 3D-ljud för Android: OpenAL4Android Kräver NDK
Information Ingen föreläsning på onsdag Det kommer ut föreläsnings-material på mail/hemsida