MSPEL Föreläsning 4. Audio och Video. Audio - sampling. Analogt - Digitalt. Analoga värden för ljud eller bild kvantifieras och digitaliseras

Transkript

1 MSPEL Föreläsning 4 Audio och Video DSV Peter Mozelius 1 Analogt - Digitalt Analoga värden för ljud eller bild kvantifieras och digitaliseras Ett fotografi scannas in och blir en digital bild på datorns hårddisk En analog ljudinspelning omvandlas till en digital ljudfil 2 Audio - sampling En dator arbetar mest med samplade ljud Analogt ljud Digitalt ljud Datorns ljudfiler skapas med olika samplingsfrekvenser Sampling med 44 KHz, 16 bitar och 2 kanaler = CD-kvalitet 3 1

2 Audio - frekvensområden En sampling med 44 KHz återger ljud upp till ca 22 KHz Övertonerna gör musiken njutbar!? el/main11.html Vid sampling av tal räcker 4 khz En telefon använder frekvenser mellan Hz 4 Audio samplingsfrekvens Harry Nyquists samplingsteorem Whittaker Nyquist Kotelnikov Shannon teorem Samplingsfrekvensen med dubbla frekvensen för ljudfrekvensen du vill återge Exempel: Ljud mellan 0 4 khz Samplingsfrekvensen 8 khz (8000 ggr/sek) 5 Audio det mänskliga örat 6 2

3 Audio - lagringsformat En annan faktor som påverkar ljudkvaliteten är lagringsformatet Fler bitar -- bättre kvalitet -- större filer 1bit ger ljud eller icke ljud 16 bitar ger 65,536 möjliga värden Talat ljud brukar lagras med 8 bitar Avancerade ljudformat >= 24 bitar 7 Audio - ljudformat Riktigt bra ljudkvalitet i format som Dolby Digital (AC-3) eller DTS DTS = Digital Theater Sound Kräver stort lagringsutrymme Tar tid att skicka över Internet Det som fungerar via bredband kan ge problem på modemuppkopplingar 8 Audio - lagringsutrymme Lagringsutrymmet = A * B * C A = Samplingsfrekvensen i Hz B = Representationen i bitar C = Antalet kanaler 44 khz * 16 bitar * 2 kanaler = CD-kvalitet vilket tar 166 K/s 9 3

4 Audio - ljudfilformat Vanliga ljudformat på våra datorer: Solaris/Unix: ljud.au Windows: ljud.wav Mac: ljud.snd Apple: ljud.aiff eller ljud.aif MP3: ljud.mp3 MP4: ljud.mp4 MIDI-filer: ljud.mid 10 Audio i Java De första versionerna av Java stödde enbart ljudformatet fil.au Populärt på Solaris-plattformen och nätet Kompakta små filer MEN bara 8-bitar Kvalitet som mest passar för tal Numera stöd för flera format T ex filer.wav och filer.mid 11 Audio - MIDI MIDI-formatet Små snabbladdade icke-samplade filer Innehåller inte själva musiken utan styrsignaler till ljudkort eller synthesizer Enkelt att omvandla till notskrift Nackdelar: Ej för röster och sång Beroende av ljudkort och plattform 12 4

5 Audio MP utvecklades en ny algoritm för ljudkomprimering av Karlheinz Brandenburg vid Fraunhofer-institutet i Tyskland: Standarden MPEG-1 layer3 MPEG-1 layer3 blev 1995 MP3 MP3 blev snabbt populärt då det nu gick att spela upp musik med nästan CD-kvalitet i ett behändigt lagringsformat Alla gillar MP3 utom skivbolagen? Rast 15 min 13 MP3 filformat Ettegetfilformat Ljudströmmen delas upp i paket Med metainformation som Överföringshastighet Samplingsfrekvens ID3-taggar för innehållet: Artist Låttitlar 14 MP3 komprimering En perceptuell brusformningsmetod att plocka bort de frekvenser som örat inte hör tar bort höga toner i diskanten tar bort de frekvenser med låg volym som slås ut av närliggande frekvenser med hög volym Våra öron har visat sig känsligare än vad ingenjörerna först trodde 15 5

6 Audio - komprimering Andra användbara tekniker: Frekvensmaskning Då örat t ex hör ljud med 5 khz bättre än ljud med 10 khz, kan 10 khz ljud som överröstas av 5 khz ljud tas bort utan att örat märker det Tidsmaskning Vid kraftiga volymändringar i t ex ett musikstycke tar det ett tag innan det mänsliga örat uppfattar ett tidigare överröstat ljud Stereoredundans 16 Audio MPEG 2 Karlheinz Brandenburg har fått fram en ny MPEG-2 standard AAC = Advanced Audio Encoding Klart bättre ljudåtergivning än MP3 Till skivbolagens stora glädje är denna nya standard lättare att kontrollera Framtidens ljudstandard? 17 Audio Real Audio Ett annat ljudformat är Real Audio Ett strömmande format Att avlyssnas under överföringen Löser många problem på Internet MEN kommentar vid en livesändning: Vem vill höra en Beethoven-symfoni spelas upp genom en mobiltelefon 18 6

7 Ljudeditering - Audacity Öppen källkod plattformsoberoende Audacity Forum LAME MP3 encoder /faq?s=install&item=lame-mp3 19 Audio i XHTML Spela upp ljud i XHTML 1) <object data= musik.mid type= audio/midi> 2) Som ljudlänk med <a href> <a href= musik.mid > Spela upp min musik </a> 20 Audio i Java Spela upp ljud i Java 1) Med hjälp av java.applet.audioclip 2) Med hjälp av sun.audio.audiostream 3) Med Java Media Framework 21 7

8 Ljud i Java applets Interfacet java.applet.audioclip Tre metoder som behövs för att hantera ljud i applets: AudioClip aclip = Applet.newAudioClip(sökväg + filnamn); aclip.play(); aclip.loop(); aclip.stop(); 22 Ljud i Java applikationer Det går att hitta exempel på applikationer som spelar upp ljud m h a AudioClip Ja det fungerar, men bara i ver < 1.5 I 1.6 får man importera: import sun.audio.*; Och sedan använda klassen AudioStream 23 Ljud i Java applikationer try { InputStream in = new FileInputStream("musik.mid"); AudioStream as = new AudioStream(in); AudioPlayer.player.start(as); }catch (IOException ioe) { Paus 15 minuter 24 8

9 Vågrörelser frekvens Hög frekvens = Kort våglängd 25 Vågrörelser amplitud Lång amplitud = Hög intensitet 26 Video Video är skrymmande För Internet krävs komprimering Smarta algoritmer för t ex Inkrementell uppdatering Interlace Gamla tekniker som har utvecklats vidare av bland andra MPEG 27 9

10 Video - MPEG MPEG-komprimering i egna format film.mpg eller film.mpeg Kraftig komprimering som i de äldre varianterna gick ut över kvaliteten Här på kursen kommer vi att titta på: Quicktime AVI (Video for Windows) 28 Video - filmformat Apple Quicktime och film.mov Fungerar även utanför Mac-världen Audio Video Interleaved och film.avi Fungerar även utanför Windows Båda fungerar i Adobe Premiere 29 Video filmformat Några andra videoformat: Autodesk Animator och film.fli (Flick) för animeringar gjorda i 3D-studio Vivo och film.viv Strömmande format från Vivo Software RealMedia och film.rm Strömmande för Real Player 30 10

11 Dokumentation Olika sätt att kommentera i Java: // kommentar till radens slut /* kommentar som sträcker sig över flera rader */ /** * Flerradig kommentar för javadoc 1.06 */ 31 javadoc Dokumentation och javadoc är ett sätt att underlätta återanvändningen av javakod /** javadoc-kommentarerna ska placeras * omedelbart innan den klass eller metod * som kommentarerna gäller Peter Mozelius */ Skapas genom: PROMPT:> javadoc Kodfil.java 32 MSPEL tentamen Bolognaanpassning Betyg A-F Utförligare frågor Tack för idag! 33 11