Föreläsning 12. Modellbaserad ljudkodning. Modellbaserad bildkodning. Utblickar Mediakommunikation över Internet Multi-view video
|
|
- Ingeborg Vikström
- för 5 år sedan
- Visningar:
Transkript
1 Föreläsning 12 Modellbaserad ljudkodning Modellbaserad bildkodning Utblickar Mediakommunikation över Internet Multi-view video 1
2 Kodning av bild och ljud bygger på modeller (Fö.1) S(t) t Genereringsmodeller 3D-objekt belysning kameraprojektion ljudgenerering Modellbaserade kodningsmetoder Signalmodeller determ. modeller statistiska modeller vågformskodning Syn/hörsel-modeller spatio/temporal modeller maskeringsegenskaper Perceptionsbaserade kodningsmetoder 2
3 Modellbaserad Ljudkodning Kodning av tal Kodning av musik MPEG-4 Audio toolbox 3
4 I. Talkodning Tal - kvalitetsnivåer Broadcast quality : AM-radio, ca 10 khz, (>64 kbit/s) Network (toll) quality : fast telefoni, ca 3 khz, (16-64 kbit/s) Communication quality : mobiltelefoni, (4-16 kbit/s) Synthetic quality : talsyntes (< 4 kbit/s) Jämför generell audio HiFi : FM-radio, CD, ca 20 KHz ( kbit/s) 4
5 Talkodning Historik Vågformskodning (PCM, DPCM) PCM föreslogs oberoende av Paul M. Rainey och av Alex Reeves (AT&T Paris) år Installerades i USAs telenät delta modulation, DPCM law kvantisering introduceras - standardiseras för telefoni 1972 (8 KHz * 8 bits = 64 Kbit/s, logaritmisk kvantisering) (G.711) 1974 Adaptiv DPCM (G.726) Modellbaserad kodning 1939 Channel Vocoder (talsyntes) 1984 LPC/CELP vocoder (de flesta kodningsstandarder för talsignaler idag använder någon variant av CELP) 5
6 Talgenerering lungor (lungs) luftrör (trachea) stämband (vocal cords) luftväg mun (oral cavity) luftväg näsa (nasal cavity) 6
7 Talsignalen - vokaler 7
8 Talsignalen - konsonanter 8
9 Modellbaserad talkodning Avancerade talkodare baserar sig på modeller av hur talet genereras: Brusgenerator Vocal tract pitch Pulsgenerator Voiced/unvoiced 9
10 Exempel på Vocal tract filter Fast filterbank (bandpassfilter) g 1 g 2 BP 1 BP 2 g n BP n 10
11 1939 Channel vocoder Första modellbaserade talsyntetisatorn utvecklas av Homer Dudley på AT&T labs - VODER 11
12 Första publika presentationen av VODER (från radiosändning 1939) 12
13 Noggrannare modellering av talsignalen Komponenter i talsignalen: spektrala resonanser (formanter, rörliga) periodisk excitation (tonande, grundton ( pitch ) + grundtonskontur brusexcitation (frikativ, tonlös, ingen grundton) transienter ( stop-release bursts ) amplitudmodulation (nasal) timing 13
14 Vokaler Karaktäriserad av formanter; I allmänhet tonande ( voiced ); Ljudet formas av tungan och läpparna. Exempel på vokaler: a, e, i, o, u, ah, oh. Stämbandsfrekvens: män Hz, kvinnor upp till 500Hz. Vokaler varar i medel mycket längre än konsonanter. Det mesta av den akustiska energin i talsignalen bärs av vokaler. F1-F2 diagram Formantpositioner 14
15 Styrbart vocal tract filter Styr-parametrar x V(z) y OVE formant synthesis (Prof. Gunnar Fant, KTH),
16 LPC ( Linear Predictive Coding ) Kombinera exitationsmodellen enligt tidigare (brus/pulsgenerator) med styrbart filter. Obs: ej att förväxlas med vanlig prediktiv kodning (DPCM)! LPC är en modellbaserad metod medan vanlig prediktiv kodning är en vågformskodningsmetod. 16
17 Blockschema - LPC kodare 17
18 Representation av styrbart vocal tract filter 1. LPC-parametrar (a i, G): y n M i 1 a i y n i Gx n 2. PARCOR (partial correlation coefficients) kan beräknas rekursivt från a i (se Sayood sid 507). Lämpar sig bättre att kvantisera än LPC-parametrarna. 3. LSF (Line spectrum frequences) utgår från inversfiltret 1/V(z) 18
19 Parameterestimering (se kursens hemsida för mer detaljer) 1. Signalen delas lämpligen upp i korta segment (ex.vis 20 ms). 2. För varje segment estimeras vocal tract parametrarna (a i, G) samt pitch och V/UV-tillståndet. Filterparametrarna kan fås genom att minimera en felvarians (jmf beräkning av optimal prediktor). 3. V/UV-estimeringen baseras på energi- och frekvensinnehåll. 4. Pitch-frekvens fås genom att söka efter periodiciteter (typiskt samples). 19
20 Ex. Kodning av parametrarna (LPC10, 1984) V/UV: 1 bit Pitch: 6 bitar Vocal tract: 46 bitar (10+1 parametrar) Synk.: 1 bit Tot: 54 bitar => 2.4 kbit/s 20
21 CELP ( Code excited linear prediction ) 1. Byt ut V/UV-exiteringen mot en tabell som innehåller ett stort antal förlagrade exciteringssignaler (jfr VQ): kodbok V(z) 2. Sök efter bästa exiteringssignalen genom att pröva samtliga. Här ges möjlighet att även applicera modell av hörselsinnet. 21
22 Code Excited Linear Prediction Coding (CELP) Kodning: LPC analys ->V(z) Definiera ett perceptuellt filter W(z). Detta skall tillåta ökat brus vid formantfrekvenserna (maskering!) Syntetisera talet genom att testa varje kodbokssekvens i tur och ordning Beräkna optimala förstärkningen som minimerar den perceptuellt viktade felenergin i varje ram Välj kodbokssekvensen som ger lägsta felet Skicka LPC parametrarna och kodboksindex Avkodning: Ta emot LPC parametrarna och kodboksindex Återsyntetisera talet via V(z) Prestanda: 16kbit/s: MOS=4.2, Delay=1.5 ms, 19 MIPS 8 kbit/s: MOS=4.1, Delay=35 ms, 25 MIPS 2.4kbit/s: MOS=3.3, Delay=45 ms, 20 MIPS 22
23 Exempel på CELP-kodare G.728: V(z) är ett stort FIR filter (M=50) Kodboken innehåller 127 sekvenser, GSM: Kodboken består av regelbundna pulståg med variabel frekvens och amplitudvärden. MELP: (Mixed exitation linear prediction). Kodbok kombinerad med brusgenerator. 23
24 MPEG-4 s talkodare Talkodare för hög datatakt (CELP, 5-24 kb/s) Talkodare för låg datatakt (HVXC, < 4 kb/s) Text-to-speech (TTS, talsyntes) Codebook index k g k s(n) x k (n) LPC filter Perceptual w. filter e(n) MPEG-4 CELP-kodare 24
25 HVXC Harmonic Vector exitation Coder HVXC talkodare för låga datatakter 8 khz sampling, 2 4 kbit/s. Under 1.2 kbit/s i variable rate mode. Kombination av LPC och CELP-kodning baserad på utfallet av FFT-analys. Vektorkvantisering av enveloppen för spektrat. 25
26 HVXC - blockschema 26
27 Sammanfattning: kodare avsedda för telefoni (8kHz sampling rate) 27
28 II. MPEG-4 s musikkodare Principer: Generell ljudkodare (MP3, AAC ) Modifierad generell kodare (SBR, HILN, ) Syntetiskt ljud (SAOL, SASL, MIDI) 28
29 HILN Harmonic and Individual Lines and Noise HILN, kodare för låg datatakt (4-16 kbit/s) Harmoniska och individuella toner plus brus delbandskodare Endast en frekvens per delband 29
30 Syntetiskt ljud TTS Text-To-Speech MPEG-4 definerar ett interface, inte särskild TTS funktion SAOL - Structured Audio Orchestra Language SAOL beskriver hur olika instruments skall genereras SASL - Structured Audio Score Language SASL beskriver vilket instrument som skall spela MIDI är en delmängd av SASL 30
31 III. MPEG-4 Audio toolbox Generellt naturligt ljud AAC BSAC TwinVQ HILN (parametric) Naturligt tal CELP HVXC (parametric) Syntetiskt ljud TTS SAOL SASL Sammansättning Mixing Re-sampling 3D-rendering 31
32 MPEG-4: Kodning av ljud Quality CD General audio (AAC, TwinVQ) FM AM Telephone Cellular Parametric speech (HVXC) Parametric audio (HILN) High quality speech (CELP) kbit/s 32
33 Kodning av ljud: Demo Original audio Music coder (TwinVQ) 6 kbit/s Music coder (HILN) 6 kbit/s Speech coder (CELP) 6 kbit/s Speech coder (HVXC) 2 kbit/s Speech Simple music Complex music 33
34 Modellbaserad bildkodning Exempel: ansiktsanimation 34
35 Kodning och animation av ansikten Det mänskliga ansiktet är ett mycket speciellt visuellt objekt. Människor är särskilt känsliga för felaktigheter i ansikten eller onaturliga rörelser. Människor är bra på att känna igen ansikten. 35
36 Kodningsprincip Finn ansiktet i bilden Separera ut textur Estimera 3D-form Estimera rörelser Avkodaren syntetiserar ansiktsobjektet och animerar det. 36
37 Exempel: rörelseestimering 37
38 Modellbaserad kodning av ansikten Image sequence Shape Texture Animation parameters 38
39 Avkodning Shape Texture 39
40 Ansiktsparametrar FFPs: MPEG-4 definierar 84 facial feature points. FAPs: Facial Animation Parameters flyttar på FFPs. FDP Points: 3D-koordinater för FFPs. Beskriver ansiktsformen FDP Texture: Bildinformation för hud, tänder, ögon och tunga. Överlagras på 3Dmodellen. 40
41 FAP - Facial Animation Parameters Låg-nivå FAPs Förflyttningar av FAPs (63 parametrar) Rotation (3 parametrar) Viseme Skapar ansiktsrörelser från fonem. Ansiktsmodellen kan animeras från ett stycke text eller audio. Ansiktsuttryck Avkodaren kan syntetisera olika ansiktsuttryck (glad, förvånad, arg, rädd, äcklad, ledsen). 41
42 Demo: Peter & Peter (ca 1 kb/s) Video by Peter Eisert (UniErlangen) 42
43 Demo: Peter & Bill Video by Peter Eisert (UniErlangen) 43
44 Exempel: Text-till-tal med ansiktsanimering Text TTS FDP Face model by J. Ostermann (AT&T). 44
45 Utblickar Audio och video över Internet Multi-view video coding 45
46 Audio och Video över Internet Internet är en rätt dålig kommunikationskanal för realtidsinformation Slumpmässig fördröjning Slumpmässiga paketförluster Varierande datatakt Lösning 1: Buffert på klientsidan Minskar risken för avbrott Jämnar ut fördröjningarna Möjliggör återsändning av förlorade paket Ger lång fördröjning (tiotals sekunder) Lösning 2: Kodning med varierande datatakt Återkopplar till sändaren Anpassning sker till hastighetsförändringar i nätet Lösning 3: Multiple-Description Coding 46
47 Multiple-Description Coding (MDC) Princip: Signalen delas upp i flera parallella strömmar. Dessa sänds på olika vägar genom nätet. Förlust av en, eller flera strömmar kan accepteras utan att kvalitén blir för låg. Exempel 1 (audio): Vartannat sampel skickas en väg och vartannat sampel en annan väg. Exempel 2 (video): Bilden subsamplas en faktor 2 i x- och y-led. De 4 delströmmarna skickas olika vägar. Moderna metoder för MDC lägger in lite extra redundans i de olika delströmmarna men ger trots det endast måttlig ökning av datatakten vid full kvalitet. 47
48 Multi-view video coding (MVC) Samtidig kodning av multipla vyer Mer än 20% reduktion av datatakten kan uppnås i en H.264 kodare genom att utnyttja prediktion mellan vyerna. Tillämpningar inom Free viewpoint TV och 3D-TV (Källa: F. Pereira, IST, Lisbon) 48
49 H.264: Temporal inter-view prediction structure for MVC 49
50 Multi-view, 3D coding Textur+djup Ett alternativ till multi-view video är att använda textur+djup 50
51 3D video 51
52 Forskning på Avd. Informationskodning Bildkodning/signalbehandlingsmetoder Ansiktsanimering och modellbaserad kodning 3D Video Datorgrafik, Optisk kommunikation Kryptering, organisk elektronik Informationskodning erbjuder exjobb inom samtliga områden, se: 52
I. Talkodning. Kodning av tal Kodning av musik MPEG-4 Audio toolbox. Talkodning Historik. Talgenerering. Talsignalen - vokaler
Kodning av bild och ljud bygger på modeller (Fö.1) S(t) t Kodning av tal Kodning av musik MPEG-4 Audio toolbox Genereringsmodeller 3D-objekt belysning kameraprojektion ljudgenerering Modellbaserade kodningsmetoder
Läs merKodning av tal Kodning av musik MPEG-4 Audio toolbox
Kodning av tal Kodning av musik MPEG-4 Audio toolbox Kodning av bild och ljud bygger på modeller (Fö.1) S(t) t Genereringsmodeller 3D-objekt belysning kameraprojektion ljudgenerering Modellbaserade kodningsmetoder
Läs merAnalys/syntes-kodning
Analys/syntes-kodning Många talkodare bygger på en princip som kallas analys/syntes-kodning. Istället för att koda en vågform, som man normalt gör i generella ljudkodare och i bildkodare, så har man parametrisk
Läs mer4/27/12. Fönstring i MDCT. Föreläsning 10: Ljudkodning ( Audio Coding ) 1. Inledning PCM, standardmetoder, MDCT, psykoakustik, ljudtryck
Föreläsning 10: Ljudkodning ( Audio Coding ) 1. Inledning PCM, standardmetoder, MDCT, psykoakustik, ljudtryck 2. Hörselsinnet Hörnivåkurvor, hörseltröskel, maskeringseffekter, Barkskalan 3. Ljudkodning
Läs merFöreläsning 10: Ljudkodning ( Audio Coding )
Föreläsning 10: Ljudkodning ( Audio Coding ) 1. Inledning PCM, standardmetoder, MDCT, psykoakustik, ljudtryck 2. Hörselsinnet Hörnivåkurvor, hörseltröskel, maskeringseffekter, Barkskalan 1. Ljudkodning
Läs merFöreläsning 1: Bild- och ljudkodning
Föreläsning 1: Bild- och ljudkodning 1. Kursöversikt 2. Introduktion till bild- och ljudkodning - syfte - historik - antal bitar per bildpunkter/sampel 3. Två principiella klasser : distorsionsfri och
Läs merDigital signalbehandling Digitalt Ljud
Signalbehandling Digital signalbehandling Digitalt Ljud Bengt Mandersson Hur låter signalbehandling Institutionen för elektro- och informationsteknik 2008-10-06 Elektronik - digital signalbehandling 1
Läs merPsykoakustik. Ljudtrycksnivå. Hörselns omfång. Hörnivå(loudness) Människans hörsel är ganska väl studerad och det finns bra modeller för den.
Psykoakustik Ljudtrycksnivå Människans hörsel är ganska väl studerad och det finns bra modeller för den. Detta kan utnyttjas vid ljudkodning för att placera distorsionen (kvantiseringsbruset) så att det
Läs merFöreläsning 7: Bild- och videokodning
Föreläsning 7: Bild- och videokodning Inledning - varför bildkodning - tillämpningar - grundprinciper Förlustfri kodning - Variabellängdskodning - Skurländskodning - Huffmankodning Irreversibla kodningsmetoder
Läs merFöreläsning: Digitalt Ljud. signalbehandling. Elektronik - digital signalbehandling. Signal och spektrum. PC-ljud. Ton från telefonen.
Elektronik - digital signalbehandling Föreläsning: Digitalt Ljud Bengt Mandersson Hur låter signalbehandling Institutionen för elektro- och informationsteknik 2010-10-01 1 2008-10-06 Elektronik - digital
Läs merTALKODNING - från tal till syntes
TALKODNING - från tal till syntes Björn Engström bjoeng-9@student.luth.se Tommy Höglund tomhog-9@student.luth.se Jan Niemi jannie-9@student.luth.se Avdelningen för Signalbehandling Luleå Tekniska Universitet
Läs merVocoding och frekvensskiftningsexperiment inom det audiologiska forskningsfältet Av Morgan Karlsson
Vocoding och frekvensskiftningsexperiment inom det audiologiska forskningsfältet Av Morgan Karlsson Vocoding Några av de första försöken att återskapa tal elektroniskt gjordes på 30-talet av fysikern Homer
Läs merKapitel 2 o 3 Information och bitar Att skicka signaler på en länk. Att sända information mellan datorer. Information och binärdata
Kapitel 2 o 3 Information och bitar Att skicka signaler på en länk Jens A Andersson (Maria Kihl) Att sända information mellan datorer värd 11001000101 värd Två datorer som skall kommunicera. Datorer förstår
Läs merEXEMPEL 1: ARTVARIATION FÖRELÄSNING 1. EEG frekvensanalys EXEMPEL 2: EEG
FÖRELÄSNING EXEMPEL : ARTVARIATION Kurs- och transform-översikt. Kursintroduktion med typiska signalbehandlingsproblem och kapitelöversikt. Rep av transformer 3. Rep av aliaseffekten Givet: data med antal
Läs merKapitel 2 o 3. Att skicka signaler på en länk. (Maria Kihl)
Kapitel 2 o 3 Information och bitar Att skicka signaler på en länk Jens A Andersson (Maria Kihl) Att sända information mellan datorer värd äd 11001000101 värd äd Tåd Två datorer som skall kllkommunicera.
Läs merPsykoakustik. Ljudtrycksnivå. Hörselns omfång. Hörnivå (loudness) Människans hörsel är ganska väl studerad och det finns bra modeller för den.
Psykoakustik TSBK35 fö 10 p.3 Ljudtrycksnivå TSBK35 fö 10 p.4 Människans hörsel är ganska väl studerad och det finns bra modeller för den. Detta kan utnyttjas vid ljudkodning för att placera distorsionen
Läs merKapitel 2 o 3 Information och bitar Att skicka signaler på en länk. Jens A Andersson
Kapitel 2 o 3 Information och bitar Att skicka signaler på en länk Jens A Andersson Att göra Kursombud Williams bok???? Kolla schemat: Övningar flyttade Labanmälan ska funka nu 2 Att sända information
Läs merSpråkljudens akustik. Akustik, akustiska elementa och talanalys
Akustik, akustiska elementa och talanalys Språkljudens akustik Mattias Heldner KTH Tal, musik och hörsel heldner@kth.se Talsignalen mer lättåtkomlig än andra delar av talkommunikationskedjan Det finns
Läs merKapitel 2 o 3 Information och bitar Att skicka signaler på en länk. Jens A Andersson
Kapitel 2 o 3 Information och bitar Att skicka signaler på en länk Jens A Andersson Att sända information mellan datorer värd 11001000101 värd Två datorer som skall kommunicera. Datorer förstår endast
Läs merMänniskans hörsel är ganska väl studerad och det finns bra modeller för den.
Psykoakustik Människans hörsel är ganska väl studerad och det finns bra modeller för den. Detta kan utnyttjas vid ljudkodning för att placera distorsionen (kvantiseringsbruset) så att det ska märkas så
Läs mer2 Vad händer när man ringer? 2 Vad händer när man ringer?
41 GSM-boken 2.1 Blockschema Bilden här intill visar ficktelefonen så som våra ögon ser den, ett hölje med antenn. I höljet finns ett hål att prata i, där sitter mikrofonen, och en massa småhål att lyssna
Läs merKapitel 2 o 3 Information och bitar Att skicka signaler på en länk. Jens A Andersson
Kapitel 2 o 3 Information och bitar Att skicka signaler på en länk Jens A Andersson Att sända information mellan datorer värd 11001000101 värd Två datorer som skall kommunicera. Datorer förstår endast
Läs merOptimal Signal Processing Laboratory work
Institutionen för Electrical and Information Technology Lunds Universitet Lunds Tekniska Högskola Optimal Signal Processing Laboratory work Martin Stridh Leif Sörnmo Bengt Mandersson 2007 Department of
Läs merSampling. Analog - digital. Kvantifiering. Samplingsprocess. Analog vs digital teknik. Kvantifiering. Analog oändlig digital diskret (1or 0or)
Analog - digital Analog oändlig digital diskret (1or 0or) Digitalt intakt trots kopiering analogt slits och kvaliteten degraderar Sampling Sinuston vågdiagram (AT) antal mätpunkter/samplingspunkter Samplingsfrekvens
Läs merSMS047 Mediakodning. Introduktion. Frank Sjöberg. Introduktion. Introduktion
SMS047 Mediakodning Frank Sjöberg Email: frank@sm.luth.se Rum A3207 Kursen behandlar kodning av fyra olika typer av media Text & annan data Bild Ljud (ej tal) Video Vi kommer i första hand att studera
Läs merEn generell prediktiv kodare utnyttjar signalens utseende N steg tillbaka i tiden för kodningen, dvs vi kodar efter den betingade fördelningen
Prediktiv kodning Närliggande sampel i en signal är oftast starkt korrelerade med varandra, det kan därför vara en bra ide att försöka utnyttja denna korrelation (minnet) innan kvantiseringen för att få
Läs merLinjär prediktion. Prediktiv kodning. Linjär prediktion. Prediktiv kodare och avkodare
Prediktiv kodning Linjär prediktion Närliggande sampel i en signal är oftast starkt korrelerade med varandra, det kan därför vara en bra ide att försöka utnyttja denna korrelation (minnet) innan kvantiseringen
Läs merElektronik. Viktor Öwall, Digital ASIC Group, Dept. of Electroscience, Lund University, Sweden-
Analogt och Digital Bertil Larsson Viktor Öwall Analoga och Digitala Signaler Analogt Digitalt 001100101010100000111110000100101010001011100010001000100 t Analogt kontra Digitalt Analogt få komponenter
Läs merSignaler och system, IT3
Signaler och system, IT3 Vad är signalbehandling? 1 Detta dokument utgör introduktionsföreläsningen för kursen Signaler och system för IT3 period 2. Kursen utvecklades år 2002 av Mathias Johansson. 1 Vad
Läs merOptimal Signalbehandling Labbhandledning
Institutionen för Elektro- och Informationsteknik Lunds Universitet Lunds Tekniska Högskola Optimal Signalbehandling Labbhandledning Martin Stridh Leif Sörnmo Bengt Mandersson 2012 Department of Electrical
Läs merLab 4: Digital transmission Redigerad av Niclas Wadströmer. Mål. Uppstart. Genomförande. TSEI67 Telekommunikation
TSEI67 Telekommunikation Lab 4: Digital transmission Redigerad av Niclas Wadströmer Mål Målet med laborationen är att bekanta sig med transmission av binära signaler. Det innebär att du efter laborationen
Läs merKÄLLA-FILTER. Repetition. Talapparaten i källa-filter perspektivet. Repetition (ff) Ljudkällor i talapparaten (ff) Ljudkällor i talapparaten
KÄLLA-FILTER Repetition - Repetition av resonans och filter Komplexa ljudvågor: deltoner Amplitudspektrum - Talapparaten som resonator - Talapparaten som källa-filtersystem - Spektrum, Spektrogram, spektrograf
Läs merGrundläggande ljud- och musikteori
Grundläggande ljud- och musikteori Jan Thim Magnus Eriksson Lektionens syfte Syftet med denna lektion är är att att ge ge förståelse för för decibelbegreppet, spektrum, digitalisering och och olika olika
Läs merDigital kommunikation. Maria Kihl
Digital kommunikation Maria Kihl Läsanvisningar Kihl & Andersson: 2.1-2.3, 3.1-2, 3.5-6 (ej CDM) Stallings: 3.1-4, 5.1, 5.2, 8.1, 8.2 Forouzan 5th: 3.1-3.4, 3.6, 4.1-4.2, 5.1, 6.1.1, 6.1.3 2 Protokoll
Läs merKihl & Andersson: , 3.1-2, (ej CDM) Stallings: 3.1-4, 5.1, 5.2, 5.3, 8.1, 8.2
Kihl & Andersson: 2.1-2.3, 3.1-2, 3.5-6 (ej CDM) Stallings: 3.1-4, 5.1, 5.2, 5.3, 8.1, 8.2 Hej Hej Vad är klockan? 14.00 Hej då New connection Connection approved Request for data Data transfer End connection
Läs merSpektrala Transformer
Spektrala Transformer Tidsdiskreta signaler, kvantisering & sampling Tidsdiskreta signaler Tidskontinuerlig signal Ex: x(t) = sin(ωt) t är ett reellt tal ω har enheten rad/s Tidsdiskret signal Ex: x(n)
Läs merKapitel 13: (Maria Kihl)
Kapitel 13: Telefoninäten Jens A Andersson (Maria Kihl) Jämförelse med OSI-modellen OSI-modellen Applikation Presentation Session Transport Nät Länk Fysisk TCP/IP-modellen Applikation Transport Nät IP-bärande
Läs merDigital kommunikation. Maria Kihl
Digital kommunikation Maria Kihl Läsanvisningar Kihl & Andersson: 2.1-2.3, 3.1-2, 3.5-6 (ej CDM) Stallings: 3.1-4, 5.1, 5.2, 5.3, 8.1, 8.2 2 Protokoll När människor kommunicerar använder vi ett språk.
Läs merKapitel 3 o 4 Att skicka signaler på en länk Tillförlitlig dataöverföring. Att göra. Att sända information mellan datorer
Kapitel 3 o 4 Att skicka signaler på en länk Tillförlitlig dataöverföring Jens A Andersson (Maria Kihl) Att göra Kursombud 2 Att sända information mellan datorer 11001000101 värd värd Två datorer som skall
Läs merLab skapades Ove (Orator Verbis Electris) av Gunnar Fant, KTH.
Lab 2 1953 skapades Ove (Orator Verbis Electris) av Gunnar Fant, KTH. Ove var en talsyntesmaskin som kunde göra vokalljud. Ganska bra sådana dessutom, i alla fall med tanke på dåtidens teknik. Här finns
Läs merPerception. Intonation och tonhöjd. Intrinsisk F0. Intonation och tonhöjd (ff) Akustiska och perceptoriska drag. Perception av prosodiska drag
Perception Akustiska och perceptoriska drag Samband mellan akustiska och perceptoriska drag Tyngpunkt på perceptorisk relevanta drag Prosodi Vokaler Konsonanter Perception i största allmänhet Primära akustiska
Läs merSpektrala Transformer
Spektrala Transformer Tidsdiskreta signaler, kvantisering & sampling Tidsdiskreta signaler Tidskontinuerlig signal Ex: x(t) = sin(ωt) t är ett reellt tal ω har enheten rad/s Tidsdiskret signal Ex: x(n)
Läs merKapitel 3 o 4. Tillförlitlig dataöverföring. (Maria Kihl)
Kapitel 3 o 4 Att skicka signaler på en länk Tillförlitlig dataöverföring Jens A Andersson (Maria Kihl) Att sända information mellan datorer 11001000101 värd värd Två datorer som skall kommunicera. Datorer
Läs merSkurlängdskodning. aaaabbbbbbbccbbbbaaaa. Man beskriver alltså sekvensen med ett annat alfabet än det ursprungliga.
Datakompression fö 4 p1 Skurlängdskodning Ibland har man källor som producerar långa delsekvenser av samma symbol Det kan då vara praktiskt att istället för att beskriva sekvensen som en följd av enstaka
Läs merTelefoninäten. Jens A Andersson
Telefoninäten Jens A Andersson Referens-modeller OSI-modellen Applikation Presentation Session Transport Nät Länk Fysisk TCP/IP-modellen Applikation Transport Nät IP-bärande nät 2 Data communication After
Läs merLjudlära. Ljud är Periodicitet. Introduktion. Ljudlära viktigt ur två aspekter:
Introduktion Ljudlära Ljudlära viktigt ur två aspekter: 1. Ljudets fysikaliska egenskaper 2. Vad vi uppfattar med hörseln Syfte: att lära sig göra relevanta kopplingar mellan faktisk vetenskap och sinnlig
Läs merKapitel 13: Telefoninäten. Spanning Tree. Jämförelse med OSI-modellen. Jens A Andersson (Maria Kihl)
Kapitel 13: Telefoninäten Jens A Andersson (Maria Kihl) Spanning Tree Att bygga träd av grafer som kan se ut hur som helst Hindra paket att gå runt i oändliga loopar Bygga effektiva transportvägar Spanning
Läs merIdag. Tillägg i schemat. Segmenteringsproblemet. Transkription
Tillägg i schemat 21/9 slutar 16.00 ist f 15.00 5/10 slutar 16.00 ist f 15.00 Idag talkommunikationskedjan ljudvågor, enkla och sammansatta vågrörelser frekvens och amplitud ljudtryck, decibel källa-filter-modellen
Läs merKommunikationssystem grundkurs, 2G1501 Övningar modul 1 Dataöverföring & fysisk infrastruktur 1 Dataöverföring
1 Dataöverföring Syfte: Förstå begreppen dämpning och förstärkning av en signal. Kunna räkna i db och kunna använda det till beräkning av effektbudget. Ha en känsla för sambandet mellan bandbredd (Hz)
Läs merTillförlitlig dataöverföring Egenskaper hos en länk Accessmetoder. Jens A Andersson
Tillförlitlig dataöverföring Egenskaper hos en länk Accessmetoder Jens A Andersson Digitalisering av ljud Omvandling av ljud till binär data sker i tre steg: 1) Sampling 2) Kvantisering 3) Kodning Detta
Läs merÖvningar modul 1 - Dataöverföring & fysisk infrastruktur
1. Dataöverföring Övningar modul 1 - Dataöverföring & fysisk infrastruktur Syfte: Förstå begreppen dämpning och förstärkning av en signal. Kunna räkna i db och kunna använda det till beräkning av effektbudget.
Läs merINNEHÅLL. Per Wallander. GSM-boken. Per Wallander
Per Wallander Per Wallander 1 Per Wallander Första upplagan ISBN 91-86296-09-4 Innehållet i denna bok är skyddat enligt Lagen om upphovsrätt, 1960:729, och får inte reproduceras eller spridas i någon form
Läs merProfilen Kommunikation för Y, Yi, D & IT
Profilen Kommunikation för Y, Yi, D & IT Profilansvarig: Emil Björnson Docent, ISY/Kommunikationssystem www.commsys.isy.liu.se Profilansvarig: Emil Björnson Civilingenjör i Teknisk matematik, LTH, 2007
Läs merDatorkommunikation. Examination Översikt. Kurslitteratur. Datorkommunikation. Kursens hemsida
Datorkommunikation ETS 302 Datorkommunikation Lärare: Christian Nyberg Föreläsningar: 12 st Övningar: 4 st Laborationer: 4 st Examination Översikt Betyg: godkänd eller underkänd För godkänd krävs: Godkänd
Läs merPaper or screen. Systemlagret. Vision technology. Audio technology. Current loudspeakers and sound equipment is good enough?
Paper or screen Systemlagret Vision technology Audio technology Current loudspeakers and sound equipment is good enough? 3D? Ljudlandskap? Stämningsbakgrund? 1 Systemlagret I PC, Router, Switch HW Grafikkort,
Läs merDigital Signalbehandling i Audio/Video
Digital Signalbehandling i Audio/Video Institutionen för Elektrovetenskap Laboration 1 (del 2) Stefan Dinges Lund 25 2 Kapitel 1 Digitala audioeffekter Den här delen av laborationen handlar om olika digitala
Läs merCsound. Csound exempel
Csound Lång historia, föregångare (Music 4), tidigt 60-tal programstyrda oscillatorer som sammankopplas till instrument i en orkester -fil (.orc) en notfil ( score.sco) anger när och hur instrumenten skall
Läs merElektriska kretsar och fält - några exempel på tillämpningar
Elektriska kretsar och fält - några exempel på tillämpningar Professor Per Larsson-Edefors VLSI Research Group Chalmers tekniska högskola perla@chalmers.se Elektriska kretsar och fält, 110321, Per Larsson-Edefors
Läs merDigital signalbehandling fk Adaptiv filtrering
Institutionen för data- och elektroteknik 1999-11-16 Inledning Det finns många sammanhang då parametrarna inte är bekanta i förväg utan vårt måste anpassa sig till situationen. Några exempel bortfiltrering
Läs merFilformat och lagring
och lagring Text 2007-05-24 per.mattsson@miun.se Innehållet får ej kopieras eller återgivas 1 Det finns en uppsjö av filformat som är bärare av ljud. Olika filformat är vanliga i olika typer av användning
Läs merSkillnader vokaler - konsonanter. Konsonanters akustiska mönster. Vokaler. Konsonanter. Konsonantklasser. Sonoranter
Konsonanters akustiska mönster Ô Skillnader vokaler - konsonanter Ô Indelning konsonanter Ô Enskilda konsonantklassers typiska drag Ô Artikulationsställe och akustisk representation Skillnader vokaler
Läs merEXAMENSARBETE. Skillnader mellan elgitarrtoner vid olika tonhöjd av LAME MP3-kodning. Henrik Alakangas. Filosofie kandidatexamen Ljudteknik
EXAMENSARBETE Skillnader mellan elgitarrtoner vid olika tonhöjd av LAME MP3-kodning Henrik Alakangas Filosofie kandidatexamen Ljudteknik Luleå tekniska universitet Institutionen för konst, kommunikation
Läs merINT 3 F4. Bildkomprimering. Run Length Encoding. Medieteknik Del2. Komprimering, ljud och rörliga bilder. Olika algoritmer för bildkomprimering:
INT 3 F4 Medieteknik Del2 Komprimering, ljud och rörliga bilder DSV Peter Mozelius Bildkomprimering Olika algoritmer för bildkomprimering: Icke-förstörande komprimering RLE Run Length Encoding Huffman-kodning
Läs merLab 1 Analog modulation
2 Lab-PM för TSEI67 Telekommunikation Lab 1 Analog modulation Med Simulink kan man som sagt bygga upp ett kommunikationssystem som ett blockschema, och simulera det. Ni ska i denna laboration inledningsvis
Läs merLösningar till tentan i ETS052 Datorkommunikation 131022
Lösningar till tentan i ETS052 Datorkommunikation 131022 1. a. Det finns olika typer av störningar. De som finns beskrivna i boken är dämpning, distortion, och brus. Välj en av dessa och ge en kortfattad
Läs merGrundläggande signalbehandling
Beskrivning av en enkel signal Sinussignal (Alla andra typer av signaler och ljud kan skapas genom att sätta samman sinussignaler med olika frekvens, Amplitud och fasvridning) Periodtid T y t U Amplitud
Läs merLjudteknik 5p tch Hz from Scra
tch Hz from Scra Ljudteknik 5p Effekter Innehåll Dynamisk nivå justering Gate (Nivågrind) Kompressor, limiter Expander Tidsrelaterade justeringar Delay (Fördröjning) Reverb (Rumsklang) Flanger, chorus
Läs merFÖRELÄSNING 13: Analoga o p. 1 Digitala filter. Kausalitet. Stabilitet. Ex) på användning av analoga p. 2 filter = tidskontinuerliga filter
FÖRELÄSNING 3: Analoga o p. Digitala filter. Kausalitet. Stabilitet. Analoga filter Ideala filter Butterworthfilter (kursivt här, kommer inte på tentan, men ganska bra för förståelsen) Kausalitet t oh
Läs mer! Susanne Schötz! ! akustisk-fonetisk analys! ! grupparbete!! om vi hinner: introduktion till Praat (kort demo)!
Introduktion till akustisk analys (av tal)!! akustiska elementa!! akustisk analys!! grupparbete: akustisk analys!! om hinner: introduktion till Praat!! mina bilder finns att ladda ner här: http://person2.sol.lu.se/susanneschotz/teaching_files/intro_ak.pdf!
Läs merElektronisk ljudalstring. Synthesizers. Workstations, arbetsstationer & MIDI
Elektronisk ljudalstring & MIDI Synthesizers (Roland, Korg, ARP, Yamaha, Emu, Kawai, Alesis, Prophet, Moog, Ensoniq) Kan syntetisera/skapa olika (elektroniska) ljud Innehåller ofta olika digitala effekter
Läs merDigital behandling av tal. Litteratur till dagens lektion. Talproduktion. Akustisk Fonetik. Akustiska Elementa och Digital Signalbehandling
Digital behandling av tal Akustiska Elementa och Digital Signalbehandling Rebecca Jonson Talteknologikursen VT2007 Inom talteknologi vill vi producera och analysera tal vilket kräver kunskap om talproduktion
Läs merDigital Signalbehandling i Audio/Video
Digital Signalbehandling i Audio/Video Institutionen för Elektrovetenskap Laboration 1 (del 1) Martin Stridh Lund 2005 2 Kapitel 1 Musikkompression Denna laboration handlar om kompression av ljud och musik
Läs merKodning av ansiktstextur med oberoende komponenter
Kodning av ansiktstextur med oberoende komponenter Jörgen Ahlberg Report no. LiTH-ISY-R-2297 ISSN 1400-3902 Avdelning, Institution Division, department Datum Date Image Coding Group 2000-10-02 Department
Läs merElektronik Dataomvandlare
Elektronik Översikt Analoga och digitala signaler Dataomvandlare Pietro Andreani Institutionen för elektro- och informationsteknik Lunds universitet Nyquistteorem Kvantiseringsfel i analog-till-digital
Läs merPerformance QoS Köteori. Jens A Andersson (Maria Kihl)
Performance QoS Köteori Jens A Andersson (Maria Kihl) Internet Består av ett antal sammankopplade nät som utbyter data enligt egna trafikavtal. Alla delnät som utgör Internet har en gemensam nämnare: Alla
Läs merDator- och telekommunikation. Dator- och telekommunikation. Radionät. Fasta nät. Kapacitet. Tjänster. Radionät Protokoll Kapacitet Tjänster
Dator- och telekommunikation Höstterminen 2014 Lärare: Christian Nyberg Dator- och telekommunikation Protokoll Kapacitet Tjänster Historia Radiovågor, modulering och kodning Trådlösa LAN AdHoc-nät (Bluetooth,
Läs merTrådlös kommunikation En introduktion av Open Systems Engineering AB
Trådlös kommunikation En introduktion av Open Systems Engineering AB Trådlös Kommunikation Terminologi Trådlös teknologi ; för- och nackdelar Teletekniska lösningar (telefoni) WiFi lösningar Radio, företagsspecifika
Läs merKihl & Andersson: , 4.5 Stallings: , , (7.3)
Kihl & Andersson: 4.1-4.3, 4.5 Stallings: 6.1-6.5, 7.1-7.2, (7.3) (eller digital signal) Om en sändare bara skickar en bitström över länken skulle mottagaren ha väldigt svårt för att tolka datan. Det krävs
Läs merÄmnesområde Hörselvetenskap A Kurs Signalteori, 7,5 hp Kurskod: HÖ1007 Tentamenstillfälle
Institutionen för hälsovetenskap och medicin Kod: Ämnesområde Hörselvetenskap A Kurs Signalteori, 7,5 hp Kurskod: HÖ1007 Tentamenstillfälle Datum 2013-08-19 Tid 4 timmar Kursansvarig Susanne Köbler Tillåtna
Läs merA/D D/A omvandling. Lars Wallman. Lunds Universitet / LTH / Institutionen för Mätteknik och Industriell Elektroteknik
A/D D/A omvandling Lars Wallman Innehåll Repetition binära tal Operationsförstärkare Principer för A/D omvandling Parallellomvandlare (Flash) Integrerande (Integrating Dual Slope) Deltapulsmodulation (Delta
Läs merAnaloga och Digitala Signaler. Analogt och Digitalt. Analogt. Digitalt. Analogt få komponenter låg effektförbrukning
Analoga och Digitala Signaler Analogt och Digitalt Analogt 00000000000000000000000000000000000 t Digitalt Analogt kontra Digitalt Analogt å komponenter låg eektörbrukning verkliga signaler Digitalt Hög
Läs merHambley avsnitt
Föreläsning 0 Hambley avsnitt 6.6.8 Filter [6.2, 6.5 6.8] Vid kommunikation används tidsharmoniska signaler. Dessa har ett visst frekvensband centrerad kring en bärfrekvens. Som exempel kan en sändare
Läs merSammanfattning TSBB16
Sammanfattning TSBB16 Frekvensfunktion =H(omega) Kombinationen av amplitud och faskarakteristik är unik. H(ω) = D(ω) e^jψ(ω)=y(t)/x(t). Detta är frekvensfunktionen. H(ω)=utsignal/insignal D(ω) = H(ω).
Läs merProfilen Kommunikation för Y, Yi, D & IT. Profilansvarig: Erik G. Larsson Professor, ISY/Kommunikationssystem
Profilen Kommunikation för Y, Yi, D & IT Profilansvarig: Erik G. Larsson Professor, ISY/Kommunikationssystem www.commsys.isy.liu.se Kommunikation - vardagstillämpningar Mobilt bredband/telefoni - världens
Läs merModel View Controller. Objekt-orienterad programmering och design (DIT952) Niklas Broberg, 2016
Model View Controller Objekt-orienterad programmering och design (DIT952) Niklas Broberg, 2016 Model View Controller Model View Controller (MVC) är ett design pattern (architectural pattern) som är väldigt
Läs merNiklas Lindvall Artificiell intelligens II Ht
Taligenkänning Hidden Markov Model Niklas Lindvall nikli368@student.liu.se Artificiell intelligens II Ht 2011 2011-09-19 0 Innehåll Inledning... 2 Taligenkänning språk... 3 Taligenkänning... 4 Oberoende/Beroende...
Läs merFöreläsning 2. Transmissionslänk. Repetition: Internetprotokollens skikt. Mål
Föreläsning Mål Behandla utbredningsmedium Förstå störningar som kan påverka signalen Förstå hur man digitaliserar information Förse exempel av digitala dataformat Förstå varför källkodning är nyttigt
Läs merAnalogt och Digital. Viktor Öwall. Elektronik
Analogt och Digital Viktor Öwall Analoga och Digitala Signaler Analogt Digitalt 001100101010100000111110000100101010001011100010001000100 t Analogt kontra Digitalt Analogt få komponenter låg effektförbrukning
Läs merLäs anvisningarna noga, och följ dem!
LUNDS TEKNISKA HÖGSKOLA Institutionen för elektro- och informationsteknik EITA55 Kommunikationssystem 2018-10-29 14:00-19:00 version 2018-10-29 Anvisningar Svara kortfattat och tydligt på varje fråga.
Läs merHMM-baserad talsyntes An HMM-based Text-To-Speech System applied to Swedish
HMM-baserad talsyntes An HMM-based Text-To-Speech System applied to Swedish Anders Lundgren Handledare: Jonas Beskow Godkänd:... Examinator:... Rolf Carlson Examensarbete vid institutionen för Tal, Musik
Läs merExamination Kurslitteratur
Datorkommunikation ETS 302 Datorkommunikation Lärare: Christian Nyberg Föreläsningar: 10 st Övningar: 7 st Laborationer: 4 st Examination Kurslitteratur Betyg: godkänd eller underkänd För godkänd krävs:
Läs mer6. Blandade uppgifter
6. Blandade uppgifter 1. En digital TV-signal skall överföras på en analog kanal. TV-källan sänder bilder i form av en matris på 480x500 bildelement (pixels) med 32 olika intensitetsnivåer och med bildfrekvensen
Läs merHambley avsnitt
Föreläsning Hambley avsnitt 6.6.8 Filter [6.2, 6.5 6.8] Nästan all trådlös och trådbunden kommunikation är baserad på tidsharmoniska signaler. Signalerna utnyttjar ett frekvensband centrerad kring en bärfrekvens.
Läs merObserver Pattern och MVC. Objekt-orienterad programmering och design Alex Gerdes, 2016
Observer Pattern och MVC Objekt-orienterad programmering och design Alex Gerdes, 2016 Model View Controller Model View Controller (MVC) är ett design pattern (architectural pattern) som är väldigt vanligt
Läs merTNMK054 - LJUDTEKNIK 1 FILTER OCH VCF
TNMK054 - LJUDTEKNIK 1 FILTER OCH VCF NÅGRA FREKVENSER Bastrumma Kropp 60-80Hz, snärt 2,5kHz Virveltrumma Kropp 240Hz, krispighet 5kHz HiHat & cymbaler Gongljud 200Hz, briljans 7,5-12kHz Hängpuka Kropp
Läs merAudio & Videoteknik 2D2021, 2D1518
TENTAMEN Kurs: Kursnummer: Moment: Program: Åk: Examinator: Rättande lärare: Datum: Tid: Hjälpmedel: Audio & Videoteknik 2D2021, 2D1518 Tentamen Medieteknik 2 Trille Fellstenius Trille Fellstenius, Svante
Läs merDator- och telekommunikation (ETS601) Höstterminen 2016
Dator- och telekommunikation (ETS601) Höstterminen 2016 Dator- och telekommunikation Radionät Protokoll Kapacitet Tjänster Radionät Historia Radiovågor, modulering och kodning Trådlösa LAN AdHoc-nät (Bluetooth,
Läs merFå dina bilder att tala
Få dina bilder att tala Programmet CrazyTalk skapar tecknad film av dina porträttbilder. Programmet synkroniserar till och med läpparna på porträttet så att de passar med ljudspåret. Journalist Morten
Läs merElektronik 2018 EITA35
Elektronik 218 EITA35 Föreläsning 1 Filter Lågpassfilter Högpassfilter (Allpassfilter) Bodediagram Hambley 296-32 218-1-2 Föreläsning 1, Elektronik 218 1 Laboration 2 Förberedelseuppgifter! (Ingen anmälan
Läs merVideosignalen består av en sekvens av bilder, typiskt 24, 25 eller 30 bilder i sekunden.
Videokodning Begrepp och beteckningar Videosignalen består av en sekvens av bilder, typiskt 24, 25 eller 30 bilder i sekunden. Bilderna skickas antingen progressivt (hela bilden på en gång) eller med interlace
Läs mer