0.2. u u u u u 6. Eller anvand lemma 4.6 (\path length lemma"): W = 1:0 + 0:8 + 0:4 + 0:4 + 0:2 = 2:8.

Relevanta dokument
Algoritmer, datastrukturer och komplexitet

Föreläsning 3: Fler grafalgoritmer. Kortaste vägar mellan alla noder

Krafts olikhet. En momentant avkodbar kod (prefixkod) med kodordslängderna l 1,...,l N existerar om och endast om. 2 l i. 1 i=1

Källkodning. Egenskaper hos koder. Några exempel

Elektronik. Kapacitanser, induktanser, transienter. Översikt. Kapacitanser och induktanser. Plattekondensator

UNDERRUM. LINJÄRA KOMBINATIONER. BASER. LINJÄRT SPANN (eller linjärt hölje) Definition 1. (LINJÄR KOMBINATION) Exempel 1.

9. Diskreta fouriertransformen (DFT)

PROV 5 Skogars ekologi och användning

Lösningar till Matematisk analys IV,

Elektronik. Kapacitanser, induktanser, transienter. Översikt. Kapacitanser och induktanser. Plattekondensator

{ } = F(s). Efter lång tid blir hastigheten lika med mg. SVAR: Föremålets hastighet efter lång tid är mg. Modul 2. y 1

AMatematiska institutionen avd matematisk statistik

Om exponentialfunktioner och logaritmer

= (x, y) : x 2 +y 2 4, x 0, y (4r2 +1) 3 2

Anm 3: Var noga med att läsa och studera kurslitteraturen.

KURVOR OCH PÅ PARAMETERFORM KURVOR I R 3. P(t)=(x(t),y(t),z(t)) T=(x (t),y (t),z (t)) r(t)=(x(t),y(t),z(t))

DD1310/DD1314/DA3009 PROGRAMMERINGSTEKNIK

Egenvärden och egenvektorer

DIGITALTEKNIK. Laboration D171. Grindar och vippor

v p ORTOGONALT KOMPLEMENT TILL ETT UNDERRUM

Laborationstillfälle 4 Numerisk lösning av ODE

KOORDINATVEKTORER. BASBYTESMATRIS

Laboration D158. Sekvenskretsar. Namn: Datum: Kurs:

Differentialekvationssystem

Tentamen TEN1, HF1012, 16 aug Matematisk statistik Kurskod HF1012 Skrivtid: 8:15-12:15 Lärare och examinator : Armin Halilovic

Optimala koder. Övre gräns för optimala koder. Gränser. Övre gräns för optimala koder, forts.

Optimala koder. Det existerar förstås flera koder som har samma kodordsmedellängd. Enklaste fallet är att bara byta 0:or mot 1:or.

TENTAMENSSKRIVNING ENDIMENSIONELL ANALYS DELKURS B2/A , arctan x x 2 +1

Liten formelsamling Speciella funktioner. Faltning. Institutionen för matematik KTH För Kursen 5B1209/5B1215:2. Språngfunktionen (Heavisides funktion)

{ ( )} = X s. ( ) /< t. Stabilitet för energifria LTI-system. L{ } e(t) i 0 (t) E(s) I 0 (s) ( ) ( )e st 0. Kretsberäkningar, linjära RLMC-nät

AMatematiska institutionen avd matematisk statistik

Räta linjer i 3D-rummet: Låt L vara den räta linjen genom som är parallell med r

Dagens förelf. Arbetslöshetstalet. shetstalet och BNP. lag. Effekter av penningpolitik. Tre relationer:

Tentamensskrivning i Matematik IV, 5B1210.

MATEMATIKPROV, LÅNG LÄROKURS BESKRIVNING AV GODA SVAR

KOLPULVER PÅ GAMLA FINGERAVTRYCK FUNGERAR DET?

a) Beräkna arean av triangeln ABC då A= ( 3,2,2), B=(4,3,3) och C=( 5,4,3).

Detta ger oss att kanalkapaciteten för den ursprungliga kanalen är C = q 1 C 1 + q 2 C C =1 h ( ) 0.30.

KONTROLLSKRIVNING 3. Kurs: HF1012 Matematisk statistik Lärare: Armin Halilovic

FÖRDJUPNINGS-PM. Nr Räntekostnaders bidrag till KPI-inflationen. Av Marcus Widén

Följande uttryck används ofta i olika problem som leder till differentialekvationer: Formell beskrivning

8.4 De i kärnan ingående partiklarnas massa är

VA-TAXA. Taxa för Moravatten AB:s allmänna vatten- och avloppsanläggning

TENTAMEN Datum: 12 mars 07. Kurs: MATEMATIK OCH MATEMATISK STATISTIK 6H3000, 6L3000, 6A2111 TEN 2 (Matematisk statistik )

Säsongsrensning En komparativ studie av TRAMO/SEATS och X-12 ARIMA

I detta avsnitt ska vi titta på den enklaste formen av ekvationer de linjära.

Om exponentialfunktioner och logaritmer

Kurs: HF1012 Matematisk statistik Lärare: Armin Halilovic

1 av 12. (sys1) ELEMENTERA OPERATIONER Vi får göra följande elementära operationer med ekvationer utan att ändra systemets lösningsmängd:

FREDAGEN DEN 21 AUGUSTI 2015, KL Ansvarig lärare: Helene Lidestam, tfn Salarna besöks ca kl 15.30

LINJÄRA DIFFERENTIALEKVATIONER AV FÖRSTA ORDNINGEN

Diskussion om rörelse på banan (ändras hastigheten, behövs någon kraft för att upprätthålla hastigheten, spelar massan på skytteln någon roll?

H1009, Introduktionskurs i matematik Armin Halilovic. Definition. En cirkel är mängden av de punkter i planet vars avstånd till en given punkt är

Inbyggd radio-styrenhet 1-10 V Bruksanvisning

FAQ. frequently asked questions

Följande uttryck används ofta i olika problem som leder till differentialekvationer: Formell beskrivning

n Ekonomiska kommentarer

bättre säljprognoser med hjälp av matematiska prognosmodeller!

Lektion 4 Lagerstyrning (LS) Rev NM

Ekvationen (ekv1) kan bl. annat beskriva värmeledningen i en tunn stav där u( x, betecknar temperaturen i punkten x vid tiden t.

Tentamen på grundkursen EC1201: Makroteori med tillämpningar, 15 högskolepoäng, lördagen den 14 februari 2009 kl 9-14.

Institutionen för tillämpad mekanik, Chalmers tekniska högskola TENTAMEN I HÅLLFASTHETSLÄRA KF OCH F MHA AUGUSTI 2017

Jobbflöden i svensk industri

Arvika 2019_243 Stömne Bertil Persson Betongteknik AB DECIBEL - Huvudresultat Beräkning: VKV SWE99TM VKV typ Ljuddata

Följande uttryck används ofta i olika problem som leder till differentialekvationer: A=kB. A= k (för ett tal k)

Aritmetisk kodning. F (0) = 0 Exempel: A = {1, 2, 3} k=1. Källkodning fö 5 p.1/12

DVC. VARIZON Kvartsrunt låghastighetsdon med omställbar spridningsbild SNABBFAKTA

Demodulering av digitalt modulerade signaler

Lektion 3 Projektplanering (PP) Fast position Projektplanering. Uppgift PP1.1. Uppgift PP1.2. Uppgift PP2.3. Nivå 1. Nivå 2

Signal- och bildbehandling TSBB14

(sys1) Definition1. Mängden av alla lösningar till ett ekvationssystem kallas systemets lösningsmängd.

TSBK04 Datakompression. Övningsuppgifter

Laboration D182. ELEKTRONIK Digitalteknik. Sekvenskretsar. UMEÅ UNIVERSITET Tillämpad fysik och elektronik Digitalteknik Ola Ågren v 4.

TENTAMEN HF1006 och HF1008

Funktionen som inte är en funktion

Livförsäkringsmatematik II

Signal- och bildbehandling TSBB14

Föreläsning 7 Kap G71 Statistik B

DVC. VARIZON Kvartsrunt låghastighetsdon med omställbar spridningsbild SNABBFAKTA

DVC. VARIZON Låghastighetsdon med omställbar spridningsbild

Förslag till minskande av kommunernas uppgifter och förpliktelser, effektivisering av verksamheten och justering av avgiftsgrunderna

Föreläsning 19: Fria svängningar I

TSBK04 Datakompression Övningsuppgifter

Exempeltenta 3 SKRIV KLART OCH TYDLIGT! LYCKA TILL!

FÖRSVARSHÖGSKOLAN Beteckning :2060 Krigsvetenskapliga institutionen ChP T FÖRSVARSHÖGSKOLAN C-UPPSATS

Institutionen för tillämpad mekanik, Chalmers tekniska högskola TENTAMEN I HÅLLFASTHETSLÄRA F MHA APRIL 2016

Tentamen i Linjär algebra , 8 13.

ARBETSMARKNADS- OCH UTBILDNINGSSTATISTIK BAKGRUNDSFAKTA 2014:2. Mätfelsstudie i AKU

Rättningstiden är i normalfall 15 arbetsdagar, annars är det detta datum som gäller:

Kritiskt tänkande HTXF04:3 FTEB05. Deduktiv argumentation

3 Rörelse och krafter 1

Informationsteori. Repetition Kanalkapaciteten C. Repetition Källkodhastigheten R 2. Repetition Kanalkodhastigheten R 1. Huffmans algoritm: D-när kod

Kylvätska, tappa ur och fylla på

shetstalet och BNP Arbetslöshetstalet lag Blanchard kapitel 10 Penningmängd, inflation och sysselsättning Effekter av penningpolitik.

5B1134 MATEMATIK OCH MODELLER FEMTE FÖRELÄSNINGEN INTEGRALER

LOGARITMEKVATIONER. Typ 1. och. Typ2. Vi ska visa först hur man löser två ofta förekommande grundekvationer

Allmänt om korttidsplanering. Systemplanering Allmänt om korttidsplanering. Allmänt om vattenkraft. Det blir ett optimeringsproblem!

Rektangulärt don för frånluft eller överluft med rutmönstrat galler

Transkript:

Kapiel. (Jfr exempel..) a).. u.8. XXXXX... XXX X X u u. u... XXXXX b) (U) =(:; :; :; :; :; :) = log + log = + log :. W = i= f U (u i ) w i = :+ :+ :+ :+ :+ : =:8. Eller anvand lemma. (\pah lengh lemma"): W = : + :8 + : + : + : = :8. c) Prex ill kodord: ". (De movarar alla inre noder; " ar orde av langd vilke movarar roen.) (X )=h(:) :79. (X j X =)=h( :)=h( )=. :8 (X j X X = ) = h( )=.! min = h(:) :79 och max =. (X j X X = ) = h( )=. (X j X X X = ) = h( )=. d) (U ) max W (U ) min : : :8 :9.. De exierar en binar prexfri kod om och enda om Kraf olikhe (a.) uppfyll (D = ). De nn manga a a konruera en adan kod. Vi ger den konrukion om foljer ur algorimen pa idan 78. (Movarande rad ar laa a konruera.) a) + + + + = : exierar: ex fg. b) + + + + + + + = : exierar: exfg. c) + + + + + + + = > : exierar ine. d) + + + + + + + = : exierar: exfg.. a) De nn manga a a konruera en adan kod (jfr ovning.). En mojlig konrukion ar: u u u u u u u Medelvarde f U (u) : : : : : :7 I(u) : : :77 : : :889 (U) =: w W =:9 x u u

b)..7. u XXXXX.. XXX u X X.7 u... u XXXXX XXXXX.. u XXXXX. XXXXX. u (U) =(:; :; :; :; :; :7) log + log + log + = = log + log + 7 log 7 log log log :. W =:+:7 + : + : + :+: + : = :9 (med \pah lengh lemma"). Prex ill kodord: ". (X )=h(:) :88. (X j X =)=h( 7 7 ) :9. (X j X =)=. (X j X X = ) = h( ) :99.! min =och max =. (X j X X =)=. (X j X X X = ) = h( ) :98. (X j X X X X = ) =. (U ) max W (U ) min : : :9. c) Inga kodord borjar med ; vi kan ex aa x = x = och x = : W =:+:7 + : + : + :=:8; min :88 a (U ) min :77.. a) W = : + : + : + : + :+ :=:9. b) (X )=h( ) :8. (X j X =)=h( ) :97. (X j X =)=h( ) :87.! min :8 och max :98. (X j X X = ) = h( ) :9. (X j X X X = ) = h( ) :98. 7 c) Vi har D =(koden ar binar). (Jfr ocka ovning..) W = (U) () () i= i= f U (u i )w i = i= f U (u i ) log f U (u i ) f U (u i )[w i + log f U (u i )] = (= 8i : w i = log f U (u i ) () 8i : f U (u i )= w i : ar ger de: f U (u )=f U (u )=f U (u )= f U(u )= 8 och f U(u )=f U (u )= och W = (U) = 9 8.

. (U) W log D = = = [ i= i= i= i= f U (u i )[ log f U (u i ) w i log D] f U (u i ) log Dw i f U (u i ) f U (u i )[ Dw i ] log e f U (u i ) D w i i= [ ] log e =; f U (u i )] log e dar den fora olikheen ar I-olikheen och den ia ar Kraf olikhe. Likhe inraar om kodrade ar komple (vilke ger likhe i Kraf) och omf U (u i )=D w i for varje kallymbol u i.. Beraka for en mer allman iuaion: La f vara en funkion denierad for alla noder och la g vara funkionen g(n) =Ef(n) f(n) denierad for alla inre noder dar Ef(n) ar medelvarde av f over noden n: barn. Sa: Medelvarde av f over lunoderna ar lika med umman av g over de inre noderna vikade med nodannolikheerna. Om f(n) ar langden fran roen ill nod n a blir g =och aen ar \Pah lengh lemma". Om f(n) ar log P (n) dar P (n)ar nodannolikheen ho na ar g lika med forgreningenropin och dea ar aen vi mae via. Bevi: (indukionbevi over anale inre noder) La fu ;:::;u k g vara lunoderna och la p i beeckna lunoden u i : annolikhe. Vi har i= p i =och i= p i f(u i ) = medelvarde av f over lunoderna.. Om de bara nn en inre nod v (roen) a ar g(v )=Ef(v ) lika med medelvarde av f over lunoderna.. Om de nn + inre noder v ;v ;:::;v med annolikheerna q ;:::;q dar v : barn u m+ ;:::;u k alla ar lunoder a ar i= p i f(u i ) = = = = mx i= mx i= mx i= X j= p i f(u i )+ p i f(u i )+( i=m+ i=m+ p i f(u i ) p i f(u i )+q [f(v )+g(v )] q j g(v j )+q g(v ); dar den ia likheen foljer ur indukionhypoeen. p i ) Ef(v ) (eferom Ef(v )= i=m+ i=m+ p i f(u i ) p i ) 7

Man kan ocka via ovning. med de okaika variabler om deniera pa idorna 7{7: Enropin ho lunoderna = (X ) = (X )+(X j X )+(X j X X )++ (X n j X :::X n) = = n X i= n X i= (X i+ j X :::X i) X x :::x i P i f X :::X i (x :::x i ) (X i+ j X :::X i = x :::x i ) = umman av forgreningenropierna vikade med nodannolikheerna. (Vi har P = f"g om movarar roen och f(") =.).7 a) (U) =(U ;:::;U k )=(U )+(U j U )++ (U k j U :::U k ) = (U )++(U k )=k(u) eferom U ;:::;U k ar oberoende och likfordelade. b) Reulae (U) log D W k < (U) log D + k foljer direk av a.7 ((U) log D W<(U) log D + ). c) Om vi valjer k illracklig or a kommer medelkodordlangden per kallymbol godycklig nara den undre granen (U ). log D Vi har alla e \konrukiv" bevi for Shannon kallkodninga (a.) dar vi har D =..8 a) De nn fyra icke-ekvivalena opimala prexfria koder! va av dem ar ekvivalena med en umankod de andra ine. \Ekvivalen" beyder: amma rad och amma nodannolikheer men evenuell med andra beeckningar \" och \" pa grenarna. (Konruera jalv de va andra koderna!). XXXXX. XXXXX... XXXXX. XXXXX umanrad. u u u u u u u u 7 f U (u) : : : : : : : x y u. u. u.. u u. u. u 7.. XXXXX. icke-umanrad.. u u... XXXXX u u. u... XXXXX. X X XXX u u 7 8

b) (U) =(:; :; :; :; :; :; :) = log + log + log = + log log :. W =:+:+:+:+:+: =:+:+:+:+:+: =:7. Prex ill kodord for kod fx i g: ". (X )=h(:) :97. (X j X =)=h( )=. (X j X =)=h( )=.! min :98 och max =: (X j X X = ) = h( ) :98. (X j X X = ) = h( )=. : W :88. (X j X X = ) = h( )=. Prex ill kodord for kod fy i g: ". (Y )=h( )=. (Y j Y =)=h( ) :97. (Y j Y =)=h( ) :97.! min :98 och max =: (Y j Y Y = ) = h( )=. (Y j Y Y = ) = h( ) :98. : W :88. (Y j Y Y Y = ) = h( )=..9 Koden ar opimal om och enda om W ar lika med umankoden medelkodordlangd. E mojlig umanrad ar:.. u. XX. X XX. u XX X XX. u.. u. u XXXXX.. XXXXX W =:+: +:+: +: =: vilke ar mindre an.8: koden om ge i ovning. ar ine opimal.. a) k =a vimae borja med a forena = R D (k )+=R () + = lunoder. W = :8. (De nn va icke-ekvivalena umankoder!) u.. u. u. u. u. u.. XX X XX. u u u u u u u u f U (u) : : : : : : x 9

b) k =7a vimae borja med a forena = R D (k )+=R () + = lunoder. W = :7. (ar nn de bara e opimal kodrad.).. u. XXXXX. XXXXX u u u u u u u u 7 f U (u) : : : : : : : x... u u u. u. u. u 7. (U) =( ; ; )= log :. En binar umankod har W =: vilke ar % orre an (U). Ovning.7 lar o a de ar eekivare a koda kallymboler a gangen! m () m () m m m m m m m m m m m m m m m m m m f UU (m () m () ) 9= 9= = 9= 9= = = = = x m m 7 XXXXX m m m m m m XXX X X m m 9 m m XXXXX 7 m m XXXXX XXXXX m m m m Medelkodordlangden for va kallymboler ar W = a medelkodordlangden for en kallymbol ar i medel :7 vilke bara ar.% mer an enropin.. a) Koden ar opimal a vikan anaga a de bara nn va olika kodordlangder ` och ` : om de nn e kodord x avlangd `ochvakodord yoch yav maximal langd ` a andra dem ill x xoch y alla avlangd `. Denna nyakod har en medelkodordlangd W om ar mindre eferom alla kallymboler har amma annolikhe. Eferom ` ` blir ` =7: kodordlangderna ar och 7.

b) La N vara anale kodord av langd och N 7 = N anale kodord av langd 7. En binar opimal kod uppfyller Kraf olikhe med likhe (eferom e binar opimal rad ar komple e lemma.8) a N + N 7 7 ==) N + N 7 = 8 =) N + ( N ) = 8 =) N =och N 7 = 8. c) Symbolerna ar lika annolika a W = +8 7 = + 8 (U) = log :7.. a) Fyll i f M (m i )=ab i i idenieerna f M (m i )=f M (m i+ )+f M (m i+ )och ab i = ab i+ + ab i+ ) b + b =) b = p och X =a b i p = a ) a = b =. b i= De beyder a f M (m i )= p p! i :8 (:8) i. X b) (M) = f M (m i ) log f M (m i ) i= = a = a X i= X i= = a log a = a log a b i log(ab i ) b i [log a + i log b] X i= = log a log b b a b i a log b X i= ib i b a log b b ( b) :78 medan X i= f M (m i )=: = h(a) :: a c) umankoden ar f; ; ; ; ;:::g. Prexen ar f"; ; ; ;:::g med annolikheerna f;b;b ;b ;:::g. Sa n =+b + b + b + = = = +p :8. b a. Kallan alfabe ar ernar a kodrade mae ocka vara ernar: L =. Koden ar binar dv D =. Enlig unall algorim pa idan 9 har vi q = b Dn L c = b 8 c = och vi har L M = L + q (L )=7kodord: vi mae uvidga roen och darefer va ganger den me annolika lunoden. (De nn va icke-ekvivalena unallkoder!). A. B. A. B. C. A B. C. C.

och vi har koden AAA! AAB! AAC! AB! AC! B! C!. Medelanale kodymboler per kallymbol ar n K = +:+: = :7 = 7 :7.. a) Jfr med den undre granen (U ) log D =:..7. XX X XXX.9.7 XXXXXX..7.7. XXXX. X X.9 XXXXXX....7 (U) =h(:) :88. W = :7 (: + :7 + :9 + : + : + : + :9) = :987 vilke ar.% mer an enropin. b).87..9. XXXXX XX X.7 X.9 XXX.7 XXXXXX.7. XXXXXX.7... XXXXXX XXXXXX.9 Medelanale kodymboler per kallymbol ar K = +:7+:+: + :9 + : + : = :98 vilke ar.7% mer :8 an enropin.. Overgangmarien ar = w =w () w( I) = () 8 >< >: 7 och I = 7. w + w = w w = w w = ;

och vifar w = w =w vilke illamman med w + w + w = ger w = w = och w =. Enropin ar (U) = X i= w i (S i ) dar (S )=(S )=h( ) och (S )=h( )=. Alla ar (U) = h( )+ =9 log :89..7 a) Enropin ar (U) = X i= b) Overgangmarien ar = w i (S i ) dar (S i )=h( )=a (U) =. w =w () w( I) = () 8 >< >: 7 och I = 7. w + w = w w = w w = och vifar w = w = w = eferom w + w + w =. En minnefri ernar kalla med fordelningen ( ; ; ) har enropin = ( ; ; ) = log. Enropin ho en kalla med minne kan aldrig vara orre an enropin ho movarande minnefria kalla! '$ /.8 Kallan illandgraf ar '$ / - '$ / '$? / = w =w () w =w =w =9w =) w = 9 7 w = w = 7 och w = = w ( )+w ( )+w ( )+w ( ) = 9 h( )+ h( )+ h( )+ h( )= + h( )= log :8. 7 7 7 7 7 7 7 = (w + w ;w + w )=h( ) :87. 7.9 Den binara kallan U blockindela i block avlangd. Den nya kvaernara kallan X har enropin (X) =f X (A) log f X (A) f X (B) log f X (B) f X (C) log f X (C) f X (D) log f X (D) = f UU () log f UU ()f UU () log f UU ()f UU () log f UU ()f UU () log f UU () = f U () log f U () f U ()f U ()(log f U () + log f U ()) f U () log f U () = f U ()(f U () + f U ()) log f U () f U ()(f U () + f U ()) log f U () =(U) =: den nya kallan enropi blir biar per kvaernar kallymbol (jfr ovning.7). 7 7.

( foljer eferom den binara kallan ar minnefri.). a) Den binara umankoden ge av rade / x XXXXX / XXX X X / x / x Vi er direk a P (U + =ju =)=P (U + =ju =)=. Alla ar den nya binara kallan U minnefri. Alernaiv er vi a den binara kallan U ar en Markovkalla med (i Mealy-form) va illand (borjan av e kodord eller ine): '$ Borjan '$ - Mien = " = = = = Ibada illanden ar P (U + =)= och P (U + =)= a U ar minnefri. b) (U) =w h( )+w h( )=h( ) :8. Den ernara kallan X har enropin ( ; ; )= log :. c) W =+ = binara kodymboler per ernar kallymbol (fran X). Obervera a W (U) =(X): h( )= ( log ) = log = (X).. Den binara umankoden ge av rade '$ Borjan / x '$ - XXXXX / XXXXX /8 x /8 x Den binara kalla om bilda av umankoden ar en Markovkalla med va illand: = " = = = = Den nya binara kallan U ar ine minnefri. Mien Den aionara fordelningen ge av w = och w = a (U) = w h( )+w h( ) = h( )+ = 9 log :89. Vi far amma reula fran enropin ho X kombinerad med umankoden medelkodordlangd W: (U) = (X) = ( ; 8 ; 8 ) = h( W + )+ = 9 log = 9 log :89. = = X. a) (X) = f X (x i ) log f X (x i ) = = i= X i= X i= p i ( p) log[p i ( p)] ip i ( p) log p X i= p i ( p) log( p) = p ( p) log p ( p) log( p) ( p) p = h(p) : (Jfr ovning..) p # #

b) W = X i= '$ / B = f X (x i )w i = X i= '$ = - / A = p i ( p)i =( p) ( p) = p. '$ / D. agbanan ar en unilar Markovkalla med illandgraf = - och aionarfordelningen blir (w ;w ;w ;w )=( ; ; ; ). a) (U) = + h( )+ h( )+ =. '$ - / C = b) Om vi eraer ymbolerna A och D med en ny ymbol AD a forandra illandgrafen ine och den forblir unilar a (U) =. c) Om vi eraer ymbolerna A och B med ymbolen AB och C och D med CD a forandra illandgrafen ine och den forblir unilar a (U) =. Anmarkning: om vi borjar foljden med ymbolen A eller C a kan vi bara ha ymboler A och C pa de udda plaerna i foljden och B och D bara pa dejamna plaerna. Enropin forandra alla ine forua a killnaden mellan ymbolerna A och C och mellan B och D ine forvinner.. Avkodningabellen blir prex ux p q r buer u () 8 () () () () Avkodad ekven:.. Kodningabellen for Willem' univerella kallkodningalgorim (L = ): r p q prex ux langd 7 8 9 7 u 7 7

. De nn ealgorimer eferom inga par av kolumner i eabellen ar lika. u u u u u f U (u) : : : : a) Alla kolumner kiljer ig a for aminone va e a inge e ar vaenlig. Ingen rad har bara :or eller :or a inge e ar meninglo. Inga e ar ekvivalena eferom inga par av rader ar lika eller varandra komplemen. b) En fora ordningen opimal ealgorim borjar med : :a e (X ) h(:) h(:) h(:) h(:) h(:) De andra ee kan vara eller eller aven eller i falle X =: :a e (X j X =) (X j X =) h(:=:) h(:=:) h(:=:) h(:=:) h(:=:) h(:=:) Sar Flodechema blir alla ex: U (u ;u ) (u ;u ) u u u u Medelanale e ar W = : + : + : = :..... u. u. u. u

c) umanrade for U ar.. u. Sar. u.. u. u W uman =:+:+: =:9 a den fora ordningen opimala ealgorimen ar ine den baa om vi kan nna en ealgorim om movarar umanrade: u U (u ;u ;u ) (u ;u ) u u u Denna ealgorim ar opimal eferom de medelanal e ar lika med umankoden medelkodordlangd for U: W = :9..7 Inga par av kolumner i eabellen ar lika a U kan ideniera. u u u u u u u f U (u) : : : : : :7 a) ( =)Enfora ordningen opimal ealgorim borjar med : :a e (X ) h(:) h(:) h(:8) h(:) De andra ee kanexvara i falle X =och i falle X =: :a e (X j X =) (X j X =) h(:=:) h(:=:7) h(:=:7) h(:=:) h(:=:7) 7

De redje ee blir edan i falle X X = och i falle X X = : :e e (X j X X = ) (X j X X = ) h(:=:) h(:=:) Sar Flodechema blir alla U.. (u ;u ) (u ;u ;u ;u )..7 XXX (u ;u ) (u ;u ) X u u. XXX X u u u u. u. u. u. u.7 u. u Medelanale e ar W = : + : + :7 + : + : = :7. b) ( = ) Vifar en opimal ealgorim om vi kan nna nagon om \movarar" umanrade for U:.. XXXXX u.. u.7 u.7 XX X XX.. XX X u XX XXXXX.. u. u W uman =:+:+:7+: + : = : och movarande ealgorim (bore fran grenarna beeckningar) ar Sar U (u ;u ) (u ;u ;u ;u ) (u ;u ;u ) u u (u ;u ) u u u u 8

Denna ealgorim ar opimal eferom de medelanal e ar lika med umankoden medelkodordlangd for U: W = :..8 a) ar de enda e om kiljer u fran u och u fran u a ar vaenlig. een och 8 ar meningloa (och naurligvi ekvivalena). een och 7 ar ekvivalena: dera rader ar komplemenara. een och ar ekvivalena: dera rader ar komplemenara. Vi behover alla aldrig anvanda een 8 och. Sa egenligen ar (eller ) och 7 (eller )ocka vaenliga: de ar de enda e om kiljer u fran u repekive u fran u. De ar mojlig a nna ealgorimer eferom inga par av kolumner i eabellen ar lika. u u u u u u u f U (u) : : : : : : 7 b) (U) =(:; :; :; :; :; :) = : : log + :7 log :8! medelanale e uppfyller W (U) :8 (eferom D = ). Sar c) De nn manga mojligheer. ex:. u. U.. XX X X (u ;u ;u ) (u ;u ;u ). u (u ;u ) (u ;u ). u u 7. 7 XXX X u u u u Medelanale e ar W = : + : + : + : + : = :. (X )=h(:) = h( 9 ) :998. (X j X =)=h(:=:) = h( ) :99.! max :99. (X j X =)=h(:=:) = h( 9 ) :99. (X j X X = ) = h(:=:) = h( ) :79.! min :79. (X j X X = ) = h(:=:) = h( ) :8.! : W :.. u. u. u. u d) Den ealgorim om vi valde i c) ar redan (av en handele) en fora ordningen opimal algorim. (Konrollera dea!) 9

e) umankoden medelkodordlangd W uman ar en bare undre gran for medelanale e W :. X. X u XXX. u.. u.... X X XXX. u XXXXX. XXXXX W uman =:+:+:+:+: = : a medelanale e uppfyller W :. Denna gran kan uppna enda om de nn en ealgorim om kraver va e for a beamma u u och u re e for a beamma u och fyra e for a beamma u och u. De fora ee mae darfor kilja va av u u u fran de andra fyra ymbolerna. De enda ee om gor dea ar avimae i alla fall borja med om kiljer fu ;u g fran fu ;u ;u ;u g. Sedan kan u och u kilja a med ex e.numae u kilja fran fu ;u ;u g men de nn inge e om gor de! Sa granen W : kan ine uppna. u u

f) For a via a W =: ar de mina medelanal e om ar mojlig mae vi i princip analyera alla mojliga ealgorimer. Naurligvi racker de a bara anvanda och 7. Om vi borjar ealgorimen med a ar W : + :9 +( : :9 ; : :9 ; : :9 ; : :9 ; : :9 ) : : u behover e och enropin ho (u ;:::;u )ar en undre gran for medelanale e efer nar X =. Vikan alla ine fa W<: genom a borja med. Om vi borjar med a ar W : = : +W uman ( : : ; : : ; : : ) +: + :8 +: + : =: : : : de hjalper ine heller om vi borjar med for a fa W<:. Om vi borjar med 7 a ar W : +W uman ( : : ; : : ; : : ) +: = : + : : +: + : : =: : +W uman ( : : ; : : ; : : ) +W uman ( : : ; : : ; : : ) a borja med 7 ger ine heller W<:. La o allaborja ealgorimen med. fu ;u g kan edan kilja a med ex.anag a vi edan kiljer pa fu ;u ;u ;u gpa e a om ger W<: dv : > W = (:+:)+: ( + W fu ;u ;u ;u g) dv medelanale e om anvand for a ideniera fu ;u ;u ;u g aierar W fu ;u ;u ;u g <. Om vi borjar idenieringen av fu ;u ;u ;u g med a ar W fu ;u ;u ;u g : : + : : +W uman ( : : ; : : ; : : ) =+ : : : : :: Om vi borjar med a ar W fu ;u ;u ;u g = ( : + : : )+( + :)=. : : : : Om vi borjar med 7 a ar W fu ;u ;u ;u g = ( : + : : )+( + : )=. : : : : Sluaen ar alla a algorimen i d) med W = : ar opimal med de illgangliga een.

.9 a) En fora ordningen opimal ealgorim borjar med och har edan ibada fallen: :a e (X ) h(:) h(:) h(:) h(:8) h(:) Sar Som redje e kan valja i alla re fallen. B (b ;b ;b ;b 7 ) (b ;b ;b ) (b ;b ) (b ;b 7 ) b b b b 7 (b ;b ) b :a e (X j X =) (X j X =) h(:8=:) h(:=:) h(:8=:) h(:9=:) h(:9=:) h(:=:) h(:=:) b. b.9. XXX X. X X X X.9 b.. XXX X Medelanale e ar W = : + : + : + :9 + : + : = :7. b) umanrade for B ar. XXXXX.9 b. b. b. b. b. b. b7.9 b. b... XXX X X. b.9. b. XXXXX. b XXXXX. b7 W uman =: + :+: + : + : + :=:. En opimal ealgorim kraver alla va e for idenieringen av b och b re e for b b och b och fyra e for b och b 7.

De nn manga icke-ekvivalena opimala rad ex.. XXXXX.. XXXXX. b.9 b.. XXXXX. b.9 b. b. b. b7 For ovanaende rad kan vi ex unyja foljande e (dar och ar om i uppgifen; \" kan valja godycklig) b b b b b b b b 7 f B (b) : : : :9 :9 : : 7 och bygga foljande ealgorim: Sar B (b ;b ;b ;b 7 ) (b ;b ;b ) (b ;b ;b 7 ) b 7 (b ;b 7 ) b b b 7 b (b ;b ) b b Medelanale e ar W = W uman =:. Vi behover aminone fyra olika e eferom de maximala raddjupe ar. Deuom behover vi re e om ine kiljer b och b 7 a. (Dea galler for alla mojliga opimala ealgorimer.) Eferom de bara ar av de i uppgifen givna een om ine kiljer b och b 7 a mae vi konruera aminone va nya e och 7.

. De nn 7 mojliga ufall u ;:::;u 7 dar u i beyder \myn i ar for ung" och enropin blir (U) = log 7 = log. Vilka e kan anvanda? En balanvag har re mojliga ufall: den kan vara i jamvik den vanra vagkalen kan junka eller den hogra vagkalen kan junka. Vara e blir alla ernara: D =. De ar meninglo a lagga olika anal myn i vagkalarna a de enda mojliga een ar alla mojliga kolumnpermuaioner av een ;:::; givna i den foljande abellen: u u u u u u u u 7 u 8 u 9 u u u u u u u u 7 u 8 u 9 u u u u u u u u 7 7 8 9 dar e m beyder \m myn lagg i varje vagkal" ufall \" beyder \i jamvik" \" beyder \den vanra vagkalen ar yngre" och \" beyder \den hogra vagkalen ar yngre". umanrade for U har alla de 7 lunoderna pa djupe a W uman =och min = max = log. Alla e i en opimal ealgorim mae alla ha den maximala enropin log dv de mae kilja re lika annolika ufall a (e foljda..): (u ;u ;u) (u7; u8; u9) u u u (u; :::;u9) u 7 u 9 u u u 8 u u u Sar U 9 (u; u; u) (u; u7; u8) u u u u u u 7 (u9; :::;u7) u 8 (u9; u; u) (u ;u; u7) u 9 u u u u W = vilke ar opimal eferom de ar lika med den nedre granen: W = (U ) log D. u u u u 7

. Likom i ovning. nn de 7 mojliga ufall u { ;:::;u ;:::;u dar u beyder \alla myn ar lika" u i beyder \myn i ar for ung" och u {i beyder \myn i ar for la"; (U) = log 7 = log a W (U ) log D =. Vi kan anvanda foljande e (och dera permuaioner): u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u ()() (;)(;) (;;)(;;) (;:::;)(;:::;8) (;:::;)(;:::;) (;:::;)(7;:::;) darex (;)(;) beyder \myn och lagg i den vanra vagkalen och myn och i den hogra" och dar ufall \" beyder \i jamvik" \" beyder \den vanra vagkalen ar yngre" och \" beyder \den hogra vagkalen ar yngre". Kan vi uppna granen W =? Da krav a ex de fora ee kiljer re lika annolika ufall a dv varje har annolikheen. Men annolikheen a e k ger ufalle \" ar { k (e 7 abellen) vilke aldrig ar lika med. De nn darfor ingen ealgorim med W =. Foljande algorim ar fora ordningen opimal och W =+ = 8 :: 7 9 (u ;u; u{) (u; u ;u{) u u { u Sar U (u; u; u; u; u{ ;u{ ;u{7 ;u{8) (u{; u{; u{ ;u{ ;u ;u; u7; u8) u { u u {7 u {8 u u { u dar vi anvan foljande e: (u9 ;u ;u{) (u{9; u{; u) u 9 u u { u u u { u {9 u { u (u{ ;u{ ;u) (u{; u{; u) u { u { u u 8 u 7 u u { u { u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u = (:::)(:::8) = (;;)(;;) = (;;8)(;;7) = (9;)(;) = (;)(9;) = ()() Vi kan via (pa amma a om i ovning.8 f) a den givna fora ordningen opimala algorimen ar opimal.

. Vi har ungefar amma iuaion om i ovning. men vi kan nu ocka anvanda een S ;S ;:::;S 7 dar S k har k myn ibada vagkalarna med andardmyne i den hogra vagkalen: S () u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u 7 S (;)() S (;;)(;) S (;;;)(;;7) S (;:::;)(;:::;9) S (;:::;)(7;:::;) S (;:::;7)(8;:::;) Nu ar de mojlig a uppna granen W = (med bara re olika e): for S = S (;;;;)(;7;8;9) edan S = S (;;7;;)(;8;9;) och ill i S = S (;;9;;)(;;7;) oave foregaende ufall: S (u ;u{8 ;u{9) (u; u{; u{7) S u u {8 u {9 S Sar U S (u; u; u; u; u ;u{ ;u{7 ;u{8; u{9) (u{ ;u{ ;u{ ;u{; u{; u; u7; u8; u9) u u u S u {7 u { u S (u; u; u{) (u{; u{; u) S u u { u S u u u { S u { u u { S (u{; u; u7) (u{ ;u8; u9) S S u { u 7 u u { u { u { S u 9 u 8 u { u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u S S S. a) Om n ar e jamn al n = m dv den redan orerade lian B ;:::;B m har ale B m preci i mien ufor for ee \A m < B m?". Om reulae ar \Ja" (vilke inraar med annolikheen ) a reducera probleme ill orering av en lia med m al (B ;:::;B m ;A m ). Samma galler om reulae ar \Nej" (orering av B m+ ;:::;B m ;A m ). Alla ar W m =+ W m + W m =+W m : Om n ar udda n = m + dv lian B ;:::;B m ine har e al preci i mien ufor for ee \A m+ <B m?". (B m ar a nara mien om mojlig). Om reulae m ar \Ja" (vilke inraar med annolikheen ) a reducera probleme ill orering m+ av en lia med m al (B ;:::;B m ;A m+ ). Om reulae ar \Nej" (vilke inraar

med annolikheen m+ ) a reducera probleme ill orering av en lia med m + al m+ (B m+ ;:::;B m ;A m+ ). Alla ar W m+ =+ b) W (n = ) = W + + W =++ ++ Den undre granen ar log(!) :. Den ovre granen ar log(!) 8:87. h(=) m m + W m + m + m + W m+: + += 8 :98 (e abell). c) W (n = ) = W + + W 99: (e abell). Undre granen : log(!) 9:99. Ovre granen : log(!) :. h(=) d) Benamn de maximala W n med (W n ) max och de maximala W (n) med (W (n)) max. De ar klar a (W n+ ) max (W n ) max : illfoga e al A n+ ill den lia A ;:::;A n om ger (W n ) max. W k = k eferom enropin ho varje e ar. Salede ar (W k) max = k. (W n ) max log n ochmae vara e helal a (W n ) max dlog ne vilke ger a (W n ) max >k nar n> k. Sammanfaningvi er vi a log n (W n ) max (W k) max = dlog ne nar k <n k a (W n ) max = dlog ne: (W (n)) max = nx i= (W i ) max = nx i= dlog ie a (W (n = )) max =++ + +8 = 9; och (W (n = )) max =(W (n = )) max + + = : n W n W(n) (W(n)) max n W n W(n) (W(n)) max n W n W(n) (W(n)) max : : :897 7:7 8 : 8:8 :7 :7 :7 8:797 89 :777778 88:7 7 : :7 :7 8:797 9 :897 9:779 : 7:7 8 :798 89:8 99 7 :8979 :8 9 :7 9:7 7 :888 9:8 8 :7 :78 7 :879 :97 8 :879 99:988 9 9 :9877 :79 8 : :97 7 9 :897 :998 :7 7:99 7 9 : 8:898 :9 9:8 9 :798 :87 : :98 :9779 :98 :798 8:8878 9 : :78 9 : 9:98 9 :798 :97 :7 9:89 : : :888 : :798 :9 7 :77 9:7 :8 :89 7 :879 7:9 :78 :898 7 :879 :99 7 :9 :98 : 9:879 7 :8779 7:7889 79 : :98 9 7 :77 :88 9 8 :897 :79 8 7 :77 9:7 8 :789 :978 9 :9 9:99 9 8 : :99 9 9 :897 :89 7 :9 7:799 97 9 :789 7:8 : :9 77 :9897 8:7889 : :8 9 :9 :97 8 :9779 87:8 9 :79 :78 7 :79 7:8 89 :987 9:88 : 7:8 79 :79 77:97889 9 : 99:88 7