0.2. u u u u u 6. Eller anvand lemma 4.6 (\path length lemma"): W = 1:0 + 0:8 + 0:4 + 0:4 + 0:2 = 2:8.

Kapiel. (Jfr exempel..) a).. u.8. XXXXX... XXX X X u u. u... XXXXX b) (U) =(:; :; :; :; :; :) = log + log = + log :. W = i= f U (u i ) w i = :+ :+ :+ :+ :+ : =:8. Eller anvand lemma. (\pah lengh lemma"): W = : + :8 + : + : + : = :8. c) Prex ill kodord: ". (De movarar alla inre noder; " ar orde av langd vilke movarar roen.) (X )=h(:) :79. (X j X =)=h( :)=h( )=. :8 (X j X X = ) = h( )=.! min = h(:) :79 och max =. (X j X X = ) = h( )=. (X j X X X = ) = h( )=. d) (U ) max W (U ) min : : :8 :9.. De exierar en binar prexfri kod om och enda om Kraf olikhe (a.) uppfyll (D = ). De nn manga a a konruera en adan kod. Vi ger den konrukion om foljer ur algorimen pa idan 78. (Movarande rad ar laa a konruera.) a) + + + + = : exierar: ex fg. b) + + + + + + + = : exierar: exfg. c) + + + + + + + = > : exierar ine. d) + + + + + + + = : exierar: exfg.. a) De nn manga a a konruera en adan kod (jfr ovning.). En mojlig konrukion ar: u u u u u u u Medelvarde f U (u) : : : : : :7 I(u) : : :77 : : :889 (U) =: w W =:9 x u u

b)..7. u XXXXX.. XXX u X X.7 u... u XXXXX XXXXX.. u XXXXX. XXXXX. u (U) =(:; :; :; :; :; :7) log + log + log + = = log + log + 7 log 7 log log log :. W =:+:7 + : + : + :+: + : = :9 (med \pah lengh lemma"). Prex ill kodord: ". (X )=h(:) :88. (X j X =)=h( 7 7 ) :9. (X j X =)=. (X j X X = ) = h( ) :99.! min =och max =. (X j X X =)=. (X j X X X = ) = h( ) :98. (X j X X X X = ) =. (U ) max W (U ) min : : :9. c) Inga kodord borjar med ; vi kan ex aa x = x = och x = : W =:+:7 + : + : + :=:8; min :88 a (U ) min :77.. a) W = : + : + : + : + :+ :=:9. b) (X )=h( ) :8. (X j X =)=h( ) :97. (X j X =)=h( ) :87.! min :8 och max :98. (X j X X = ) = h( ) :9. (X j X X X = ) = h( ) :98. 7 c) Vi har D =(koden ar binar). (Jfr ocka ovning..) W = (U) () () i= i= f U (u i )w i = i= f U (u i ) log f U (u i ) f U (u i )[w i + log f U (u i )] = (= 8i : w i = log f U (u i ) () 8i : f U (u i )= w i : ar ger de: f U (u )=f U (u )=f U (u )= f U(u )= 8 och f U(u )=f U (u )= och W = (U) = 9 8.

. (U) W log D = = = [ i= i= i= i= f U (u i )[ log f U (u i ) w i log D] f U (u i ) log Dw i f U (u i ) f U (u i )[ Dw i ] log e f U (u i ) D w i i= [ ] log e =; f U (u i )] log e dar den fora olikheen ar I-olikheen och den ia ar Kraf olikhe. Likhe inraar om kodrade ar komple (vilke ger likhe i Kraf) och omf U (u i )=D w i for varje kallymbol u i.. Beraka for en mer allman iuaion: La f vara en funkion denierad for alla noder och la g vara funkionen g(n) =Ef(n) f(n) denierad for alla inre noder dar Ef(n) ar medelvarde av f over noden n: barn. Sa: Medelvarde av f over lunoderna ar lika med umman av g over de inre noderna vikade med nodannolikheerna. Om f(n) ar langden fran roen ill nod n a blir g =och aen ar \Pah lengh lemma". Om f(n) ar log P (n) dar P (n)ar nodannolikheen ho na ar g lika med forgreningenropin och dea ar aen vi mae via. Bevi: (indukionbevi over anale inre noder) La fu ;:::;u k g vara lunoderna och la p i beeckna lunoden u i : annolikhe. Vi har i= p i =och i= p i f(u i ) = medelvarde av f over lunoderna.. Om de bara nn en inre nod v (roen) a ar g(v )=Ef(v ) lika med medelvarde av f over lunoderna.. Om de nn + inre noder v ;v ;:::;v med annolikheerna q ;:::;q dar v : barn u m+ ;:::;u k alla ar lunoder a ar i= p i f(u i ) = = = = mx i= mx i= mx i= X j= p i f(u i )+ p i f(u i )+( i=m+ i=m+ p i f(u i ) p i f(u i )+q [f(v )+g(v )] q j g(v j )+q g(v ); dar den ia likheen foljer ur indukionhypoeen. p i ) Ef(v ) (eferom Ef(v )= i=m+ i=m+ p i f(u i ) p i ) 7

Man kan ocka via ovning. med de okaika variabler om deniera pa idorna 7{7: Enropin ho lunoderna = (X ) = (X )+(X j X )+(X j X X )++ (X n j X :::X n) = = n X i= n X i= (X i+ j X :::X i) X x :::x i P i f X :::X i (x :::x i ) (X i+ j X :::X i = x :::x i ) = umman av forgreningenropierna vikade med nodannolikheerna. (Vi har P = f"g om movarar roen och f(") =.).7 a) (U) =(U ;:::;U k )=(U )+(U j U )++ (U k j U :::U k ) = (U )++(U k )=k(u) eferom U ;:::;U k ar oberoende och likfordelade. b) Reulae (U) log D W k < (U) log D + k foljer direk av a.7 ((U) log D W<(U) log D + ). c) Om vi valjer k illracklig or a kommer medelkodordlangden per kallymbol godycklig nara den undre granen (U ). log D Vi har alla e \konrukiv" bevi for Shannon kallkodninga (a.) dar vi har D =..8 a) De nn fyra icke-ekvivalena opimala prexfria koder! va av dem ar ekvivalena med en umankod de andra ine. \Ekvivalen" beyder: amma rad och amma nodannolikheer men evenuell med andra beeckningar \" och \" pa grenarna. (Konruera jalv de va andra koderna!). XXXXX. XXXXX... XXXXX. XXXXX umanrad. u u u u u u u u 7 f U (u) : : : : : : : x y u. u. u.. u u. u. u 7.. XXXXX. icke-umanrad.. u u... XXXXX u u. u... XXXXX. X X XXX u u 7 8

b) (U) =(:; :; :; :; :; :; :) = log + log + log = + log log :. W =:+:+:+:+:+: =:+:+:+:+:+: =:7. Prex ill kodord for kod fx i g: ". (X )=h(:) :97. (X j X =)=h( )=. (X j X =)=h( )=.! min :98 och max =: (X j X X = ) = h( ) :98. (X j X X = ) = h( )=. : W :88. (X j X X = ) = h( )=. Prex ill kodord for kod fy i g: ". (Y )=h( )=. (Y j Y =)=h( ) :97. (Y j Y =)=h( ) :97.! min :98 och max =: (Y j Y Y = ) = h( )=. (Y j Y Y = ) = h( ) :98. : W :88. (Y j Y Y Y = ) = h( )=..9 Koden ar opimal om och enda om W ar lika med umankoden medelkodordlangd. E mojlig umanrad ar:.. u. XX. X XX. u XX X XX. u.. u. u XXXXX.. XXXXX W =:+: +:+: +: =: vilke ar mindre an.8: koden om ge i ovning. ar ine opimal.. a) k =a vimae borja med a forena = R D (k )+=R () + = lunoder. W = :8. (De nn va icke-ekvivalena umankoder!) u.. u. u. u. u. u.. XX X XX. u u u u u u u u f U (u) : : : : : : x 9

b) k =7a vimae borja med a forena = R D (k )+=R () + = lunoder. W = :7. (ar nn de bara e opimal kodrad.).. u. XXXXX. XXXXX u u u u u u u u 7 f U (u) : : : : : : : x... u u u. u. u. u 7. (U) =( ; ; )= log :. En binar umankod har W =: vilke ar % orre an (U). Ovning.7 lar o a de ar eekivare a koda kallymboler a gangen! m () m () m m m m m m m m m m m m m m m m m m f UU (m () m () ) 9= 9= = 9= 9= = = = = x m m 7 XXXXX m m m m m m XXX X X m m 9 m m XXXXX 7 m m XXXXX XXXXX m m m m Medelkodordlangden for va kallymboler ar W = a medelkodordlangden for en kallymbol ar i medel :7 vilke bara ar.% mer an enropin.. a) Koden ar opimal a vikan anaga a de bara nn va olika kodordlangder ` och ` : om de nn e kodord x avlangd `ochvakodord yoch yav maximal langd ` a andra dem ill x xoch y alla avlangd `. Denna nyakod har en medelkodordlangd W om ar mindre eferom alla kallymboler har amma annolikhe. Eferom ` ` blir ` =7: kodordlangderna ar och 7.

b) La N vara anale kodord av langd och N 7 = N anale kodord av langd 7. En binar opimal kod uppfyller Kraf olikhe med likhe (eferom e binar opimal rad ar komple e lemma.8) a N + N 7 7 ==) N + N 7 = 8 =) N + ( N ) = 8 =) N =och N 7 = 8. c) Symbolerna ar lika annolika a W = +8 7 = + 8 (U) = log :7.. a) Fyll i f M (m i )=ab i i idenieerna f M (m i )=f M (m i+ )+f M (m i+ )och ab i = ab i+ + ab i+ ) b + b =) b = p och X =a b i p = a ) a = b =. b i= De beyder a f M (m i )= p p! i :8 (:8) i. X b) (M) = f M (m i ) log f M (m i ) i= = a = a X i= X i= = a log a = a log a b i log(ab i ) b i [log a + i log b] X i= = log a log b b a b i a log b X i= ib i b a log b b ( b) :78 medan X i= f M (m i )=: = h(a) :: a c) umankoden ar f; ; ; ; ;:::g. Prexen ar f"; ; ; ;:::g med annolikheerna f;b;b ;b ;:::g. Sa n =+b + b + b + = = = +p :8. b a. Kallan alfabe ar ernar a kodrade mae ocka vara ernar: L =. Koden ar binar dv D =. Enlig unall algorim pa idan 9 har vi q = b Dn L c = b 8 c = och vi har L M = L + q (L )=7kodord: vi mae uvidga roen och darefer va ganger den me annolika lunoden. (De nn va icke-ekvivalena unallkoder!). A. B. A. B. C. A B. C. C.

och vi har koden AAA! AAB! AAC! AB! AC! B! C!. Medelanale kodymboler per kallymbol ar n K = +:+: = :7 = 7 :7.. a) Jfr med den undre granen (U ) log D =:..7. XX X XXX.9.7 XXXXXX..7.7. XXXX. X X.9 XXXXXX....7 (U) =h(:) :88. W = :7 (: + :7 + :9 + : + : + : + :9) = :987 vilke ar.% mer an enropin. b).87..9. XXXXX XX X.7 X.9 XXX.7 XXXXXX.7. XXXXXX.7... XXXXXX XXXXXX.9 Medelanale kodymboler per kallymbol ar K = +:7+:+: + :9 + : + : = :98 vilke ar.7% mer :8 an enropin.. Overgangmarien ar = w =w () w( I) = () 8 >< >: 7 och I = 7. w + w = w w = w w = ;

och vifar w = w =w vilke illamman med w + w + w = ger w = w = och w =. Enropin ar (U) = X i= w i (S i ) dar (S )=(S )=h( ) och (S )=h( )=. Alla ar (U) = h( )+ =9 log :89..7 a) Enropin ar (U) = X i= b) Overgangmarien ar = w i (S i ) dar (S i )=h( )=a (U) =. w =w () w( I) = () 8 >< >: 7 och I = 7. w + w = w w = w w = och vifar w = w = w = eferom w + w + w =. En minnefri ernar kalla med fordelningen ( ; ; ) har enropin = ( ; ; ) = log. Enropin ho en kalla med minne kan aldrig vara orre an enropin ho movarande minnefria kalla! '$ /.8 Kallan illandgraf ar '$ / - '$ / '$? / = w =w () w =w =w =9w =) w = 9 7 w = w = 7 och w = = w ( )+w ( )+w ( )+w ( ) = 9 h( )+ h( )+ h( )+ h( )= + h( )= log :8. 7 7 7 7 7 7 7 = (w + w ;w + w )=h( ) :87. 7.9 Den binara kallan U blockindela i block avlangd. Den nya kvaernara kallan X har enropin (X) =f X (A) log f X (A) f X (B) log f X (B) f X (C) log f X (C) f X (D) log f X (D) = f UU () log f UU ()f UU () log f UU ()f UU () log f UU ()f UU () log f UU () = f U () log f U () f U ()f U ()(log f U () + log f U ()) f U () log f U () = f U ()(f U () + f U ()) log f U () f U ()(f U () + f U ()) log f U () =(U) =: den nya kallan enropi blir biar per kvaernar kallymbol (jfr ovning.7). 7 7.

( foljer eferom den binara kallan ar minnefri.). a) Den binara umankoden ge av rade / x XXXXX / XXX X X / x / x Vi er direk a P (U + =ju =)=P (U + =ju =)=. Alla ar den nya binara kallan U minnefri. Alernaiv er vi a den binara kallan U ar en Markovkalla med (i Mealy-form) va illand (borjan av e kodord eller ine): '$ Borjan '$ - Mien = " = = = = Ibada illanden ar P (U + =)= och P (U + =)= a U ar minnefri. b) (U) =w h( )+w h( )=h( ) :8. Den ernara kallan X har enropin ( ; ; )= log :. c) W =+ = binara kodymboler per ernar kallymbol (fran X). Obervera a W (U) =(X): h( )= ( log ) = log = (X).. Den binara umankoden ge av rade '$ Borjan / x '$ - XXXXX / XXXXX /8 x /8 x Den binara kalla om bilda av umankoden ar en Markovkalla med va illand: = " = = = = Den nya binara kallan U ar ine minnefri. Mien Den aionara fordelningen ge av w = och w = a (U) = w h( )+w h( ) = h( )+ = 9 log :89. Vi far amma reula fran enropin ho X kombinerad med umankoden medelkodordlangd W: (U) = (X) = ( ; 8 ; 8 ) = h( W + )+ = 9 log = 9 log :89. = = X. a) (X) = f X (x i ) log f X (x i ) = = i= X i= X i= p i ( p) log[p i ( p)] ip i ( p) log p X i= p i ( p) log( p) = p ( p) log p ( p) log( p) ( p) p = h(p) : (Jfr ovning..) p # #

b) W = X i= '$ / B = f X (x i )w i = X i= '$ = - / A = p i ( p)i =( p) ( p) = p. '$ / D. agbanan ar en unilar Markovkalla med illandgraf = - och aionarfordelningen blir (w ;w ;w ;w )=( ; ; ; ). a) (U) = + h( )+ h( )+ =. '$ - / C = b) Om vi eraer ymbolerna A och D med en ny ymbol AD a forandra illandgrafen ine och den forblir unilar a (U) =. c) Om vi eraer ymbolerna A och B med ymbolen AB och C och D med CD a forandra illandgrafen ine och den forblir unilar a (U) =. Anmarkning: om vi borjar foljden med ymbolen A eller C a kan vi bara ha ymboler A och C pa de udda plaerna i foljden och B och D bara pa dejamna plaerna. Enropin forandra alla ine forua a killnaden mellan ymbolerna A och C och mellan B och D ine forvinner.. Avkodningabellen blir prex ux p q r buer u () 8 () () () () Avkodad ekven:.. Kodningabellen for Willem' univerella kallkodningalgorim (L = ): r p q prex ux langd 7 8 9 7 u 7 7

. De nn ealgorimer eferom inga par av kolumner i eabellen ar lika. u u u u u f U (u) : : : : a) Alla kolumner kiljer ig a for aminone va e a inge e ar vaenlig. Ingen rad har bara :or eller :or a inge e ar meninglo. Inga e ar ekvivalena eferom inga par av rader ar lika eller varandra komplemen. b) En fora ordningen opimal ealgorim borjar med : :a e (X ) h(:) h(:) h(:) h(:) h(:) De andra ee kan vara eller eller aven eller i falle X =: :a e (X j X =) (X j X =) h(:=:) h(:=:) h(:=:) h(:=:) h(:=:) h(:=:) Sar Flodechema blir alla ex: U (u ;u ) (u ;u ) u u u u Medelanale e ar W = : + : + : = :..... u. u. u. u

c) umanrade for U ar.. u. Sar. u.. u. u W uman =:+:+: =:9 a den fora ordningen opimala ealgorimen ar ine den baa om vi kan nna en ealgorim om movarar umanrade: u U (u ;u ;u ) (u ;u ) u u u Denna ealgorim ar opimal eferom de medelanal e ar lika med umankoden medelkodordlangd for U: W = :9..7 Inga par av kolumner i eabellen ar lika a U kan ideniera. u u u u u u u f U (u) : : : : : :7 a) ( =)Enfora ordningen opimal ealgorim borjar med : :a e (X ) h(:) h(:) h(:8) h(:) De andra ee kanexvara i falle X =och i falle X =: :a e (X j X =) (X j X =) h(:=:) h(:=:7) h(:=:7) h(:=:) h(:=:7) 7

De redje ee blir edan i falle X X = och i falle X X = : :e e (X j X X = ) (X j X X = ) h(:=:) h(:=:) Sar Flodechema blir alla U.. (u ;u ) (u ;u ;u ;u )..7 XXX (u ;u ) (u ;u ) X u u. XXX X u u u u. u. u. u. u.7 u. u Medelanale e ar W = : + : + :7 + : + : = :7. b) ( = ) Vifar en opimal ealgorim om vi kan nna nagon om \movarar" umanrade for U:.. XXXXX u.. u.7 u.7 XX X XX.. XX X u XX XXXXX.. u. u W uman =:+:+:7+: + : = : och movarande ealgorim (bore fran grenarna beeckningar) ar Sar U (u ;u ) (u ;u ;u ;u ) (u ;u ;u ) u u (u ;u ) u u u u 8

Denna ealgorim ar opimal eferom de medelanal e ar lika med umankoden medelkodordlangd for U: W = :..8 a) ar de enda e om kiljer u fran u och u fran u a ar vaenlig. een och 8 ar meningloa (och naurligvi ekvivalena). een och 7 ar ekvivalena: dera rader ar komplemenara. een och ar ekvivalena: dera rader ar komplemenara. Vi behover alla aldrig anvanda een 8 och. Sa egenligen ar (eller ) och 7 (eller )ocka vaenliga: de ar de enda e om kiljer u fran u repekive u fran u. De ar mojlig a nna ealgorimer eferom inga par av kolumner i eabellen ar lika. u u u u u u u f U (u) : : : : : : 7 b) (U) =(:; :; :; :; :; :) = : : log + :7 log :8! medelanale e uppfyller W (U) :8 (eferom D = ). Sar c) De nn manga mojligheer. ex:. u. U.. XX X X (u ;u ;u ) (u ;u ;u ). u (u ;u ) (u ;u ). u u 7. 7 XXX X u u u u Medelanale e ar W = : + : + : + : + : = :. (X )=h(:) = h( 9 ) :998. (X j X =)=h(:=:) = h( ) :99.! max :99. (X j X =)=h(:=:) = h( 9 ) :99. (X j X X = ) = h(:=:) = h( ) :79.! min :79. (X j X X = ) = h(:=:) = h( ) :8.! : W :.. u. u. u. u d) Den ealgorim om vi valde i c) ar redan (av en handele) en fora ordningen opimal algorim. (Konrollera dea!) 9

e) umankoden medelkodordlangd W uman ar en bare undre gran for medelanale e W :. X. X u XXX. u.. u.... X X XXX. u XXXXX. XXXXX W uman =:+:+:+:+: = : a medelanale e uppfyller W :. Denna gran kan uppna enda om de nn en ealgorim om kraver va e for a beamma u u och u re e for a beamma u och fyra e for a beamma u och u. De fora ee mae darfor kilja va av u u u fran de andra fyra ymbolerna. De enda ee om gor dea ar avimae i alla fall borja med om kiljer fu ;u g fran fu ;u ;u ;u g. Sedan kan u och u kilja a med ex e.numae u kilja fran fu ;u ;u g men de nn inge e om gor de! Sa granen W : kan ine uppna. u u

f) For a via a W =: ar de mina medelanal e om ar mojlig mae vi i princip analyera alla mojliga ealgorimer. Naurligvi racker de a bara anvanda och 7. Om vi borjar ealgorimen med a ar W : + :9 +( : :9 ; : :9 ; : :9 ; : :9 ; : :9 ) : : u behover e och enropin ho (u ;:::;u )ar en undre gran for medelanale e efer nar X =. Vikan alla ine fa W<: genom a borja med. Om vi borjar med a ar W : = : +W uman ( : : ; : : ; : : ) +: + :8 +: + : =: : : : de hjalper ine heller om vi borjar med for a fa W<:. Om vi borjar med 7 a ar W : +W uman ( : : ; : : ; : : ) +: = : + : : +: + : : =: : +W uman ( : : ; : : ; : : ) +W uman ( : : ; : : ; : : ) a borja med 7 ger ine heller W<:. La o allaborja ealgorimen med. fu ;u g kan edan kilja a med ex.anag a vi edan kiljer pa fu ;u ;u ;u gpa e a om ger W<: dv : > W = (:+:)+: ( + W fu ;u ;u ;u g) dv medelanale e om anvand for a ideniera fu ;u ;u ;u g aierar W fu ;u ;u ;u g <. Om vi borjar idenieringen av fu ;u ;u ;u g med a ar W fu ;u ;u ;u g : : + : : +W uman ( : : ; : : ; : : ) =+ : : : : :: Om vi borjar med a ar W fu ;u ;u ;u g = ( : + : : )+( + :)=. : : : : Om vi borjar med 7 a ar W fu ;u ;u ;u g = ( : + : : )+( + : )=. : : : : Sluaen ar alla a algorimen i d) med W = : ar opimal med de illgangliga een.

.9 a) En fora ordningen opimal ealgorim borjar med och har edan ibada fallen: :a e (X ) h(:) h(:) h(:) h(:8) h(:) Sar Som redje e kan valja i alla re fallen. B (b ;b ;b ;b 7 ) (b ;b ;b ) (b ;b ) (b ;b 7 ) b b b b 7 (b ;b ) b :a e (X j X =) (X j X =) h(:8=:) h(:=:) h(:8=:) h(:9=:) h(:9=:) h(:=:) h(:=:) b. b.9. XXX X. X X X X.9 b.. XXX X Medelanale e ar W = : + : + : + :9 + : + : = :7. b) umanrade for B ar. XXXXX.9 b. b. b. b. b. b. b7.9 b. b... XXX X X. b.9. b. XXXXX. b XXXXX. b7 W uman =: + :+: + : + : + :=:. En opimal ealgorim kraver alla va e for idenieringen av b och b re e for b b och b och fyra e for b och b 7.

De nn manga icke-ekvivalena opimala rad ex.. XXXXX.. XXXXX. b.9 b.. XXXXX. b.9 b. b. b. b7 For ovanaende rad kan vi ex unyja foljande e (dar och ar om i uppgifen; \" kan valja godycklig) b b b b b b b b 7 f B (b) : : : :9 :9 : : 7 och bygga foljande ealgorim: Sar B (b ;b ;b ;b 7 ) (b ;b ;b ) (b ;b ;b 7 ) b 7 (b ;b 7 ) b b b 7 b (b ;b ) b b Medelanale e ar W = W uman =:. Vi behover aminone fyra olika e eferom de maximala raddjupe ar. Deuom behover vi re e om ine kiljer b och b 7 a. (Dea galler for alla mojliga opimala ealgorimer.) Eferom de bara ar av de i uppgifen givna een om ine kiljer b och b 7 a mae vi konruera aminone va nya e och 7.

. De nn 7 mojliga ufall u ;:::;u 7 dar u i beyder \myn i ar for ung" och enropin blir (U) = log 7 = log. Vilka e kan anvanda? En balanvag har re mojliga ufall: den kan vara i jamvik den vanra vagkalen kan junka eller den hogra vagkalen kan junka. Vara e blir alla ernara: D =. De ar meninglo a lagga olika anal myn i vagkalarna a de enda mojliga een ar alla mojliga kolumnpermuaioner av een ;:::; givna i den foljande abellen: u u u u u u u u 7 u 8 u 9 u u u u u u u u 7 u 8 u 9 u u u u u u u u 7 7 8 9 dar e m beyder \m myn lagg i varje vagkal" ufall \" beyder \i jamvik" \" beyder \den vanra vagkalen ar yngre" och \" beyder \den hogra vagkalen ar yngre". umanrade for U har alla de 7 lunoderna pa djupe a W uman =och min = max = log. Alla e i en opimal ealgorim mae alla ha den maximala enropin log dv de mae kilja re lika annolika ufall a (e foljda..): (u ;u ;u) (u7; u8; u9) u u u (u; :::;u9) u 7 u 9 u u u 8 u u u Sar U 9 (u; u; u) (u; u7; u8) u u u u u u 7 (u9; :::;u7) u 8 (u9; u; u) (u ;u; u7) u 9 u u u u W = vilke ar opimal eferom de ar lika med den nedre granen: W = (U ) log D. u u u u 7

. Likom i ovning. nn de 7 mojliga ufall u { ;:::;u ;:::;u dar u beyder \alla myn ar lika" u i beyder \myn i ar for ung" och u {i beyder \myn i ar for la"; (U) = log 7 = log a W (U ) log D =. Vi kan anvanda foljande e (och dera permuaioner): u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u ()() (;)(;) (;;)(;;) (;:::;)(;:::;8) (;:::;)(;:::;) (;:::;)(7;:::;) darex (;)(;) beyder \myn och lagg i den vanra vagkalen och myn och i den hogra" och dar ufall \" beyder \i jamvik" \" beyder \den vanra vagkalen ar yngre" och \" beyder \den hogra vagkalen ar yngre". Kan vi uppna granen W =? Da krav a ex de fora ee kiljer re lika annolika ufall a dv varje har annolikheen. Men annolikheen a e k ger ufalle \" ar { k (e 7 abellen) vilke aldrig ar lika med. De nn darfor ingen ealgorim med W =. Foljande algorim ar fora ordningen opimal och W =+ = 8 :: 7 9 (u ;u; u{) (u; u ;u{) u u { u Sar U (u; u; u; u; u{ ;u{ ;u{7 ;u{8) (u{; u{; u{ ;u{ ;u ;u; u7; u8) u { u u {7 u {8 u u { u dar vi anvan foljande e: (u9 ;u ;u{) (u{9; u{; u) u 9 u u { u u u { u {9 u { u (u{ ;u{ ;u) (u{; u{; u) u { u { u u 8 u 7 u u { u { u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u = (:::)(:::8) = (;;)(;;) = (;;8)(;;7) = (9;)(;) = (;)(9;) = ()() Vi kan via (pa amma a om i ovning.8 f) a den givna fora ordningen opimala algorimen ar opimal.

. Vi har ungefar amma iuaion om i ovning. men vi kan nu ocka anvanda een S ;S ;:::;S 7 dar S k har k myn ibada vagkalarna med andardmyne i den hogra vagkalen: S () u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u 7 S (;)() S (;;)(;) S (;;;)(;;7) S (;:::;)(;:::;9) S (;:::;)(7;:::;) S (;:::;7)(8;:::;) Nu ar de mojlig a uppna granen W = (med bara re olika e): for S = S (;;;;)(;7;8;9) edan S = S (;;7;;)(;8;9;) och ill i S = S (;;9;;)(;;7;) oave foregaende ufall: S (u ;u{8 ;u{9) (u; u{; u{7) S u u {8 u {9 S Sar U S (u; u; u; u; u ;u{ ;u{7 ;u{8; u{9) (u{ ;u{ ;u{ ;u{; u{; u; u7; u8; u9) u u u S u {7 u { u S (u; u; u{) (u{; u{; u) S u u { u S u u u { S u { u u { S (u{; u; u7) (u{ ;u8; u9) S S u { u 7 u u { u { u { S u 9 u 8 u { u u { u { u { u { u {9 u {8 u {7 u { u { u { u { u { u { u u u u u u u u 7 u 8 u 9 u u u u S S S. a) Om n ar e jamn al n = m dv den redan orerade lian B ;:::;B m har ale B m preci i mien ufor for ee \A m < B m?". Om reulae ar \Ja" (vilke inraar med annolikheen ) a reducera probleme ill orering av en lia med m al (B ;:::;B m ;A m ). Samma galler om reulae ar \Nej" (orering av B m+ ;:::;B m ;A m ). Alla ar W m =+ W m + W m =+W m : Om n ar udda n = m + dv lian B ;:::;B m ine har e al preci i mien ufor for ee \A m+ <B m?". (B m ar a nara mien om mojlig). Om reulae m ar \Ja" (vilke inraar med annolikheen ) a reducera probleme ill orering m+ av en lia med m al (B ;:::;B m ;A m+ ). Om reulae ar \Nej" (vilke inraar

med annolikheen m+ ) a reducera probleme ill orering av en lia med m + al m+ (B m+ ;:::;B m ;A m+ ). Alla ar W m+ =+ b) W (n = ) = W + + W =++ ++ Den undre granen ar log(!) :. Den ovre granen ar log(!) 8:87. h(=) m m + W m + m + m + W m+: + += 8 :98 (e abell). c) W (n = ) = W + + W 99: (e abell). Undre granen : log(!) 9:99. Ovre granen : log(!) :. h(=) d) Benamn de maximala W n med (W n ) max och de maximala W (n) med (W (n)) max. De ar klar a (W n+ ) max (W n ) max : illfoga e al A n+ ill den lia A ;:::;A n om ger (W n ) max. W k = k eferom enropin ho varje e ar. Salede ar (W k) max = k. (W n ) max log n ochmae vara e helal a (W n ) max dlog ne vilke ger a (W n ) max >k nar n> k. Sammanfaningvi er vi a log n (W n ) max (W k) max = dlog ne nar k <n k a (W n ) max = dlog ne: (W (n)) max = nx i= (W i ) max = nx i= dlog ie a (W (n = )) max =++ + +8 = 9; och (W (n = )) max =(W (n = )) max + + = : n W n W(n) (W(n)) max n W n W(n) (W(n)) max n W n W(n) (W(n)) max : : :897 7:7 8 : 8:8 :7 :7 :7 8:797 89 :777778 88:7 7 : :7 :7 8:797 9 :897 9:779 : 7:7 8 :798 89:8 99 7 :8979 :8 9 :7 9:7 7 :888 9:8 8 :7 :78 7 :879 :97 8 :879 99:988 9 9 :9877 :79 8 : :97 7 9 :897 :998 :7 7:99 7 9 : 8:898 :9 9:8 9 :798 :87 : :98 :9779 :98 :798 8:8878 9 : :78 9 : 9:98 9 :798 :97 :7 9:89 : : :888 : :798 :9 7 :77 9:7 :8 :89 7 :879 7:9 :78 :898 7 :879 :99 7 :9 :98 : 9:879 7 :8779 7:7889 79 : :98 9 7 :77 :88 9 8 :897 :79 8 7 :77 9:7 8 :789 :978 9 :9 9:99 9 8 : :99 9 9 :897 :89 7 :9 7:799 97 9 :789 7:8 : :9 77 :9897 8:7889 : :8 9 :9 :97 8 :9779 87:8 9 :79 :78 7 :79 7:8 89 :987 9:88 : 7:8 79 :79 77:97889 9 : 99:88 7