Storlek: px
Starta visningen från sidan:

Download ""

Transkript

1 Modellering av felkíallor i digitala kanaler Magnus Berglund Magnus Danielsson Henry Jatko Henrik Wallin 8 maj 199 LULEçA TEKNISKA UNIVERSITET Avdelningen fíor signalbehandling.

2 Sammanfattning Vid simuleringar av digitala kommunikationssystem kan det ibland bli allt fíor tidskríavande att simulera samtliga delar av systemet. Det ænns dça metoder fíor att ersíatta kanalmodellen med en tidsdiskret kanalmodell baserad pça en tillstçandsmaskin. Fíor att detta skall vara míojligt kríavs att man kan skapa en tidsdiskret kanalmodell med samma statistiska egenskaper som den ursprungliga kanalen. Ett síatt att realisera den tidsdiskreta kanalmodellen íar att anvíanda en sça kallad Hidden Markov Model. Till den existerar en algoritm vid namn Baum-Welch som anpassar parametrarna i modellen efter experimentellt data. Algoritmen íar dock ganska tidskríavande. Vi utreder híar míojligheterna att implementera en optimerad variant av algoritmen speciellt avsedd fíor digitala kanaler. Vçar slutsats íar att implementationen av den optimerade Baum-Welch algoritm kan gíoras snabb och eæektiv. Vi har ocksça kommit fram till att en anpassning av modellparametrarna blir bra, men att det kan vara svçart att bestíamma hur víal den tidsdiskreta modellen stíammer íoverens med den ursprungliga modellen.

3 Fíorord Under det sista çaret pça datateknisk linje vid Luleça tekniska universitet ingçar kursen ëprojekt i signalbehandling, som líases under líasperiod och. Detta projekt har vi utfíort i samarbete med Telia Research AB i Luleça. Vi vill fríamst tacka Bo Engstríom vid Telia Research fíor den hjíalp vi fçatt. Luleça 8 maj 199. Magnus Berglund Magnus Danielsson Henry Jatko Henrik Wallin

4 Innehçall 1 Inledning Hidden Markov Model.1 Introduktion Beteckningar Exempel pça enenkel HMM modell Tre problemstíallningar fíor HMM Likelihoodfunktionen Baum-Welch algoritmen Baum-Welch algoritmen i digitala skurfelskanaler 1.1 Utvidgning av HMM modellen Blockmatrisrepresentation Diagonalmatriser Skalning av æ tk och æ tk Baum-Welch algoritmen Skalfaktorer Nçagra exempel Val av modell 19.1 Fritchmans Modell Gilberts Modell En blockmatrismodell Implementation Resultat.1 Baum-Welch algoritmen Veriæering Tidskomplexitet Hur lçanga sekvenser behíovs? Anvíandning av modeller i ëverkligheten Statistisk íoverensstíammelse Slutsatser A Híarledning av Baum-Welch algoritmen A.1 Inledning A. ç ijk A. ç ij

5 A. ç i A.5 Skalfaktorer Figurer 1 Exempel pça en HMM modell Illustration av ç t i; j Fritchmans modell Gilberts modell Blockmatris modell Tidsçatgçang fíor en iteration av Baum-Welch algoritmen.... 5

6 1 Inledning Vid prestandasimuleringar av kommunikationssystem kan det ibland bli allt fíor tidskríavande att simulera alla delar i detalj. Vissa fíorenklingar kan dça vara níodvíandiga att gíora. En metod som brukar anvíandas íar att ersíatta en del av systemet med en diskret kanalmodell. Till exempel kan modulator-kanal- -demodulator eller kanalkodare-modulator-kanal-demodulator-kanalavkodare ersíattas med en diskret kanalmodell. Den diskreta kanalmodellen baseras pça en tillstçandsmaskin som íar enkel att exekvera. Man kan sedan simulera íovriga delar av systemet som t.ex. kíallkodare eller talkodare utan att behíova simulera hela kanalmodellen. Den diskreta kanalmodellen anpassas sça att dess statistiska egenskaper blir sça lika den modellerade kanalen som míojligt. En del diskreta kanalmodeller anvíander teorin fíor den bakomliggande kommunikationsmodellen fíor anpassningen. I den híar rapporten undersíoker vi en annan typ av modeller díar man istíallet statistiskt undersíoker observerade sekvenser híarstammande frçan kommunikationsmodellen. Sekvensen som ligger till grund fíor anpassningen íar en biníar sekvens som beskriver om kanalen har íoverfíort en symbol korrekt eller om ett fel har uppstçatt. I digitala kanaler íar det oftast víaldigt lçag sannolikhet fíor fel och intervallen med korrekta symboler i sekvensen íar lçanga. Felen som uppkommer fíorekommer oftast i skurar pça grund av till exempel intersymbolinterferens, interkanalinterferens och olineariteter i kommunikationssystemet. Den tidsdiskreta kanalmodell vi skall undersíoka bygger pça sça kallade Hidden Markov Models. Teorier fíor att anpassa dessa typer av modeller till en observerad sekvens behandlas i ett æertal olika artiklar. Grunden fíor modellanpassningen íar Baum-Welch algoritmen, som íar en iterativ reestimeringsalgoritm. Komplexiteten fíor algoritmen íar i sin grundform Olíangden av sekvensen. En del av mçalet med vçart arbete íar att implementera en optimerad variant beskriven av W.Turin och M. M. Sondhi i en artikel frçan 199 ë1ë. Artikeln beskriver en reducering av komplexiteten till Oantalet symbolbyten i sekvensen. Huvudmçalet med vçart arbete íar att utifrçan simulerade felmíonster kunna skapa en Hidden Markov Model med samma statistiska egenskaper. Vçart arbete ingçar i kursen ëprojekt i signalbehandling, vid avdelningen fíor signalbehandling vid Luleça tekniska universitet och líases under det sista çaret pça datateknisk och elektroteknisk linje. Bestíallare av uppgiften var Telia Research AB i Luleça, som har tillhandahçallit ett simuleringsverktyg, díar vi kunnat generera sekvenser frçan ett kommunikationssystem.

7 Hidden Markov Model Vi ger i detta avsnitt en kort introduktion till Hidden Markov Models samt de grundlíaggande beteckningarna vi anvíander senare i rapporten. En mer grundlíaggande introduktion till Hidden Markov Models ænns i bla. ëë..1 Introduktion En Hidden Markov Model fíorkortas ëhmm bestçar av en tillstçandsmaskin med ett begríansat antal tillstçand. Till varje íovergçang mellan tvça tillstçand ænns associerat en sannolikhet kallas íovergçangssannolikhet. Vid varje tillstçand ænns en sannolikhetsfíordelning fíor ett antal utsymboler given. Vid varje híandelsetillfíalle víaljs ett nytt tillstçand. Utgçaende frçan det nya tillstçandet víaljs sedan en utsymbol. Val av nytt tillstçand gçar till sça att man utgçaende frçan nuvarande tillstçand och íovergçangssannolikheterna slumpar fram det nya tillstçandet. Utsymbolen fíor det nya tillstçandet víaljs utgçaende frçan tillstçandets utsymbolssannolikhetsfíordelning. Modellen kallas ëhidden pça grund av att man inte kan veta vilket tillstçand man beænner sig i utifrçan den observerade utsymbolen, tillstçandet íar sça att síaga ëgíomt eng. hidden. Man kan síaga att HMM íar en stokastisk process, med en underliggande stokastisk process som inte íar observerbar. Hidden Markov Models har pça senare tid fçatt allt æer anvíandningsomrçaden, bland annat inom ríostbildmíonster-igenkíanning, talkodning, proteindna-analys och telekommunikation.. Beteckningar Vi anvíander fíoljande beteckningar. T Líangd av den observerade sekvensen. N Antal tillstçand i modellen. M Antal utsymboler. Q fq 1 ;q ;:::;q N g, modellens tillstçand. V fv 1 ;v ;:::;v M g, míojliga utsymboler. A ëa ij ë N;N, tillstçandsíovergçangs matris. Anger sannolikheten fíor en íovergçang frçan tillstçand q i till q j. B ëb jk ë N;M, utsymbolfíordelningsmatris. Anger sannolikheten fíor utsymbolen v k i tillstçandet j. b j v k anvíands ibland fíor att beteckna b jk. ç ëç 1 ;ç ;:::;ç N ë initialtillstçandsvektor. Anger sannolikheterna fíor att beænna sig i tillstçanden q 1 ;q ;:::;q N vid tidpunkten t.

8 Man anvíander ofta beteckningen ç A;B;ç fíor att beteckna en HMM. En utsymbolsekvens O O 1 O :::O T genereras pça fíoljande síatt: 1. Víalj ett starttillstçand s utgçaende frçan initialtillstçandsvektorn ç.. Síatt t 1.. Slumpa det nya tillstçandet utgçaende frçan sannolikheterna a s1 ;a s ;:::;a sn, dvs utgçaende frçan rad s i A. Tilldela s det nya tillstçandet.. Slumpa O t frçan b s1 ;b s ;:::;b sm, dvs utgçaende frçan rad s i B. 5. Síatt t t +1.Om tét tillbaka till, annars ëklart...1 Exempel pça en enkel HMM modell P(a). P(b)..5 P(a)1. P(b) P(a).5 P(b).5 Figur 1: Exempel pça en HMM modell I Figur 1 visas ett enkelt exempel pça en HMM modell, fíor denna gíaller: N ; M Q f1; ; g ; V fa; bg 8

9 A :1 :5 : : :8 1 5 ; B : : 1: :5 :5. Tre problemstíallningar fíor HMM Det ænns tre typer av problem som man stíalls infíor níar man anvíander HMM modeller. 1. Givet en observerad sekvens O O 1 O :::O T och modellen ç A;B;ç, hur beríaknar man P ro, sannolikheten fíor den observerade sekvensen? Detta problem íar inte sça svçart, dess líosning diskuteras i avsnitt... Givet en observerad sekvens O O 1 O :::O T och modellen ç A; B;ç, hur víaljer man en tillstçands sekvens s s 1 ;s ;:::s T som íar den mest ëoptimala? Till detta problem ænns det ett antal líosningar, díar kanske Viterbi algoritmen íar den mest kíanda. Se ëë fíor en beskrivning av Viterbi algoritmen.. Givet en observerad sekvens O O 1 O :::O T,hur anpassar man parametrarna ç A;B;ç sça att PrO maximeras? Líosningen pça detta problem behandlas i avsnitt.5.. Likelihoodfunktionen Níar man ríaknar med HMM modeller íar det praktiskt att infíora beteckningen 5 : Pv k ABv k : 1 díar Bv k íar en diagonalmatris av dimension N æn, díar j:te diagonalelementet íar b jk. Element p ij i P v k beskriver sannolikheten fíor att i níasta tidsteg fça utsymbolen v k i tillstçand j om nu man beænner sig i tillstçand i. Med hjíalp av P v k kan vi nu beskriva sannolikheten fíor en sekvens av observationer O O 1 O :::O T, som PrO ç PO 1 PO æææpo T ~1 ç T Y t1 PO t ~1: Sannolikheten PrO kallas fíor likelihood:en sv. rimligheten fíor den observerade sekvensen O. Níar denna ses som en funktion av HMM modellens 9

10 parametrar, kallas den fíor likelihoodfunktion. kan nu uppdelas till de sça kallade ëforward- och ëbackward- formlerna PrO kan uttryckas som æ t ç ty æ t i1 TY it+1 PO i PO i ~1: PrOæ t æ t; fíor t ;1;:::;T: 5 Uttrycken och kan íaven skrivas rekursivt som æ ç æ t+1 æ tpo t+1 æ T ~1.5 Baum-Welch algoritmen æ t PO t+1 æ t+1 : Baum-Welch algoritmen íar en iterativ algoritm som maximerar likelihoodfunktionen fíor en given HMM modell ç A; B;ç. Den íar iterativ i den meningen att den fíor varje iteration reestimerar HMM parametrarna till ett bíattre víarde. Det kan visas att fíor varje iteration víaxer likelihood funktionen monotont tills ett lokalt maximum har hittats ëë. Det kan ænnas æera lokala maximum, díarfíor íar det viktigt de fíorsta víardena pça modellparametrarna íar ëníara det globala maximum. I annat fall riskerar man att algoritmen stannar pça ett icke íonskvíart lokalt maximum. Fíor att beskriva Baum-Welch algoritmen deænierar vi fíorst fíoljande storheter: æ t i æ tiæ t i 8 PrO ç t i; j æ tia ij b j O t+1 æ t+1 j : 9 PrO æ t i íar sannolikheten att beænna sig i tillstçandet q i vid tidpunkten t givet sekvensen O och modellen ç. ç t i; j íar den sammansatta sannolikheten fíor í den observerade sekvensen fram till tillstçand q i vid tidpunkt t. 1

11 í gíora en transition q i till q j vid tidpunkten t +1. í den observerade sekvensen frçan tillstçand q j vid tidpunkten t +1 till T. Figur visar en graæsk illustration av ç t i; j. q i q j t-1 t t+1 t+ (i) a b(o t t+1 (j) ij j t+1 ) Figur : Illustration av ç t i; j Reestimeringsformlerna íar: Dessa innebíar: ç i ç i 1 ça ij ç bij T X,1 t T X,1 t ç t i; j TX æ t i t1;otv j æ t i TX t1 æ t i 11 : 1 ç i Detta íar helt enkelt sannolikheten att beænna sig i tillstçandet q i vid tidpunkten noll. 11

12 ça ij Tíaljaren íar det fíorvíantade antalet transitioner mellan tillstçand q i och q j, níamnaren det fíorvíantade antalet transitioner ut frçan tillstçand q i. Kvoten bildar dça en skattning fíor sannolikheten fíor en íovergçang frçan q i till q j. ç bj k Tíaljaren íar det fíorvíantade antalet gçanger man beænner sig tillstçand q i och observerar v j, níamnaren íar det fíorvíantade antal gçanger man íar i tillstçand q i. Kvoten bildar dça sannolikheten fíor v j i tillstçand q i. Vi infíor nu ett mer kompakt beteckningssíatt som vi kommer att anvíanda senare formlerna íar dock precis desamma som 8-1. Vi infíor fíorst ij ; 1 vilket íar en N æ N matris med en etta pça position i; j. Med denna nya beteckning kan reestimeringsformlerna skrivas mer kompakt som: díar ça ij a ij ç i T X,1 t ç bij 1 ç i T X ç i æ iæ i PrO ç i ç i æ tu ij b j O t+1 æ t+1 t1;otv j æ tu ij æ t T X,1 t æ tu ii æ t TX ætu ii æ t : t Baum-Welch algoritmen i digitala skurfelskanaler I det fíoregçaende kapitlet beskrivs Baum-Welch algoritmen utifrçan en observerad sekvens, O. Níar sekvensen blir mycket lçang kommer beríakningstiden att skjuta i híojden, eftersom komplexiteten fíor Baum-Welch algoritmen enligt 1-18 íar OT. I mçanga digitala kanaler íar sannolikheten fíor bitfel mycket lçag, vilket gíor att det uppkommer lçanga intervall med ëríatta symboler. Detta faktum och 1

13 att en biníar kanal endast har tvça utsignaler anvíands híar till att fíorenkla och optimera Baum-Welch algoritmen sça att den kan kíoras pça riktigt lçanga sekvenser. Mçalet med omskrivningen íar att fça algoritmen pça komplexiteten Oç, díar ç íar antalet transitioner mellan olika symboler i den observerade sekvensen. Omskrivningen fíoljer mçangt och mycket det som stçar beskrivet i ë1ë, men vi har gjort en egen híarledning av uttrycken fíor den optimerade Baum- Welch algoritmen. Vi har inte kunnat fça ekvationerna beskrivna i artikeln att stíamma och vi anser att nçagra av dem íar direkt felaktiga..1 Utvidgning av HMM modellen De lçanga intervallen av likadana symboler i O-sekvensen grupperas tillsammans och vi deænierar X-sekvensen som O O 1 O æææo T X l 1 1 Xl æææxlç ç X; 19 díar l k talar om hur mçanga av utsymbolen X k som upprepas i det k:te intervallet. Nu kan likelihoodfunktionen enligt skrivas som PrOç P l 1 X 1 P l X æææp lç X ç ~1: íaven æ t och æ t kan skrivas om utifrçan X-sekvensen æ t ç æ t k+1 æ t k P l k+1 X k+1 1 æ tç ~1 díar t ; t k P k j1 l k och k :::ç,1.. Blockmatrisrepresentation æ tk P l k+1 X k+1 æ tk+1 ; Om man har en B-matris díar alla element íar eller 1, dvs varje tillstçand har endast en utsignal, kan modellen beskrivas i blockmatrisform. Mçalet med den híar omskrivningen íar att kunna reducera komplexiteten i de matrismultiplikationer som uppkommer bland annat i 1-. I ëë visas i detalj hur en sçadan transformation kan gíoras frçan en allmían HMM modell. Jíamfíort med Turins artikel ë1ë, díar godtyckligt antal utsymboler behandlas, begríansar vi oss híar till de tvça utsignaler som ænns i en digital kanal. Vi 1

14 delar upp tillstçanden i tvça grupper efter tillhíorande utsignal och skriver A och ç i blockmatrisform enligt A A A 1 ; ç A 1 A 11 ç ç 1 : A mn beskriver íovergçangssannolikheter mellan tillstçanden med utsignal m och tillstçanden med utsignal n. Omn k betecknar antalet tillstçand med utsignalen k, díar k f;1g,sçaíar submatrisen A mn av storlek n m æ n n. ç n kommer pça samma síatt att fça dimensionen n m æ 1. Bv k ochpv k skrivs som I B ; B1 I P A A 1 ; P1 ; A1 : 5 A 11 Fíor att kunna fça en uppfattning av fíordelen att skriva om modellen pça blockmatrisform studeras P l k och P l k1 A A l k,1 P l k A 1 A l k,1 ; P l k 1 A1 A l k,1 11 A 11 A l k,1 11 ; díar en klar minskning i komplexiteten fíor att beríakna potensen syns, eftersom A och A 11 till dimensionen íar mindre ían A. Likelihoodfunktionen, PrO skrivs om med hjíalp av blockmatriser till PrOp X 1 A l 1,1 X 1 X 1 A X1 X A l,1 X X æææa Xç,1XçA lç,1 XçXç~1; díar p X k X i1 ç X i A Xi X k : 8 Ur ovan híarleds de rekursiva formlerna fíor æ tk och æ tk pça blockmatrisform æ t 1 p X 1 A l 1,1 X 1 X 1 æ t k+1 æ t k A Xk X k+1a l k+1,1 X k+1x k+1 æ tç ~1 æ tk A Xk X k+1a l k+1,1 X k+1x k+1 æ t k+1 : 9 Formlerna saknar fallet dça k, eftersom dessa inte gçar att beskriva pça blockmatrisform pça ett bra síatt. Om man behíover æ t eller æ t anvíander 1

15 man sig líampligen av 1- istíallet. Observera att ekvationerna ovan endast íar submatriser av de ëvanliga æ tk och æ tk. Dimensionerna pça æ tk och æ tk varierar dessutom mellan rekursionerna, vilket bíor beaktas níar dessa anvíands. 9- beskriver æ tk och æ tk vid tidpunkten fíor en transition mellan tvça olika utsignaler. De æ- och æ-víardena díaremellan kommer inte att behíovas fíor den modiæerade Baum-Welch algoritmen.. Diagonalmatriser I 9- anvíander vi oss av ytterligare en optimering. Om matriserna A repektive A 11 íar diagonalmatriser kommer beríakningarna ovan att bli mycket mindre beríakningskríavande. Begríansningen att matriserna ska vara diagonala betyder att transitioner mellan tvça olika tillstçand med samma utsymbol inte íar tillçaten. Fíor digitala skurfelskanaler íar en sçadan inskríankning vanlig. I ë1ë och ëë beskrivs hur man kan fça A och A 11 till diagonalmatriser och vilka inskríankningar det fçar fíor ursprungsmodellen.. Skalning av æ tk och æ tk Om 9- ska anvíandas pça lçanga sekvenser sça inses snabbt att víardena pça elementen kommer att bli mycket smça. Den begríansade upplíosningen pça æyttal som ænns i datorer idag gíor att æ tk - och æ tk -víardena snabbt kommer att avrundas till noll. æ tk och æ tk mçaste díarfíor skalas om. Skalningen utfíors av en speciell algoritm, beskriven i ëë, som gçar ut pça att alla æ tk æ tk -par skalas med en gemensam faktor. Skalningen utfíors líampligen samtidigt som æ tk - och æ tk - vektorerna ríaknas ut. Observera att bçade ~æ tk och æ tk nedan inte íar samma som de i 9-. ~æ t 1 p X 1 A l 1,1 X 1 X 1 ; s 1 j~æ t 1 j; æ t 1 ~æ t 1 s 1 ~æ t æ t 1 A X1 X A l,1 X X ; s j~æ t j; æ t ~æ t s. ~æ tç æ t ç,1 A X ç,1xça.. lç,1 Xç Xç s ç j~æ j; tç æ tç ~æ s tç ç : 1 Samma skalfaktorer anvíands sedan fíor att skala om æ tk níar de ríaknas ut enligt ~æ tç æ tç ~1 ~æ tç,1 A Xç,1XçA lç,1 æ tç ; æ Xç Xç tç,1 æ ~ s tç,1 ç. ~æ t1 A X1 X A l,1 X X ; æ t1 ~ æ t1 s 15. :

16 Ur ovanstçaende formler kan man nu visa att ëskalad æ tk ëriktiga æ t k s 1 s æææs k ëskalad æ tk ëriktiga æ t k s k+1 æææs ç,1 s ç : Med de skalade víardena pça æ tk och æ tk inses att æ tk æ tk kommer att innehçalla alla skalfaktorer s 1 æææs ç, vilket senare utnyttjas i den omskrivna Baum-Welch algoritmen. Eftersom de skalade æ tk och æ tk íar normaliserade inses att produkten av alla skalfaktorer kommer att bli det samma som PrO. PrO lagras med fíordel som 1-logaritmen av riktiga PrO, av samma anledning som omskalningen av æ tk och æ tk..5 Baum-Welch algoritmen Med hjíalp av de olika metoder beskrivna ovan och en hel del algebra kan 1-18 skrivas om pça en optimerad form, vilken med fíordel kan anvíandas t.ex. pça en digital skurfelskanal. Híarledningen av formlerna ænns beskriven i appendix A. B behíover inte reestimeras dça den inte kommer att fíoríandra sina víarden, díarfíor estimeras enbart A och ç. Observera att de elementen i A och A 11 som redan íar kommer att fíorbli noll, sça de innefattas inte av ekvationerna nedan. Fíoljande beteckningar kommer att anvíandas Si ; om tillstçandet i har utsymbol 1; om tillstçandet i har utsymbol 1 ; I i; om Si i,n ; om Si 1 : J deænieras pça liknande síatt som I. Reestimeringsformlerna fíor A och ç blir nu enligt ça ij ç ij ç i och ç i ç i PN j1 ç j ; 5 díar ç i çiæ æ t i, b i X ç æ tç I+ çx k1 b i X k l k æ tk Iæ tk I: 1

17 Fíor diagonalen i A gíaller æ æ t i i formeln ovan íar inte pça blockmatrisform men kan skrivas om med hjíalp av æ t1 : Fíor fullstíaning formel se appendix A. ç ii b i X 1 çia l 1 ii æ t1 I+ och fíor Si Sj ç ij a ij b j X 1 çia l 1,1 jj æ t1 J+ çx k1 çx k 1 C A b i X k l k, 1æ tk Iæ tk I; b j X k l k, 1æ tk,1 Ial k,1 jj æ tk J Jíamfíort med 1-18 kan det tyckas att dessa íar mer komplexa och visserligen íar formlerna lite mer invecklade men komplexiteten fíor att beríakna estimeringen har minskat till Oç som vi ville..5.1 Skalfaktorer I ovanstçaende formler har ingen híansyn till skalfaktorerna gjorts, det mçaste man naturligtvis gíora. I de termerna díar æ tk och æ tk ingçar med samma k kommer hela skalfaktorprodukten ænnas med, men i de andra termerna saknas en skalfaktorterm som mçaste líaggas till i formlerna. Formler med skalfaktorn inbakat ænns beskrivna i appendix A.. Nçagra exempel Fíor att síatta lite siæror i formlerna pça de senaste sidorna visas nçagra av formlerna applicerade pça en testmodell. A Frçan 5 fças :999 :8 :59 :5 : :19 :5 P :999 :59 : :19 5 ; B 5 ; P ;ç 1 :8 :5 :5 5: : 5 : 8 Fíor att visa utríakningar av æ tk och æ tk anvíander vi en pçahittad sekvens, O Vi ríaknar ut dem bçade i dess ëvanliga form och pça 1

18 blockmatrisform. Observera blockmatrisvarianten som íar en submatris av den andra. Enligt 1- blir tex æ t1 och æ tç,1 æ t 1 ç P :99 :11 :59 :5 :999 :59 : : h :99 i ; 9 respektive æ tç,1 P 1 ~1 : : :5 :8 :5 : ~1 : : :5 5 : Blockmatrisvarianterna blir enligt 9- æ t 1 p A,1 ça + ç1a 1 A,1 :999 :59 respektive 1 +ëë :5 çh :999 i + ç :998 :! :999 :59 h :99 i 1 æ tç,1 A 1 A,1 11 ~ 1 :8 :5 h :5 ih 1 i De andra æ tk -ochæ tk -vektorerna fças fram pça likande síatt. Skalningen av æ tk çaskçadliggíors av : : : k h ~æ t k i s k h æ t k i 1 : h :591 h :1 i h :585 i :1 i h :98 h 1 i h 1 i :5 i 18

19 Som beskrivet fíorut sça skalas æ tk vektorerna med ovanstçaende skalfaktorer. Produkten av alla skalfaktorer s 1 s s s ska bilda PrO. Jíamfíort med som ger s 1 s s s :1 1, : PrOç P P 1P P 1~1 :1 1, vilket íoverensstíammer. Val av modell Ifíoregçaende avsnitt har vi beskrivit Baum-Welch algoritmen som en algoritm som givet en modell och en sekvens reestimerar parametrarna i modellen sça att sannolikheten fíor sekvensen maximeras. Fíor att algoritmen ska fungera bra mçaste man bestíamma sig fíor en modell och dessutom initieringsskatta parametrarna. Valet av modell bestçar till huvudsak av att bestíamma antalet tillstçand. En modell med mçanga tillstçand kommer fíormodligen att modellera sekvensen pça ett bra síatt. Det kan dock bli problem att hitta initieringsvíarden pça de ingçaende parametrarna, eftersom det oftast íar komplicerade beroenden mellan parametrarna. Med fça tillstçand kommer modellen att bli enkel och en bra initieringsskattning kan gíoras, men om man víaljer fíor fça tillstçand kan man inte fça de statistiska egenskaper man efterstríavar. I avsnittet om den optimerade Baum-Welch algoritmen beskrevs metoder fíor att optimera algoritmen utifrçan lçanga observationssekvenser. En av optimeringarna innebíar att man gíor en inskríankning i vilka íovergçangar mellan tillstçanden som fçar gíoras. Dessa begríansningar mçaste man beakta níar man víaljer modell sça att man kan anvíanda den optimerade Baum-Welch algoritmen. Flyttalsrepresentationen hos datorer íar begríansad, vilket gíor att en potensutríakning kan bli noll dça ett litet tal upphíojs med ett stort tal. Detta mçaste man tíanka pça dça man skattar diagonalelementen i A. Om initialskattningen av A har fçar smça tal i diagonalen kommer sannolikheten fíor en lçang sekvens att avrundas till noll. Man bíor díarfíor íoverestimera diagonalelementen och pça sça síatt ëhíoja sannolikheten nçagot fíor lçanga sekvenser. I det híar avsnittet beskriver vi nçagra olika standardmodeller och vilka egenskaper dessa har. Vi beskriver ocksça en modell som vi anvíander fíor vçar observerade sekvens. 19

20 B G G G 1 n Figur : Fritchmans modell.1 Fritchmans Modell I Fritchmans modell sça ænns det ett eller æera ëbra tillstçand men bara ett ëdçaligt som alltid genererar ëfel, se Figur. Inga íovergçangar mellan olika ëbra tillstçand tillçats utan ett hopp till ett ëbra tillstçand mçaste ske via det ëdçaliga tillstçandet. Fíordelen med Fritchmans modell íar att det íar relativt enkelt att ta fram de ingçaende parametrarna. I ë5ë beskrivs hur man gíor detta med hjíalp av den sça kallade gaplíangdsfíordelningen och grundlíaggande statistiska storheter. Tyvíarr sça antar Fritchmans modell att intervallet mellan níarliggande fel íar statistiskt oberoende, detta íar dock inte fallet níar man t.ex. har en fíadande kanal. Fritchmans modell líampar sig díarfíor inte speciellt bra i mer komplexa system.. Gilberts Modell P Q G B q p Figur : Gilberts modell Gilberts modell har tvça olika tillstçand, ett ëbra och ett ëdçaligt. I det ëbra tillstçandet genereras inga ëfel, medan det i det ëdçaliga tillstçandet kan genereras ëfel. Se Figur.

21 Fíor att çastakomma bíattre íoverensstíammelse med experimentellt data sça kan Gilberts modell expanderas till att omfatta æera ëbra tillstçand. Ett specialfall av denna variant íar níar man inte tillçater íovergçangar mellan tvça ëbra tillstçand, denna blir dça ekvivalent med Fritchmans modell. Skattningen av parametrar i Gilberts modell íar enkel vid tvça tillstçand. Vid æer ían tvça tillstçand blir skattningen inte lika enkel. Vi kíanner inte till nçagon generell metod fíor detta.. En blockmatrismodell G1 B1 G Figur 5: Blockmatris modell Vid konstruktionen av en modell som kan anvíandas i den optimerade Baum-Welch algoritmen mçaste man skapa en modell díar íovergçangar mellan tillstçand med lika utsymboler inte íar tilllçaten. Tillstçanden fçar dessutom endast ha en utsymbol. Figur 5 visar en modell som motsvarar Gilberts modell fast i blockmatrisform. Fíor modeller med ett mindre antal tillstçand íar det enkelt att ta fram parametrarna utgçaende frçan skurfelslíangder, bitfelshalt i skurar mm. Dock blir det svçarare fíor modeller med mçanga tillstçand. 1

22 5 Implementation Vi har gjort vçar implementation av Baum-Welch algoritmen i MATLAB c- mex. Vi har valt detta dels fíor att fça implementationen snabbare och dels fíor att det underlíattade hanteringen av æ och æ. Vi anvíander oss i implementationen av en C++ klass fíor matriser som vi skapat. Detta gíor att samtliga uttryck blir ganska lika uttrycken i den híar rapporten. Med hjíalp av programmet íar det míojligt att kíora estimeringen iteration fíor iteration. Runt omkring c-mex implementationen har vi gjort ett antal mindre MATLAB-skriptæler, díar vi bland annat kan kíora iterationer av Baum-Welch algoritmen tills skillnaden i PrO mellan tvça iterationer blivit mindre ían ett visst stoppvillkor. Skriptæler fíor att generera sekvenser frçan en given modell ænns ocksça. Resultat I fíoljande avsnitt undersíoker vi fíorst Baum-Welch algoritmen och fíorsíoker sedan avgíora om metoden med HMM modeller och Baum-Welch algoritmen kan anvíandas fíor att modellera ett kommunikationssystem..1 Baum-Welch algoritmen.1.1 Veriæering Fíor att veriæera att vçar implementation av Baum-Welch algoritmen fungerar genererade vi 1 symboler med hjíalp av en Markovmodell med A :99 :5 :81 :19 :1555 :8988 :155 5 : Vi startade sedan reestimeringen med Baum-Welch algoritmen med A :999 :1 :99 :1 : :1 :5 5 som fíorsta estimering av A. Efter tre iterationer æck vi matrisen A :99 : :8881 :19119 :1598 :885 :

23 och efter 9 iterationer æck vi A 9 :998 : :88 :191 :158 :8988 :159 5 Efter nionde iterationen íandrades matrisen endast marginellt :e decimalen. Vi har íaven jíamfíort vçart resultat med ë1ë och ëë och vi anser att de íoverensstíammer..1. Tidskomplexitet Figur visar tidsçatgçangen fíor en iteration av Baum-Welch algoritmen som funktion av antalet transitioner mellan ëbra och ëdçaliga symboler. Tiderna íar uppmíatta pça en SUN SPARCstation. Ur æguren framgçar det att tidskomplexiteten íar som víantat Oç Sec Antal transitioner mellan bra och dåliga symboler x 1 Figur : Tidsçatgçang fíor en iteration av Baum-Welch algoritmen

24 .1. Hur lçanga sekvenser behíovs? Ju líangre observerad sekvens man har ju bíattre skattning av parametrarna i HMM modellen kan man gíora. Fíor att fça ett grov uppfattning av hur lçanga sekvenser man kan behíova gjorde vi nçagra empiriskafíorsíok. Vi genererade en lçang sekvens 1 symboler utifrçan A-matrisen. Vi provade sedan att reestimera med olika lçanga delar av den skapade sekvensen. Resultatet visas i Tabell 1. Híar ser man att A ganska snabbt konvergerar mot ett ganska bra víarde, men om man vill ha ett riktigt bra resultat kríavs víaldigt lçanga sekvenser. Observera att víardena i tabellen íar den stíorsta avvikelsen hos nçagot av elementen i A matrisen. Antal transitioner Antal symboler Maximala felet hos A skattad Tabell 1: Konvergens av A fíor olika líangder pça sekvensen. Anvíandning av modeller i ëverkligheten Av Telia Research AB i Luleça har vi fçatt en genererad sekvens. Sekvensen kommer frçan ett modellerad kommunikationssystem simulerat med hjíalp av ett simuleringsverktyg, COSSAP. Det simulerade systemet bestçar av en faltningskodare, QPSK-modulering och enawgn kanal. Den genererade sekvensen innehçaller ca 1 symboler eller ca transitioner mellan ëbra och ëdçaliga symboler. Medellíangden pça en skur íar symboler och medellíangden fíor de felfria sekvenserna íar 1. Utgçaende frçan sekvensen fíorsíokte vi skapa en sça bra modell som míojligt. Till att bíorja med ansatte vi en modell med tre tillstçand, liknande den i ægur 5. Vi gjorde en initialskattning baserad pça statistiska data frçan sekvensen. Díarefter reestimerade vi víardena med hjíalp av Baum-Welch algoritmen. Skillnaden mellan initialskattningen och den reestimerade modellen var minimal, vilket visar att initialskattningen fíor en liten modell íar enkel att gíora ëbra. Efter estimeringen hade vi uppnçatt en sekvenssannolikhet pça 1,1. Efter detta ansatte vi en modell med tvça ëbra tillstçand och tvça ëdçaliga. Eftersom vi saknar metoder fíor att skapa en bra initialskattning fíor en

25 sçadan modell, experimenterade vi oss fram, tills vi hittade en bra initialskattning. Efter kíorning av Baum-Welch algoritmen lyckades vi uppnça sekvenssannolikheten 1,1, vilket íar bíattre ían fíor modellen med tre tillstçand. Ytterligare experimenterande visade att om vi ansatte modeller med æer tillstçand ían fyra tenderade en del íovergçangssannolikheter att bli noll. Detta íar en indikering pça att æer ían fyra tillstçand ej íar níodvíandigt fíor detta kommunikationssystem. Tyvíarr saknade vi statistiskt material fíor att kunna gíora en ríattvis jíamfíorelse mellan den ëverkliga sekvensen och sekvenser skapade av HMM modeller. Fíor att en sçadan jíamfíorelse ska bli tillfíorlitlig kom vi empiriskt fram till att det kríavs sekvenser pça minst transitioner mellan ëbra och ëdçaliga symboler. Anledningen íar att líangderna pça de felfria sekvenserna varierar víaldigt mycket och att det díarfíor behíovs mycket data fíor att fça en bra uppfattning om fíordelningen pça sekvenslíangderna. Vi har dock jíamfíort medellíangderna pça felfria-, resp skurfels- sekvenser och funnit att de stíammer. Genomsnittliga bitfelshalten íoverensstíammer ocksça.. Statistisk íoverensstíammelse íaven om man hittat de HMM parametrar som fíor en given HMM modell maximerar likelihoodfunktionen kan man inte vara síaker pça att sekvenser genererade av HMM modellen íoverensstíammer med den observerade sekvensen. Modellens utseende kan ju vara sçadant att vissa egenskaper hos felsekvensen inte gçar att representera. Till exempel passar inte Fritchmans modell fíor fíadande kanaler. Vi har i vçara fíorsíok veriæerat att bla. bitfelshalten i skurarna íoverensstíammer mellan HMM skapade sekvenser och riktiga sekvenser. Medellíangder pça felfria sekvenser och skurlíangder íoverensstíammer ocksça. Vi har dock inte kunnat veriæera att fíordelningen fíor skurfelslíangder íoverensstíammer mellan sekvenserna, dça vi har haft fíor korta simulerade felsekvenser. Híar ser vi ett problem. Det behíovs inte sça lçanga sekvenser fíor att kunna gíora en bra skattning av HMM parametrarna ca 1 transitioner, se ægur. Men det behíovs víaldigt lçanga sekvenser 1- transitioner fíor att kunna veriæera att de tvça modellerna har ekvivalenta statistiska egenskaper. Man bíor nog veta vilka statistiska egenskaper som íar viktiga níar man utvíarderar HMM modellens egenskaper. I vissa fall kanske det endast íar bitfelshalten som íar avgíorande, dça duger en mycket enkel modell. I andra fall kanske man mçaste ta till en víaldigt komplex modell fíor att fça sina krav uppfyllda. 5

26 Slutsatser Implementationen av den optimerade Baum-Welch algoritmen kan gíoras bçade eæektiv och snabb. Vi har veriæerat och testat estimeringen och vi anser att algoritmen fungerar bra. Anpassningen av modellen till den observerade felsekvensen gçar att gíora pça ett bra síatt, íaven om metoderna kan bli víaldigt komplexa níar storleken pça modellen blir stor. Ett problem med metoden íar att det ibland kan kríavas víaldigt lçanga simulerade felsekvenser fíor att kunna avgíora om modellen stíammer bra eller ej. Dça ett av mçalet íar att spara in simuleringstid kan detta stça i konæikt med syftet till infíorandet av en HMM modell. Vidare kan vi ocksça poíangtera att fíor en liten modell med tvça till tre tillstçand íar det fíormodligen inga problem att direkt frçan sekvensen ta reda pça parametrarna med hjíalp av statistiska mçatt. Metoden beskriven i rapporten líampar sig nog mer fíor modeller med ett æertal tillstçand.

27 A Híarledning av Baum-Welch algoritmen A.1 Inledning Eftersom vi gjorde vçar egen híarledning av formlerna fíor den optimerade Baum-Welch algoritmen, redovisar vi vçar tankegçang híar. Den híar appendixen íar mer meningen att vara en hjíalp vid egen híarledning, ían att vara en fullstíandig beskrivning av tillvíagagçangssíattet. Vi startar med formeln enligt 1 som vi upprepar ça ij a ij ç i T X,1 t æ tu ij b j O t+1 æ t+1 Vi deænierar T X,1 ç ij a ij t æ tu ij b j O t+1 æ t+1 : 8 Vi vill nu organisera om summan sça att vi kan dra nytta av X-deænitionen av den observerade sekvensen. ç ij a ij çx ç ijk X t k,1 k1 tt k,1 b j X k ç ijk : æ tu ij b j O t+1 æ t+1 t k,1 X tt k,1 æ tu ij æ t+1 9 b j X k æ t k,1 C ijl k æ tk 5 díar C ij l k l k,1 X æ P æ X k U ij P l k,1,æ X k 51 A. ç ijk Nu vill vi kunna skriva om C ij utan att behíova anvíanda summatecknet, som gíor det hela víaldigt beríakningskríavande. Det íar nu som omskrivningen till blockmatriser och inskríankningen med diagonalmatriser kommer in. Vi identiæerar nçagra olika fall som kommer att behandlas var fíor sig 1. X k ochij.. X k 1ochij.

28 . X k ochsisj.. X k 1ochSiSj. Fallet dça Si Sj, men i j, behandlas ju inte eftersom a ij i det fallet íar. Frçan 51 fçar vi 8 lk,1,æ A C ij l k é é: P lk,1 æ P lk,1 æ æ A U A 1 ij ; X A 1 k æ lk,1,æ A1 A1 U A ij ; X 11 A k Vi bíorjar med fall 1. Híar íar alltsça i j, Sj och X k.u ij kommer dça att ha en etta i 1:a kvadranten, vilket ger C ij l k C ii l k + + UII A A l k, A 1 A l k, A 1 A l k, l k, X A A æ,1 UII A A l k,,æ A æ1 1 A æ,1 A 1 A l k,,æ UII A A l k, A A l k, l k, X + + A A l k, A A æ,1 U II A A l k,,æ A 1 A æ,1 U II A A l k,,æ æ1 P lk,1 æ A æ U II A l k,1,æ P A lk, 1 æ A æ U II A A l k,,æ A A l k, U II U II + UII ëutnyttja att æera av matriserna íar diagonalmatriser.ë P lk,1 UII æ A l k,1 P A 1 U lk, II UII l k A l k,1 æ A l k, A 1 U II l k, 1A l k, lk A l k,1 U II l k, 1A 1 A l k, U II + : 5 I Fall íar Si Sj, Sj och X k,vilket ger att U ij har en etta nçagonstans i :e kvadranten. C ij l k U IJ A A l k, A 1 A l k, 8 + A A l k, A 1 A l k, U IJ +

29 + l k, X A A æ,1 A 1 A æ,1 æ1 U IJ A A l k, U IJ ++ A A l k,,æ A 1 A l k,,æ U IJ A l k,1 : 5 Fall och, behandlas pça likande síatt. Nu níar vi har C ij pça en enklare form kan vi stoppa in den i 5 och fíorenkla lite mera. Blockmatrisvarianterna av æ och æ tk,1 t k har bestíamda dimensioner dça X k íar kíand. Observera att i formlerna nedan anvíands bçade blockmatrisvarianten av æ och æ samtidigt som den ëvanliga, men vi tycker att det framgçar av sammanhanget vilken som íar vilken. æ C ætk t k,1 ijl k æ tk C ijl k 55? æ tk,1 I Fall 1 fças æ tk,1 lk A l k,1 U II l k, 1A 1 A l k, U II l k,1æ t k,1 A 1A l k, U II æ tk ætk? och analogt fças fall till l k, 1æ t k,1 A 1A l k, 11 U II æ tk : Fall ger ætk æ tk,1 æ t k,1 U IJA l k,1 æ tk : U IJ A l k,1? och analogt fall æ t k,1 U IJA l k,1 11 æ tk : Sammanfattningsvis sça híar lçangt har vi fíor de olika fallen i j, Sj ç ijk b j l k, 1æ t k,1 A 1A l k, U II æ tk i j, Sj 1 ç ijk b j l k, 1æ t k,1 A 1A l k, 11 U II æ tk i j, Sj ç ijk b j 1æ t k,1 U IJA l k,1 æ tk i j, Sj 1 ç ijk b j 1æ t k,1 U IJA l k,1 11 æ tk 5 9

30 A. ç ij Summan fíor çij enligt 9 innebíar ett problem, dça den fíorsta termen i vissa fall, enligt 5, kommer att referera till æ t som inte íar klart deænierad fíor blockmatriser. Vi mçaste dela pça summan och ta k 1fíor sig. ç ij a ij çx k1 ç ijk a ij ç ij1 + çx k a ij ç ijk 5 Med víardena i tabellen fíor de olika fallen insatta i 9 fçar vi ç ij a ij ç ij çx é b j X k l k, 1æ t k U II æ tk ; i j b j X k æ k é: U t k,1 IJA l k,1 æ tk ; i j; Sj b j X k æ U t k,1 IJA l k,1 11 æ tk ; i j; Sj 1 Observera att a ij gçar in formeln och att æ íandrar index. Termen innan summan blir 58 a ij ç ij1 a ij æ t C ij l 1 æ h i t1 a ij ç ç 1 æ æ 8 é l1 A l 1,1 U II l 1, 1A 1 A l 1, U II U IJ A l æ 1,1 t1 ; l1,1a 1 A l 1, 11 U II l 1 A l 1,1 11 U II UIJ A l 1,1 11 æ t1 ; æ t1 ; é: æ t1 ; 8 a ij çç l 1A l 1,1 U II + ç1l 1, 1A 1 A l 1, é a ij çç 1 U IJA l 1,1 ç æ t1 X 1 ;ij X 1 ;Si Sj X 1 1;ij a ij çç 1 é: l 1A l 1,1 11 U II + çl 1, 1A 1 A l 1, ç a ij çç U IJA l 1,1 11 æ t1 8 ç ç l 1A A l 1,1 U II + ç1l 1, 1A 1 A l 1,1 ç é a ij çç U 1 IJA l 1,1 æ ç t1 ç 1 é: l 1A 11 A l 1,1 11 U II + çl 1, 1A 1 A l 1,1 a ij çç U IJA l 1,1 11 ç æ t1 X 1 1;Si Sj U II çæ t1 11 U II çæ t1 U II çæ t1 11 U II çæ t1

31 8 é ça l 1 U II æ t1 +l 1,1 ça + ç1a 1 A l 1,1 ç a ij çç 1 U IJA l 1,1 æ t1 ç1a l 1 U II æ t1 +l 1,1 ç1a 11 + ça 1 A l 1,1 ç é: a ij çç U IJA l 1,1 11 æ t1 8 ça l 1 ç é U II æ t1 +l ç 1,1æ t1 U II æ t1 a ij ç U 1 IJA l 1,1 é: æ t1 ç1a l 1 ç 11U II æ t1 +l ç 1,1æ t1 U II æ t1 a ij ç U IJA l 1,1 æ t1 U II æ t1 11 U II æ t1 11 çia l 1 ii æ t1 I+l 1,1æ t1 Iæ t1 I; i j a ij çia l 1,1 jj æ t1 J; Si Sj: Fíor i j ovan sça kan term nummer slças ihop med summan i 5 sça att ç ij kan sammanfattas till ç ii b i X 1 çia l 1 ii æ t1 I + çx k1 b i X k l k, 1æ tk Iæ tk I ç ij a ij hb j X 1 çia l 1,1 jj æ t1 J + a ij çx k i 59 b j X k l k, 1æ tk,1 Ial k,1 jj æ tk J A. ç i ç i deænieras i 1 till ç i T X,1 t æ tu ii æ t Omskrivningen av ç i gçar till pça liknande síatt som fíor ç ij. ç i æ t U ii æ t, æ tçu ii æ tç + çx t k X k1 tt k,1+1 æ tu ii æ t Med samma teknik, vad gíaller den inre summan, som anvíandes vid fíorenklingen av C ij l k ovan sça reduceras ovanstçaende till ç i çiæ æ t i, b i X ç æ tç I+ çx k1 l k æ t Iæ t I 1 1

32 æ æ t i i formeln ovan íar inte pça blockmatrisform men kan skrivas om med hjíalp av æ t1 enligt fíoljande æ æ t P l 1,1 X 1 æ æ t 1 8 é A A l 1,1 æt1? A 1 A l 1,1 A1 A l 1,1 11 A 11 A l 1,1 é: 8 A A l 1,1 é A 1 A l 1,1 é: 11 æ t1 æ t1? æ t1 ; X 1 A1 A l 1,1 11 æ t1 A 11 A l ; X 1, æ t1 ; X 1 ; X 1 1 Ur dessa matriser kan sen æ æ t i tas fram. A.5 Skalfaktorer I ovanstçaende híarledning har ingen híansyn till skalfaktorerna gjorts, det mçaste man naturligtvis gíora. I de termerna díar æ tk och æ tk ingçar med samma k kommer hela skalfaktorprodukten ænnas med. Men i vissa termer saknas en skalfaktorterm, som mçaste líaggas till i formlerna. Eftersom æ æ t i íar utríaknad utifrçan æ t1 sçakommer den termen att skalas med s 1. Det blir dça enligt fíoljande ç i çiææ t i s 1, b i X ç æ tç I+ ç ii b i X 1 çial 1 ii æ t1 I + çx k1 ç ij a ij + a ij çx s 1 b i X k l k, 1æ tk Iæ tk I b j X 1 çial 1,1 jj æ t1 J k s 1 çx k1 l k æ t Iæ t I b j X k l k, 1æ tk,1 Ial k,1 jj æ tk J : s k

33 Referenser ë1ë Turin, W. & Sondhi, M. M., ëmodelling Error Sources in Digital Channels, IEEE Journal on selected areas in communications, vol II, no, April 199. ëë Sivaprakasam, S, ëan Equivalent Markov Model for Burst Errors in Digital Channels, IEEE Trasactions on communications, vol., no., pp 1-155, FebruariMarchApril ëë Rabiner, L. R. & Juang, B.H., ëan Introduction to Hidden Markov Models, IEEE ASSP Magazine, pp -1, January 198. ëë Turin, W., Performance Analysis of Digital Transmission Systems, New York: Computer Science Press, 199. ë5ë Ahlin, L. & Zander, J., Digital radiokommunikation, Lund: Studentlitteratur, 199. ëë Levison, S. E., Rabiner, L. R., and Sondhi, M. M., ëan introduction to the application of the theory of probabilistic functions of a Markov process to automatic speech recognition, Bell Syst. Tech. J., vol., no., part 1, pp. 15-1, April, 198. ëë Baum, L.E., et al., ëa maximization technique occuring in the statistical analysis of probabilistic functions of Markov chains, The Annals of Mathematical Statistics, vol. 1, No. 1, pp 1-11, 19.

Konvergens för iterativa metoder

Konvergens för iterativa metoder Konvergens för iterativa metoder 1 Terminologi Iterativa metoder används för att lösa olinjära (och ibland linjära) ekvationssystem numeriskt. De utgår från en startgissning x 0 och ger sedan en följd

Läs mer

Algoritm för uppskattning av den maximala effekten i eldistributionsnät med avseende på Nätnyttomodellens sammanlagringsfunktion

Algoritm för uppskattning av den maximala effekten i eldistributionsnät med avseende på Nätnyttomodellens sammanlagringsfunktion Algoritm för uppskattning av den maximala effekten i eldistributionsnät med avseende på Nätnyttomodellens sammanlagringsfunktion Carl Johan Wallnerström December 2005 Kungliga Tekniska Högskolan (KTH),

Läs mer

Stokastiska processer

Stokastiska processer Stokastiska processer Fredrik Olsson, fredrik.olsson@iml.lth.se Avdelningen för produktionsekonomi Lunds tekniska högskola, Lunds universitet Dessa förläsningsanteckningar kommer att behandla diskreta

Läs mer

TAMS79: Föreläsning 10 Markovkedjor

TAMS79: Föreläsning 10 Markovkedjor TAMS79: Föreläsning 0 Markovkedjor Johan Thim december 08 0. Markovkedjor Vi ska nu betrakta en speciell tidsdiskret diskret stokastisk process, nämligen Markovkedjan. Vi börjar med en definition Definition.

Läs mer

Introduktion till algoritmer - Lektion 4 Matematikgymnasiet, Läsåret 2014-2015. Lektion 4

Introduktion till algoritmer - Lektion 4 Matematikgymnasiet, Läsåret 2014-2015. Lektion 4 Introduktion till algoritmer - Lektion 4 Matematikgymnasiet, Läsåret 014-015 Denna lektion ska vi studera rekursion. Lektion 4 Principen om induktion Principen om induktion är ett vanligt sätt att bevisa

Läs mer

Kursombud sökes! Kursens syfte är att ge en introduktion till metoder för att förutsäga realtidsegenskaper hos betjäningssystem, i synnerhet för data- och telekommunikationssystem. Såväl enkla betjäningssystem,

Läs mer

Fixpunktsiteration. Kapitel Fixpunktsekvation. 1. f(x) = x = g(x).

Fixpunktsiteration. Kapitel Fixpunktsekvation. 1. f(x) = x = g(x). Kapitel 5 Fixpunktsiteration 5.1 Fixpunktsekvation En algebraisk ekvation kan skrivas på följande två ekvivalenta sätt (vilket innebär att lösningarna är desamma). 1. f(x) = 0. En lösning x kallas en rot

Läs mer

Självkoll: Ser du att de två uttrycken är ekvivalenta?

Självkoll: Ser du att de två uttrycken är ekvivalenta? ANTECKNINGAR TILL RÄKNEÖVNING 1 & - LINJÄR ALGEBRA För att verkligen kunna förstå och tillämpa kvantmekaniken så måste vi veta något om den matematik som ligger till grund för formuleringen av vågfunktionen

Läs mer

Dekomponering av löneskillnader

Dekomponering av löneskillnader Lönebildningsrapporten 2013 133 FÖRDJUPNING Dekomponering av löneskillnader Den här fördjupningen ger en detaljerad beskrivning av dekomponeringen av skillnader i genomsnittlig lön. Först beskrivs metoden

Läs mer

Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar

Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK DATORLABORATION 4 MATEMATISK STATISTIK, FÖR I/PI, FMS 121/2, HT-3 Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar

Läs mer

För logitmodellen ges G (=F) av den logistiska funktionen: (= exp(z)/(1+ exp(z))

För logitmodellen ges G (=F) av den logistiska funktionen: (= exp(z)/(1+ exp(z)) Logitmodellen För logitmodellen ges G (=F) av den logistiska funktionen: F(z) = e z /(1 + e z ) (= exp(z)/(1+ exp(z)) Funktionen motsvarar den kumulativa fördelningsfunktionen för en standardiserad logistiskt

Läs mer

Tentamen i Beräkningsvetenskap I/KF, 5.0 hp,

Tentamen i Beräkningsvetenskap I/KF, 5.0 hp, Uppsala universitet Institutionen för informationsteknologi Teknisk databehandling Tentamen i Beräkningsvetenskap I/KF, 5. hp, 215-3-17 Skrivtid: 14 17 (OBS! Tre timmars skrivtid!) Hjälpmedel: Bifogat

Läs mer

Subtraktion. Räkneregler

Subtraktion. Räkneregler Matriser En matris är en rektangulär tabell av tal, 1 3 17 4 3 2 14 4 0 6 100 2 Om matrisen har m rader och n kolumner så säger vi att matrisen har storlek m n Index Vi indexerar elementen i matrisen genom

Läs mer

Simulering av Poissonprocesser Olle Nerman, Grupprojekt i MSG110,GU HT 2015 (max 5 personer/grupp)

Simulering av Poissonprocesser Olle Nerman, Grupprojekt i MSG110,GU HT 2015 (max 5 personer/grupp) Simulering av Poissonprocesser Olle Nerman, 2015-09-28 Grupprojekt i MSG110,GU HT 2015 (max 5 personer/grupp) Frågeställning: Hur åstadkommer man en realisering av en Poissonprocess på ett tidsintervall

Läs mer

1 Duala problem vid linjär optimering

1 Duala problem vid linjär optimering Krister Svanberg, april 2012 1 Duala problem vid linjär optimering Detta kapitel handlar om två centrala teoretiska resultat för LP, nämligen dualitetssatsen och komplementaritetssatsen. Först måste vi

Läs mer

MVE051/MSG Föreläsning 7

MVE051/MSG Föreläsning 7 MVE051/MSG810 2016 Föreläsning 7 Petter Mostad Chalmers November 23, 2016 Överblick Deskriptiv statistik Grafiska sammanfattningar. Numeriska sammanfattningar. Estimering (skattning) Teori Några exempel

Läs mer

Diskreta Linjära System och Skiftregister

Diskreta Linjära System och Skiftregister Sammanfattning Föreläsning 13-14 - Digitalteknik I boken: avsnitt 7.1-7.3 (-) Diskreta Linjära System och Skiftregister Syftet med denna del är att förstå att tillståndsmaskiner som endast består av linjära

Läs mer

Signalanalys med snabb Fouriertransform

Signalanalys med snabb Fouriertransform Laboration i Fourieranalys, MVE030 Signalanalys med snabb Fouriertransform Den här laborationen har två syften: dels att visa lite på hur den snabba Fouriertransformen fungerar, och lite om vad man bör

Läs mer

3 differensekvationer med konstanta koefficienter.

3 differensekvationer med konstanta koefficienter. Matematiska institutionen Carl-Henrik Fant 17 november 2000 3 differensekvationer med konstanta koefficienter 31 T Med en menar vi en av rella eller komplexa tal varje heltal ges ett reellt eller komplext

Läs mer

Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar

Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar Lunds tekniska högskola Matematikcentrum Matematisk statistik Laboration 3 Matematisk statistik AK för CDIFysiker, FMS012/MASB03, HT15 Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla

Läs mer

Ickelinjära ekvationer

Ickelinjära ekvationer Löpsedel: Icke-linjära ekvationer Ickelinjära ekvationer Beräkningsvetenskap I Varför är det svårt att lösa icke-linjära ekvationer? Iterativa metoder Bisektion/intervallhalvering Newton-Raphsons metod

Läs mer

Permutationer med paritet

Permutationer med paritet 238 Permutationer med paritet Bernt Lindström KTH Stockholm Uppgift. Att studera permutationerna av talen 1 2... n och indelningen i udda och jämna permutationer ur olika aspekter. Permutationer är särskilt

Läs mer

. (2p) 2x + 2y + z = 4 y + 2z = 2 4x + 3y = 6

. (2p) 2x + 2y + z = 4 y + 2z = 2 4x + 3y = 6 Kursen bedöms med betyg, 4, 5 eller underkänd, där 5 är högsta betyg För godkänt betyg krävs minst 4 poäng från uppgifterna -7 Var och en av dessa sju uppgifter kan ge maximalt poäng För var och en av

Läs mer

MMA132: Laboration 2 Matriser i MATLAB

MMA132: Laboration 2 Matriser i MATLAB MMA132: Laboration 2 Matriser i MATLAB Introduktion I den här labben skall vi lära oss hur man använder matriser och vektorer i MATLAB. Det är rekommerad att du ser till att ha laborationshandledningen

Läs mer

SF1545 Laboration 1 (2015): Optimalt sparande

SF1545 Laboration 1 (2015): Optimalt sparande Avsikten med denna laboration är att: SF1545 Laboration 1 (215: Optimalt sparande - snabbt komma igång med träning på matlabprogrammering (uttnyttja gärna alla schemalagda laborationstillfällen, - lösa

Läs mer

Aritmetisk kodning. F (0) = 0 Exempel: A = {1, 2, 3} k=1. Källkodning fö 5 p.1/12

Aritmetisk kodning. F (0) = 0 Exempel: A = {1, 2, 3} k=1. Källkodning fö 5 p.1/12 Aritmetisk kodning Vi identifierar varje sekvens av källsymboler med ett tal i intervallet [0, 1). Vi gör det med hjälp av fördelningsfunktionen (cumulative distribution function) F. För enkelhets skull

Läs mer

Innehåll. Föreläsning 11. Organisation av Trie. Trie Ytterligare en variant av träd. Vi har tidigare sett: Informell specifikation

Innehåll. Föreläsning 11. Organisation av Trie. Trie Ytterligare en variant av träd. Vi har tidigare sett: Informell specifikation Innehåll Föreläsning 11 Trie Sökträd Trie och Sökträd 356 357 Trie Ytterligare en variant av träd. Vi har tidigare sett: Oordnat träd där barnen till en nod bildar en mängd Ordnat träd där barnen till

Läs mer

Regressionsmodellering inom sjukförsäkring

Regressionsmodellering inom sjukförsäkring Matematisk Statistik, KTH / SHB Capital Markets Aktuarieföreningen 4 februari 2014 Problembeskrivning Vi utgår från Försäkringsförbundets sjuklighetsundersökning och betraktar en portfölj av sjukförsäkringskontrakt.

Läs mer

TMV166/186 Linjär Algebra M/TD 2011/2012 Läsvecka 1. Omfattning. Innehåll 2012-01-20. Lay, kapitel 1.1-1.9, Linjära ekvationer i linjär algebra

TMV166/186 Linjär Algebra M/TD 2011/2012 Läsvecka 1. Omfattning. Innehåll 2012-01-20. Lay, kapitel 1.1-1.9, Linjära ekvationer i linjär algebra TMV166/186 Linjär Algebra M/TD 2011/2012 Läsvecka 1 Omfattning Lay, kapitel 1.1-1.9, Linjära ekvationer i linjär algebra Innehåll Olika aspekter av linjära ekvationssystem 1. skärning mellan geometriska

Läs mer

Reglerteknik M3. Inlämningsuppgift 3. Lp II, 2006. Namn:... Personnr:... Namn:... Personnr:...

Reglerteknik M3. Inlämningsuppgift 3. Lp II, 2006. Namn:... Personnr:... Namn:... Personnr:... Reglerteknik M3 Inlämningsuppgift 3 Lp II, 006 Namn:... Personnr:... Namn:... Personnr:... Uppskattad tid, per person, för att lösa inlämningsuppgiften:... Godkänd Datum:... Signatur:... Påskriften av

Läs mer

Markovkedjor. Patrik Zetterberg. 8 januari 2013

Markovkedjor. Patrik Zetterberg. 8 januari 2013 Markovkedjor Patrik Zetterberg 8 januari 2013 1 / 15 Markovkedjor En markovkedja är en stokastisk process där både processen och tiden antas diskreta. Variabeln som undersöks kan både vara numerisk (diskreta)

Läs mer

Grafer och grannmatriser

Grafer och grannmatriser Föreläsning 2, Linjär algebra IT VT2008 Som avslutning på kursen ska vi knyta samman linjär algebra med grafteori och sannolikhetsteori från första kursen. Resultatet blir så kallade slumpvandringar på

Läs mer

1 LP-problem på standardform och Simplexmetoden

1 LP-problem på standardform och Simplexmetoden Krister Svanberg, mars 202 LP-problem på standardform och Simplexmetoden I detta avsnitt utgår vi från LP-formuleringen (2.2) från föreläsning. Denna form är den bäst lämpade för en strömlinjeformad implementering

Läs mer

SF1900 Sannolikhetsteori och statistik, HT 2017 Laboration 1 för CINEK2

SF1900 Sannolikhetsteori och statistik, HT 2017 Laboration 1 för CINEK2 Matematisk Statistik SF1900 Sannolikhetsteori och statistik, HT 2017 Laboration 1 för CINEK2 1 Introduktion Denna laboration är inte poänggivande utan är till för den som vill bekanta sig med MATLAB. Fokusera

Läs mer

Analys/syntes-kodning

Analys/syntes-kodning Analys/syntes-kodning Många talkodare bygger på en princip som kallas analys/syntes-kodning. Istället för att koda en vågform, som man normalt gör i generella ljudkodare och i bildkodare, så har man parametrisk

Läs mer

2.1 Mikromodul: stokastiska processer

2.1 Mikromodul: stokastiska processer 2. Mikromodul: stokastiska processer 9 2. Mikromodul: stokastiska processer 2.. Stokastiska variabler En stokastiskt variabel X beskrivs av dess täthetsfunktion p X (x), vars viktigaste egenskaper sammanfattas

Läs mer

x 23 + y 160 = 1, 2 23 = ,

x 23 + y 160 = 1, 2 23 = , Matematiska Institutionen KTH Lösningar till några övningar, inför tentan moment B, på de avsnitt som inte omfattats av lappskrivningarna, Diskret matematik för D2 och F, vt08.. Ett RSA-krypto har n =

Läs mer

1989, Statistiska centralbyrån ISSN Printed in Sweden Garnisonstryckeriet, Stockholm 1989

1989, Statistiska centralbyrån ISSN Printed in Sweden Garnisonstryckeriet, Stockholm 1989 Från trycket April 1989 Producent Statistiska centralbyrån, Utvecklingsavdelningen Ansvarig utgivare Staffan Wahlström Förfrågningar Lennart Nordberg, tel. 019-17 60 12 1989, Statistiska centralbyrån ISSN

Läs mer

Introduktion till programmering SMD180. Föreläsning 9: Tupler

Introduktion till programmering SMD180. Föreläsning 9: Tupler Introduktion till programmering Föreläsning 9: Tupler 1 1 Sammansatta datatyper Strängar Sekvenser av tecken Icke muterbara Syntax: "abcde" Listor Sekvenser av vad som helst Muterbara Syntax: [1, 2, 3]

Läs mer

Optimeringslära för T (SF1861)

Optimeringslära för T (SF1861) Optimeringslära för T (SF1861) 1. Kursinformation 2. Exempel på optimeringsproblem 3. Introduktion till linjärprogrammering Introduktion - Ulf Jönsson & Per Enqvist 1 Linjärprogrammering Kursinformation

Läs mer

Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar

Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla punktskattningar LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK LABORATION 3 MATEMATISK STATISTIK AK FÖR CDIFYSIKER, FMS012/MASB03, HT12 Laboration 3: Stora talens lag, centrala gränsvärdessatsen och enkla

Läs mer

ALA-a Innehåll RÄKNEÖVNING VECKA 7. 1 Lite teori Kapitel Kapitel Kapitel Kapitel 14...

ALA-a Innehåll RÄKNEÖVNING VECKA 7. 1 Lite teori Kapitel Kapitel Kapitel Kapitel 14... ALA-a 2005 Innehåll 1 Lite teori 3 RÄKNEÖVNING VECKA 7 1.1 Kapitel 7....................................... 3 1.2 Kapitel 12....................................... 3 1.3 Kapitel 13.......................................

Läs mer

Begrepp :: Determinanten

Begrepp :: Determinanten c Mikael Forsberg 2008 1 Begrepp :: Determinanten Rekursiv definition :: Kofaktorutveckling Låt oss börja definiera determinanten för en 1 1 matris A = (a). En sådan matris är naturligtvis bara ett vanligt

Läs mer

MATRISTEORI. Pelle Pettersson MATRISER. En matris är ett rektangulärt schema med tal, reella eller komplexa, vilka kallas matrisens

MATRISTEORI. Pelle Pettersson MATRISER. En matris är ett rektangulärt schema med tal, reella eller komplexa, vilka kallas matrisens MATRISTEORI Pelle Pettersson ALLMÄN MATRISKUNSKAP MATRISER En matris är ett rektangulärt schema med tal, reella eller komplexa, vilka kallas matrisens element Exempel Matrisen 2 3 4 5 6 har två rader och

Läs mer

2 februari 2016 Sida 1 / 23

2 februari 2016 Sida 1 / 23 TAIU07 Föreläsning 4 Repetitonssatsen while. Avbrott med break. Exempel: En Talföljd och en enkel simulering. Egna funktioner. Skalärprodukt. Lösning av Triangulära Ekvationssystem. Programmeringstips.

Läs mer

Exponentialmatrisen. Definition med potensserie. Egenskaper. Den sista likheten utgör definitionen av e At. Man kan nämligen visa att matrisföljden

Exponentialmatrisen. Definition med potensserie. Egenskaper. Den sista likheten utgör definitionen av e At. Man kan nämligen visa att matrisföljden Exponentialmatrisen Moment (kapitel i Spanne) Övningar Denna stencil i första hand! Def. med serie (5.2) 8,(2) diagonaliserbar A (5.) b,2 (utnyttja svartill 3.2&3.5) Lösn. av tillståndsekv. Cayley-Hamiltons

Läs mer

Block 5: Ickelineära. ekvationer? Läroboken. Löpsedel: Icke-lineära. ekvationer. Vad visade laborationen? Vad visade laborationen?

Block 5: Ickelineära. ekvationer? Läroboken. Löpsedel: Icke-lineära. ekvationer. Vad visade laborationen? Vad visade laborationen? Block 5: Ickelineära ekvationer Löpsedel: Icke-lineära ekvationer Varför är det svårt att lösa ickelineära ekvationer? Iterativa metoder Bisektion/intervallhalvering Newton-Raphsons metod Noggrannhet/stoppvillkor

Läs mer

7 november 2014 Sida 1 / 21

7 november 2014 Sida 1 / 21 TANA09 Föreläsning 2 Talrepresentation i datorer. Flyttalssystem. Datoraritmetik och Beräkningsfel. Beräkningsfelsanalys och Kancellation. Serier och Resttermsuppskattningar. Tillämpning - Beräkning av

Läs mer

Syftet med den här laborationen är att du skall bli mer förtrogen med följande viktiga områden inom matematisk statistik

Syftet med den här laborationen är att du skall bli mer förtrogen med följande viktiga områden inom matematisk statistik LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK DATORLABORATION 4 MATEMATISK STATISTIK, AK FÖR I, FMS 01, HT-07 Laboration 4: Stora talens lag, Centrala gränsvärdessatsen, enkla punktskattningar

Läs mer

Lösning till tentamensskrivning på kursen Diskret Matematik, moment B, för D2 och F, SF1631 och SF1630, den 1 juni 2011 kl

Lösning till tentamensskrivning på kursen Diskret Matematik, moment B, för D2 och F, SF1631 och SF1630, den 1 juni 2011 kl Matematiska Institutionen KTH Lösning till tentamensskrivning på kursen Diskret Matematik moment B för D2 och F SF63 och SF63 den juni 2 kl 8.- 3.. Examinator: Olof Heden tel. 7354789. Hjälpmedel: Inga

Läs mer

TAIU07 Matematiska beräkningar med Matlab

TAIU07 Matematiska beräkningar med Matlab TAIU07 Matematiska beräkningar med Matlab Datorlektion 2. Villkor och Repetition 1 Logiska uttryck Uppgift 1.1 Låt a=3 och b=6 Vad blir resultatet av testerna ab? Uppgift 1.2 Låt a, b,

Läs mer

Matrisexponentialfunktionen

Matrisexponentialfunktionen U.U.D.M. Project Report 206:2 Matrisexponentialfunktionen Neda Farzaneh Examensarbete i matematik, 5 hp Handledare: Martin Herschend Examinator: Jörgen Östensson Juni 206 Department of Mathematics Uppsala

Läs mer

12. SINGULÄRA VÄRDEN. (u Av) u v

12. SINGULÄRA VÄRDEN. (u Av) u v . SINGULÄRA VÄRDEN Vårt huvudresultat sen tidigare är Sats.. Varje n n matris A kan jordaniseras, dvs det finns en inverterbar matris S sån att S AS J där J är en jordanmatris. Om u och v är två kolonnvektorer

Läs mer

Lab 4: Digital transmission Redigerad av Niclas Wadströmer. Mål. Uppstart. Genomförande. TSEI67 Telekommunikation

Lab 4: Digital transmission Redigerad av Niclas Wadströmer. Mål. Uppstart. Genomförande. TSEI67 Telekommunikation TSEI67 Telekommunikation Lab 4: Digital transmission Redigerad av Niclas Wadströmer Mål Målet med laborationen är att bekanta sig med transmission av binära signaler. Det innebär att du efter laborationen

Läs mer

ANDREAS REJBRAND 2014-04-25 Matematik http://www.rejbrand.se. Numeriska serier. Andreas Rejbrand, april 2014 1/29

ANDREAS REJBRAND 2014-04-25 Matematik http://www.rejbrand.se. Numeriska serier. Andreas Rejbrand, april 2014 1/29 Numeriska serier Andreas Rejbrand, april 2014 1/29 1 Inledning Författarens erfarenhet säger att momentet med numeriska serier är ganska svårt för många studenter i inledande matematikkurser på högskolenivå.

Läs mer

Tentamen i Beräkningsvetenskap I och KF, 5.0 hp,

Tentamen i Beräkningsvetenskap I och KF, 5.0 hp, Uppsala universitet Institutionen för informationsteknologi Avdelningen för beräkningsvetenskap Tentamen i Beräkningsvetenskap I och KF, 5.0 hp, 017-0-14 Skrivtid: 14 00 17 00 (OBS! Tre timmars skrivtid!)

Läs mer

Föreläsning 8: Konfidensintervall

Föreläsning 8: Konfidensintervall Föreläsning 8: Konfidensintervall Matematisk statistik Chalmers University of Technology Maj 4, 2015 Projektuppgift Projektet går ut på att studera frisättningen av dopamin hos nervceller och de två huvudsakliga

Läs mer

Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar

Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK DATORLABORATION 4 MATEMATISK STATISTIK, AK FÖR I, FMS 120, HT-00 Laboration 4: Stora talens lag, Centrala gränsvärdessatsen och enkla punktskattningar

Läs mer

P(X nk 1 = j k 1,..., X n0 = j 0 ) = j 1, X n0 = j 0 ) P(X n0 = j 0 ) = etc... P(X n0 = j 0 ) ... P(X n 1

P(X nk 1 = j k 1,..., X n0 = j 0 ) = j 1, X n0 = j 0 ) P(X n0 = j 0 ) = etc... P(X n0 = j 0 ) ... P(X n 1 Kaitel 1 Mer Markovkedjor Med att secificera en Markovkedja menar vi att man bestämmer övergångsmatrisen P. Detta säger ju allt om dynamiken för rocessen. Om vi dessutom vet hur kedjan startar, dvs startfördelningen

Läs mer

3 Maximum Likelihoodestimering

3 Maximum Likelihoodestimering Lund Universitet med Lund Tekniska Högskola Finansiell Statistik Matematikcentrum, Matematisk Statistik VT 2006 Parameterestimation och linjär tidsserieanalys Denna laborationen ger en introduktion till

Läs mer

MODELLERING AV DYNAMISKA SYSTEM OCH INLUPP 2

MODELLERING AV DYNAMISKA SYSTEM OCH INLUPP 2 UPPSALA UNIVERSITET AVDELNINGEN FÖR SYSTEMTEKNIK EKL och PSA, 2002, rev BC 2009, 2013 MODELLERING AV DYNAMISKA SYSTEM DATORSTÖDD RÄKNEÖVNING OCH INLUPP 2 1. Överföringsfunktioner 2. Tillståndsmetodik Förberedelseuppgifter:

Läs mer

Abstrakt algebra för gymnasister

Abstrakt algebra för gymnasister Abstrakt algebra för gymnasister Veronica Crispin Quinonez Sammanfattning. Denna text är föreläsningsanteckningar från föredraget Abstrakt algebra som hölls under Kleindagarna på Institutet Mittag-Leffler

Läs mer

TENTAMEN I SF1906 (f d 5B1506) MATEMATISK STATISTIK GRUNDKURS,

TENTAMEN I SF1906 (f d 5B1506) MATEMATISK STATISTIK GRUNDKURS, Avd. Matematisk statistik TENTAMEN I SF1906 (f d 5B1506) MATEMATISK STATISTIK GRUNDKURS, TORSDAGEN DEN 7 JUNI 2012 KL 14.00 19.00 Examinator:Gunnar Englund, 073 3213745 Tillåtna hjälpmedel: Formel- och

Läs mer

Bildregistrering Geometrisk anpassning av bilder

Bildregistrering Geometrisk anpassning av bilder Bildregistrering Geometrisk anpassning av bilder Björn Svensson, Johanna Pettersson, Hans Knutsson Inst. för Medicinsk Teknik, Linköpings Univeristet Maj, 2007 1 Problembeskrivning Sök förflyttningsfält

Läs mer

Matematisk Modellering

Matematisk Modellering Matematisk Modellering Föreläsning 1 Anders Heyden Matematikcentrum Lunds Universitet Matematisk Modellering p.1/37 Denna föreläsning (läsvecka 1) Vad handlar kursen om, mål, kurskrav, ide. Matematisk

Läs mer

Monte Carlo-metoder. Bild från Monte Carlo

Monte Carlo-metoder. Bild från Monte Carlo Monte Carlo-metoder 0 Målen för föreläsningen På datorn Bild från Monte Carlo http://en.wikipedia.org/wiki/file:real_monte_carlo_casino.jpg 1 Begrepp En stokastisk metod ger olika resultat vid upprepning

Läs mer

Bayesianska numeriska metoder II

Bayesianska numeriska metoder II Bayesianska numeriska metoder II T. Olofsson Gibb's sampling Vi har sett att en viktig teknik vid Bayesiansk inferens är s.k marginalisering vilket, för kontinuerliga variabler, innebär att vi integrerar

Läs mer

ÖVN 6 - DIFFERENTIALEKVATIONER OCH TRANSFORMMETODER - SF Nyckelord och innehåll. a n (x x 0 ) n.

ÖVN 6 - DIFFERENTIALEKVATIONER OCH TRANSFORMMETODER - SF Nyckelord och innehåll. a n (x x 0 ) n. ÖVN 6 - DIFFERENTIALEKVATIONER OCH TRANSFORMMETODER - SF683 HTTP://KARLJODIFFTRANS.WORDPRESS.COM KARL JONSSON Nyckelord och innehåll Potensserielösningar Analytiska funktioner Konvergensradie Rot- och

Läs mer

Övningshäfte 2: Induktion och rekursion

Övningshäfte 2: Induktion och rekursion GÖTEBORGS UNIVERSITET MATEMATIK 1, MMG200, HT2017 INLEDANDE ALGEBRA Övningshäfte 2: Induktion och rekursion Övning D Syftet är att öva förmågan att utgående från enkla samband, aritmetiska och geometriska,

Läs mer

Basbyte (variabelbyte)

Basbyte (variabelbyte) Basbyte (variabelbyte) En vektors koordinater beror på valet av bas! Tänk på geometriska vektorer här. v har längden 2 och pekar rakt uppåt i papprets plan. Kan vi då skriva v (, 2)? Om vi valt basvektorer

Läs mer

Dataprojekt. Nanovetenskapliga tankeverktyg. January 18, 2008

Dataprojekt. Nanovetenskapliga tankeverktyg. January 18, 2008 Dataprojekt. Nanovetenskapliga tankeverktyg. January 18, 2008 Dataprojekt 1: Fourierserier Två av fysikens mest centrala ekvationer är vågekvationen och värmeledningsekvationen. Båda dessa ekvationer är

Läs mer

Lektionsanteckningar 2: Matematikrepetition, tabeller och diagram

Lektionsanteckningar 2: Matematikrepetition, tabeller och diagram Lektionsanteckningar 2: Matematikrepetition, tabeller och diagram 2.1 Grundläggande matematik 2.1.1 Potensfunktioner xmxn xm n x x x x 3 4 34 7 x x m n x mn x x 4 3 x4 3 x1 x x n 1 x n x 3 1 x 3 x0 1 1

Läs mer

Linjär Algebra M/TD Läsvecka 1

Linjär Algebra M/TD Läsvecka 1 Linjär Algebra M/TD Läsvecka 1 Omfattning: Lay, kapitel 1.1-1.9, Linjära ekvationer i linjär algebra Innehåll: Olika aspekter av linjära ekvationssystem: skärning mellan geometriska objekt, linjärkombination

Läs mer

Föreläsning 8, Matematisk statistik 7.5 hp för E, HT-15 Punktskattningar

Föreläsning 8, Matematisk statistik 7.5 hp för E, HT-15 Punktskattningar Föreläsning 8, Matematisk statistik 7.5 hp för E, HT-15 Punktskattningar Anna Lindgren 25 november 2015 Anna Lindgren anna@maths.lth.se FMSF20 F8: Statistikteori 1/17 Matematisk statistik slumpens matematik

Läs mer

NUMPROG, 2D1212, vt Föreläsning 9, Numme-delen. Stabilitet vid numerisk behandling av diffekvationer Linjära och icke-linjära ekvationssystem

NUMPROG, 2D1212, vt Föreläsning 9, Numme-delen. Stabilitet vid numerisk behandling av diffekvationer Linjära och icke-linjära ekvationssystem NUMPROG, 2D1212, vt 2005 Föreläsning 9, Numme-delen Stabilitet vid numerisk behandling av diffekvationer Linjära och icke-linjära ekvationssystem Då steglängden h är tillräckligt liten erhålles en noggrann

Läs mer

Datorlaboration :: 1 Problembeskrivning ::

Datorlaboration :: 1 Problembeskrivning :: Datorlaboration :: Ett hyrbilsföretags problem Laborationen går ut på att lösa Labbuppgift 1 till 5. Laborationen redovisas individuellt genom att skicka laborationens Mathematicafil till Mikael Forsberg

Läs mer

Basbyten och linjära avbildningar

Basbyten och linjära avbildningar Föreläsning 11, Linjär algebra IT VT2008 1 Basbyten och linjära avbildningar Innan vi fortsätter med egenvärden så ska vi titta på hur matrisen för en linjär avbildning beror på vilken bas vi använder.

Läs mer

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå Användning Multilevel Modeling (MLM) Var sak på sin nivå Kimmo Sorjonen Sektionen för Psykologi Karolinska Institutet Kärt barn har många namn: (1) Random coefficient models; (2) Mixed effect models; (3)

Läs mer

Grundläggande logik och modellteori

Grundläggande logik och modellteori Grundläggande logik och modellteori Kapitel 6: Binära beslutsdiagram (BDD) Henrik Björklund Umeå universitet 22. september, 2014 Binära beslutsdiagram Binära beslutsdiagram (Binary decision diagrams, BDDs)

Läs mer

Tentamen i Teknisk-Vetenskapliga Beräkningar

Tentamen i Teknisk-Vetenskapliga Beräkningar Umeå Universitet Institutionen för Datavetenskap Gunilla Wikström Tentamen i Teknisk-Vetenskapliga Beräkningar Tentamensdatum: 005-03- Skrivtid: 9-5 Hjälpmedel: inga Om problembeskrivningen i något fall

Läs mer

GMM och Estimationsfunktioner

GMM och Estimationsfunktioner Lunds Universitet med Lund Tekniska Högskola Finansiell Statistik Matematikcentrum, Matematisk Statistik VT 2006 GMM och Estimationsfunktioner I laborationen möter du två besläktade metoder för att estimera

Läs mer

Material till kursen SF1679, Diskret matematik: Lite om kedjebråk. 0. Inledning

Material till kursen SF1679, Diskret matematik: Lite om kedjebråk. 0. Inledning Matematik, KTH Bengt Ek november 207 Material till kursen SF679, Diskret matematik: Lite om kedjebråk 0 Inledning Talet π (kvoten mellan en cirkels omkrets och dess diameter) är inte ett rationellt tal

Läs mer

TANA17 Matematiska beräkningar med Matlab

TANA17 Matematiska beräkningar med Matlab TANA17 Matematiska beräkningar med Matlab Datorlektion 3. Repetitionssatser och Programmering 1 Introduktion Denna övning syftar till att träna programmering med repetitionssatser och villkorssatser. Undvik

Läs mer

Taltaggning. Rapport av Daniel Hasselrot 781105-0157, d98-dha@nada.kth.se 13 oktober 2003

Taltaggning. Rapport av Daniel Hasselrot 781105-0157, d98-dha@nada.kth.se 13 oktober 2003 Taltaggning av Daniel Hasselrot 781105-0157, d98-dha@nada.kth.se 13 oktober 2003 Sammanfattning Denna rapport är skriven i kursen Språkteknologi och behandlar taggning av årtal i en text. Metoden som används

Läs mer

Optimala koder. Övre gräns för optimala koder. Gränser. Övre gräns för optimala koder, forts.

Optimala koder. Övre gräns för optimala koder. Gränser. Övre gräns för optimala koder, forts. Datakompression fö 3 p.3 Datakompression fö 3 p.4 Optimala koder Övre gräns för optimala koder En prefixkod kallas optimal om det inte existerar någon annan kod (för samma alfabet och sannolikhetsfördelning)

Läs mer

Lösningsförslag till tentamen i SF1861 Optimeringslära för T. Torsdag 28 maj 2010 kl

Lösningsförslag till tentamen i SF1861 Optimeringslära för T. Torsdag 28 maj 2010 kl Lösningsförslag till tentamen i SF86 Optimeringslära för T. Torsdag 28 maj 2 kl. 4. 9. Examinator: Per Enqvist, tel. 79 62 98. (a) Inför variablerna x = (x sr, x sm, x sp, x sa, x sd, x gr, x gm, x gp,

Läs mer

Optimala koder. Det existerar förstås flera koder som har samma kodordsmedellängd. Enklaste fallet är att bara byta 0:or mot 1:or.

Optimala koder. Det existerar förstås flera koder som har samma kodordsmedellängd. Enklaste fallet är att bara byta 0:or mot 1:or. Datakompression fö 3 p.1 Optimala koder En prefixkod kallas optimal om det inte existerar någon annan kod (för samma alfabet och sannolikhetsfördelning) som har lägre kodordsmedellängd. Det existerar förstås

Läs mer

1 Positivt definita och positivt semidefinita matriser

1 Positivt definita och positivt semidefinita matriser Krister Svanberg, april 1 1 Positivt definita och positivt semidefinita matriser Inom ickelinjär optimering, speciellt kvadratisk optimering, är det viktigt att på ett effektivt sätt kunna avgöra huruvida

Läs mer

LINJÄR ALGEBRA II LEKTION 6

LINJÄR ALGEBRA II LEKTION 6 LINJÄR ALGEBRA II LEKTION 6 JOHAN ASPLUND INNEHÅLL 1 Inre produktrum 1 2 Cauchy-Schwarz olikhet 3 3 Ortogonala projektioner och Gram-Schmidts process 3 4 Uppgifter 4 61:13(a) 4 61:23(a) 4 61:29 5 62:7

Läs mer

Laboration 1: Optimalt sparande

Laboration 1: Optimalt sparande Avsikten med denna laboration är att: Laboration 1: Optimalt sparande - snabbt komma igång med träning på matlabprogrammering (uttnyttja gärna alla schemalagda laborationstillfällen, - lösa ett optimeringsproblem

Läs mer

Beräkningsvetenskap introduktion. Beräkningsvetenskap I

Beräkningsvetenskap introduktion. Beräkningsvetenskap I Beräkningsvetenskap introduktion Beräkningsvetenskap I Kursens mål För godkänt betyg ska studenten kunna redogöra för de grundläggande begreppen algoritm, numerisk metod, diskretisering maskinepsilon,

Läs mer

Bayes i praktiken. exempel och reflektioner från en forskarutbildningskurs. Ralf Rittner, Arbets och Miljömedicin

Bayes i praktiken. exempel och reflektioner från en forskarutbildningskurs. Ralf Rittner, Arbets och Miljömedicin Bayes i praktiken exempel och reflektioner från en forskarutbildningskurs Ralf Rittner, Arbets och Miljömedicin 2012 11 07 Bayesian Data Analysis Practical Data Analysis with BUGS using R Bendix Carstensen

Läs mer

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå Användning Multilevel Modeling (MLM) Var sak på sin nivå Kimmo Sorjonen Sektionen för Psykologi Karolinska Institutet Kärt barn har många namn: (1) Random coefficient models; () Mixed effect models; (3)

Läs mer

Stora bilden av Linjära algebran. Vektorrum, linjära transformationer, matriser (sammanfattning av begrepp)

Stora bilden av Linjära algebran. Vektorrum, linjära transformationer, matriser (sammanfattning av begrepp) Stora bilden av Linjära algebran. Vektorrum, linjära transformationer, matriser (sammanfattning av begrepp) Linjär algebra består av tre grenar eller koncept: geometriska begreppet av vektorrum, analysbegreppet

Läs mer

FFM234, Klassisk fysik och vektorfält - Föreläsningsanteckningar

FFM234, Klassisk fysik och vektorfält - Föreläsningsanteckningar FFM234, Klassisk fysik och vektorfält - Föreläsningsanteckningar Christian Forssén, Institutionen för fysik, Chalmers, Göteborg, Sverige Sep 14, 2018 5. Indexnotation Precis som vi har räkneregler för

Läs mer

FOURIERANALYS En kort introduktion

FOURIERANALYS En kort introduktion FOURIERAALYS En kort introduktion Kurt Hansson 2009 Innehåll 1 Signalanalys 2 2 Periodiska signaler 2 3 En komplex) skalärprodukt 4 4 Fourierkoefficienter 4 5 Sampling 5 5.1 Shannon s teorem.................................

Läs mer

Parameterskattning i linjära dynamiska modeller. Kap 12

Parameterskattning i linjära dynamiska modeller. Kap 12 Parameterskattning i linjära dynamiska modeller Kap 12 Grundläggande ansats Antag (samplade) mätdata (y och u)från ett system har insamlats. Givet en modell M(t, θ) och mätdata, hitta det θ som ger en

Läs mer

Lösningsförslag till övningsuppgifter, del V

Lösningsförslag till övningsuppgifter, del V Lösningsförslag till övningsuppgifter, del V Obs! Preliminär version! Ö.1. (a) Vi kan lösa uppgiften genom att helt enkelt räkna ut avståndet mellan vart och ett av de ( 7 ) = 1 paren. Först noterar vi

Läs mer

Interpolation Modellfunktioner som satisfierar givna punkter

Interpolation Modellfunktioner som satisfierar givna punkter Interpolation Modellfunktioner som satisfierar givna punkter Några tillämpningar Animering rörelser, t.ex. i tecknad film Bilder färger resizing Grafik Diskret representation -> kontinuerlig 2 Interpolation

Läs mer