Tidsserier och Prognoser

Transkript

1 Tidsserier och Prognoser Mattias Villani Sveriges Riksbank och Stockholms Universitet Stockholm, Oktober 2008 Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

2 Översikt Tidsserier, Beroende och Autokorrelation Prognoser Autoregressiva Modeller Exempel Försäljning och reklamkostnad OMX aktieindex Spam lter Auktionspriser på ebay Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

3 Tidsserier och Beroende Tidserie: Ett antal observationer x 1, x 2,..., x T, som är ordnade i tiden. Observationen vid tidpunkt t betecknas alltmänt som x t. Karaktärsdrag hos tidsserier: observationerna är vanligtvis inte oberoende. Detta komplicerar den statistiska analysen, men gör den också mer intressant. Andra data med beroende: Rumsliga (spatiala) och Longitudinella. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

4 Autokorrelation Vi är nu intresserade av mer än väntevärdet µ och variansen σ 2. Hur ser beroendet mellan observationer ut? Ett mått på beroende mellan två stokastiska variabler x och y: korrelationskoe cienten ρ = Korr(x, y). Ett mått på beroendet mellan observationer i en tidsserie är autokorrelationsfunktionen (ACF, autokorrelation=korrelation med sig själv) ρ j = Korr(x t, x t j ), (j = 1, 2,...) ρ j är alltså den vanliga korrelationskoe cienten mellan två observationer som är j tidsenheter ifrån varandra. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

5 3500 Lydia Pinkham Data Försäljning Reklamkostnad Årtal

6

7 1.8 Simulerad AR(1) med φ = ACF x t Korr( x t, x t j ) Tid Tidsförskjutning (j) 1.4 Simulerad AR(1) med φ = ACF x t Korr( x t, x t j ) Tid Tidsförskjutning (j)

8 1.4 Simulerad AR(1) med φ = 0 1 ACF x t Korr( x t, x t j ) Tid Simulerad AR(2) med φ 1 = 1.5 och φ 2 = Tidsförskjutning (j) ACF x t Korr( x t, x t j ) Tid Tidsförskjutning (j)

9 Prognoser Prediktionsproblemet: Givet T observationer x 1, x 2,..., x T, vilken är vår bäst skattning av en ny observation x T +1? Osäkerhet. Vid oberoende observationer är ˆx T +1 = (x 1 + x x T )/T = x en rimlig punktskattning av x T +1. Men om observationerna är beroende? Ex. 1. Stark positiv autokorrelation: x T +1 bör vara hyfsat nära x T. ˆx T +1 = x T är en bättre prognos än ˆx T +1 = x. Ex. 2. Svag positiv autokorrelation: x T är inte speciellt informativ angående x T +1. ˆx T +1 = x är en bättre prognos än ˆx T +1 = x T. Ex. 3. Lagom positiv autokorrelation. Varför inte kombinera x och x T, t ex: ˆx T +1 = a x T + (1 a) x. Hur väljer vi a? a = ρ? Hur gör vi prognoser längre fram i tiden? T ex prognosen för x T +2 givet data t o m tidpunkt T. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

10 Diagram 2. KPI med osäkerhetsintervall Årlig procentuell förändring Utfall Prognos 90 % 75 % 50 % Källor: SCB och Riksbanken

11 Disciplin - Modeller för tidsserier Det börjar bli dags för lite disciplin. Vi behöver en modell för tidsserier. Utgångspunkt: förklara dagens värde x t med hjälp av gårdagens värde x t 1. Kan vi använda linjär regression? Responsvariabel y t = x t och regressor x t 1 x t = γ + φx t 1 + ε t, där γ är ett intercept och ε t ober N(0, σ 2 ε ) är (regressions)modellens feltermer. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

12 Autoregressiva Modeller Denna modell kallas för en autoregressiv process av första ordningen, eller AR(1) x t = γ + φx t 1 + ε t, Om φ = 0, så är observationerna totalt oberoende av varandra. Vi måste skatta parametrarna. Precis samma estimationsmetod som i regressionsfallet. Varje modell innebär en viss autokorrelationsstruktur. För AR(1) modellen är den väldigt enkel: Korr(x t, x t j ) = φ j, om φ < 1 så blir korrelationerna svagare när tidsavståndet mellan två observationer ökar. Dvs x t är mer korrelerad med x t 1 än med x t 2 etc. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

13 Prognoser med AR(1) modellen Det betingade väntevärdet är en allmän punktprognos: ˆx T +1 = E (x T +1 jx 1,..., x T ) = γ + φx T. Prognoser längre fram i tiden ( erstegsprognoser) ˆx T +2 = E (x T +2 jx 1,..., x T ) = γ + φˆx T +1 osv. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

14 RMSE Chart 6. Accuracy of alternative models forecasts of UND1X inflation, GDP growth and the policy rate. Per cent UND1X forecasts Forecast horizon (quarters) RAMSES BVAR RB AR(1)

15 AR(p) modellen AR(1) modellen säger: Observationerna x 1, x 2,..., x T 1 innehåller ingen ytterligare information om framtiden utöver x T. Ge mig x T och jag kan kasta bort resten av observationerna när jag gör prognoser framåt. Detta antagande håller inte för att alla tidsserier. Mer generell modell, autoregressiv process av p:te ordningen AR(p): x t = γ + φ 1 x t 1 + φ 2 x t φ p x t p + ε t. Ger en mer exibel autokorrelationsstruktur. Prognoser med en AR(p) modell görs på i princip samma sätt som i fallet p = 1, se Newbold et al. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

16 Vad gör prognosen osäker? Hur väljer man den s k laglängden, p? Detta är i grunden samma problem som att välja regressorer i en multipel regression, och samma metoder kan användas. Diagnostik. Anpassa en modell med en viss laglängd. Beräkna tidsseriens residualer. Beräkna ACF:en för dessa residualer. Har modellen sugit upp all autokorrelation, dvs är residualerna oberoende? Osäkerhetskällor: i) framtida störningar (ε) ii) parameterosäkerhet (vi känner inte modellens verklliga parametervärden) iii) modellosäkerhet (vi känner inte till den verkliga laglängden). Det som verkligen stör nattsömnen: Följer data verkligen en AR process? Simulera din modell till döds. Ser modellens simulerade data verkligen ut som faktiska data? Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

17 Exempel 1 - OMX aktieindex Aktieindex är svåra (omöjliga?) att prognosticera. Variansen (volatiliteten) kan dock prognosticeras. Det nns en hel drös med modeller för en tidsseries varians. (G)ARCH. Nobelpris: Engle. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

18 1600 OMXS aktieindex Stängningsnotering 1400 OMXS30 index Tid Daglig avkastning in % för OMXS Daglig avkastning på OMXS aktieindex Tid

19 12 10 Kan jag förutsäga OMXS imorgon? OMXS avkastning Regressionslinje 8 6 OMXS avkastning imorgon OMXS avkastning idag

20 Exempel 2 - Lydia Pinkham Anpassing av AR(1) process till försäljning: γ = 148.3, φ = 0.92 och σ = Anpassing av AR(1) process till reklamkostnad: γ =163.8, φ = 0.83 och σ = Kan vara intressant med modellen: Sales t = γ + φ Sales t 1 + λ Advert t 1 + ε t. Men påverkas inte nästa års reklambudget av årets försäljning? Feedback. Multivariat modell (VAR). Sales t Advert t ser mer stabil ut än Sales t och Advert t själva. Kointegration. Nobelpris: Granger. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

21 3500 Lydia Pinkham Data Försäljning Reklamkostnad Årtal

22 Lydia Pinkham Data Försäljning Reklamkostnad Prognos Försäljning Prognos Reklamkostnad Årtal

23 Exempel 3 - Spam lter Gå igenom dina mejl och markera varje mejl med Spam (1) eller Inget Spam (0). Denna dikotoma variabel (antar bara två värden 0 eller 1) är din responsvariabel. Ett spam lter försöker prediktera denna dikotoma variabel för varje mejl som kommer in. Lämplig modell för oberoende dikotoma variabler: Bernoullimodellen y ober Bernoulli(θ), där θ är sannolikheten för att y = 1. Rimlig skattning av θ ges av andelen 1:or i stickprovet. George s exempeldata: ˆθ = Bernoullimodellen är inte till någon större hjälp om vi vill prognosticera hurvida ett mejl är spam eller ej. Vi behöver mer information. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

24 Forts spam lter Låt ett textbehandlingsprogram gå igenom alla dina mejl för att läsa av hur ofta vissa ord används i mejlet. Hur ofta nns t ex ordet free? Tecknen $ eller!? Hur stor andel av bokstäverna är versaler? Varje ord, tecken eller versalkvantitet bildar en kovariat/regressor. Skatta en logistisk regression med Spam (0 eller 1) som respons. I en logistisk regression beror θ = Pr(y = 1) på kovariater. Nobelpris: McFadden. Är mitt nästa mejl spam? Använd textbehandlingsprogrammet för att beräkna kovariaterna för detta mejl. Prognosproblem: Vad är Pr(Spam = 1 j Kovariatvärdena i det nya mejlet)? Enkelt med den logistiska regressionen. Beslutsproblem: Vilket tröskelvärde ska jag använda för att skicka mejlet till JunkMail folder? Asymetriskt: jag vill verkligen undvika att klassi ciera ett mejl som spam om det inte är det. Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

25 Summary of Bayesian Inference with Variable Selection Author: Mattias Villani, Stockholm University and Sveriges Riksbank October 12, :28: Data loaded from file 'SpamData.txt' observations. Parameter Mode Mean Stdev (Hess) Stdev (MCMC) t Ratio Incl Prob Ineff our over remove internet free hpl ! $ CapRunMax CapRunTotal Const hp george re edu

26 Exempel 4 - Auktionspriser på ebay På sajten ebay.com säljs alla möjliga saker på auktion över internet. Budgivningen utgår från säljarens minimipris och pågår till en av säljaren bestämd sluttidpunkt. Antalet budgivare är stokastiskt, ibland blir objektet inte sålt alls. Data för en given auktion: En hel sekvens av bud från olika budgivare Detaljerad information on objektet (text och bild) Detaljerad information om säljaren (köparnas rating av säljare, såld volym etc). Säljarens minimipris Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

27 Forts. auktionspriser på ebay Bertil Wegmann (Stat inst SU) och jag har analyserat data från 1000 myntauktioner. Mycket strategi i en auktion. Spelteoretisk modell. Optimala bud (Nash-jämvikt). Nobelpris: Nash och Vickrey. Vi ska här titta på prognoser av försäljningspris i två auktioner som inte var med i estimationsurvalet (out-of-sample). Mattias Villani () Tidsserier och Prognoser Stockholm, Oktober / 16

28 0.4 Auktion 1 Pr(Pris = Inget bud) = Pr(Pris = Minimipris) = Pristäthet n>1 Faktiskt pris Värdering Minimipris 0.2 Auktion 2 Pr(Pris = Inget bud) = Pr(Pris = Minimipris) = Täthet 0.2 Täthet Auktionspris Auktionspris