1 Multilevel Modeling med SPSS Kimmo Sorjonen (2012-01-21) 1. Tvärsnittsdata, Två nivåer 1.i Variabler Data simulerar de som använts i följande studie (se Appendix A och Appendix B): Andersen, R., & van de Werfhorst, H. G. (2010). Education and occupational status in 14 countries: the role of educational institutions and labour market coordination. The British Journal of Sociology, 61, 336-355. Vi har data från 23100 personer från 14 europeiska länder. Vi försöker förklara varför personer har en viss yrkesstatus (Occu_Stat, ju högre värde desto högre status) utifrån deras uppnådda utbildningsgrad (Education, ju högre värde desto mer utbildad är man, prediktor på nivå 1), i vilken utsträckning landets utbildningssystem är klart uppdelat i akademiska och icke-akademiska utbildningar (Skill_trans, ju högre värde desto tydligare uppdelning, prediktor på nivå 2) samt om personen bor i ett östeuropeiskt land (East, 0 = nej, 1 = ja, prediktor på nivå 2). 1.ii Centrering Prediktorn Skill_trans är redan centrerad (typ) men vi tar även och centrerar Education. För att beräkna medelvärdet på Education: Analyze Descriptive Statistics Descriptives Kör in variabeln Education i rutan Variable(s) Klicka på OK Education visar sig ha ett medelvärde på 2,2799. För att skapa vår centrerade variabel: Transform Compute Variable Skriv ett namn på den nya variabeln (t.ex. Education_cent_all ) i rutan Target Variable Skriv Education 2.2799 i rutan Numeric Expression Klicka på OK. 1.1 Modell 1 Vi börjar med att testa om det finns någon effekt av utbildningsgrad (centrerat) på yrkesstatus. För att utföra en Linear Mixed Model (LMM, vilket är vad Multivele Modeling (MLM) kallas för i SPSS):
2 Analyze Mixed Models Linear I rutan Subjects: kör man in de variabler som indikerar vilken kategori individerna (nivå 1) hör till på nivå 2 och högre nivåer. I vårt fall har vi bara data på två nivåer och vi kör in variabeln Country_id, där alla personer från samma land har ett gemensamt värde, i den aktuella rutan. Klicka på Continue. Kör in Occu_Stat i rutan Dependent Variable och Education_cent_all i rutan Covariate(s) (i denna rutan kör man in prediktorer som är kontinuerliga). Klicka på Fixed Kör in Education_cent_all i rutan Model (detta måste göras för att vi skall få fram en estimerad effekt för denna prediktor) Se till att Include intercept är förmarkerat Klicka på Continue. Klicka på Estimation Ändra från Restricted Maximum Likelihood (REML) till Maximum Likelihood (ML) (vi gör detta för att kunna signifikanspröva skillnaden mellan de olika modellernas anpassning till data, vilket inte kan göras om parametrarna estimerats med REML) Klicka på Continue. Klicka på Statistics Bocka för Parameter estimates och Tests for covariance parameters Klicka på Continue. Nu kör vi, klicka på OK.
3 Output Här ser vi att modellen innehåller tre parametrar: (1) Fixed intercept, som kommer att ange genomsnittlig yrkesstatus bland våra försökspersoner; (2) Fixed effekt av utbildningsgrad; (3) Residual (residualer definieras alltid som en random faktor). -2 Log Likelihood = Grad av missanpassning mellan modellen och data. Detta värde kan vi jämföra kommande modeller med. Här ser vi att personernas genomsnittliga yrkesstatus skiljer sig signifikant från noll (inte av något särskilt intresse) samt att utbildningsgrad har en signifikant effekt på yrkesstatus. Intercept = Nivå på yrkesstatus när utbildningsgrad = 0; i det aktuella fallet är detta lika med genomsnittlig utbildningsnivå (eftersom variabeln blivit centrerad) och eftersom en regressionslinje alltid går genom punkten som bildas av medelvärdet på prediktorn (eller prediktorerna om det är flera) och medelvärdet på den beroende variabeln, så står detta intercept för genomsnittlig yrkesstatus bland våra respondenter. Vi ser att när utbildningsgraden ökar med ett steg så ökar yrkesstatusen med 7,20 och denna effekt är signifikant (p <.001). Residualerna är i det här fallet den genomsnittliga kvadrerade avvikelserna mellan den yrkesstatus som försökspersonernas prediceras ha (utifrån sin utbildningsgrad) och den yrkesstatus som de faktiskt har. Vi ser att dessa residualer skiljer sig signifikant från noll, vilket indikerar att inte all variation i personers yrkesstatus kan förklaras utifrån skillnader i utbildningsgrad. 1.2 Modell 2 Vi låter interceptet (= genomsnittlig yrkesstatus) samt effekten av utbildningsgrad på yrkesstatus variera mellan olika länder, vi specificerar dem alltså som random:
4 Analyze Mixed Models Linear Country_Id ligger kvar i rutan Subjects: Klicka på Continue Klicka på Random Markera Include intercept Kör in Education_cent_all i rutan Model: Kör in Country_id i rutan Combinations: (vi måste definiera mellan vilka enheter interceptet samt effekten av utbildningsgrad skall variera, i det här fallet mellan länder) Klicka på Continue. Eftersom det vi valde i förra körningen ligger kvar så är vi redo att köra: Klicka på OK. Jämfört med modell 1 sjunker -2LL-värdet från 201750 till 201133 samtidigt som vi tappar två frihetsgrader (eftersom antalet parametrar som skall beräknas ökar från tre till fem). Detta är en signifikant förbättring i modellens förmåga att predicera personers yrkesstatus, χ 2 (df = 2) = 617, p <.001. Vi ser att: (a) residualerna sjunkit med ca 3% från modell 1; (b) att vi kan anta skillnader i genomsnittlig yrkesstatus mellan länder (eftersom variansen i interceptet (= 7,23) skiljer sig signifikant från noll, p =.010); (c) samt att effekten av utbildningsgrad på yrkesstatus också kan antas skilja sig åt mellan länder (p =.013). Här ser vi att den fixa effekten av utbildningsgrad inte påverkas nämnvärt av att vi inkluderat ett random intercept och en random effekt av utbildningsgrad i modellen. Vad vi däremot ser att frihetsgraderna sjunkit drastiskt från förra modellen (från 23100 till 14,049 (frihetsgraderna behöver alltså inte vara heltal i dessa analyser)). Detta beror på att vi, genom att ta med random faktorer i modellen, till skillnad från modell 1 tar hänsyn till att våra personer är grupperade inom 14 länder. 1.3 Modell 3 Vi tar med Skill transparency (= tydlighet i uppdelningen mellan akademiska och ickeakademiska utbildningar), som är en prediktor på land-nivå (nivå 2), samt interaktionen mellan Skill transparency och utbildningsnivå som prediktorer i modellen, för att försöka
5 utröna om skillnaden i effekten av utbildning som vi observerat mellan länder (modell 2) kan bero på skillnaden mellan länders Skill transparency. Analyze Mixed Models Linear Country_Id ligger kvar i rutan Subjects: Klicka på Continue Kör in Skill_trans i rutan Covariate(s) (eftersom det är en kontinuerlig prediktor) Klicka på Fixed Markera båd e Education_cent_all och Skill_trans i listan under Factors and Covariates Se till att Factorial är vald i rullgardinsmenyn mellan de två rutorna Klicka på Add : I rutan Model: står det nu att vi får med huvudeffekten av de två prediktorerna samt deras interaktion Klicka på Continue Klicka på OK. Output Genom att inkludera Skill_trans samt dess interaktion med utbildningsnivå sjunker -2LL från 201133 till 201116, vilket är en signifikant förbättring, χ 2 (df = 2) = 17, p <.001. Vi ser att Skill transparency inte har någon signifikant huvudeffekt på yrkesstatus (p =.926) men att effekten av individers utbildningsgrad på yrkesstatus interagerar med landets grad av Skill_transparency.
6 När Skill transparency = 0 (ca lika med medelvärdet) är en ökning i utbildningsgrad med ett associerad med en ökning i yrkesstatus med 7,19. För varje ökning i Skill transparency med ett ökar dock effekten av utbildningsgrad på yrkesstatus dock med 1,96. Så om Skill transparency t.ex. ökar från 0 till 1 så ökar effekten från utbildningsgrad på yrkesstatus från 7,19 till 9,15. Ju högre ett lands Skill transparency, desto starkare är effekten av utbildningsgrad på yrkesstatus. Residualen (hur mycket personers observerade yrkesstatus avviker från regressionslinjen som är anpassad till data INOM respektive land) påverkas inte av att vi tillfört en prediktor på land-nivå (Skill transparency) och dess interaktion med personernas utbildningsgrad. Däremot sjunker variansen vad gäller effekten av utbildningsgrad på yrkesstatus som vi observerat finns mellan länder med 72% (från 4,81 till 1,33). Så mycket av variansen i effekten av utbildningsgrad mellan länder kan alltså förklaras med ländernas grad av Skill transparency. 1.4 Modell 4 Vi kör om modell 3 med den enda skillnaden att vi byter ut Skill transparency mot East, som anger om ett land blivit kategoriserat som östeuropeiskt eller inte. Vi väljer dock att specificera East som en Factor (= kategoriprediktor) istället för en Covariate (= kontinuerlig prediktor). För övrig information om hur modellen skall specificeras, se beskrivningen under modell 3.
7 Output Jämfört med modell 2 sjunker -2LL med 13, vilket är signifikant, χ 2 (df = 2) = 13, p =.0015. Vi kan inte testa mot modell 3 eftersom ingen av modellerna 3 och 4 är nestad i den andra. East har en signifikant huvudeffekt på yrkesstatus (p =.05) och effekten av utbildningsgrad på yrkesstatus skiljer sig signifikant mellan öst- och västeuropeiska länder (p =.005). Effekten av utbildningsgrad är nu 9,51. När man har med en kategoriprediktor samt en interaktionsterm, som i det aktuella fallet, så står effekten av den andra prediktorn för effekten av den prediktorn när kategoriprediktorn är lika med sitt högsta värde. I det aktuella fallet är alltså en ökning i utbildningsgrad med ett associerad med en ökning i yrkesstatus med 9,51 i östeuropeiska länder (East = 1). Vi ser på den negativa interaktionstermen att effekten av utbildningsgrad är 3,33 lägre (9,51-3,33 = 6,18) i västeuropeiska länder och att denna sänkning i effekten av utbildningsgrad är signifikant (p =.005). Vi ser också att när utbildningsgrad = 0 (= genomsnittet) så är yrkesstatusen i västeuropeiska länder (East = 0) 3,01 högre än i östeuropeiska länder. Detta är det samma som skillnaden i genomsnittlig yrkesstatus mellan väst- och östeuropeiska länder. Variansen vad gäller effekten av utbildningsgrad mellan länder sjunker med 46% (från 4,81 i modell 2 till 2,59 här). Alltså kan 46% av denna varians förklaras av om landet är väst- eller östeuropeiskt.
8 1.5 Modell 5 Som en Grand Finale kör vi en modell där vi predicerar yrkesstatus utifrån (a) Utbildningsgrad; (b) Skill transparency; (c) East; (d) De tre tvåvägs interaktionerna samt trevägs interaktionen mellan dessa prediktorer. Analyze Mixed Models Linear Country_Id ligger kvar i rutan Subjects: Klicka på Continue De kontinuerliga prediktorerna utbildningsgrad samt Skill transparency skall stoppas in i rutan Covariate(s) och kategoriprediktorn East stoppar vi in i rutan Factor(s). Illustration av resultatet i modell 4. Klicka på Fixed Markera de tre oberoende variablerna Se till att rullgardinsmenyn är inställd på Factorial och klicka på Add : I rutan Model: visas nu tre huvudeffekter samt fyra interaktioner Klicka på Continue Klicka på OK. Output Denna modell innehåller fyra parametrar fler jämfört med modellerna 3 och 4, som dessutom är nestade i denna modell. Anpassningen har förbättrats både jämfört med modell 3, χ 2 (df = 4) = 11, p =.027, och jämfört med modell 4, χ 2 (df = 4) = 15, p =.0047.
9 Trots att modellens anpassning blivit signifikant bättre är ingen av interaktionerna signifikant, inte ens de som 1.6 Sammanfattning I tabellen nedan sammanfattas de olika modellerna -2LL-värden, residualer samt jämförelsen med de andra modellerna. Tabell X. Anpassningsmått samt residualer och variation mellan länder i effekten av utbildningsgrad på yrkesstatus för de olika modellerna. Anpassningen för modeller jämförs med anpassningen för nestade modeller. Modell Parametrar -2LL Jämfört med Differens i -2LL Residualer Variation i effekten av utbildningsgrad 1 3 201750 - - 364** - 2 5 201133 Modell 1 617** 353** 4,811* 3 7 201116 Modell 2 17** 353** 1,335* 4 7 201120 Modell 2 13* 353** 2,593* 5 11 201105 Modell 3 11* 353** 1,267* ** p <.001, * p <.05 2. Upprepade mätningar, Två nivåer 2.i Variabler Data simulerar de som använts i följande studie (se Appendix C): Litt, M. D., Shafer, D. M., & Kreutzer, D. L. (2010). Brief cognitive-behavioral treatment for TMD pain: Long-term outcomes and moderators of treatment. Pain, 151, 110-116. Försökspersonerna är smärtpatienter och vår beroende variabel är skattad smärtupplevelse (på en skala från 0 till 6). Hälften av patienterna får standardbehandling och hälften får standardbehandling plus KBT (CBT = 0 respektive CBT = 1). Man mäter även patienternas beredskap att ta till sig terapi (High_readiness = 0 respektive High_readiness = 1). Smärtupplevelsen mäts vid sex olika tillfällen: (1) Baseline = innan behandling; (2) Efter sex veckor, vilket är direkt efter avslutad behandling; (3) Uppföljningsmätningar 12, 24, 36 och 52 veckor efter baseline.
10 2.ii Restructure Vi får börja med att omstrukturera vår datafil med horisontell organisation (en rad per försöksperson) till en vertikalt organiserad datafil (sex rader per försöksperson, en per upprepad mätning). Innan man gör detta är det bra att spara en kopia av sin datafil med nytt namn, för det kan vara svårt att backa om man skulle ångra sig. Data Restructure Välj alternativet Restructure selected variables into cases, Klicka på Next Vi skall bara omstrukturera en variabel (smärtupplevelse) så vi väljer One och klickar på Next Byt Use case number till Use selected variable i rullgardinsmenyn Kör in variabeln Subject i rutan Variable: Radera trans1 i rutan Target Variable: och skriv dit Pain istället Kör in de sex variablerna Pain0 Pain52 i rutan under Target Variable: och se till att de hamnar i rätt ordning, från första till sista mätningen Kör in övriga variabler, nämligen CBT och High_readiness, i rutan Fixed Variable(s): Klicka på Next Välj One för antalet indexvariabler som skall skapas Klicka på Next. Vi kör med Sequential numbers på vår indexvariabel; Klicka på Next. Ändra Handling of Variables not Selected till Keep and treat as fixed variable(s) ; System missing or Blank Values in all Transposed Variables kan stå kvar på Create a case in the new file ; Klicka på Next. Välj Restructure the data now och klicka på Finish och klicka på OK. Nu har vi vår vertikala datafil med sex rader per försöksperson och endast en variabel med smärtskattningar. 2.iii Skapa tidvariabeln Vi skapar vår tidvariabel utifrån indexvariabeln som skapades vid omstruktureringen: Data Compute Variable Ange namnet på den nya variabeln som skall skapas (e.g. Time) i rutan Target Variable Skriv en nolla i rutan Numeric Expression och klicka sedan på If. Välj alternativet If case satisfies condition och skriv Index1=1 i rutan under; Klicka på Continue.
11 Ifknappen Skulle vi klicka på OK nu så skulle vi behöva göra om detta fem gånger till, så istället klickar vi på Paste så kör vi lite syntax. Kopiera (CTRL+C) det lilla kommandot på två rader och klistra in det fem gånger (CTRL+V) Gör ändringar i syntax så att det ser ut så här: IF (Index1 = 1) Time=0. EXECUTE. IF (Index1 = 2) Time=6. EXECUTE. IF (Index1 = 3) Time=12. EXECUTE. IF (Index1 = 4) Time=24. EXECUTE. IF (Index1 = 5) Time=36. EXECUTE. IF (Index1 = 6) Time=52. EXECUTE. Gå in på Run i menyn och klicka på All. Nu skapas en ny variabel med namnet Time där varje person får de sex specificerade värdena. Vi centrerar tidvariabeln genom att ta varje värde minus medelvärdet (= 21,67) och får på så sätt en tidvariabel med medelvärdet noll. 2.1 Modell 1 Vi börjar med att undersöka om det finns någon effekt av tid på smärtupplevelsen: Analyze Mixed Models Linear
12 Kör in variabeln Subject i rutan Subjects Klicka på Continue (OBS: Det finns delade meningar om detta, men vi struntar att köra in något i rutan Repeated även om vi ju faktiskt har upprepade mätningar. Kör in variabeln Pain i rutan Dependent Variable och Time_cent (som ju är en kontinuerlig prediktor) i rutan Covariate(s) Klicka på Fixed och kör in Time i rutan Model, se till att Include intercept är valt. Klicka på Estimation och ändra från Restricted Maximum Likelihood (REML) till Maximum Likelihood (ML) (för att vi skall kunna signifikanspröva skillnaden mellan de olika modellerna anpassning). Klicka på Statistics och bocka för Parameter estimates och Tests for covariance parameters ; Klicka på Continue. Output Vi ser att vår modell innehåller tre parametrar. Vi kommer att jämföra kommande modellers -2LLvärde med värdet för denna modell, nämligen 1397
13 Här ser vi att tiden har en signifikant effekt på den skattade smärtupplevelsen. Intercpept = Genomsnittlig skattad smärtupplevelse (eftersom vi har centrerat tidvariabeln) är signifikant högre än noll. När tid ökar med ett (= en vecka) minskar den skattade smärtupplevelsen med 0,015 och denna effekt är signifikant. Vi ser att vi har 600 frihetsgrader, trots att vi endast har 100 försökspersoner. Detta beror på att vi ännu inte specificerat någon random faktor och därmed inte tar hänsyn till mätningar (nivå 1) är grupperade inom patienter (nivå 2). Residual = Genomsnittlig kvadrerad avvikelse mellan observerad smärtupplevelse och enligt tidvariabeln predicerad smärtupplevelse. 2.2 Modell 2 Vi låter interceptet samt effekten av tid variera mellan individer (= de är random): Analyze Mixed Models Linear Subject ligger kvar i rutan Subjects Klicka på Continue. Klicka på Random Bocka för Include intercept Kör in variabeln Time_cent i rutan Model: Kör in Subject i rutan Combinations Klicka på Continue Vi är redo att köra: Klicka på OK. Output Tillägget av två random faktorer jämfört med förra modellen sänker -2LL från 1397 till 1103, vilket är signifikant, χ 2 (df = 2) = 294, p <.001
14 Vi ser att även om effekten har samma värde som i förra modellen, så har antalet frihetsgrader sjunkit. Detta beror på att genom att inkludera random faktorer i modellen så tar vi nu hänsyn till att mättillfällen är grupperade inom ett mindre antal personer. Interceptet (= genomsnittlig smärtupplevelse) samt effekten av tid varierar signifikant mellan individer. Genom att låta interceptet och effekten av tid variera mellan individer sjunker residualerna med 67% (från 0,60 till 0,20) 2.3 Modell 3 Nu skall vi försöka förklara varför effekten av tid varierar mellan individer. Vi lägger till CBT (ifall man får standardbehandling eller standardbehandling plus KBT, prediktor på nivå 2) samt dess interaktion med tid. Analyze Mixed Models Linear Subject ligger kvar i rutan Subjects Klicka på Continue. Kör in CBT i rutan Factor(s) (vi behandlar den som en kategoriprediktor). Klicka på Fixed Markera de båda prediktorerna Se till att Factorial är valt i rullgardinsmenyn och klicka på Add I rutan Model ser vi nu två huvudeffekter samt deras interaktion Klicka på Continue Klicka på OK.
15 Output Vi lägger till två parametrar jämfört med förra modellen och -2LL sjunker från 1103 till 1074, vilket är en signifikant förbättring, χ 2 (df = 2) = 29, p <.001. Det finns en signifikant huvudeffekt av behandling på smärtupplevelsen (p <.001). Dessutom interagerar tiden med behandlingen i sin effekt på smärtupplevelsen (p <.001). För personer som får KBT (CBT = 1) sjunker smärtupplevelsen med 0,023 per vecka. För personer som inte får KBT är sänkning däremot endast 0,023 0,016 = 0,007 per vecka, vilket är en signifikant lägre sänkningstakt (p <.001). När Tid_cent = 0, vilket är i mitten av tidsperioden, har de som inte får KBT en smärtupplevelse som är 0,398 än den genomsnittliga smärtupplevelsen bland de patienter som får KBT. Detta motsvarar skillnaden mellan de två gruppernas genomsnittliga smärtupplevelse över hela tidsperioden, och skillnaden är signifikant (p <.001). Däremot ser vi att variansen i effekten av tid mellan individer till 15% kunde förklaras av vilken behandling man får (den sjönk från 0,000306 till 0,000260). Residualerna, som ju beräknas på nivå 1, påverkas inte av att vi lagt till en prediktor på nivå 2 och en interaktion mellan nivå 2 och nivå 1.
16 2.4 Modell 4 Så vi ser att sänkningen i smärtupplevelse över tid är större för dem som får KBT. Men gäller detta för alla patienter, eller påverkas denna tvåvägs interaktion mellan tid och behandling av någon ytterligare faktor, t.ex. patientens beredskap att ta till sig terapi? Vi testar: Analyze Mixed Models Linear Subject ligger kvar i rutan Subjects Klicka på Continue. Kör in High_readiness i rutan Factor(s) (vi behandlar den som en kategoriprediktor). Klicka på Fixed Markera alla tre prediktorer Se till att Factorial är valt i rullgardinsmenyn och klicka på Add I rutan Model ser vi nu tre huvudeffekter samt fyra interaktioner Klicka på Continue Klicka på OK. Output -2LL sjunker från 1074 i förra modellen till 1059 här, vilket är en signifikant förbättring, χ 2 (df = 4) = 15, p =.0047. Trevägs interaktionen mellan tid, behandling och terapi-beredskap är inte signifikant. Interaktionen mellan behandling och tid som vi noterade i förra modellen är alltså inte signifikant olika för personer med låg respektive hög readiness.
17 2.5 Sammanfattning Figuren till höger illustrerar interaktionen mellan behandling och effekten av tid på smärtupplevelsen som vi fann i vår analys. I tabellen nedan sammanfattas de olika modellernas grad av anpassning samt residualer. Tabell X. Anpassningsmått samt residualer och variation mellan individer vad gäller effekten av tid på skattad smärtupplevelse för de olika modellerna. Anpassningen för modeller jämförs med anpassningen för nestade modeller. Modell Parametrar -2LL Jämfört med Differens i -2LL Residualer Variation i effekten av utbildningsgrad 1 3 1397 - - 0.600** - 2 5 1103 Modell 1 294** 0.199** 0.000306** 3 7 1074 Modell 2 29** 0.197** 0.000260** 4 11 1059 Modell 3 15* 0.197** 0.000238** ** p <.001, * p <.05
18 Appendix A: Abstrakt från Andersen och van de Werfhorst (2010)
19 Appendix B: Resultat från Andersen och van de Werfhorst (2010)
20 Appendix C: Abstrakt samt resultat från Litt et al. (2010)