Användning Multilevel Modeling (MLM) Var sak på sin nivå Kimmo Sorjonen Sektionen för Psykologi Karolinska Institutet Kärt barn har många namn: (1) Random coefficient models; (2) Mixed effect models; (3) Multilevel regression models; (4) Hierarchical linear models; (5) Multilevel covariance structure models; etc. Denna metod används när man skall predicera/förklara individuella id värden (t.ex. skolbetyg) utifrån prediktorer som är både på gruppnivå (t.ex. lärarstabens kompetens) och på individnivå (t.ex. hur mycket man pluggar). Data är hierarkiska. Precis som vid vanlig regressionsanalys måste utfallsvariabeln (den beroende variabeln) vara kontinuerlig. Fixed & Random Fixed effects: Effekten av en prediktor antas vara den samma i alla subgrupper. Effekten av tid antas vara den samma för alla individer (vid upprepade mätningar). Fixed effects betecknas ofta med γ (lilla gamma). Random effects: Effekten av en prediktor antas (tillåts) variera mellan olika subgrupper. Effekten av tid antas (tillåts) variera mellan olika individer (vid upprepade mätningar). Fixed & Random Intercept = Värdet i utfallsvariabeln när prediktorerna har värdet noll. Det är vanligt att man centrerar variabler och då är värdet noll = medelvärdet. Fixed intercept: Värdet i utfallsvariabeln antas vara det samma i alla subgrupper när prediktorerna har värdet noll. Värdet i utfallsvariabeln antas vara det samma för alla individer när tid = 0 (vid upprepade mätningar) Random intercept: Värdet i utfallsvariabeln tillåts variera mellan subgrupper när prediktorerna har värdet noll. Värdet i utfallsvariabeln tillåts variera mellan individer när tid = 0 (vid upprepade mätningar) Fixed & Random Centrering Utfallsvärde Utfallsvärde 16 14 12 8 6 4 2 0 0 1 2 3 4 5 Prediktorvärde Fixed intercept, Fixed effect 16 14 12 8 6 4 2 0 0 1 2 3 4 5 Prediktorvärde Fixed intercept, Random effect A B C D E F G H A B C D E F G H Utfallsvärde Utfallsvärde 16 14 12 8 6 4 2 0 0 1 2 3 4 5 Prediktorvärde Random intercept, Fixed effect 16 14 12 8 6 4 2 0 0 1 2 3 4 5 Prediktorvärde Random intercept, Random effect A B C D E F G H A B C D E F G H För att intercept skall bli meningsfulla är det vanligt att man centrerar prediktorer. Centreringen kan göras utifrån hela stickprovet eller utifrån subsamples Centrerat värde x ij x.. Intercept = Predicerad vikt om man är 0 cm lång. Intercept = Predicerad vikt om man är av medellängd. 1
Centrering Varför inte OLS? Problem med att köra vanlig regressionsanalys på hierarkiska data: Om individer tilldelas värden på gruppnivå så får man dopade d fih frihetsgrader (om 300 elever på tre skolor kl får ett värde som motsvarar lärarkompetensen på hans/hennes skola så baseras analysen av effekten av lärarkompetens på en utfallsvariabel (t.ex. betyg) på 300 värden, trots att man bara har data från tre skolor). Analysen ignorerar att det finns ett beroende mellan individerna (personer i samma grupp tenderar att vara mer lika än personer i olika grupper). Estimeringsmetod Två nivåer, Data Maximum Likelihood (ML) Restricted Maximum Likelihood (REML, RML) 2N0, Modellspecifikation Modell 1, 2N0: Två Nivåer, Nollmodell (utan prediktorer) Y ij = + + (för att testa om det finns en skillnad mellan lärare, alltså om random intercept kan antas avvika från noll) 2
2N0, Modellanpassning 2N0, Modellanpassning Ett test utförs där utifrån modellen predicerade parametervärden jämförs med observerade parametervärden och ett signifikansvärde beräknas för denna skillnad (ju bättre modellen dll passar med data, desto högre blir detta värde, variation mellan 0 och 1). Tar man den naturliga logaritmen av detta värde så får man ett värde som varierar mellan och 0 (ju högre värde, desto bättre anpassning). Multiplicerar man i sin tur detta värde med 2 så får man en funktion med chi2 fördelning (ju lägre värde, desto bättre anpassning). En enklare (färre parametrar) modell A sägs vara nestad i en mer generell (fler parametrar) modell B om alla parametrar som finns i A också finns i B. Anpassningen för B anpassningen för A, men är skillnaden signifikant? Detta kan testas genom att beräkna skillnaden mellan de två modellernas anpassning ( 2 LN(Likelihood)) och se om denna skillnad är signifikant enligt chi2 fördelningen (df = parametrar i B minus parametrar i A). Detta är möjligt eftersom skillnaden mellan två chi2 värden också har en chi2 fördelning. OBS: Detta är möjligt endast om estimeringen gjorts med Maximum Likelihood (ML) och INTE med REML. 2N0, Modellanpassning 2N0, Parametrar Y ij = + + Det finns variation på lärarnivå Y ij = + Ingen variation på lärarnivå = medelvärdet för Prov1 över hela stickprovet Den högra modellen är nestad i den vänstra men enklare (saknar,). Skillnaden mellan de två modellernas anpassning är signifikant, 65955 65721 = 234 och χ 2 = 234 (df = 1), p <.0001. Att anta variation på lärarnivå ger alltså en signifikant bättre anpassning till data. = varians på individnivå (mellan elever) = varians på lärarnivå. Detta är alltså 13 / (13 + 148) = 8% av den totala variansen. Vi ser att det finns en signifikant variation på lärarnivå. 2N1RI, Modellspecifikation Modell 2, 2N1RI: Två Nivåer, Nivå 1 Modell med Random Intercept Vi lägger till en prediktor på individnivå (nivå 1): Y ij = + + γ X ij + (för att testa om hur mycket man pluggar (centrerat), X ij, har någon effekt på provresultatet. Enligt modellen är effekten av pluggande den samma över alla lärare (den är fixed)). γ 3
2N1RI, Anpassning och Parametrar 2N1RI, Random effect Genom att ta med pluggande som en prediktor sjönk missanpassningen från 65721 till 64434, vilket är jättesignifikant, χ 2 (df = 1) = 1287, p <.00001 Både interceptet och effekten av pluggande är signifikant skilda från noll Nollmodell (utan pluggande som prediktor) 13,5% ((147,5 127,6) / 147,5) av inomgruppsvariansen kan förklaras utifrån skillnad i pluggande. Variansen i provresultat mellan lärare kan till 35,2% ((12,5 8,1) / 12,5) förklaras med skillnader i elevernas pluggande. Interceptet ( = predicerat provresultat om man pluggar genomsnittligt ) är signifikant högre än noll. γ När pluggandet ökar med en timme så ökar provresultatet med 0.64 poäng och denna effekt är signifikant högre än noll. 2N2RI, Modellspecifikation Modell 3, 2N2RI: Två Nivåer, Nivå 2 Modell med Random Intercept Vi lägger till två prediktorer på lärarnivå (nivå 2): Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + + (för att testa om lärarens kompetens (centrerat), W j1, samt hur mycket lärarens elever pluggar i genomsnitt (centrerat), W j2,, har någon effekt på enskilda studenters provresultat). γ 02 γ 01 γ 2N2RI, Anpassning och Parametrar 2N2RI, Random effects Genom att ta med prediktorerna på lärarnivå sjönk missanpassningen från 64434 till 64329, vilket är signifikant, χ 2 (df = 2) = 5, p <.00001 Interceptet och alla effekter är signifikant skilda från noll Interceptet ( = predicerat provresultat om man är genomsnittlig på alla prediktorer Kontrollerat för de andra prediktorerna, associeras ett stegs ökning i lärarkomp. med en ökning i resultat med 0,08 poäng, de andra elevernas (med samma lärare) pluggande med en ökning med 0,56 poäng och det egna pluggandet med 0,61 poäng. Ingenting av inomgruppsvariansen i Y ij = + + γ X ij + provresultat kan förklaras utifrån skillnad i lärarens kompetens och genomsnittligt pluggande på lärarnivå. Däremot kan dessa två prediktorer på lärarnivå förklara 37% ((8,1 5,1)/ 8,1) av variansen mellan lärare. Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + + 4
2NRSRI, Modellspecifikation Modell 4, 2NRSRI: Två Nivåer, Modell med Random Slope och Random Intercept Vi lägger till en random effect av pluggande (u 1j ): Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + u 1j X ij + + (för att testa om effekten av pluggande på provresultatet varierar mellan lärare). γ 02 γ 01 γ u 1j 2NRSRI, Anpassning 2NRSRI, Random effects Genom att låta effekten av pluggande variera mellan lärare sjönk missanpassningen från 64329 till 643, vilket är signifikant, χ 2 (df = 1) = 19, p <.0001 Interceptet och alla effekter är signifikant skilda från noll Interceptet ( = predicerat provresultat om man är genomsnittlig på alla prediktorer Kontrollerat för de andra prediktorerna, associeras ett stegs ökning i lärarkomp. med en ökning i resultat med 0,08 poäng, de andra elevernas (med samma lärare) pluggande med en ökning med 0,56 poäng och det egna pluggandet med 0,62 poäng. Inomgruppsvariansen i prov Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + + resultat samt variansen mellan lärare påverkas inte så mycket av att vi tar med random effect av pluggande i modellen. I den nedre tabellen ser vi att denna random effect är signifikant högre än noll (effekten av pluggande på provresultat varierar alltså mellan lärare). Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + u 1j X ij + + 2NRSRI+I, Modellspecifikation Modell 5, 2NRSRI+I: Två Nivåer, Modell med Random Slope och Random Intercept samt Interaktion Vi lägger till en effekt av interaktionen mellan pluggande och lärarens kompetens (γ 11 ) och en interaktion mellan pluggande och genomsnittligt pluggande för de med samma lärare (γ 12 ): Y ij = + γ 01 W j1 + γ 02 W j2 + γ X ij + γ 11 (X ij W j1 )+ γ 12 (X ij W j2 ) + u 1j X ij + + (för att testa om variationen av effekten av pluggande mellan lärare kan förklaras av dessa interaktioner). γ 02 γ 01 γ γ 11 γ 12 u 1j 5
2NRSRI+I, Anpassning och Parametrar Tre nivåer, Data Kontrollerat för de andra prediktorerna, är varje timmes ökning i det genomsnittliga pluggandet för de som har samma lärare associerad med en sänkning i effekten av den enskildas pluggande med 0,02 steg. Genom att ta med de två interaktionstermerna sjönk missanpassningen från 643 till 64304, vilket är signifikant, χ 2 (df = 2) = 6, p <.05 (nätt och jämnt). Interceptet och huvudeffekterna är signifikant skilda från noll. En av interaktionerna är också signifikant. 3N0, Modellspecifikation Modell 6, 3N0: Tre Nivåer, Nollmodell (inga prediktorer) Nollmodell: Y ijk = 0 + u 00k + r 0jk + k (för att testa om det finns variation på rektors respektive lärarnivå, alltså om random intercept u 00k och r 0jk kan antas avvika från noll) u 00k 0 r 0jk k 3N0, Anpassning och Random effects Modell 7, 3N3RI: Tre Nivåer, Nivå 3 modell med Random Intercept Y ijk = 0 + u 00k + r 0jk + k 92,2% av variansen i provresultatet finns mellan elever, 2,3% mellan rektorer, och 5,5% mellan lärare. Alla dessa värden är signifikant högre än noll. 6
3N3RI, Modellspecifikation Modell med prediktorer på tre nivåer: Y ijk = 0 + 1 Z k1 + γ 01k W j1 + γ 1jk X i1 + u 00k + r 0jk + k (för att testa om variationen på rektorsnivå kan förklaras av rektorns tjänsteår (Z k1 ), om variansen på lärarnivå kan förklaras av lärarens kompetens (W j1), och om variansen på individnivå kan förklaras av hur mycket man pluggar (X i1 ) γ 01k γ 1jk k 1 0 r 0jk u 00k 3N3RI, Anpassning och Parametrar Kontrollerat för de andra prediktorerna, är en ökning i rektorns tjänstetid med ett år associerad med en ökning i provresultatet med 7,8 poäng, o.s.v. Alla effekter är positiva och signifikanta Genom att ta med de tre prediktorerna (på tre nivåer) sjönk missanpassningen från 65686 till 59694, vilket är synnerligen signifikant, χ 2 (df = 3) = 5992, p <.00001. Interceptet och effekten av de tre prediktorerna är signifikant skilda från noll. 3N3RI, Random effects Y ijk = 0 + u 00k + r 0jk + k Genom att ta med de tre prediktorerna i modellen kan vi förklara 50% av variansen mellan eleverna vad gäller provresultat (nivå 1) 73% av variansen mellan lärare (nivå 2) och 92% av variansen mellan rektorer (ej längre sign.). Modell 8, 3NRSRI: Tre Nivåer, Modell med Random Intercept och Random Slopes Y ijk = 0 + 1 Z k1 + γ 01k W j1 + γ 1jk X i1 + u 00k + r 0jk + k 3NRSRI, Modellspecifikation Vi lägger till en random effect av lärarens kompetens (u 01k ): Y ijk = 0 + 1 Z k1 + γ 01k W j1 + γ 1jk X i1 + u 01k + u 00k + r 0jk + k (för att testa om effekten av lärarens kompetens varierar mellan rektorer) γ 01k γ 1jk k 1 r 0jk 0 u 00k u 01k 3NRSRI, Anpassning och Parametrar Kontrollerat för de andra prediktorerna, är en ökning i rektorns tjänstetid med ett år associerad med en ökning i provresultatet med 7,8 poäng, o.s.v. Alla effekter är positiva och signifikanta Genom att låta effekten av lärarens kompetens variera mellan rektorer sjönk missanpassningen från 59694 till 59682, vilket är signifikant, χ 2 (df = 1) = 12, p <.001. Interceptet och effekten av de tre prediktorerna är signifikant skilda från noll. 7
3NRSRI, Random effects Genom att låta effekten av lärarens kompetens variera mellan rektorer kan vi förklara ytterligare 53% av variansen mellan rektorer och 22% av variansen mellan lärare. I den nedre tabellen ser vi också att effekten av lärarens kompetens på provresultatet varierar signifikant mellan rektorer (p =.019). Modell 9, 3NRSRI+I: Tre Nivåer, Modell med Random Slopes och Random Intercept samt Interaktion u 00k k u 01k r 0jk 3NRSRI+I, Modellspecifikation 3NRSRI+I, Anpassning och Parametrar Vi lägger till en effekt av interaktionen mellan lärarens kompetens och rektorns tjänstetid (γ 011 ): Y ijk = 0 + 1 Z k1 + γ 01k W j1 + γ 011 (Z k1 W j1 )+ γ 1jk X i1 + u 01k + u 00k + r 0jk + k (för att testa om variationen av effekten av lärarens kompetens mellan rektorer kan förklaras med rektorns tjänstetid). γ 01k γ 1jk γ 011 k 1 r 0jk 0 u 00k u 01k Huvudeffekterna är positiva (ökat värde är associerad med ökat provresultat) och signifikanta. Interaktionen är inte signifikant Genom att ta med interaktionen mellan rektorns tjänstetid och lärarens kompetens sjönk missanpassningen från 59681,588 till 59681,579, vilket är långt ifrån signifikant, χ 2 (df = 1) = 0,009, p =.924. Interceptet och huvudeffekterna, men inte interaktionen, är signifikant skilda från noll. Upprepade mätningar Upprepade mätningar Tid (måna ader) 30 25 20 15 5 0 0 1 2 3 4 5 6 7 8 9 Undersökningsdeltagare Första Andra Tredje Fjärde Femte Sjätte Skulle vi jämföra de olika mättillfällena med varandra (vad gäller någon utfallsvariabel) så skulle vi inte ta hänsyn till det faktum att tiden (t.ex. under behandling) är olika vid de olika mättillfällena för olika personer. Data organiseras vertikalt. En fördel med detta är att en person stryks inte helt om han/hon har ett saknat värde på utfallsvariabeln. 8
UMETRSRI, Modellspecifikation Modell, UMETRSRI: Upprepad Mätning, Modell med Effekt av Tid samt Random Slopes och Random Intercept Vi beräknar om en patients grad av depression vid tidpunkten t (Y ti ) är en funktion av tid under behandling (T t1 ). Vi tar även med den kvadratiska tidstermen(t 2 t1) för att testa om effekten av tid kan antas vara icke linjär: Y ti = + γ T ti + γ 20 T 2 ti + r 0i + r 1i + ε ti. Vi tar med två extra feltermer för att testa om det finns individuella skillnader i startvärde samt effekt av tid (vi utgår ifrån att effekten av kvadrerad tid är fixed). γ γ 20 ε ti r 0i r 1i UMETRSRI, Anpassning och Parametrar UMETRSRI, Random effects Det finns en signifikant icke linjär effekt av tid på graden av depression. Graden av depression ges av formeln Dep. = 79,12 2,62 Tid + 0,12 Tid 2. Graden av depression sjunker alltså med tiden, men sänkningen är avtagande. Y ti = + γ T ti + γ 20 T 2 ti + r 0i + r 1i + ε ti Det finns en signifikant variation mellan individer vid en viss tidpunkt (Residual), i startvärde (Intercept), samt vad gäller effekten av tid på graden av depression. Modell 11, UMET+PI,RSRI: Upprepad Mätning, Modell med Effekt av Tid plus Prediktorer och Interaktion samt Random Slopes och Random Intercept UMET+PI,RSRI, Modellspecifikation Vi lägger till typ av behandling (B i ) och kön (K i ) samt interaktionerna mellan tid och behandling (T ti B i ) och tid och kön (T ti K i ): Y ti = + γ T ti + γ 20 T 2 ti + γ 01 B i + γ 02 K i + γ 03 (T ti B i ) + γ 04 (T ti K i ) + r 0i + r 1i + ε ti. γ 20 γ γ 01 γ 02 γ 03 γ 04 Behandling har fyra kategorier och detta blir tre dummyvariabler ε ti r 0i r 1i 9
Effekten av tid interagerar med behandling men inte med kön. UMET+PI,RSRI, Anpassning och Parametrar Genom att ta med de två prediktorerna samt tre interaktioner sjönk missanpassningen från 2859 till 2794, vilket är signifikant, χ 2 (df = 8) = 65, p <.00001. UMET+PI,RSRI, Parametrar Generellt sett sjunker graden av depression med 4 poäng per månad (men effekten är avtagande). När en prediktor är en kategorivariabler jämförs den sista kategorin med övriga. Här ser vi att patienterna med bh behandlingarna 1 och 2 (A och B) har signifikant högre genomsnittlig grad av depression jämfört med behandling 4 (D). Effekten av tid är mer positiv (mindre avtagande) i de tre andra grupperna jämfört med grupp 4 (D).