Regressionsanalys Enkel regressionsanalys Regressionslinjen

Transkript

1 --9 Regreionanaly - en fråga om balan Kimmo Sorjonen Sektionen för Pykologi Karolinka Intitutet. Enkel reg.analy.. Data.. Reg.linjen.. Beta (β).. Signifikan.. Reg. om Var..6. Korr. & Förklarad var..7. SPSS.8. Rekom.. Multipel reg.analy.. Data.. Formel.. Kollinearitet.. Reg. om Var... SPSS.6. Förklarad varian.8. Selektionmetoder.9. Jämföra modeller.. Kurvlinjärt.. Interaktion.. Dummy-variabler. Logitik reg... Data.. Fina med Ln Odd.. SPSS.. Eempel.. Multipel, SPSS.. Enkel regreionanaly Data Värdet på en beroende variabel (kontinuerlig) predicera utifrån värdet på en oberoende variabel. Peron Terapi (X) Livglädje (Y) Enkel regreionanaly Regreionlinjen dje Livglädj S e ( y yˆ) Terapi Terapi.. Enkel regreionanaly Regreionlinjen, Ekvation y = a + b a =interceptet b =linjen lutning (= ökning i y när ökar med ett).. Enkel regreionanaly Regreionlinjen, Värdet på b y b Följande formel ger en lutning på linjen om minimerar reidualerna. b r y y Värdet på b påverka av mätenheten. Längd (cm) Vikt (kg), b =,9; Längd (m) Vikt (kg), b =? y

2 --9.. Enkel regreionanaly Regreionlinjen, Värdet på a.. Enkel regreionanaly Regreionlinjen, Eempelberäkning y = a + b Alltå: a = y - b Efterom linjen alltid går genom punkten M ; M y Så får vi att: a y b M =, M y =, =,8 y =, r y =,89, b,89,,8 a,,,, yˆ,,.. Enkel regreionanaly Standardierad b = β Om man tandardierar - och y-variabeln och beräknar regreionlinjen å beteckna linjen lutning β (beta). β = hur många tandardavvikeler värdet på y- variabeln ökar för en tandardavvikele ökning på -variabeln Värdet på β påverka inte av mätenhet. Därför indikerar den (till killnad från b) prediktiv förmåga. S Vad blir interceptet? b S y.. Enkel regreionanaly Signifikanprövning av b Reg.linjen ger ällan perfekta prediktioner. Den genomnittliga avvikelen mellan oberverade och predicerade värden är ett mått på hur pa bra (dåliga) prediktionerna är. Detta (ungefär) får man fram genom att beräkna tandard error of etimate. S Y X ( Y Yˆ) N SS df reidual Standard error of etimate kan i in tur använda Y X för att beräkna ett medelfel för b regreionkoefficienten (= b): X N Kan värdet på b anta vara kilt från i populationen? Detta kan teta (t-tet) genom att ätta det oberverade värdet på b i relation till den förväntade pridningen ( b = medelfel för regreionkoefficienten) : b t b.. Enkel regreionanaly Signifikanprövning av b I vårt eempel: SS reidual =, S =,8 S YX b X SSreidual df,, Y X,,8 N,8.. Enkel regreionanaly Regreioneffekten b r y y Y y i y i y j y j t b b,,,8. t krit.( df ),8 j i X

3 --9.. Enkel regreionanaly Regreioneffekten b r y y Y y i y i y j y j j i X.. Enkel regreionanaly Regreion- om variananaly ädje Livglä Total SS Regreion-SS Reidual-SS Terapi Total Sum of Square: SS Y ( Y Y ) Regreion-SS = SS om återtår när oberverade värden erätt med predicerade värden. SS Y ˆ ˆ ( Y Y ) Reidual-SS = SS om går förlorad när oberverade värden erätt med predicerade värden. SS e ( Y Yˆ) SS Y SS Yˆ SS e.. Regreionom variananaly Yˆ ( Y Y ),, X ( Y Yˆ) ( Yˆ Y ) Peron Ob.X Ob.Y Var.Y Pred.Y Re.Y Reg,,,76,8, 6,76,,,6,,8,69,,,96,,96,,,,6,7,9,69, 7 7,,96 6 6,, 676 6,76 Σ, 7,, 7,, 6,9 Reg.var. Reg.df 6,9 / F,79 Re.var Re.df, /. Fkrit. ( df,), Reg.df = Antalet prediktorer (p) Re.df = N-p-.6. Enkel regreionanaly Korrelation & Förklarad varian Variabler Korr. SS(tot) SS(reg) För. var. F F,7 687,6,96, F F9,79, 6,9, F9 F6 -,9,8,79, F6 F8,77,6,79, F8 F8, 767,,69, F8 F7,76 86,676 8,87,8 r = förklarad varian.7. Enkel regreionanaly SPSS-utkrift Korrelation mellan oberverade och predicerade y-värden. R i kvadrat = Hur tor andel av varianen i y om kan förklara av varianen i. Samma ak kan få fram genom att beräkna SS(reg) / SS(tot) (6,9 /, =,797).8. Regreionanaly Krav & Rekommendationer Krav: Variablerna kall vara på mint ordinal-nivå (egentligen intervall). Även dikotoma variabler funkar om prediktorer (men inte om BV). Krav: Man kall ha data från mint två peroner fler än vad man har prediktorer. Krav: Oberverade värden kall vara oberoende av varandra. Antagande: I populationen är: () Varianen i Y-variabeln amma för alla nivåer av X; () Y-värdena normalfördelade för alla nivåer av X. Rekommendation: N + 8 prediktorer; N + prediktorer. Rekommendation: Outlier (kanke peciellt multivariata ådana) kan ha tor effekt på koefficienterna. Sådana borde detektera (t.e. dfbeta) och kanke tryka.

4 Regreionanaly Krav & Rekommendationer Krav: Variablerna kall vara på mint ordinal-nivå (egentligen intervall). Även dikotoma variabler funkar om prediktorer (men inte om BV). Krav: Man kall ha data från mint två peroner fler än vad man har prediktorer. Krav: Oberverade värden kall vara oberoende av varandra. Antagande: I populationen är: () Varianen i Y-variabeln amma för alla nivåer av X; () Y-värdena normalfördelade för alla nivåer av X. Rekommendation: N + 8 prediktorer; N + prediktorer. Rekommendation: Outlier (kanke peciellt multivariata ådana) kan ha tor effekt på koefficienterna. Sådana borde detektera (t.e. dfbeta) och kanke tryka... Multipel regreion Data Värdet på en beroende variabel (kontinuerlig) predicera utifrån värdet på flera oberoende variabler. Peron Terapi Medicin Livglädje Multipel regreion Formel ˆ Y b b X b X... b p X p b = intercept (värdet på BV när alla prediktorer = ) b,b ov = koefficienter för variablerna X,X ov (förändring i BV när prediktorn ökar med ett OCH de andra prediktorerna håll kontanta. Värdena ta fram å att umman av de kvadrerade reidualerna minimera. S e ( y yˆ).. Multipel regreion Kollinearitet Om en OV kan förklara utifrån andra OV å äg den ha kollinearitet. Denna OV bidrar inte mycket till förklaringen av BV och de närvaro kan innebära problem för modellen (man rikerar t.e. att dra lutaten att en OV inte har effekt på BV, trot att den har det). I SPSS kan man teta för kollinearitet genom att beräkna Tolerance och Variance Inflation Factor (VIF) Tolerance = Ett () minu förklarad varian (R ) när värdena i en OV predicera utifrån värdena i de andra OV. Bra om det är högt (tumregel: >,; Ma ) Variance Inflation Factor (VIF) = / Tolerance. Bra om det är lågt, min... Regreionom variananaly ^Y =,9 +,6 Ter,8 Med ( Y Y ) ( Y Yˆ) ( Yˆ Y ).. Multipel regreion SPSS-utkrift Peron Terapi Medici n Livglä dje Var.y Pred.y Re.y Reg,,,,76,, 8,,,,,6,,,7,,, 96,96 9,9,,,,,,6,7,,9,, 7,,96 6,9,6 7,79 Σ, 7, 7,, 7,,67 7, R i kvadrat juterat för antalet prediktorer och N (=förväntad genomnittlig R n för tickprov med den Adj(R ) ( R ) aktuella torleken dragna ur amma population). Formel: n p Predicerar den aktuella modellen ignifikant mer än noll procent av varianen i BV? Kan någon av koefficienterna anta vara kild från noll i populationen? Reg.var. Reg.df 7,/ F,77 Re.var Re.df,67 /. Fkrit. ( df,) 9, Reg.df = Antalet prediktorer (p) Re.df = N-p-

5 --9.. Beräkning av individuella koefficienter Tˆ,, 96 Med Peron Terapi Medicin Livgläd je Lˆ,, Med Prediktor=Medicin Re(Ter api) Mˆ,9, Ter Re(Liv g) Lˆ,, Ter Prediktor=Terapi Re(Me dicin) Re(Liv g),,, -,6,,6,,,, -,8 -, -,9,9,,, -,8 -, -, -,,,,,8,, -,7,, 7,,6, -,, Σ, 7, 7,,,,, Re(L) =,9 Re(T) Re(L) = -,8 Re(M).8. Multipel regreion Selektionmetoder Enter: Alla valda OV ta med i modellen. Alla OV behandla om om de kulle vara it i hierarkin. Hierarkik: OV ta med i en vi (betämd) ordning. Effekten av en OV beräkna medan OV på högre nivå kontrollera. Forward: Programmet väljer ut OV om förklarar met varian, adderar edan näta OV o..v. OV ta med i modellen till den förklarade varianen inte längre ökar ignifikant. Backward: Alla OV ta med i modellen och edan eliminera (ucceivt) de OV om inte bidrar ignifikant till förklarad varian. Stepwie: Kombination av forward och backward..8. Multipel regreion Hierarkik, SPSS.8. Multipel regreion SPSS, Stepwie I SPSS kan man göra en hierarkik regreionanaly och be programmet räkna fram R Square Change. Ta Medicin med i modellen å ökar den förklarade varianen från 79,7% till 8,7%, men den här ökningen är inte ignifikant, F(, ) =., p = Multipel regreion Kurvlinjärt, Formel Yˆ b b X b X.. Multipel regreion Kurvlinjärt, Data Terapi Medicin Livglädje Med** Zmed Zmed**,,,, -,7,8,,,, -,7,8,,,, -,7,8,,,, -,7,8,,,,,,,, 6,,,,,, 6,,,,,, 7,,,,,,,,,7,8,,,,,7,8,,,,,7,8,,,,,7,8

6 --9.. Multipel regreion Kurvlinjärt, SPSS.. Multipel regreion Kurvlinjärt, Korrelationer.. Multipel regreion Kurvlinjärt, SPSS OBS: Har man med en eponentiell term om prediktor bör alla termer av lägre grad ockå vara med. Livglädje = 6, +, Zmed,6 Zmed Livglädjen är om tört vid Zmed =, vilket motvarar Medicin =, Vad anger interceptet?.. Multipel regreion Interaktion = Effekten av en OV på BV är beroende av nivån på en annan OV. Om man tetar för interaktion å utgår man oftat ifrån att effekten av en OV på BV är en linjär funktion av nivån på en (eller flera) annan OV, alltå: b = c + d b = effekten av på BV c = effekten av på BV när är noll d = förändring i effekten av på BV när ökar med ett teg Och grundformeln för regreion (med två OV): y = b + b + b Om vi erätter b med uttrycket ovan får vi: y = b + (c + d ) + b Efter lite algebra: y = b + c + b + d Interaktionen kan alltå teta genom att ta med produkten av de två variablerna om en prediktor i analyen... Multipel regreion Interaktion Terapi Medicin Livglädje T*M Zter Zmed Zt*Zm,,,, -,6 -,7,76,,,, -,6 -,7,76,,,,, -,7 -,6,, 7 7,,, -,7 7 -,,,,, -,6,,,,,, -,,,,,,, -,,,,,,,,,,,, 6,, -,,7 -,6,, 6,, -,6,7 -,76,,,,,7,7,,,, 8,,,7,.. Multipel regreion Interaktion, SPSS OBS: Har man med en interaktionterm i analyen å kall p- värdet för huvudeffekterna tolka med tor föriktighet 6

7 --9.. Multipel regreion Interaktion, Korrelation.. Multipel regreion Interaktion, SPSS Glädje =,7 +, * Zter +, * Zmed,9 * Zter * Zmed Effekt av Zter:,,9 * Zmed (Zmed <,7: Potiv effekt, annar negativ) Effekt av Zmed:,,9 * Zter (Zter <,: Poitiv effekt, annar negativ) När terapi ökar med en SD å minkar effekten av medicin på livglädje med,9. När medicin ökar med en SD å minkar effekten av terapi på livglädje med,9... Multipel regreion Interaktion, SPSS Har man med en interaktionterm om en prediktor å tår koefficienterna för de enkla prediktorerna för effekten av prediktorn när den andra prediktorn är lika med noll. I det aktuella fallet: När Zmed = å aociera en ökning i Zter med med en ökning i Livglädje med,.. När Zter = å aociera en ökning i Zmed med med en ökning i Livglädje med,... Multipel regreion Kategorivariabler (Dummy-variabler) Behand. Terapi Medicin Livglädje Beh.B Beh.C A A A A B 7 B B 6 B 6 C C C C.. Multipel regreion Kategorivariabler, SPSS Om man får behandlig B å förvänta livglädjen vara, poäng högre jämfört med om man får behandlig A (kontrollerat för effekten av mängden terapi och medicin )... Logitik regreion Data Använd när man kall predicera värden på en dikotom variabel. Använder ig av den naturliga logaritmen av oddkvoter (efterom dea tenderar att vara linjära även med en dikotom beroende variabel). Undviker problem med orimliga predicerade värden. Om man får behandlig C å förvänta livglädjen vara, poäng lägre jämfört med om man får behandlig A (kontrollerat för effekten av mängden terapi och medicin ). 7

8 --9.. Logitik regreion Rik & Odd Rik = Antal med utfall dividerat med totalt antal (kan variera mellan och ) Odd = Antal med utfall dividerat med antal utan utfall (kan variera mellan och ) ).. Logitik regreion Det fina med Ln Odd Odd(man) Vikt Kvinnor Män Rik(kvinna) Odd(kvinna) 8 8 /(+8)=, /8=, /(+)=, /= 8/(8+)=,8 8/= Ln(Odd(man)) Vikt.. Logitik regreion SPSS.. Logitik regreion Eempelberäkning Ln Odd (man) =, Vikt 7, Vikt = 7 Ln Odd (man) = -, Odd (man) = e -, =,989 P (man) =,989 / ( +,989) = 9,7% Vikt = 8 Ln Odd (man) =,9 Odd (man) = e,9 =,77 P (man) =,77 / ( +,77) = 7,% Alltå: Ln Odd (man) =, Vikt 7,.6 Logitik regreion Multipel, SPSS. Enkel reg.analy.. Data.. Reg.linjen.. Beta (β).. Signifikan.. Reg. om Var..6. Korr. & Förklarad var..7. SPSS.8. Rekom.. Multipel reg.analy.. Data.. Formel.. Kollinearitet.. Reg. om Var... SPSS.6. Förklarad varian.7. Semipartiell & Partiell.8. Selektionmetoder.9. Jämföra modeller.. Kurvlinjärt.. Interaktion.. Dummy-variabler. Logitik reg... Data.. Fina med Ln Odd.. SPSS.. Eempel.. Multipel, SPSS 8