Differentiell psykologi Tisdag 24 september 2013 Confirmatory Factor Analysis CFA
Dagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från idag Confirmatory Factor Analysis Utveckling av den klassiskta test-teorins prövning av intern struktur Från Eye-balling till hypotesprövning Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Repetition och frågestund Inmailade frågor Petter Gustavsson 23 september 2013 2
Övning: Diagnostisk studie av MDI Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 26 4 30 4 64 68 30 68 Petter Gustavsson 23 september 2013 3
Resultat Sant positivt värde= Falskt positivt värde= Falskt negativt värde= Sant negativt värde= Sensitivitet= Specificitet= Positivt prediktivt värde= % Negativt prediktivt värde = LR+= => Odds Det går sjuka på _ falskt alarm LR-= => Odds Det går friska på _missat fall Petter Gustavsson 23 september 2013 4
Dagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från idag Confirmatory Factor Analysis Utveckling av den klassiskta test-teorins prövning av intern struktur Från Eye-balling till hypotesprövning Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Repetition och frågestund Inmailade frågor Petter Gustavsson 23 september 2013 5
Furr: kapitel 12 Confirmatory factor analysis Utveckling av den klassiskta test-teorins prövning av dimensionalitet. Tar fram evidens på intern struktur Används för att utvärdera mätmodeller Mätmodell = hur item relaterar till bakomliggande faktorer Prövar hypotesen att den hypotiserade mätmodellen passar data Signifikansprövning av en specificerad hypotes (istället för en relativt subjektiv sammanställning av den exploratoriska faktoranalysens resultat vad gäller antal faktorer, rotation, faktorladdningar, etc) Petter Gustavsson 23 september 2013 6
Petter Gustavsson 23 september 2013 7
Den klassiska teorins mätmodell Item/indikatorer reflekterar ett bakomliggande fenomen / en latent variabel Den samvariation vi ser i responsen på dessa item förklaras av att de indikerar variation i en och samma bakomliggande variabel (dimensionalitet) Den variation som inte är relaterad till den bakomliggande variabeln är unik för varje item Med den konfirmatoriska faktoranalysen kan vi göra en formell prövning av denna mätmodell. Petter Gustavsson 23 september 2013 8
Arbetsgång 1: Definiera mätmodellen (specification of the measurement model) Hur många item/indikatorer har instrumentet Hur många faktorer antas ligga bakom svaren på dessa indikatorer Vilka item/indikatorer är konstruerade för att reflektera svar i vilken faktor Vad förväntar vi oss för typ av samband mellan faktorerna (eg är faktorerna okorrelerade eller ej) Petter Gustavsson 23 september 2013 9
Arbetsgång (Exempel HADS) 1: Definiera mätmodellen (specification of the measurement model) Hur många item/indikatorer har instrumentet 14 Hur många faktorer antas ligga bakom svaren på dessa indikatorer 2 Vilka item/indikatorer är konstruerade för att reflektera svar i vilken faktor 7 indikatorer för ångest (1,3,5,7 osv) och 7 för depr (2,4,6,8 osv) Vad förväntar vi oss för typ av samband mellan faktorerna (eg är faktorerna okorrelerade eller ej) Ångest och depression förväntas vara positivt korrelerade Petter Gustavsson 23 september 2013 10
Mätmodell för HADS Illustration Petter Gustavsson 23 september 2013 11
Mätmodell för HADS 1: Definiera mätmodellen (specification of the measurement model) Hur många item/indikatorer har instrumentet 14 Hur många faktorer antas ligga bakom svaren på dessa indikatorer 2 Vilka item/indikatorer är konstruerade för att reflektera svar i vilken faktor 7 indikatorer för ångest (1,3,5,7osv) och 7 för depr (2,4,6,8 osv) Vad förväntar vi oss för typ av samband mellan faktorerna (eg är faktorerna okorrelerade eller ej) Ångest och depression förväntas vara positivt korrelerade Petter Gustavsson 23 september 2013 12
Den klassiska teorins mätmodell Item/indikatorer reflekterar ett bakomliggande fenomen / en latent variabel Den samvariation vi ser i responsen på dessa item förklaras av att de indikerar variation i en och samma bakomliggande variabel (dimensionalitet) Den variation som inte är relaterad till den bakomliggande variabeln är unik för varje item Med den konfirmatoriska faktoranalysen kan vi göra en formell prövning av denna mätmodell. Petter Gustavsson 23 september 2013 13
Petter Gustavsson 23 september 2013 14
Petter Gustavsson 23 september 2013 15
Arbetsgång 1: Definiera mätmodellen (specification of the measurement model) Hur många item/indikatorer har instrumentet Hur många faktorer antas ligga bakom svaren på dessa indikatorer Vilka item/indikatorer är konstruerade för att reflektera svar i vilken faktor Vad förväntar vi oss för typ av samband mellan faktorerna (eg är faktorerna okorrelerade eller ej) Alternativa mätmodeller kan också definieras och prövas statistiskt Petter Gustavsson 23 september 2013 16
Petter Gustavsson 23 september 2013 17
Petter Gustavsson 23 september 2013 18
Arbetsgång 1: Definiera mätmodellen (specification of the measurement model) Hur många item/indikatorer har instrumentet Hur många faktorer antas ligga bakom svaren på dessa indikatorer Vilka item/indikatorer är konstruerade för att reflektera svar i vilken faktor Vad förväntar vi oss för typ av samband mellan faktorerna (eg är faktorerna okorrelerade eller ej) Alternativa mätmodeller kan också definieras och prövas statistiskt Petter Gustavsson 23 september 2013 19
Arbetsgång 2: Estimera mätmodellen (computations) Utifrån kovarianser mellan alla item och varians för varje item (phase 1), och den definierade mätmodellen Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen (phase 2) utifrån att skillnader mellan de observerade kovarianserna/varianserna och de av modellen reproducerade kovarianserna/varianserna är så små som möjligt (phase 3) Beräkna hur bra den definierade mätmodellen passar data (phase 4) Tolka mätmodellens passform och estimerade laddningar/korrelationer. Petter Gustavsson 23 september 2013 20
Arbetsgång (Exempel HADS) 2: Estimera mätmodellen (computations) Utifrån kovarianser mellan alla item och varians för varje item (phase 1), och den definierade mätmodellen Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen (phase 2) utifrån att skillnader mellan de observerade kovarianserna/varianserna och de av modellen reproducerade kovarianserna/varianserna är så små som möjligt (phase 3) Beräkna hur bra den definierade mätmodellen passar data (phase 4) Tolka mätmodellens passform och estimerade laddningar/korrelationer. Petter Gustavsson 23 september 2013 21
Petter Gustavsson 23 september 2013 22
Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen Petter Gustavsson 23 september 2013 23
Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen Petter Gustavsson 23 september 2013 24
Arbetsgång (Exempel HADS) 2: Estimera mätmodellen (computations) Utifrån kovarianser mellan alla item och varians för varje item (phase 1), och den definierade mätmodellen Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen (phase 2) utifrån att skillnader mellan de observerade kovarianserna/varianserna och de av modellen reproducerade kovarianserna/varianserna är så små som möjligt (phase 3) Beräkna hur bra den definierade mätmodellen passar data (phase 4) Tolka mätmodellens passform och estimerade laddningar/korrelationer. Petter Gustavsson 23 september 2013 25
Beräkna hur bra den definierade mätmodellen passar data Petter Gustavsson 23 september 2013 26
Beräkna hur bra den definierade mätmodellen passar data Petter Gustavsson 23 september 2013 27
Arbetsgång (Exempel HADS) 2: Estimera mätmodellen (computations) Utifrån kovarianser mellan alla item och varians för varje item (phase 1), och den definierade mätmodellen Estimera faktorladdningar och korrelationer mellan faktorer enligt mätmodellen (phase 2) utifrån att skillnader mellan de observerade kovarianserna/varianserna och de av modellen reproducerade kovarianserna/varianserna är så små som möjligt (phase 3) Beräkna hur bra den definierade mätmodellen passar data (phase 4) Tolka mätmodellens passform och estimerade laddningar/korrelationer. Petter Gustavsson 23 september 2013 28
Tolka mätmodellens passform och estimerade laddningar / korrelationer Petter Gustavsson 23 september 2013 29
Tolka mätmodellens passform och estimerade laddningar / korrelationer Petter Gustavsson 23 september 2013 30
Tolka mätmodellens passform och estimerade laddningar / korrelationer Petter Gustavsson 23 september 2013 31
Tolka mätmodellens passform och estimerade laddningar / korrelationer Petter Gustavsson 23 september 2013 32
Andra mätmodellsjämförelser Petter Gustavsson 23 september 2013 33
Petter Gustavsson 23 september 2013 34
CFA och validitet Metoden utgör ett viktigt verktyg för att ta fram validietsevidens för intern struktur. Andra användningsområden inom validering: Associations with other variables MTMM Validitetskoefficienter (korrelation mellan test och kritierievariabel) Consequences of testing Test bias By the way, vid estimering av en CFA erhålls också information som kan användas för att estimera reliabilitet Petter Gustavsson 23 september 2013 35
Några kommentar på bokens exempel Figur 12.4 b och 12.5 Petter Gustavsson 23 september 2013 36
Petter Gustavsson 23 september 2013 37
Petter Gustavsson 23 september 2013 38
Petter Gustavsson 23 september 2013 39
Dagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från idag Confirmatory Factor Analysis Utveckling av den klassiskta test-teorins prövning av intern struktur Från Eye-balling till hypotesprövning Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Repetition och frågestund Inmailade frågor Petter Gustavsson 23 september 2013 40
Mail: petter.gustavsson@ki.se mobil/sms: 070-536 3659 www/ www/ www/