Differentiell psykologi Tisdag 25 september 2012 Generalizability Theory
Dagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från gårdagen Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Tentamen, inkomna frågor och repetition Petter Gustavsson 19 september 2012 2
Övning: Diagnostisk studie av MDI Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 26 4 30 4 64 68 30 68 Petter Gustavsson 19 september 2012 3
Resultat Sant positivt värde= Falskt positivt värde= Falskt negativt värde= Sant negativt värde= Sensitivitet= Specificitet= Positivt prediktivt värde= % Negativt prediktivt värde = LR+= => Odds Det går sjuka på _ falskt alarm LR-= 0,142 => Odds Det går friska på _missat fall Petter Gustavsson 19 september 2012 4
Generalizability Theory (GT) En utveckling av den klassiska testteorins perspektiv på reliabilitet och dess estimering
Teorin med stort T Klassisk Test Teori (KTT) = Classical Test Theory (CTT) = True Score Theory (TST) Allt vi tidigare tagit upp har härletts ur denna teori Från hur ett test ska konstrueras Till hur testpoäng ska göras tolkningsbara Till hur test ska utvärderas Men, hur CTT ser på mätfel har kritiserats Petter Gustavsson 19 september 2012 6
G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Petter Gustavsson 19 september 2012 7
G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Vilka dessa faktorer är och i vilken utsträckning dessa påverkar reliabiliteten studeras sällan Petter Gustavsson 19 september 2012 8
G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Vilka dessa faktorer är och i vilken utsträckning dessa påverkar reliabiliteten studeras sällan Detta leder till att vi inte särskiljer systematiska orsaker till fel från slumpmässiga fel Följden blir att vi inte får adekvat ledning i hur vi ska göra våra mätningar mer reliabla Petter Gustavsson 19 september 2012 9
Lösningen på detta problem (enl G-teorin) Genom att utgå från att man teoretiskt eller praktiskt i förhand kan definiera felkällor särskilt förknippade med mätningen av ett visst fenomen så kan man utifrån en experimentell studie av felkällornas betydelse särskilja systematiska orsaker till fel från slumpmässiga fel Utifrån resultatet av en sådan studie kan man få uppfattningar om olika felkällors relativa betydelse och få ledning i hur man effektivast minimerar felkällor. Petter Gustavsson 19 september 2012 10
G-teorin ingen egen mätteori! G-teorin får närmast ses som en vidareutveckling av den klassiska testteorins perspektiv på reliabilitet. Lee Joseph Cronbach (1916 2001); α (1951); G (1972) Petter Gustavsson 19 september 2012 11
Exempel Låt oss utgå från Generalizability theory och närmare studera mätning av depression enligt HADS Petter Gustavsson 19 september 2012 12
Först, Låt oss igen påminna oss om de aspekter av reliabiltet som vi tidigare tagit upp (med HADS som exempel) Petter Gustavsson 19 september 2012 13
Först, Låt oss igen påminna oss om de aspekter av reliabiltet som vi tidigare tagit upp (med HADS som exempel) Vilka två huvudsakliga typer av empiriska estimat på ett tests reliabilitet (baserade på olika estimeringsmetoder och antaganden) har vi tidigare tagit upp? Petter Gustavsson 19 september 2012 14
Estimat av ett tests reliabilitet utifrån CTT/TST Baserat på upprepning av testet Test-retest Baserat på testets internera konsistens Cronbach s alfa Petter Gustavsson 19 september 2012 15
Petter Gustavsson 19 september 2012 16
Petter Gustavsson 19 september 2012 17
Men, Vilka fler källor till fel skulle vi kunna studera (med HADS som exempel) annat än en (osystematisk) studie över tid, eller över ingående item? Petter Gustavsson 19 september 2012 18
Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Petter Gustavsson 19 september 2012 19
Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Tid (morgon-kväll, ett dygn, en vecka) Plats (hemma, väntrum, behandlingsrum) Situation (enskilt vs i närvaro av andra) Petter Gustavsson 19 september 2012 20
Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Tid (morgon-kväll, ett dygn, en vecka) Plats (hemma, väntrum, behandlingsrum) Situation (enskilt vs i närvaro av andra) Konsekvens Systematiska fel som beror på tid, plats och situation kan estimeras och lyftas bort ur estimeringen av slumpmässiga fel Petter Gustavsson 19 september 2012 21
Fler faktorer? Vi har nu systematiserat studien av test-retest och vi har sedan tidigare studiet av intern konsistens. Vilka fler faktorer kan vara värdefulla att studera när det gäller fel i kliniska skattningar? Petter Gustavsson 19 september 2012 22
Faktor: Skattaren Petter Gustavsson 19 september 2012 23
Faktor: Skattaren Patient vs Anhörig Petter Gustavsson 19 september 2012 24
Faktor: Skattaren Patient vs Klinikern Petter Gustavsson 19 september 2012 25
Faktor: Skattaren Kliniker A vs Kliniker B Petter Gustavsson 19 september 2012 26
Inter-rater reliabilitet (jmf med test-retest och interkonsistens) Patient vs Anhörig Patient vs Klinikern Kliniker A vs Kliniker B Petter Gustavsson 19 september 2012 27
Faktorer = Facets Vi har systematiserat studien av test-retest och vi har sedan tidigare studiet av intern konsistens. Vi har nu också granskat skattaren som en felkälla. Petter Gustavsson 19 september 2012 28
Följande faktorer och deras inverkan har vi definierat: Item Tid, plats, situation Skattare (vem som bedömer) Petter Gustavsson 19 september 2012 29
Vad är det vi gör här med alla hypotetiska påverkansfaktorer? Petter Gustavsson 19 september 2012 30
Vad är det vi gör här med alla hypotetiska påverkansfaktorer? Vi försöker särskilja systematiska påverkansfaktorer från slumpmässiga Istället för att klumpa ihop alla fel till en felvarianspott, försöker vi särskilja olika källor till fel Petter Gustavsson 19 september 2012 31
Vad är det för forskningsmetodologisk design som finns bakom detta angreppssätt? Petter Gustavsson 19 september 2012 32
Vad är det för forskningsmetodologisk design som finns bakom detta angreppssätt? Experimentell design Petter Gustavsson 19 september 2012 33
Vad är det för statistisk metod som kan användas till att utreda dessa olika faktorers påverkan? Petter Gustavsson 19 september 2012 34
Vad är det för statistisk metod som kan användas till att utreda dessa olika faktorers påverkan? Variansanalys =ANOVA Petter Gustavsson 19 september 2012 35
Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet (item), dagsform, testsituationen och en mängd andra systematiska faktorer. Petter Gustavsson 19 september 2012 36
Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet, dagsform, testsituationen och en mängd andra systematiska faktorer. Generalizability theory tar sin utgångspunkt i en experimentell design för att särskilja systematiska felfaktorer från slumpmässiga felfaktorer Petter Gustavsson 19 september 2012 37
Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet (item), dagsform, testsituationen och en mängd andra systematiska faktorer. Generalizability theory tar sin utgångspunkt i en experimentell design för att särskilja systematiska felfaktorer från slumpmässiga felfaktorer Med hjälp av variansanalys (ANOVA) studeras olika felfaktorers relativa påverkan på testresultat Petter Gustavsson 19 september 2012 38
G-teorins två faser G-Fasen D-Fasen Petter Gustavsson 19 september 2012 39
G-fasen Via ett experiment studeras inverkan av olika faktorers inverkan på mätningen: Item Situation Skattare Etc Via variansanalytiska beräkningar kan man få grepp om dessa faktorers relativa betydelse. Petter Gustavsson 19 september 2012 40
D-fasen Med kännedom om olika påverkansfaktorers betydelse för mätningen så kan man göra förutsägelser om hur man bäst gör en framtida mätning mer reliabel Hur påverkas reliabiliteten av att fler item läggs till? Hur påverkas reliabiliteten av att testningen sker över fler situationer? Hur påverkas reliabiliteten av att fler skattare gör bedömningar? Vilken av dessa faktorer är mest effektiv för att öka reliabiliteten! Petter Gustavsson 19 september 2012 41
G-teorin bidrag 1. Mer nyanserad bild av felkällor, deras relativa påverkan och konsekvenser för reliabilitet G-studien: Experimintell och Variansanalytisk (ANOVA) ansats Estimerar olika källors bidrag till fel: Items = Intern konsistens skattare = interrater reliabilitet tilfällen och tid= test-retest reliabilitet 2. G-studier skapar underlag för informerade beslut om insatser för att stärka reliabiliteten Petter Gustavsson 19 september 2012 42
Petter Gustavsson 19 september 2012 43
petter.gustavsson@ki.se 070-536 3659 www/ www/ www/