Differentiell psykologi

Transkript

1 Differentiell psykologi Tisdag 25 september 2012 Generalizability Theory

2 Dagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från gårdagen Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Tentamen, inkomna frågor och repetition Petter Gustavsson 19 september

3 Övning: Diagnostisk studie av MDI Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) Petter Gustavsson 19 september

4 Resultat Sant positivt värde= Falskt positivt värde= Falskt negativt värde= Sant negativt värde= Sensitivitet= Specificitet= Positivt prediktivt värde= % Negativt prediktivt värde = LR+= => Odds Det går sjuka på _ falskt alarm LR-= 0,142 => Odds Det går friska på _missat fall Petter Gustavsson 19 september

5 Generalizability Theory (GT) En utveckling av den klassiska testteorins perspektiv på reliabilitet och dess estimering

6 Teorin med stort T Klassisk Test Teori (KTT) = Classical Test Theory (CTT) = True Score Theory (TST) Allt vi tidigare tagit upp har härletts ur denna teori Från hur ett test ska konstrueras Till hur testpoäng ska göras tolkningsbara Till hur test ska utvärderas Men, hur CTT ser på mätfel har kritiserats Petter Gustavsson 19 september

7 G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Petter Gustavsson 19 september

8 G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Vilka dessa faktorer är och i vilken utsträckning dessa påverkar reliabiliteten studeras sällan Petter Gustavsson 19 september

9 G-teorins kritik mot CTT/TST En okänt antal faktorer är orsaken till felvariansen i våra psykologiska mätningar Till exempel. Vilka dessa faktorer är och i vilken utsträckning dessa påverkar reliabiliteten studeras sällan Detta leder till att vi inte särskiljer systematiska orsaker till fel från slumpmässiga fel Följden blir att vi inte får adekvat ledning i hur vi ska göra våra mätningar mer reliabla Petter Gustavsson 19 september

10 Lösningen på detta problem (enl G-teorin) Genom att utgå från att man teoretiskt eller praktiskt i förhand kan definiera felkällor särskilt förknippade med mätningen av ett visst fenomen så kan man utifrån en experimentell studie av felkällornas betydelse särskilja systematiska orsaker till fel från slumpmässiga fel Utifrån resultatet av en sådan studie kan man få uppfattningar om olika felkällors relativa betydelse och få ledning i hur man effektivast minimerar felkällor. Petter Gustavsson 19 september

11 G-teorin ingen egen mätteori! G-teorin får närmast ses som en vidareutveckling av den klassiska testteorins perspektiv på reliabilitet. Lee Joseph Cronbach ( ); α (1951); G (1972) Petter Gustavsson 19 september

12 Exempel Låt oss utgå från Generalizability theory och närmare studera mätning av depression enligt HADS Petter Gustavsson 19 september

13 Först, Låt oss igen påminna oss om de aspekter av reliabiltet som vi tidigare tagit upp (med HADS som exempel) Petter Gustavsson 19 september

14 Först, Låt oss igen påminna oss om de aspekter av reliabiltet som vi tidigare tagit upp (med HADS som exempel) Vilka två huvudsakliga typer av empiriska estimat på ett tests reliabilitet (baserade på olika estimeringsmetoder och antaganden) har vi tidigare tagit upp? Petter Gustavsson 19 september

15 Estimat av ett tests reliabilitet utifrån CTT/TST Baserat på upprepning av testet Test-retest Baserat på testets internera konsistens Cronbach s alfa Petter Gustavsson 19 september

16 Petter Gustavsson 19 september

17 Petter Gustavsson 19 september

18 Men, Vilka fler källor till fel skulle vi kunna studera (med HADS som exempel) annat än en (osystematisk) studie över tid, eller över ingående item? Petter Gustavsson 19 september

19 Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Petter Gustavsson 19 september

20 Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Tid (morgon-kväll, ett dygn, en vecka) Plats (hemma, väntrum, behandlingsrum) Situation (enskilt vs i närvaro av andra) Petter Gustavsson 19 september

21 Över tid Gör den osystematiska studien av test-retest systematisk Variera systematiskt Tid (morgon-kväll, ett dygn, en vecka) Plats (hemma, väntrum, behandlingsrum) Situation (enskilt vs i närvaro av andra) Konsekvens Systematiska fel som beror på tid, plats och situation kan estimeras och lyftas bort ur estimeringen av slumpmässiga fel Petter Gustavsson 19 september

22 Fler faktorer? Vi har nu systematiserat studien av test-retest och vi har sedan tidigare studiet av intern konsistens. Vilka fler faktorer kan vara värdefulla att studera när det gäller fel i kliniska skattningar? Petter Gustavsson 19 september

23 Faktor: Skattaren Petter Gustavsson 19 september

24 Faktor: Skattaren Patient vs Anhörig Petter Gustavsson 19 september

25 Faktor: Skattaren Patient vs Klinikern Petter Gustavsson 19 september

26 Faktor: Skattaren Kliniker A vs Kliniker B Petter Gustavsson 19 september

27 Inter-rater reliabilitet (jmf med test-retest och interkonsistens) Patient vs Anhörig Patient vs Klinikern Kliniker A vs Kliniker B Petter Gustavsson 19 september

28 Faktorer = Facets Vi har systematiserat studien av test-retest och vi har sedan tidigare studiet av intern konsistens. Vi har nu också granskat skattaren som en felkälla. Petter Gustavsson 19 september

29 Följande faktorer och deras inverkan har vi definierat: Item Tid, plats, situation Skattare (vem som bedömer) Petter Gustavsson 19 september

30 Vad är det vi gör här med alla hypotetiska påverkansfaktorer? Petter Gustavsson 19 september

31 Vad är det vi gör här med alla hypotetiska påverkansfaktorer? Vi försöker särskilja systematiska påverkansfaktorer från slumpmässiga Istället för att klumpa ihop alla fel till en felvarianspott, försöker vi särskilja olika källor till fel Petter Gustavsson 19 september

32 Vad är det för forskningsmetodologisk design som finns bakom detta angreppssätt? Petter Gustavsson 19 september

33 Vad är det för forskningsmetodologisk design som finns bakom detta angreppssätt? Experimentell design Petter Gustavsson 19 september

34 Vad är det för statistisk metod som kan användas till att utreda dessa olika faktorers påverkan? Petter Gustavsson 19 september

35 Vad är det för statistisk metod som kan användas till att utreda dessa olika faktorers påverkan? Variansanalys =ANOVA Petter Gustavsson 19 september

36 Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet (item), dagsform, testsituationen och en mängd andra systematiska faktorer. Petter Gustavsson 19 september

37 Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet, dagsform, testsituationen och en mängd andra systematiska faktorer. Generalizability theory tar sin utgångspunkt i en experimentell design för att särskilja systematiska felfaktorer från slumpmässiga felfaktorer Petter Gustavsson 19 september

38 Vi kan då summera kännetecken för G-teorin Generalizability theory utgår från att en persons testvärden avviker från sanna värden pga skattare, testet (item), dagsform, testsituationen och en mängd andra systematiska faktorer. Generalizability theory tar sin utgångspunkt i en experimentell design för att särskilja systematiska felfaktorer från slumpmässiga felfaktorer Med hjälp av variansanalys (ANOVA) studeras olika felfaktorers relativa påverkan på testresultat Petter Gustavsson 19 september

39 G-teorins två faser G-Fasen D-Fasen Petter Gustavsson 19 september

40 G-fasen Via ett experiment studeras inverkan av olika faktorers inverkan på mätningen: Item Situation Skattare Etc Via variansanalytiska beräkningar kan man få grepp om dessa faktorers relativa betydelse. Petter Gustavsson 19 september

41 D-fasen Med kännedom om olika påverkansfaktorers betydelse för mätningen så kan man göra förutsägelser om hur man bäst gör en framtida mätning mer reliabel Hur påverkas reliabiliteten av att fler item läggs till? Hur påverkas reliabiliteten av att testningen sker över fler situationer? Hur påverkas reliabiliteten av att fler skattare gör bedömningar? Vilken av dessa faktorer är mest effektiv för att öka reliabiliteten! Petter Gustavsson 19 september

42 G-teorin bidrag 1. Mer nyanserad bild av felkällor, deras relativa påverkan och konsekvenser för reliabilitet G-studien: Experimintell och Variansanalytisk (ANOVA) ansats Estimerar olika källors bidrag till fel: Items = Intern konsistens skattare = interrater reliabilitet tilfällen och tid= test-retest reliabilitet 2. G-studier skapar underlag för informerade beslut om insatser för att stärka reliabiliteten Petter Gustavsson 19 september

43 Petter Gustavsson 19 september

44 www/ www/ www/