Differentiell psykologi

Transkript

1 Differentiell psykologi Fredag 14 september 2012 Validitet

2 Dagens agenda Avstämning och Uppgifter inför idag Valdidtetsbegreppet Sources of validity evidence Evidence based on content Evidence based on internal structure Evidence based on the response process Evidence based on relationships with other variables Evidence based on consequences of testing Mer om laboration och seminarier nästa vecka Petter Gustavsson 12 september

3 Övning: tolkning mot kriterium: Underlag Petter Gustavsson 12 september

4 Petter Gustavsson 12 september

5 Ur Olsen et al 2003 Methods: Cronbach s coefficient alpha was used to evaluate internal consistency. A coefficient of 0.80 or higher was considered adequate (Nunnally & Bernstein, 1994). Results: Cronbach s coefficient alpha was Petter Gustavsson 12 september

6 På fredag Frågor att fundera över Hur skapar vi mer precisa mätningar? Varför är inte Cronbach s alpha ett estimat för dimensionalitet? Hitta uppgifter om ett instruments reliabilitet (se artikel om MDI) Hur har de estimerat instrumentets reliabilitet Vilket blev deras resultat Petter Gustavsson 12 september

7 Differentiell psykologi Torsdag 8 september 2011 Validitet

8 Validity Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of test Standards, Petter Gustavsson 12 september

9 Validation Validation involves accumulating evidence to provide a sound scientific basis for the proposed score interpretations Standards, Petter Gustavsson 12 september

10 Validity evidence A sound validity argument integrates various strands of evidence into a coherent account of the degree to which existing evidence and theory support the intended interpretation of test scores for specific uses. Petter Gustavsson 12 september

11 Forskningsprocessen Teori => hypoteser => prövning Petter Gustavsson 12 september

12 Men vad är det som skall påvisas? Petter Gustavsson 12 september

13 4. Antagandet om upprepade mätningar: Upprepade mätningar generar i längden ett bra mått - Ju fler mätningar desto bättre! Idé tagen från astronomin där upprepade mätningar görs och ett medelvärde bestäms baserat på alla utförda mätningar. Den bästa (i termer av reliabilitet) indirekta mätningen erhålls via en sammanvägning av de kvantifierade upprepade mätningarna. Detta beräknade medelvärde får representera det direkt ej mätbara. Konsekvens: Vi behöver flera indikatorer för den latenta variabeln Petter Gustavsson 12 september

14 5. Antagandet om dimensionalitet Med flera indikatorer får vi bättre mätningar men skaffar oss samtidigt ett nytt problem. Vi måste göra antagandet om dimensionalitet, dvs att indikatorerna avspeglar samma bakomliggande latenta variabel (ett validitetsproblem) Petter Gustavsson 12 september

15 Sources of validity evidence Evidence based on: Test content Response processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 12 september

16 Evidence based on test content: Test content Relevans Prototyp (construct-relevance) Irrelevans (construct-irrelevance) Omfattning Överepresentation Underrepresentation Petter Gustavsson 12 september

17 Sources of validity evidence Evidence based on: Test content Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september

18 Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna är lämpliga? Forskningsprocessen: Givet att frågorna är lämpliga, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september

20 HADS: Konstrukt Att mäta depressionsdjup (och ångestdjup) hos patienter inom somatisk vård pga depressiva symtom är underdiagnostiserade samt att sådana symtom förväntas påverka den kliniska bilden och det kliniska förloppet Att särskilt beakta att mätningen inte inkluderar (inte dubbelrapporterar) symtom som kan likna fysiska symtom central för den somatiska sjukdomen. Att särskilt differentiera mellan depressions- och ångestsymptom Petter Gustavsson 12 september

24 Evidence based on:test content enhancing validity by consulting members of the target population Fråga experterna! Petter Gustavsson 12 september

25 Sources of validity evidence Evidence based on: Test content Reponse processes Petter Gustavsson 12 september

26 Evidence based on response process: Analys av (den kognitiva) processen vid testning Kognitivt/neuropsykologiskt test: Hur gör testpersonen när den läser av uppgiften och vilka steg gås igenom när uppgiften löses Kliniskt symptom instrument Hur förstår patienten frågan, vilka känslor tänker patienten på, vilka avväganden görs, hur kommer patienten fram till ett svar Petter Gustavsson 12 september

27 Evidence based on reponse processes Petter Gustavsson 12 september

28 Utgångspunkt Petter Gustavsson 12 september

29 Inkodning och tolkning Processen av texten Processen om texten Petter Gustavsson 12 september

30 Hämta information och minnas Petter Gustavsson 12 september

31 Överväga och besluta Petter Gustavsson 12 september

32 Leverera svaret! Petter Gustavsson 12 september

34 Exempel Petter Gustavsson 12 september

35 Sources of validity evidence Evidence based on: Reponse processes Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september

36 Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna förstås och bearbetas rätt? Forskningsprocessen: Givet att frågorna förstås och bearbetas rätt, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september

39 Cognitive interviews=think aloud interviews Observations Focus groups interviews Petter Gustavsson 12 september

40 Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Petter Gustavsson 12 september

41 Evidence based on internal structure Internal structure Dimensionalitet Petter Gustavsson 12 september

42 Intern struktur (en/unidimensionalitet) T Variation i de sanna värdena på en latent variabel x Påverkar svaren på indikatorerna Petter Gustavsson 12 september

43 Faktoranalys och evidens om intern struktur Eg klassisk hypotesprövning efter teoretiska utsagor Uni dimensionalitet - Samvariation mellan svaren på indikatorerna reflekterar en bakomliggande faktor/latent variabel Ingen annan faktor kan utöver denna påvisa samband mellan indikatorerna. Dvs, det får inte finnas något samband mellan den unika variationen inom respektive indikator Unik variation = den variation inom en indikator som INTE reflekterar den gemensamma bakomliggande faktorn) EXTREMT VIKTIGT OCH GRUNDLÄGGANDE FÖR ALLA TEST!!! UTAN EVIDENS FÖR DETTA.? Petter Gustavsson 12 september

44 Intern struktur (en/unidimensionalitet) T Variation i de sanna värdena på en latent variabel x Påverkar svaren på indikatorerna Petter Gustavsson 12 september

45 T x T2 Petter Gustavsson 12 september

48 Sources of validity evidence Evidence based on: Internal structure Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september

49 Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna återspeglar en (och endast en) bakomliggande latent variabel? Forskningsprocessen: Givet att frågorna indikerar en och samma latenta variabel, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september

56 Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Petter Gustavsson 12 september

57 Evidence based on relations to other variabels Relations to other variables Sambands och gruppjämförelser Samtidigt Prediktivt Korrelations- och regressionsanalyser utifrån uppställda hypoteser Petter Gustavsson 12 september

58 Forskningsprocessen Teori => hypoteser => prövning Petter Gustavsson 12 september

59 Vad påverkar en validitetskoefficient? Mätfel Restricted range Metodvarians Petter Gustavsson 12 september

60 Vad påverkar en validitetskoefficient? Mätfel: Petter Gustavsson 12 september

61 Vad påverkar en validitetskoefficient? Restricted range Petter Gustavsson 12 september

62 r=0,61 r=0,60 r=0,55 Petter Gustavsson 12 september

63 Vad påverkar en validitetskoefficient? Metodvarians Petter Gustavsson 12 september

64 MTMM matrix Convergent Confirmation by independent measurement procedures Discriminant Estimate the relative importance of trait and method variance

66 Vad påverkar en validitetskoefficient? Mätfel Vanligaste problemet är att mätfel påverkar så att den observerade korrelationen blir lägre Restricted range Vanligaste problemet är att begränsningar i variation påverkar så att den observerade korrelationen blir lägre Metodvarians Vanligaste problemet är att metodvariansen påverkar så att den observerade korrelationen blir högre Petter Gustavsson 12 september

67 Sources of validity evidence Evidence based on: Relations to other variables Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september

68 Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna relaterar i förväntad riktning till andra variabler och kriterier? Forskningsprocessen: Givet att frågorna indikerar en latent variabel, vad förväntar vi oss för resultat i relation till andra variabler och kriterier när vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september

76 Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 12 september

77 Evidence based on consequenses of testing Consequenses of testing Petter Gustavsson 12 september

78 Konsekvenser 1. Kan psykologiska mätningar detektera symtom som leder fram till diagnos, rätt val av behandling, osv? Till exempel, leder användandet av screening-instrument till att fler patienter med misstänkt depression fångas upp av sjukvården, utreds adekvat och får rätt diagnos och behandling? 2. Finns det bias i testet så att specifika grupper för lägre/högre testpoäng pga av testets utformning och inte på grund av egentliga skillnader? Till exempel, leder visa testuppgifter till att grupper diskrimineras på grund språkförståelse, ordförståelse, kultur, etc Petter Gustavsson 12 september

79 Sources of validity evidence Evidence based on: Consequenses of testing Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september

80 Hur kan vi gå tillväga för att ta fram evidens för att resultatet på testet ger bedömningar som resulterar i rimliga konsekvenser eller inte felaktigt missbedömer en specifik grupp? Forskningsprocessen: Hur beforskar vi att korrekt besluts tas på grundval av testresultat, och att detta får rimliga konsekvenser eller inte skapar felaktiga värden för specifika grupper? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september

81 Exempel: Typ I 1. Kan psykologiska mätningar detektera symtom som leder fram till diagnos, rätt val av behandling, osv? Till exempel, leder användandet av screening-instrument till att fler patienter med misstänkt depression fångas upp av sjukvården, utreds adekvat och får rätt diagnos och behandling (=> högre livskvalitet etc)? Petter Gustavsson 12 september

85 Exempel: Typ II 2. Finns det bias i testet så att specifika grupper för lägre/högre testpoäng pga av testets utformning och inte på grund av egentliga skillnader? Till exempel, leder visa testuppgifter till att grupper diskrimineras på grund språkförståelse, ordförståelse, kultur, etc Begrepp: Measurement invariance/equivalence Differential item functioning Petter Gustavsson 12 september

86 Ilustration: Faktor Analys T Variation i de sanna värdena på en latent variabel x Påverkar svaren på indikatorerna Petter Gustavsson 12 september

87 Measurement invariance/differential item functioning Eg klassisk hypotesprövning efter teoretiska utsagor Uni dimensionalitet och frånvaro av korrelerade fel Jämförelser mellan teoretiskt intressanta grupper eller mellan olika versioner Petter Gustavsson 12 september

88 Metod: Samtidig Faktor Analys i flera subgrupper Variation i de sanna värdena på en latent variabel Gr 1 Gr Påverkas svaren på indikatorerna, på samma sätt? Petter Gustavsson 12 september

92 Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Uppgift till 20-21/9 (kommer på kurswebben senast 17/9 kl 16.) Petter Gustavsson 12 september

93 Laboration den 17och 18/9 Mer info ligger nu på kurswebben. Läs där inför laborationen. SPSS Syfte? Gruppindelningar? Petter Gustavsson 12 september

94 www/ www/ www/