Differentiell psykologi

Differentiell psykologi Fredag 14 september 2012 Validitet

Dagens agenda Avstämning och Uppgifter inför idag Valdidtetsbegreppet Sources of validity evidence Evidence based on content Evidence based on internal structure Evidence based on the response process Evidence based on relationships with other variables Evidence based on consequences of testing Mer om laboration och seminarier nästa vecka Petter Gustavsson 12 september 2012 3

Övning: tolkning mot kriterium: Underlag Petter Gustavsson 12 september 2012 4

Petter Gustavsson 12 september 2012 5

Ur Olsen et al 2003 Methods: Cronbach s coefficient alpha was used to evaluate internal consistency. A coefficient of 0.80 or higher was considered adequate (Nunnally & Bernstein, 1994). Results: Cronbach s coefficient alpha was 0.90. Petter Gustavsson 12 september 2012 6

På fredag Frågor att fundera över Hur skapar vi mer precisa mätningar? Varför är inte Cronbach s alpha ett estimat för dimensionalitet? Hitta uppgifter om ett instruments reliabilitet (se artikel om MDI) Hur har de estimerat instrumentets reliabilitet Vilket blev deras resultat Petter Gustavsson 12 september 2012 7

Differentiell psykologi Torsdag 8 september 2011 Validitet

Validity Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of test Standards, 1999. Petter Gustavsson 12 september 2012 9

Validation Validation involves accumulating evidence to provide a sound scientific basis for the proposed score interpretations Standards, 1999. Petter Gustavsson 12 september 2012 10

Validity evidence A sound validity argument integrates various strands of evidence into a coherent account of the degree to which existing evidence and theory support the intended interpretation of test scores for specific uses. Petter Gustavsson 12 september 2012 11

Forskningsprocessen Teori => hypoteser => prövning Petter Gustavsson 12 september 2012 12

Men vad är det som skall påvisas? Petter Gustavsson 12 september 2012 13

4. Antagandet om upprepade mätningar: Upprepade mätningar generar i längden ett bra mått - Ju fler mätningar desto bättre! Idé tagen från astronomin där upprepade mätningar görs och ett medelvärde bestäms baserat på alla utförda mätningar. Den bästa (i termer av reliabilitet) indirekta mätningen erhålls via en sammanvägning av de kvantifierade upprepade mätningarna. Detta beräknade medelvärde får representera det direkt ej mätbara. Konsekvens: Vi behöver flera indikatorer för den latenta variabeln Petter Gustavsson 12 september 2012 14

5. Antagandet om dimensionalitet Med flera indikatorer får vi bättre mätningar men skaffar oss samtidigt ett nytt problem. Vi måste göra antagandet om dimensionalitet, dvs att indikatorerna avspeglar samma bakomliggande latenta variabel (ett validitetsproblem) Petter Gustavsson 12 september 2012 15

Sources of validity evidence Evidence based on: Test content Response processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 12 september 2012 16

Evidence based on test content: Test content Relevans Prototyp (construct-relevance) Irrelevans (construct-irrelevance) Omfattning Överepresentation Underrepresentation Petter Gustavsson 12 september 2012 17

Sources of validity evidence Evidence based on: Test content Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september 2012 18

Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna är lämpliga? Forskningsprocessen: Givet att frågorna är lämpliga, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september 2012 19

HADS: Konstrukt Att mäta depressionsdjup (och ångestdjup) hos patienter inom somatisk vård pga depressiva symtom är underdiagnostiserade samt att sådana symtom förväntas påverka den kliniska bilden och det kliniska förloppet Att särskilt beakta att mätningen inte inkluderar (inte dubbelrapporterar) symtom som kan likna fysiska symtom central för den somatiska sjukdomen. Att särskilt differentiera mellan depressions- och ångestsymptom Petter Gustavsson 12 september 2012 21

Evidence based on:test content enhancing validity by consulting members of the target population Fråga experterna! Petter Gustavsson 12 september 2012 25

Sources of validity evidence Evidence based on: Test content Reponse processes Petter Gustavsson 12 september 2012 26

Evidence based on response process: Analys av (den kognitiva) processen vid testning Kognitivt/neuropsykologiskt test: Hur gör testpersonen när den läser av uppgiften och vilka steg gås igenom när uppgiften löses Kliniskt symptom instrument Hur förstår patienten frågan, vilka känslor tänker patienten på, vilka avväganden görs, hur kommer patienten fram till ett svar Petter Gustavsson 12 september 2012 27

Evidence based on reponse processes Petter Gustavsson 12 september 2012 28

Utgångspunkt Petter Gustavsson 12 september 2012 29

Inkodning och tolkning Processen av texten Processen om texten Petter Gustavsson 12 september 2012 30

Hämta information och minnas Petter Gustavsson 12 september 2012 31

Överväga och besluta Petter Gustavsson 12 september 2012 32

Leverera svaret! Petter Gustavsson 12 september 2012 33

Exempel http://www.slideserve.com/butch/cognitive-interviewing-at-thenational-center-for-health-statistics http://www.slideserve.com/serge/using-cognitive-interviewingtechniques-to-assess-cross-cultural-comparability-gordon-willisph-d-applied-research-p Petter Gustavsson 12 september 2012 35

Sources of validity evidence Evidence based on: Reponse processes Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september 2012 36

Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna förstås och bearbetas rätt? Forskningsprocessen: Givet att frågorna förstås och bearbetas rätt, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september 2012 37

Cognitive interviews=think aloud interviews Observations Focus groups interviews Petter Gustavsson 12 september 2012 40

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Petter Gustavsson 12 september 2012 41

Evidence based on internal structure Internal structure Dimensionalitet Petter Gustavsson 12 september 2012 42

Intern struktur (en/unidimensionalitet) T Variation i de sanna värdena på en latent variabel 1 2 3 4 5 6 x Påverkar svaren på indikatorerna Petter Gustavsson 12 september 2012 43

Faktoranalys och evidens om intern struktur Eg klassisk hypotesprövning efter teoretiska utsagor Uni dimensionalitet - Samvariation mellan svaren på indikatorerna reflekterar en bakomliggande faktor/latent variabel Ingen annan faktor kan utöver denna påvisa samband mellan indikatorerna. Dvs, det får inte finnas något samband mellan den unika variationen inom respektive indikator Unik variation = den variation inom en indikator som INTE reflekterar den gemensamma bakomliggande faktorn) EXTREMT VIKTIGT OCH GRUNDLÄGGANDE FÖR ALLA TEST!!! UTAN EVIDENS FÖR DETTA.? Petter Gustavsson 12 september 2012 44

Intern struktur (en/unidimensionalitet) T Variation i de sanna värdena på en latent variabel 1 2 3 4 5 6 x Påverkar svaren på indikatorerna Petter Gustavsson 12 september 2012 45

T1 1 2 3 4 5 6 x T2 Petter Gustavsson 12 september 2012 46

Sources of validity evidence Evidence based on: Internal structure Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september 2012 49

Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna återspeglar en (och endast en) bakomliggande latent variabel? Forskningsprocessen: Givet att frågorna indikerar en och samma latenta variabel, vad förväntar vi oss för resultat om vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september 2012 50

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Petter Gustavsson 12 september 2012 57

Evidence based on relations to other variabels Relations to other variables Sambands och gruppjämförelser Samtidigt Prediktivt Korrelations- och regressionsanalyser utifrån uppställda hypoteser Petter Gustavsson 12 september 2012 58

Forskningsprocessen Teori => hypoteser => prövning Petter Gustavsson 12 september 2012 59

Vad påverkar en validitetskoefficient? Mätfel Restricted range Metodvarians Petter Gustavsson 12 september 2012 60

Vad påverkar en validitetskoefficient? Mätfel: Petter Gustavsson 12 september 2012 61

Vad påverkar en validitetskoefficient? Restricted range Petter Gustavsson 12 september 2012 62

r=0,61 r=0,60 r=0,55 Petter Gustavsson 12 september 2012 63

Vad påverkar en validitetskoefficient? Metodvarians Petter Gustavsson 12 september 2012 64

MTMM matrix Convergent Confirmation by independent measurement procedures Discriminant Estimate the relative importance of trait and method variance

Vad påverkar en validitetskoefficient? Mätfel Vanligaste problemet är att mätfel påverkar så att den observerade korrelationen blir lägre Restricted range Vanligaste problemet är att begränsningar i variation påverkar så att den observerade korrelationen blir lägre Metodvarians Vanligaste problemet är att metodvariansen påverkar så att den observerade korrelationen blir högre Petter Gustavsson 12 september 2012 67

Sources of validity evidence Evidence based on: Relations to other variables Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september 2012 68

Hur kan vi gå tillväga för att ta fram evidens för att testfrågorna relaterar i förväntad riktning till andra variabler och kriterier? Forskningsprocessen: Givet att frågorna indikerar en latent variabel, vad förväntar vi oss för resultat i relation till andra variabler och kriterier när vi sätter detta antagande under vetenskaplig prövning? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september 2012 69

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 12 september 2012 77

Evidence based on consequenses of testing Consequenses of testing Petter Gustavsson 12 september 2012 78

Konsekvenser 1. Kan psykologiska mätningar detektera symtom som leder fram till diagnos, rätt val av behandling, osv? Till exempel, leder användandet av screening-instrument till att fler patienter med misstänkt depression fångas upp av sjukvården, utreds adekvat och får rätt diagnos och behandling? 2. Finns det bias i testet så att specifika grupper för lägre/högre testpoäng pga av testets utformning och inte på grund av egentliga skillnader? Till exempel, leder visa testuppgifter till att grupper diskrimineras på grund språkförståelse, ordförståelse, kultur, etc Petter Gustavsson 12 september 2012 79

Sources of validity evidence Evidence based on: Consequenses of testing Hur skulle vi kunna gå tillväga för att ta fram evidens för HADS? Vilka metoder har vi då att använda? Petter Gustavsson 12 september 2012 80

Hur kan vi gå tillväga för att ta fram evidens för att resultatet på testet ger bedömningar som resulterar i rimliga konsekvenser eller inte felaktigt missbedömer en specifik grupp? Forskningsprocessen: Hur beforskar vi att korrekt besluts tas på grundval av testresultat, och att detta får rimliga konsekvenser eller inte skapar felaktiga värden för specifika grupper? TEORI och antagande om fenomenet Generera hypoteser Empirisk prövning Petter Gustavsson 12 september 2012 81

Exempel: Typ I 1. Kan psykologiska mätningar detektera symtom som leder fram till diagnos, rätt val av behandling, osv? Till exempel, leder användandet av screening-instrument till att fler patienter med misstänkt depression fångas upp av sjukvården, utreds adekvat och får rätt diagnos och behandling (=> högre livskvalitet etc)? Petter Gustavsson 12 september 2012 82

Exempel: Typ II 2. Finns det bias i testet så att specifika grupper för lägre/högre testpoäng pga av testets utformning och inte på grund av egentliga skillnader? Till exempel, leder visa testuppgifter till att grupper diskrimineras på grund språkförståelse, ordförståelse, kultur, etc Begrepp: Measurement invariance/equivalence Differential item functioning Petter Gustavsson 12 september 2012 86

Ilustration: Faktor Analys T Variation i de sanna värdena på en latent variabel 1 2 3 4 5 6 x Påverkar svaren på indikatorerna Petter Gustavsson 12 september 2012 87

Measurement invariance/differential item functioning Eg klassisk hypotesprövning efter teoretiska utsagor Uni dimensionalitet och frånvaro av korrelerade fel Jämförelser mellan teoretiskt intressanta grupper eller mellan olika versioner Petter Gustavsson 12 september 2012 88

Metod: Samtidig Faktor Analys i flera subgrupper Variation i de sanna värdena på en latent variabel Gr 1 Gr 2 1 2 3 1 2 3 Påverkas svaren på indikatorerna, på samma sätt? Petter Gustavsson 12 september 2012 89

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Uppgift till 20-21/9 (kommer på kurswebben senast 17/9 kl 16.) Petter Gustavsson 12 september 2012 93

Laboration den 17och 18/9 Mer info ligger nu på kurswebben. Läs där inför laborationen. SPSS Syfte? Gruppindelningar? Petter Gustavsson 12 september 2012 94

petter.gustavsson@ki.se 070-536 3659 www/ www/ www/