Psykometrins grunder. Agenda för dagen

Psykometrins grunder Agenda för dagen Psykometri en kärnkompetens inom psykologyrket Det psykologiska instrumentets anatomi Antaganden och teori bakom psykologiska mätningar Petter Gustavsson 5 september 2012 1

Differentiell psykologi Måndag 10 september 2012 Det psykologiska instrumentets anatomi teori och antaganden (och praxis)

Det psykologiska instrumentets anatomi : teori och antaganden Disposition Fenomen: Definition och avgränsning Den latenta variabeln: Fenomenet, Konstruktet, Attributet, Faktorn, Den latenta variabeln och dess indirekta mätning Indikatorer: Observationer av fenomenet Den latenta variabeln och dess indikatorer Skalning: Kvantifiering av gradskillnader och Bestämning av testpoäng Tolkning av testpoäng Petter Gustavsson 5 september 2012 3

Antaganden och praxis Fenomenet: Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Indikatorerna: Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet 6. Antagande om relationen mellan latent och observerad indikator är monotont Skalning: Kvantifiering av observationer/responser 7. Antagandet (Praxis) om att svaret på (eller hur) den indirekta mätningen kan kvantifieras 8. Antagandet om att en sammanvägning av mätningar med indikatorer resulterar i en mätning på intervall-nivå Tolkning: Mätningen ges innebörd 9. Antagandet om att kvantifieringen kan ges mening genom relationen till gränsvärden eller översättning till normvärden Petter Gustavsson 5 september 2012 4

Den latenta variabeln Fenomenet, Konstruktet, Attributet, Faktorn, etc

Den psykologiska variabeln = den latenta variabeln vad kännetecknar den? Petter Gustavsson 5 september 2012 6

Klinisk psykologi Petter Gustavsson 5 september 2012 7

Utvecklingspsykologi Petter Gustavsson 5 september 2012 8

Positiv psykologi Petter Gustavsson 5 september 2012 9

Neuropsykologi Petter Gustavsson 5 september 2012 10

Differential psykologi Petter Gustavsson 5 september 2012 11

Socialpsykologi Petter Gustavsson 5 september 2012 12

Arbetslivspsykologi Petter Gustavsson 5 september 2012 13

Hälsopsykologi Petter Gustavsson 5 september 2012 14

Vad kännetecknar ofta den (latenta) psykologiska variabeln? Petter Gustavsson 5 september 2012 15

Den latenta variabeln och dess indirekta mätning Petter Gustavsson 5 september 2012 16

Utgångspunkt Konstrukt (en latent variabel) Icke direkt mätbar Observerbart beteende Indirekt mätning Petter Gustavsson 5 september 2012 17

1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess uttryck eller dess konsekvenser Individuella differenser i bakomliggande variabel avspeglar individuella differenser i observerat beteende Petter Gustavsson 5 september 2012 18

Antagande 1. Konstrukt (en latent variabel) Icke direkt mätbar Observerbart beteende Indirekt mätning Petter Gustavsson 5 september 2012 19

Antaganden 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess uttryck eller dess konsekvenser Petter Gustavsson 5 september 2012 20

2. Antagande om relationen mellan latent och observerad variabel Petter Gustavsson 5 september 2012 21

Samband mellan latent variabel och dess indirekta mätning Latent kontinuum????????? indirekt mätning Petter Gustavsson 5 september 2012 22

Samband mellan latent variabel och dess indirekta mätning Latent kontinuum??????????? indirekt mätning Petter Gustavsson 5 september 2012 25

2. Antagande om relationen mellan latent och observerad variabel Sambandet är monotont, dvs en ökning/skillnad i den latenta variabeln kan observeras som en ökning/skillnad i den observerade variabeln. Konsekvens: Mätningarna är indirekta och blir approximativa. Antagandet att den approximativa mätningen ändå uppfyller åtminstone kraven på identity och order. Petter Gustavsson 5 september 2012 26

Issues with numbers Property of: Identity (sameness) Order (rank) Quantity (magnitude) Petter Gustavsson 5 september 2012 27

Antaganden 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess uttryck eller dess konsekvenser 2. Antagandet om relationen mellan latent och observerad variabel är monotont Petter Gustavsson 5 september 2012 28

3. Antagandet om slumpmässiga fel Petter Gustavsson 5 september 2012 29

Resultat från astronomin Petter Gustavsson 5 september 2012 30

3. Antagandet om slumpmässiga fel Varje enskild mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel Resultaten av de upprepade mätningar med sådana slumpmässiga fel följer en sk normal-fördelning Felen antas vara okorrelerade Petter Gustavsson 5 september 2012 31

Utgångspunkt Konstrukt T Icke direkt mätbar Observerbar Mätning O inkl +/- E Petter Gustavsson 5 september 2012 32

Definition av true score (T, tau) Observed score: True score + Error Observerat värde= Sant värde + Fel Grund för utvärderingen av ett tests reliabilitet (reproducerbarhet), dvs grad av säkerhet (=grad av frånvaro av mätfel) i mätningen: Kvoten av variansen i T genom variansen i O (T/O) Kvadrerade korrelationen mellan variationen i T vs variationen i O.

.så långt har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje enskild mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning och är okorrelerade) Petter Gustavsson 5 september 2012 34

Den latenta variabeln och dess indikatorer Petter Gustavsson 5 september 2012 35

4. Antagandet om upprepade mätningar: Petter Gustavsson 5 september 2012 36

Resultat från astronomin Petter Gustavsson 5 september 2012 37

Reproduktion (2 mätningar) T O1= T + E1 O2= T + E2 Petter Gustavsson 5 september 2012 38

Olika antal upprepade mätningar: 2 Petter Gustavsson 5 september 2012 39

Reproduktion (5 mätningar) T O1= T + E1 O2= T + E2 O3= T + E3 O4= T + E4 O5= T + E5 Petter Gustavsson 5 september 2012 40

4. Antagandet om upprepade mätningar: Upprepade mätningar generar i längden ett bra mått - Ju fler mätningar desto bättre! Idé tagen från astronomin där upprepade mätningar görs och ett medelvärde bestäms baserat på alla utförda mätningar. Den bästa (i termer av reliabilitet) indirekta mätningen erhålls via en sammanvägning av de kvantifierade upprepade mätningarna. Detta beräknade medelvärde får representera det direkt ej mätbara. Konsekvens: Vi behöver flera indikatorer för den latenta variabeln Petter Gustavsson 5 september 2012 44

MEN. Med flera indikatorer får vi bättre mätningar men skaffar oss samtidigt ett nytt problem. Petter Gustavsson 5 september 2012 45

5. Antagandet om dimensionalitet Med flera indikatorer får vi bättre mätningar men skaffar oss samtidigt ett nytt problem. Petter Gustavsson 5 september 2012 46

Reproduktion T O1 O2 Petter Gustavsson 5 september 2012 47

5. Antagandet om dimensionalitet Med flera indikatorer får vi bättre mätningar men skaffar oss samtidigt ett nytt problem. Vi måste göra antagandet om dimensionalitet, dvs att indikatorerna avspeglar samma bakomliggande latenta variabel (ett validitetsproblem) Petter Gustavsson 5 september 2012 48

Dimensionalitet T Variation i de sanna värdena på en latent variabel 1 2 3 4 5 6 x Påverkar svaren på indikatorerna Petter Gustavsson 5 september 2012 49

T 1 2 3 4 5 6 x I validitetstermer handlar dimensionalitet om : a test is valid for measuring an attribute if and only if (1) the attribute exists and (2) variations in the attribute causally produce variations in the outcomes of the measurement procedure Dimensionalitet går att pröva med vilken statistisk metod? Petter Gustavsson 5 september 2012 50

.så långt har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet Petter Gustavsson 5 september 2012 51

6. Antagande om samband mellan latent variabel och indikator Petter Gustavsson 5 september 2012 52

Latent variabel och dess okända skala Den observerbara variationen Latent kontinuum Petter Gustavsson 5 september 2012 53

Latent variabel Indikator i form av test item Rätt Fel

Latent variabel Indikator i form av test item Ja Kanske Nej

Latent variabel Indikator i form av test item Ja, ofta Latent kontinuum Ja, Ibland Sällan Nej, aldrig Petter Gustavsson 5 september 2012 56

Latent variabel Indikator i form av test item Stämmer precis Latent kontinuum Stämmer ganska bra Stämmer inte särskilt bra Stämmer inte alls Petter Gustavsson 5 september 2012 57

Latent variabel Indikator i form av test item Klarar uppgiften korrekt Latent kontinuum Klarar större del av uppgift Klarar mindre del av uppg Klarar inte uppgiften alls Petter Gustavsson 5 september 2012 58

Latent variabel Indikator i form av test item Hela tiden Latent kontinuum Större delen av tiden Mindre delen av tiden Inte alls Petter Gustavsson 5 september 2012 59

Latent variabel Indikator i form av test item Ja, ofta Latent kontinuum Ja, Ibland Sällan Nej, aldrig Petter Gustavsson 5 september 2012 60

Exempel Petter Gustavsson 5 september 2012 61

Observerat värde och sant värde Ja, ofta Latent kontinuum X Ja, Ibland Sällan Nej, aldrig Petter Gustavsson 5 september 2012 62

Observerat värde och sant värde Ja, ofta Latent kontinuum X Ja, Ibland Sällan Nej, aldrig Petter Gustavsson 5 september 2012 63

Latent (sant) värde och observerat värde Ja, ofta Latent kontinuum? X Ja, Ibland Sällan Nej, aldrig T O Petter Gustavsson 5 september 2012 64

6. Antagande om samband mellan latent variabel och indikator Det monotona sambandet mellan den latenta variabeln och den observerade variabeln avspeglas i svaren på den enskilda testuppgiften. Sambandet är monotont, dvs en ökning i den latenta variabeln kan observeras som en ökning i den observerade variabeln, genom att svaren på den enskilda test uppgiften förändras i samma riktning. Petter Gustavsson 5 september 2012 65

.så långt har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet 6. Antagande om relationen mellan latent och observerad indikator är monotont Petter Gustavsson 5 september 2012 66

Skalning: kvantifiering av observationerna Petter Gustavsson 5 september 2012 67

7. Antagandet om att svaret på den indirekta mätningen kan kvantifieras Den ursprungliga teorin om att skalning görs via att erhållna svarsfördelningar jämförs med teoretiska statistiska fördelningar Siffror erhålles baserat på dessa statistiska fördelningar Petter Gustavsson 5 september 2012 68

Latent (sant) värde och observerat värde Ja, ofta Latent kontinuum? X Ja, Ibland Sällan Nej, aldrig T O Petter Gustavsson 5 september 2012 69

Latent (sant) värde och observerat värde Ja, ofta (60%) Latent kontinuum? X Ja, Ibland (31%) Sällan (6%) Nej, aldrig (3%) T O Petter Gustavsson 5 september 2012 70

Empiriskt material, n=1000 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 71

Empiriskt material, n=1000 9% z= 40% z= X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 72

Empiriskt material, n=1000 9% z=-1.341 40% z= X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 73

Empiriskt material, n=1000 9% z=-1.341 40% z=-0.243 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 74

Empiriskt material, n=1000 9% z=-1.341 40% z=-0.243 MdOBS 24.5% z= X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 75

Empiriskt material, n=1000 9% z=-1.341 40% z=-0.243 MdOBS 24.5% z=-0.7 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 76

Empiriskt material, n=1000 9% z=-1.341 40% z=-0.243 MdOBS 24.5% z=-0.7 X 3% 6% 31% 60% -0,7 Petter Gustavsson 5 september 2012 77

Empiriskt material, n=1000 3% z=-1.881 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 80

Empiriskt material, n=1000 3% z=-1.881 9% z= X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 81

Empiriskt material, n=1000 3% z=-1.881 9% z=-1,341 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 82

Empiriskt material, n=1000 3% z=-1.881 9% z=-1,341 MD OBS 6% z= X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 83

Empiriskt material, n=1000 3% z=-1.881 9% z=-1,341 MD OBS 6% z=-1.555 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 84

Empiriskt material, n=1000 3% z=-1.881 9% z=-1,341 MD OBS 6% z=-1.555 X 3% 6% 31% 60% -1,55 Petter Gustavsson 5 september 2012 85

Empiriskt material, n=1000-2.17-1.55-0.70 0.524 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 86

Tänk er proceduren för denna skalning! Varje item får sin egen fördelning och svarskategorierna ges z- värden. Varje individs respons översätts till z-värde för specifikt item En indivds kompletta serie av värden vägs samman till en testpoäng Allt enligt teorin Petter Gustavsson 5 september 2012 87

Praxis : släpp denna procedur och.sätt istället löpande värden representerande olika svarskategorier (nuvarande praxis) Petter Gustavsson 5 september 2012 88

Empiriskt material, n=1000 1 2 3 4 X 3% 6% 31% 60% Petter Gustavsson 5 september 2012 89

Praxis.sätt istället löpande värden representerande olika svarskategorier låt dessa vara de samma för alla ingående item summera en individs responser över dessa item och beräkna testpoäng utifrån dessa löpande värden Petter Gustavsson 5 september 2012 90

Praxis.sätt istället löpande värden representerande olika svarskategorier låt dessa vara de samma för alla ingående item summera en individs responser över dessa item och beräkna testpoäng utifrån dessa löpande värden Empiri: korrelationer mellan z-värdes skalning och praxis skalning? => 1.0 Petter Gustavsson 5 september 2012 91

Praxis skalning gäller oavsett svarskategoriernas antal och utseende Petter Gustavsson 5 september 2012 92

Inventory for Interpersonal Problems (IIP) Petter Gustavsson 5 september 2012 93

Maslach Burnout Inventory (MBI) Petter Gustavsson 5 september 2012 94

Sickness impact Petter Gustavsson 5 september 2012 95

Rating Scale for Religious Dimensions (RDRS) Petter Gustavsson 5 september 2012 96

Ordförståelse Petter Gustavsson 5 september 2012 97

Ordkunskap Petter Gustavsson 5 september 2012 98

7. Antagandet om att svaret på den indirekta mätningen kan kvantifieras Den ursprungliga teorin om att skalning görs via att erhållna svarsfördelningar jämförs med teoretiska statistiska fördelningar Siffror erhålles baserat på dessa statistiska fördelningar Praxis en vanlig enkel sifferserie fungerar lika bra och denna antas uppfylla kraven på identity och order men fungerar detta? Petter Gustavsson 5 september 2012 99

Undersökning av olika svarsformats numeriska egenskaper Petter Gustavsson 5 september 2012 100

Kvalitetssäkring Undersök svarsfördelningar för respektive item i stora sample. Kontrollera att svarsskalan fungerar på ungefär samma sätt för alla ingående item Studera svarsfördelningen, hur borde den se ut för respektive item? Petter Gustavsson 5 september 2012 101

7. Antagandet om att svaret på den indirekta mätningen kan kvantifieras Den ursprungliga teorin om att skalning görs via att erhållna svarsfördelningar jämförs med teoretiska statistiska fördelningar Siffror erhålles baserat på dessa statistiska fördelningar Praxis en vanlig enkel sifferserie fungerar lika bra och denna antas uppfylla kraven på identity och order Petter Gustavsson 5 september 2012 102

.så långt har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet 6. Antagande om relationen mellan latent och observerad indikator är monotont Skalning: kvantifiering av observationer/responser 7. Antagandet (Praxis) om att svaret på (eller hur) den indirekta mätningen kan kvantifieras Petter Gustavsson 5 september 2012 103

8. Antagandet om att en sammanvägning av mätningar med indikatorer resulterar i en mätning på intervall-nivå Petter Gustavsson 5 september 2012 104

Praxis enligt CTT (TST) X Ja, ofta X X X Ja, Ibland X Sällan Nej, aldrig T O1 O2 O3 O4 O5 Petter Gustavsson 5 september 2012 105

8. Antagandet om att en sammanvägning av mätningar med indikatorer resulterar i en mätning på intervall-nivå Hur ska vi väga samman de upprepade mätningarna när vi poängsatt svarsalternativen? Oviktad summering eller medelvärde verkar fungera bra Petter Gustavsson 5 september 2012 106

men vad är det vi gör här: Petter Gustavsson 5 september 2012 107

Skalning = mer praxis än testbara antaganden! Hur ska vi poängsätta svarsalternativen, prestationerna, svarsgraderna? Enkel löpande sifferserie verkar fungera bra! Hur ska vi väga samman de upprepade mätningarna när vi poängsatt svarsalternativen? Oviktad summering eller medelvärde verkar fungera bra Massiv kritik mot detta från statistiker och mätteoretiker Ny metodologi (IRT) kan pröva dessa antaganden Petter Gustavsson 5 september 2012 108

Petter Gustavsson 5 september 2012 109

Skalning = mer praxis än testbara antaganden! Hur ska vi poängsätta svarsalternativen, prestationerna, svarsgraderna? Enkel löpande sifferserie verkar fungera bra! Hur ska vi väga samman de upprepade mätningarna när vi poängsatt svarsalternativen? Oviktad summering eller medelvärde verkar fungera bra Massiv kritik mot detta från statistiker och mätteoretiker Ny metodologi (IRT) kan pröva dessa antaganden MEN - Hur ska vi tolka resultaten av denna kvantifiering? Vad betyder skillnaderna mellan erhållna resultat? Petter Gustavsson 5 september 2012 111

.så långt har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet 6. Antagande om relationen mellan latent och observerad indikator är monotont Skalning: kvantifiering av observationer/responser 7. Antagandet (Praxis) om att svaret på (eller hur) den indirekta mätningen kan kvantifieras 8. Antagandet om att en sammanvägning av mätningar med indikatorer resulterar i en mätning på intervall-nivå Petter Gustavsson 5 september 2012 112

Tolkningen av mätresultatet Gränsvärden och normer

9. Antagandet om att kvantifieringen kan ges mening genom relationen till gränsvärden eller översättning till normvärden Normvärden bestäms i relation till insamlade relevanta populationsdata. Gränsvärden bestäms i relation till ett kriterium (jmf betyg, diagnos) Petter Gustavsson 5 september 2012 114

Standards 1999 Individual raw scores are often referred to the distribution of scores for a comparison group: Norm-referenced Petter Gustavsson 5 september 2012 115

Skillnader i mängd? A 1 2 3 4 B A (1; 2; 2; 2; 2) = 1.8 Betyder? B (2; 3; 3; 2; 2) = 2.4 Betyder? differens = 0.6 Betyder? Petter Gustavsson 5 september 2012 116

Tillvägagångssätt Testpoäng konverteras till en känd fördelning baserad på populationsdata Standardpoäng med medelvärde 100 och SD 15 Standardpoäng med medelvärde 50 och SD 10 Petter Gustavsson 5 september 2012 117

1000 Urval ur populationen: resultat på test 800 600 400 200 0 1 1.5 2 2.5 3 3.5 4 Petter Gustavsson 5 september 2012 118

Data från populationen översätts till z- värden/standard avvikelsepoäng Petter Gustavsson 5 september 2012 119

Z-poäng transformeras till vanlig psykologisk skala IQ/T-värde Petter Gustavsson 5 september 2012 120

T-score Petter Gustavsson 5 september 2012 121

Översättningsregler skapas mellan testpoäng och normvärde 1000 800 600 400 200 0 1 1.5 2 2.5 3 3.5 4 Petter Gustavsson 5 september 2012 122

..så att nya data kan sättas i relation till populationens värde 1000 800 600 400 200 Nytt utfört test: 1.8 poäng 0 1 1.5 2 2.5 3 3.5 4 T=38 Petter Gustavsson 5 september 2012 123

..så att nya data kan sättas i relation till populationens värde 1000 800 600 400 200 Nytt utfört test: 2.4 poäng 0 1 1.5 2 2.5 3 3.5 4 T=48 Petter Gustavsson 5 september 2012 124

Skillnader i mängd? A 1 2 3 4 B A (1; 2; 2; 2; 2) = 1.8 Betyder-> 38 Tp B (2; 3; 3; 2; 2) = 2.4 Betyder->48 Tp differens = 0.6 Betyder->10 Tp Petter Gustavsson 5 september 2012 125

Översätt 38 och 48 T-poäng till percentiler 10 T-poäng till standard avvikelse Konklusion Övning (tidigare gjorda KSP-skattningar) Petter Gustavsson 5 september 2012 126

Instuderingsuppgift till på torsdag Petter Gustavsson 5 september 2012 127

9. Antagandet om att kvantifieringen kan ges mening genom relationen till gränsvärden eller översättning till normvärden Normvärden bestäms i relation till insamlade relevanta populationsdata. Gränsvärden bestäms i relation till ett kriterium (jmf betyg, diagnos) Jmf tidigare övning om HADS. Petter Gustavsson 5 september 2012 129

HADS: bedömning av klinisk grad (diagnos) Poäng 0-7= Normala nivåer Poäng 8-10=Mild depression Poäng 11-21=Egentlig depression Petter Gustavsson 5 september 2012 130

Övning om kriterietolkning Att göra hemma till på torsdag. Petter Gustavsson 5 september 2012 131

Major depression inventory (MDI) Petter Gustavsson 5 september 2012 132

Underlag Petter Gustavsson 5 september 2012 133

Tillbaka till genomgången Petter Gustavsson 5 september 2012 134

.så till slut så har vi Den latenta variabeln och dess indirekta mätning 1. Antagandet om att latent variabel går att mäta indirekt genom observationer av dess konsekvenser 2. Antagande om relationen mellan latent och observerad variabel är monotont 3. Antagandet om slumpmässiga fel - varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (slumpmässiga fel följer en sk normal-fördelning) Den latenta variabeln och dess indikatorer 4. Antagandet om upprepade mätningar 5. Antagandet om dimensionalitet 6. Antagande om relationen mellan latent och observerad indikator är monotont Skalning: kvantifiering av observationer/responser 7. Antagandet (Praxis) om att svaret på (eller hur) den indirekta mätningen kan kvantifieras 8. Antagandet om att en sammanvägning av mätningar med indikatorer resulterar i en mätning på intervall-nivå Tolkning: Mätningen ges innebörd 9. Antagandet om att kvantifieringen kan ges mening genom relationen till gränsvärden Petter Gustavsson eller översättning till normvärden 5 september 2012 135

.så till slut så har vi Den latenta variabeln och dess indirekta mätning Den latenta variabeln och dess indikatorer Skalning: kvantifiering av observationer/responser Tolkning: Mätningen ges innebörd Petter Gustavsson 5 september 2012 136

Det psykologiska instrumentets anatomi : teori och antaganden Disposition Fenomen: Definition och avgränsning Den psykologiska variabeln: Fenomenet, Konstruktet, Attributet, Faktorn, eller den Latenta Variabeln Den latenta variabeln och dess indirekta mätning Indikatorer: Observationer av fenomenet Den latenta variabeln och dess indikatorer Skalning: Kvantifiering av gradskillnader och Bestämning av testpoäng Tolkning av testpoäng Petter Gustavsson 5 september 2012 137

Rekapitulering av KSP/HADS övningarna Analysera instruktioner och genomförande utifrån teori, antaganden och praxis. Skapa din förklaring till frågan What s going on here? genom att applicera de 9 antagandena bakom standardiserade psykologiska mätningar. Diskutera din analys och förklaring i studentgruppen. Kom tillbaka och reflektera Petter Gustavsson 5 september 2012 138

Kvalitetsaspekterna: Reliabilitet och Validitet En kort introduktion inför våra kurstillfällen på torsdag och fredag Petter Gustavsson 5 september 2012 139

Reliabilitet 3. varje mätning tenderar vara förknippad med ett större eller mindre slumpmässigt fel (som antas vara okorrelerade) Reliabiliteten handlar om i vilken omfattning våra mätningar också reflekterar mätfel. Metoder finns för att uppskatta (beräkna) mängden mätfel. Reliabilitet beräknas för ett instruments användning vid en specifik situation (många studier lär oss i vilken grad vi kan generalisera kunskapen om ett instruments reliabiliet) Petter Gustavsson 5 september 2012 140

Reliabilitet : hur mycket av den sanna variationen speglas i den observerade variationen Kvoten mellan den sanna variansen/den observerade variansen Korrelationen (den kvadrerade) mellan sann variation och observerad variation Petter Gustavsson 5 september 2012 141

Validitet Validitet handlar om på vilka grunder vi har stöd för att säga att vår testning avspeglar en mätning av fenomenet: Validity refers to the degree to which evidence and theory support the interpretations of test scores entailed by proposed uses of test Petter Gustavsson 5 september 2012 142

Validation Validation involves accumulating evidence to provide a sound scientific basis for the proposed score interpretations Standards, 1999. Petter Gustavsson 5 september 2012 144

Validity evidence A sound validity argument integrates various strands of evidence into a coherent account of the degree to which existing evidence and theory support the intended interpretation of test scores for specific uses. Petter Gustavsson 5 september 2012 145

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 5 september 2012 146

Evidens för intern struktur:..handlar om att ta fram evidens för att samtliga indikatorer på ett fenomen, verkligen avspeglar detta fenomen och inget annat. Vad skulle konsekvensen bli om det inte var så? Tänk er att ni hade uppgiften att ta fram evidens för att HADS depressionskala hade en godtagbar intern struktur. Hur skulle ni göra? Vad skulle ni testa? Vilken statistisk metod skulle kunna användas? Petter Gustavsson 5 september 2012 147

HADS: Depression T Variation i de sanna värdena på en latent variabel depression 1 2 3 4 5 6 7 Påverkar svaren på de 7 indikatorerna Petter Gustavsson 5 september 2012 148

Sources of validity evidence Evidence based on: Test content Reponse processes Internal structure Relations to other variables Consequenses of testing Petter Gustavsson 5 september 2012 149

Inför torsdagens kurstillfälle Analys av skattningsövningarna (KSP/HADS). Skattningsövning (kriterierelaterad tolkning) Instuderingsuppgift om z-värden, percentiler, T-värden Fråga: Konfidensintervall Petter Gustavsson 5 september 2012 150

petter.gustavsson@ki.se 070-536 3659 www/ www/ www/