Differentiell psykologi

Differentiell psykologi Måndagen den 19/9 2011 Sensitivitet och specificitet Version 1.1

Dagens agenda Validering av kriterietolkningar Diagnostiska studier Exempel på diagnostisk studie av MDI Olika prövningar av kriterietolkningar i en diagnostisk studie Sensitivitet och specificitet Prediktivt värde Exempel Likelihood kvot Exempel Från validering till praxis Övning till i morgon Morgondagens agenda Petter Gustavsson 19 september 2011 2

Validering av kriterietolkningar Ett viktigt specialfall!!!

Petter Gustavsson 19 september 2011 4

Furr. Kapitel 9. 227-228 Obs! Fel i texten. Sid 227. Sista stycket. Rad 3. Sensitivitet skall vara specificitet. Petter Gustavsson 19 september 2011 5

Tolkning av testpoäng Normering Kriterium Petter Gustavsson 19 september 2011 6

MDI Petter Gustavsson 19 september 2011 7

Diagnostisk studie Syftet med en diagnostisk studie är att ta fram evidens på om den föreslagna kriterietolkningen är acceptabel Proceduren för en sådan studie är att kriteriet prövas mot en referensdiagnos Petter Gustavsson 19 september 2011 8

Exempel Ett antal personer fyller i Major Depression Inventory, MDI Personerna intervjuas sedan av en klinker (som är blind för MDI resultatet) som genomför en semi-strukturerad psykiatrisk intervju enligt manual (DSM-IV) med syfte att utreda misstanke om depression. På basen av denna intervju ställer klinikern diagnosen depression (eller inte). Petter Gustavsson 19 september 2011 9

Kom ihåg att vi prövar ett instrument mot en vedertagen metod (mot en referens). Vi utgår från att den vedertagna metoden är rätt (golden standard), dvs den ger en korrekt klassificering av personerna som deprimerade eller ej. Från instrumentet och den kriterietolkning vi prövar tar vi fram om personen har så höga poäng eller har den kombination av poäng som gör att testet indikerar att personen tros ha (ett positivt) eller inte ha (negativt) resultat för depression. Så vilka utfall kan vi få på en sådan prövning? Petter Gustavsson 19 september 2011 10

Följande fyra utfall kan erhållas Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) Petter Gustavsson 19 september 2011 11

A Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A Petter Gustavsson 19 september 2011 12

A = Sant positivt utfall Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A Petter Gustavsson 19 september 2011 13

B Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A B Petter Gustavsson 19 september 2011 14

B = Falskt positivt utfall Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A B Petter Gustavsson 19 september 2011 15

C Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B Petter Gustavsson 19 september 2011 16

C = Falskt negativt utfall Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B Petter Gustavsson 19 september 2011 17

D Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 18

D = Sant negativt utfall Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 19

alltså, ett test av vårt instrument mot en referens kan ha fyra olika utfall som vi benämner: Sant positivt Sant negativt Falskt positivt Falskt negativt Resultat på vårt instrument Petter Gustavsson 19 september 2011 20

alltså, ett test av vårt instrument mot en referens kan ha fyra olika utfall som vi benämner: Sant positivt Sant negativt Falskt positivt Falskt negativt Resultat på vårt instrument..om resultatet på vårt instrument var riktigt eller ej enl diagnos Petter Gustavsson 19 september 2011 21

Exempel på genomförd studie: Petter Gustavsson 19 september 2011 22

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A B 23 C D Petter Gustavsson 19 september 2011 23

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A B 23 C D 21 Petter Gustavsson 19 september 2011 24

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 B 23 C D 21 Petter Gustavsson 19 september 2011 25

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 C D 21 Petter Gustavsson 19 september 2011 26

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 D 21 Petter Gustavsson 19 september 2011 27

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 D 20 21 Petter Gustavsson 19 september 2011 28

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 D 20 21 22 Petter Gustavsson 19 september 2011 29

Resultat (N=43) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 30

Uttryckt i termer av sant positivt, sant negativt, falskt positivt, och falskt negativt? Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 31

Olika prövningar i en diagnostisk studie Hur kan vi med olika mått sammanfatta resultaten av en diagnostisk studie Petter Gustavsson 19 september 2011 32

Vilka frågor kan vi ställa oss? Utifrån mitt test och dess föreslagna kriterievärde: Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer med sjukdomen/egenskapen? Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer utan sjukdomen/egenskapen? Utifrån ett givet (test)resultat: Hur väl kommer ett positivt utfall i testningen predicera att det föreligger en sjukdom/egenskap Hur väl kommer ett negativt utfall i testningen predicera att det inte föreligger en sjukdom Petter Gustavsson 19 september 2011 33

Resultatet kan sammanfattas i några olika statistiska mått: Sensitivitet Specificitet Positivt prediktivt värde Negativt prediktivt värde Positiv likelihood kvot Negativ likelihood kvot Petter Gustavsson 19 september 2011 34

Sensitivitet och specificitet Sensitivitet: Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer med sjukdomen/egenskapen? Andelen sant positiva test bland samtliga personer som faktiskt är sjuka. Specificitet Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer utan sjukdomen/egenskapen? Andelen sant negativa test bland samtliga personer som faktiskt är friska Utifrån ett givet (test)resultat: Hur väl kommer ett positivt utfall i testningen predicera att det föreligger en sjukdom/egenskap Hur väl kommer ett negativt utfall i testningen predicera att det inte föreligger en sjukdom Petter Gustavsson 19 september 2011 35

Sensitivitet Andelen sant positiva test bland samtliga personer som faktiskt är sjuka. Testets förmåga att korrekt påvisa sjukdomsfall (jämfört med referensmetod). Petter Gustavsson 19 september 2011 36

Sensitivitet = Testets förmåga att korrekt påvisa sjukdomsfall (jämfört med referensmetod). Andelen sant positiva test bland samtliga personer som faktiskt är sjuka. Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 37

Sensitivitet = Testets förmåga att korrekt påvisa sjukdomsfall (jämfört med referensmetod). Andelen sant positiva test bland samtliga personer som faktiskt är sjuka. Dvs: Sant positiva ( A) Faktiskt sjuka (A+C) Diagnos enligt referens-test (DSM IV) A/(A+C) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 38

Specificitet Andelen sant negativa test bland samtliga personer som faktiskt är friska. Testets förmåga att korrekt utesluta sjukdomsfall (jämfört med referensmetod). Petter Gustavsson 19 september 2011 39

Specificitet = Testets förmåga att korrekt utesluta sjukdomsfall (jämfört med referensmetod). Andelen sant negativa test bland samtliga personer som faktiskt är friska. Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 40

Specificitet = Testets förmåga att korrekt utesluta sjukdomsfall (jämfört med referensmetod). Andelen sant negativa test bland samtliga personer som faktiskt är friska. Dvs: Sant negativa( D) Faktiskt friska (B+D) D/(B+D) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 41

Sammanfattning Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer med sjukdomen/egenskapen? Sensitiviteten avser metodens förmåga att korrekt fastställa att den som undersöks har sjukdomen Andelen sant positiva test bland samtliga personer som faktiskt är sjuka. Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer utan sjukdomen/egenskapen? Specificitet handlar om metodens förmåga att på ett riktigt sätt utesluta sjukdomen. Andelen sant negativa test bland samtliga personer som faktiskt är friska. Petter Gustavsson 19 september 2011 42

Vilka frågor kan vi ställa oss? Utifrån mitt test och dess föreslagna kriterievärde: Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer med sjukdomen/egenskapen? Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer utan sjukdomen/egenskapen? Utifrån ett givet (test)resultat: Hur väl kommer ett positivt utfall i testningen predicera att det föreligger en sjukdom/egenskap Hur väl kommer ett negativt utfall i testningen predicera att det inte föreligger en sjukdom Petter Gustavsson 19 september 2011 44

Prediktivt värde Petter Gustavsson 19 september 2011 45

Prediktiva värden Positivt prediktivt värde Sannolikheten för att ett positivt testresultat ska vara korrekt Negativt prediktivt värde Sannolikheten för att ett negativt testresultat ska vara riktigt Petter Gustavsson 19 september 2011 46

Positivt prediktivt värde Sannolikheten för att ett positivt testresultat ska vara korrekt Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 47

Positivt prediktivt värde Sannolikheten för att ett positivt testresultat ska vara korrekt A / (A+B) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 48

Negativt prediktivt värde Sannolikheten för att ett negativt testresultat ska vara riktigt Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 49

Negativt prediktivt värde Sannolikheten för att ett negativt testresultat ska vara riktigt D / (C+D) Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 50

Sammanfattning Hur väl kommer ett positivt utfall i testningen predicera att det föreligger en sjukdom/egenskap Positivt prediktivt värde Sannolikheten för att ett positivt testresultat ska vara korrekt Hur väl kommer ett negativt utfall i testningen predicera att det inte föreligger en sjukdom Negativt prediktivt värde Sannolikheten för att ett negativt testresultat ska vara riktigt Petter Gustavsson 19 september 2011 51

Exempel på genomförd studie: Petter Gustavsson 19 september 2011 52

Låt oss räkna fram sensitivitet och specificitet från MDI-studien Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 53

Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 54

Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 55

Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka; 19/21 = Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 56

Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka; 19/21 = 0.90 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 57

Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka; 19/21 = 0.90 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 90% av alla sjuka klassificeras korrekt som sjuka av MDI 21 22 Petter Gustavsson 19 september 2011 58

Specificitet= Andelen sant negativa test bland samtliga personer som faktiskt är friska Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 59

Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 60

Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska; 18/22 = Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 61

Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska; 18/22 = 0.82 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 62

Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska; 18/22 = 0.82 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 82% av alla friska klassificeras korrekt som friska av MDI 21 22 Petter Gustavsson 19 september 2011 63

Resultat för MDI Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka; 19/21 = 0.90 90% av alla sjuka klassificeras korrekt som sjuka av MDI Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska; 18/22 = 0.82 82% av alla friska klassificeras korrekt som friska av MDI Petter Gustavsson 19 september 2011 64

Låt oss räkna fram de prediktiva värdena från MDI-studien Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 65

Positivt prediktivt värde= Sannolikheten för att ett positivt testresultat ska vara riktigt; 19/23 = Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 66

Positivt prediktivt värde= Sannolikheten för att ett positivt testresultat ska vara riktigt; 19/23 = 0.83 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 83% sannolikt att ett positivt MDI värde, indikerar diagnos 21 22 Petter Gustavsson 19 september 2011 67

Negativt prediktivt värde = Sannolikheten för att ett negativt testresultat ska vara riktigt; 18/20 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Petter Gustavsson 19 september 2011 68

Negativt prediktivt värde = Sannolikheten för att ett negativt testresultat ska vara riktigt; 18/20 = 0.90 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 90% sannolikt att ett negativt MDI värde, indikerar att det inte är diagnostiskt 21 22 Petter Gustavsson 19 september 2011 69

Resultat utifrån MDI Positivt prediktivt värde Sannolikheten för att ett positivt testresultat ska vara riktigt; = 0.83 Negativt prediktivt värde Sannolikheten för att ett negativt testresultat ska vara riktigt; = 0.90 Petter Gustavsson 19 september 2011 70

Frågor och svar Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer med sjukdomen/egenskapen? Sensitivitet: Andelen sant positiva test bland samtliga personer som faktiskt är sjuka = 90% av alla sjuka klassificeras korrekt som sjuka av MDI Hur bra är mitt test och dess föreslagna kriterievärde att identifiera personer utan sjukdomen/egenskapen? Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska = 82% av alla friska klassificeras korrekt som friska av MDI Hur väl kommer ett positivt utfall i testningen predicera att det föreligger en sjukdom/egenskap Positivt prediktivt värde : Sannolikheten för att ett positivt testresultat ska vara riktigt; = 0.83 Hur väl kommer ett negativt utfall i testningen predicera att det inte föreligger en sjukdom Negativt prediktivt värde : Sannolikheten för att ett negativt testresultat ska vara riktigt; = 0.90 Petter Gustavsson 19 september 2011 71

Sammanfattande mått Relationen mellan Sensitivitet och Specificitet Petter Gustavsson 19 september 2011 73

Relationen mellan Sensitivitet och Specificitet Sensitivitet= Andelen sant positiva test bland samtliga personer som faktiskt är sjuka; 19/21 = 0.90 90% av alla sjuka klassificeras korrekt som sjuka av MDI Specificitet = Andelen sant negativa test bland samtliga personer som faktiskt är friska; 18/22 = 0.82 82% av alla friska klassificeras korrekt som friska av MDI Vore det inte också bra att ställa dessa mot varandra? Korrekta fall vs falska alarm Missade fall vs korrekt utesluta fall Petter Gustavsson 19 september 2011 74

Likelihood-kvoter Positiv likelihood-kvot (LR+) = Oddset för att korrekt påvisa fall gentemot att få falska alarm sensitivitet/(1-specificitet). Negativ likelihood-kvot (LR-) = Oddset för att missa fall gentemot att korrekt utesluta fall (1-sensitivitet)/specificitet. Petter Gustavsson 19 september 2011 75

Positiv likelihood-kvot (LR+) = Oddset för att korrekt påvisa fall gentemot att få falska alarm Andelen sant positiva test bland samtliga personer som faktiskt är sjuka = SENSITIVITET Petter Gustavsson 19 september 2011 76

Positiv likelihood-kvot (LR+) = Oddset för att korrekt påvisa fall gentemot att få falska alarm Andelen sant positiva test bland samtliga personer som faktiskt är sjuka = SENSITIVITET Dvs den andel som klassas som sjuka men inte är sjuka, vilket är det samma som 1 andelen friska som korrekt klassificeras som friska= 1-SPECIFICITET) Petter Gustavsson 19 september 2011 77

Hur kan FALSKA ALARM = 1-Specificiteten? Dvs, 1-0.82 i detta exempel. Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Specificitet=0.82 Petter Gustavsson 19 september 2011 78

Hur kan FALSKA ALARM = 1-Specificiteten? Vilka är våra falska alarm? Vad är andelen falska alarm? Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Specificitet=0.82 Petter Gustavsson 19 september 2011 79

Hur kan FALSKA ALARM = 1-Specificiteten? Vilka är våra falska alarm? Vad är andelen falska alarm? Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Specificitet=0.82 Petter Gustavsson 19 september 2011 80

Hur kan FALSKA ALARM = 1-Specificiteten? Vilka är våra falska alarm? Vad är andelen falska alarm? Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Andel falska alarm= 0.18 Specificitet=0.82 Petter Gustavsson 19 september 2011 81

Hur kan FALSKA ALARM = 1-Specificiteten? Eftersom 1-0.82=0.18 Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 19 4 23 2 18 20 21 22 Andel falska alarm= 0.18 Specificitet=0.82 Petter Gustavsson 19 september 2011 82

Uttryckt i formler Eftersom de två andelarna summeras till 1 Dvs B/(B+D) + D/(B+D) = 1 1 D/(B+D) = B/(B+D) = 1 specificitet! Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 83

Positiv likelihood-kvot (LR+) = Oddset för att korrekt påvisa fall gentemot att få falska alarm Andelen sant positiva test bland samtliga personer som faktiskt är sjuka = SENSITIVITET SENSITIVITET 1-SPECIFICITET Dvs den andel som klassas som sjuka men inte är sjuka, vilket är det samma som 1 andelen friska som korrekt klassificeras som friska= 1-SPECIFICITET Petter Gustavsson 19 september 2011 84

MDI Positiv likelihood-kvot (LR+) = Oddset för att korrekt påvisa fall gentemot att få falska alarm Andelen sant positiva test bland samtliga personer som faktiskt är sjuka = SENSITIVITET SENSITIVITET = 0.90 1-SPECIFICITET= 0.18 =5 = 5 1 Dvs den andel som klassas som sjuka men inte är sjuka, vilket är det samma som 1 andelen friska som korrekt klassificeras som friska= 1-SPECIFICITET Petter Gustavsson 19 september 2011 85

Hur tolkar man LR+? 1.0 = testet är värdelöst 1.0-1.9 = testet är av tveksamt värde 2.0-4.9 = testet är visst värde 5.0-9.9 = testet är av värde >10 = testet är av stort värde Så i vårt MDI exempel med LR+=5 Petter Gustavsson 19 september 2011 86

Likelihood-kvoter Negativ likelihood-kvot (LR-) = Oddset för att missa fall gentemot att korrekt utesluta fall (1-sensitivitet)/specificitet. Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) A C B D Petter Gustavsson 19 september 2011 87

Likelihood-kvoter Negativ likelihood-kvot (LR-) = Oddset för att missa fall gentemot att korrekt utesluta fall (1-sensitivitet)/specificitet. 1 SENSITIVITETEN SPECIFICITETEN 1-0.90 0,82 =0.12 = 1 8 Petter Gustavsson 19 september 2011 88

Hur tolkar man LR-? 1.0 = testet är värdelöst 0.5-0.9 = testet är av tveksamt värde 0.2-0.49 = testet är visst värde 0.1-0.19 = testet är av värde Mindre än 0.10 = testet är av stort värde Så i vårt MDI exempel med LR-=0.12 Petter Gustavsson 19 september 2011 89

Sammanfattning av resultat LR+ = 5 (det går 5 korrekta fall på ett falskt alarm) LR-= 0.12 (på ett missat fall går det 8 korrekta friska) OBS! De föreslagna riktvärdena för LR+ och LR- måste ju ses i ett sammanhang! Petter Gustavsson 19 september 2011 91

Från validering till praxis Rekommendation till hur kriterievärden ska användas i vården Bygger oftast inte bara på en enda studie Med hjälp av systematiska litteraturöversikter av diagnostiska studier sammanfattas evidensläget Petter Gustavsson 19 september 2011 92

Systematiska litteraturöversikter av diagnostiska studier 1. Studier eftersökes i relevanta databaser 2. Granskare sorterar fram relevanta studier 3. Studier läses för att bedöma relevans 4. Studier kvalitetsgranskas Petter Gustavsson 19 september 2011 93

Vad utgör kvalitet i en diagnostisk studie Patientunderlagets relevans och sampling bias Tid mellan test och referenstest Blindning Bortfall under studien Petter Gustavsson 19 september 2011 94

Systematiska litteraturöversikter av diagnostiska studier 1. Studier eftersökes i relevanta databaser 2. Granskare sorterar fram relevanta studier 3. Studier läses för att bedöma relevans 4. Studier kvalitetsgranskas 5. Endast studier av god kvalitet får utgöra underlaget 6. Resultat extraheras ur respektive studie 7. Resultat från olika studier sammanvägs 8. Slutsats dras (och värderas) Petter Gustavsson 19 september 2011 95

Resultat för MDI Totalt antal träffar i databasen: Antal relevanta artiklar: Antal granskade MDI: Kvalitet på MDI studier: Resultat: Petter Gustavsson 19 september 2011 99

Hospital Anxiety Depression scales (HADS) Petter Gustavsson 19 september 2011 100

HADS: Syfte Att mäta depressionsdjup (och ångestdjup) hos patienter inom somatisk vård pga depressiva symtom är underdiagnostiserade samt att sådana symtom förväntas påverka den kliniska bilden och det kliniska förloppet Att särskilt beakta att mätningen inte inkluderar (inte dubbelrapporterar) symtom som kan likna fysiska symtom central för den somatiska sjukdomen. Att särskilt differentiera mellan depressions- och ångestsymptom Petter Gustavsson 19 september 2011 101

HADS: bedömning av klinisk grad (diagnos) Poäng 0-7= Normala nivåer Poäng 8-10=Mild depression Poäng 11-21=Egentlig depression Petter Gustavsson 19 september 2011 102

Resultat för HADS Totalt antal träffar i databasen: Antal relevanta artiklar: ca Antal granskade HADS: Kvalitet på MDI studier: Resultat: Petter Gustavsson 19 september 2011 103

MDI och HADS Slutsats MDI Slutsats HADS Vad kan orsaken till detta vara? Fungerar något instrument? Petter Gustavsson 19 september 2011 104

Övning till i morgon Petter Gustavsson 19 september 2011 105

Övning: Diagnostisk studie av MDI Diagnos enligt referens-test (DSM IV) Ja (1) Nej (0) Diagnos Ja (1) enligt MDI Nej (0) 26 4 30 4 64 68 30 68 Petter Gustavsson 19 september 2011 106

Resultat Sant positivt värde= Falskt positivt värde= Falskt negativt värde= Sant negativt värde= Sensitivitet= Specificitet= Positivt prediktivt värde= Negativt prediktivt värde LR+= LR-= Petter Gustavsson 19 september 2011 107

Morgondagens agenda Repetition: Sensitivitet och specificitet Övningsuppgift från idag Generalizability theory Kritik mot CTT/TST och lösningen som GT erbjuder Grundpelarna i teorin utifrån ett exempel Item Response Theory Kritik mot CTT/TST och lösningar som IRT erbjuder Grundpelarna i teorin utifrån exempel Repetition och frågestund Inmailade frågor Petter Gustavsson 19 september 2011 108

Repetition och frågestund Operationaliserade lärandemål Instuderingsfrågor Inmailade frågor Senast 18:00 idag!!!! Se sedan kurswebb. Uppdaterad och klar senast 21:00 Petter Gustavsson 19 september 2011 109

petter.gustavsson@ki.se 08-5248 3659 www