Differentiell psykologi Tisdag 20 september 2011 Integrering och frågestund
Moment II: Personlighet och intelligens Petter Gustavsson 20 september 20112
Upplägg: Momentansvarig: Petter Första veckan: Intelligens (Bo Melin) Se kurswebb! Andra veckan: Femfaktorsmodellen Social-kognitiva (och andra) modeller på personlighetsdrag Tredjeveckan: Integration, studenterna föreläser, forskarbesök och examination Momentinformation: Uppdaterat schema se kurswebb. Petter Gustavsson 20 september 2011 3
Tentamen
Hur kommer tentamen att se ut? Petter Gustavsson 20 september 2011 5
Inkomna frågor Först undrar vi om det är några formler vi ska kunna utantill (förutom att vi ska kunna en definition på reliabilitet)? Vad är och vad är inte en formel? Förslag? Är det några formler vi ska kunna använda som finns på formelblad? Alla formler med grund i klassiskt test teori som vi tagit upp i undervisningen (som funnits på power-point presentationer ska ni kunna känna igen, använda och tolka). Vilka formler är detta? I den utsträckning frågor kommer som berör dessa formler så kommer de finnas med i tryck på tentan. Kommer det att vara räkneuppgifter på tentan? Ja. Se kursmålen och de operationaliserade kursmålen (samt instuderingsuppgifter. Petter Gustavsson 20 september 2011 6
Mer frågor Sedan undrar vi om det vi har lärt oss på datorsalsövningarna i SPSS. Kommer det även att testas på tentan, t ex genom att vi ska kunna tolka SPSS-output eller behandlas SPSS inte alls på tentan? Kommer det frågor om multipel regression etc Kommer det frågor som liknar de övningar vi gjort? (normerade värden, percentiler, konfidensintervall kring eget värde, efter instruktioner rättat en testblankett, utifrån resultat från en diagnostisk studie räkna sensitivitet etc) Har du redan gjort tentan? Petter Gustavsson 20 september 2011 7
Ta med till tentan: Miniräknare! (utan internet uppkoppling) Mobil ej tillåtet Petter Gustavsson 20 september 2011 8
Ta INTE med till tentamen mellanmål med jordnötter eller nötter Petter Gustavsson 20 september 2011 9
Återkoppling? Två förslag. Skriv kommentarer på de som vill ha Ställ samman en tentamen utifrån bra svar Vi kör det senare Petter Gustavsson 20 september 2011 10
Frågor eller snabbrepetition utifrån lärandemål?
Snabbrepetition utifrån lärandemålen
Operationaliserade lärandemål: Kunna redogöra för ett instruments beståndsdelar och relatera till den test teoretiska bakgrunden till varför test är uppbyggda på detta sätt. Petter Gustavsson 20 september 2011 13
Operationaliserade lärandemål: Kunna redogöra för ett instruments beståndsdelar och relatera till den test teoretiska bakgrunden till varför test är uppbyggda på detta sätt. Kunna redogöra för den klassiska test teorins grundläggande antaganden om kvantifiering/skalning, upprepade mätningar, dimensionalitet, och tolkning av testpoäng genom normering eller kriterier. Petter Gustavsson 20 september 2011 14
Operationaliserade lärandemål: Kunna redogöra för ett instruments beståndsdelar och relatera till den test teoretiska bakgrunden till varför test är uppbyggda på detta sätt. Kunna redogöra för den klassiska test teorins grundläggande antaganden om kvantifiering/skalning, upprepade mätningar, dimensionalitet, och tolkning av testpoäng genom normering eller kriterier. Förstå kopplingen mellan test poäng och standardiserade /normerade poäng och att via normalfördelningen göra översättningar mellan Z-poäng, T-värden, Kumulativ procent och Percentiler. Petter Gustavsson 20 september 2011 15
(forts.) Operationaliserade lärandemål: Förstå och använda begreppen sensitivitet och specificitet i sammanhang där man utvärderar definierade kriteriepoäng som underlag för tolkning av testpoäng. Petter Gustavsson 20 september 2011 16
(forts.) Operationaliserade lärandemål: Förstå och använda begreppen sensitivitet och specificitet i sammanhang där man utvärderar definierade kriteriepoäng som underlag för tolkning av testpoäng. Kunna reflektera kring kvalitetsaspekter av normering och kriteriebestämning och konsekvenser för tolkningen av testpoäng. Petter Gustavsson 20 september 2011 17
(forts.) Operationaliserade lärandemål: Förstå och använda begreppen sensitivitet och specificitet i sammanhang där man utvärderar definierade kriteriepoäng som underlag för tolkning av testpoäng. Kunna reflektera kring kvalitetsaspekter av normering och kriteriebestämning och konsekvenser för tolkningen av testpoäng. Kunna redogöra för de fem olika typerna av validitetsevidens och kunna klassificera och tolka empiriska studier efter deras potentiella bidrag till validitetsevidens. Beskriva hur G-teorin är en utveckling av den klassiska testteorins defintion av reliabilitet, samt beskriva hur IRT avviker från dessa teorier utifrån sin syn på reliabilitet. Petter Gustavsson 20 september 2011 18
(forts.) Operationaliserade lärandemål: Kunna redogöra för en reliabilitetsdefinition och antaganden man behöver göra för att estimera reliabilitet. Petter Gustavsson 20 september 2011 19
(forts.) Operationaliserade lärandemål: Kunna redogöra för en reliabilitetsdefinition och antaganden man behöver göra för att estimera reliabilitet. Kunna redogöra för och tolka olika reliabilitetsestimat samt förstå skillnaden på reliabilitesestimat på test och individnivå (och hur dessa är länkade). Petter Gustavsson 20 september 2011 20
(forts.) Operationaliserade lärandemål: Kunna redogöra för en reliabilitetsdefinition och antaganden man behöver göra för att estimera reliabilitet. Kunna redogöra för och tolka olika reliabilitetsestimat samt förstå skillnaden på reliabilitesestimat på test och individnivå (och hur dessa är länkade). Beskriva faktorer som påverkar reliabilitestestimat och beskriva konsekvenser av reliabilitetsbrister för psykologisk forskning. Petter Gustavsson 20 september 2011 21
(forts.) Operationaliserade lärandemål: Beskriva de olika momenten i regressions och faktoranalyser. Petter Gustavsson 20 september 2011 22
(forts.) Operationaliserade lärandemål: Beskriva de olika momenten i regressions och faktoranalyser. Kunna tolka korrelations, regressions och faktoranalyser. Redogöra för hur dessa analyser används inom psykometri för att utreda reliabilitet och validitet. Petter Gustavsson 20 september 2011 23
(forts.) Operationaliserade lärandemål: Beskriva de olika momenten i regressions och faktoranalyser. Kunna tolka korrelations, regressions och faktoranalyser. Redogöra för hur dessa analyser används inom psykometri för att utreda reliabilitet och validitet. Föreslå vilka metoder ska användas i studier för prövning av instrument. Petter Gustavsson 20 september 2011 24
(forts.) Operationaliserade lärandemål: Beskriva de olika momenten i regressions och faktoranalyser. Kunna tolka korrelations, regressions och faktoranalyser. Redogöra för hur dessa analyser används inom psykometri för att utreda reliabilitet och validitet. Föreslå vilka metoder ska användas i studier för prövning av instrument. Tolka studier som använt dessa metoder för att utvärdera psykometriska kvaliteter Petter Gustavsson 20 september 2011 25
(forts.) Operationaliserade lärandemål: Kunna utföra item-analyser och faktoranalyser för att uttala sig om ett instruments styrkor och svagheter. Petter Gustavsson 20 september 2011 26
(forts.) Operationaliserade lärandemål: Kunna utföra item-analyser och faktoranalyser för att uttala sig om ett instruments styrkor och svagheter. Läsa och värdera och diskutera psykometriska utvärderingar Petter Gustavsson 20 september 2011 27
Inkomna frågor
Områden Det psykologiska instrumentets anatomi Normering Statistik Validitet Reliabilitet Petter Gustavsson 20 september 2011 29
Det psykologiska testets anatomi Gäller även psykometrin andra test: minnestest etc? Vad är ett multidimensionellt test? Hur hanteras item/indikatorer i ett sådant? - Består testets anatomi av: fenomen, indikatorer, skalning, poängtolkning? Definitionen på en indexvariabel och faktor är densamma... "Sammanslagningar av flera item"... Vad är en indexvariabel och vad är en faktor? Petter Gustavsson 20 september 2011 30
Normering Du kanske redan har tagit upp detta vid något tillfälle, men hur konstrueras egentligen normeringstabeller? KSP tar hänsyn till ålder och kön. Är detta självklart och oproblematiskt? Varför just femtonårsintervaller (med samma intervallgränser för båda könen) i så fall, och inte exempelvis ettårsintervaller? Och kan man tänka sig att beaktande av sådant som kulturell bakgrund och varför inte socioekonomisk status skulle fylla en funktion i normeringstabeller för vissa former av test? Petter Gustavsson 20 september 2011 31
Statistik (1) Vilken statistik vilar huvudsakligen alla psykometriska applikationer på? Sista frågan på instuderingsfrågorna - konfidensintervall... Vi förstår inte och denna "magiska" etta det pratas om. Hur kan man utifrån konfidensintervallen för risk och odds ratio avgöra om dessa är signifikanta? Faktor analys Singularitet får ju ej finnas vid faktoranalysen. Vad ÄR singularitet för något? Är KMO ett MEDLEVÄRDE för alla item i relation till varandra inom faktorn? Jag trodde att KMO var grad av beroende - dvs hur mycket alla item inom en faktor HÄNGER IHOP. I så fall, är KMO detsamma som homogenitet? Unidimensionalitet? Petter Gustavsson 20 september 2011 32
Statistik (2) Faktor analys (forts) Definitionen av kommunalitet och egenvärde är ju densamma! "summan av kvadrerade laddningar Se Kimmos handout Vad händer med egenvärde och kommunalitet vid rotation? Korrelationsresidualer: vad menas med en "återskapad matris" och "ursprunglig matris"? Menar man roterad respektive oroterad? Vad anger faktorpoängen egentligen? Är detta helt skilt från faktorladdning!? Kommunalitet: förklarad varians som varje item står för... INOM faktorn, eller? Egenvärde: förklarad varians som varje FAKTOR står för, eller? Jag har googlat om faktoranalys på nätet och läst att ett item kan tillhöra flera faktorer samtidigt - stämmer detta? Petter Gustavsson 20 september 2011 33
Validitet -I Furr-boken skrivs en hel del om validitetskoefficienten, finns det verkligen en sådan eller är den ett specialförhållande när man bedömer validitet utifrån förhållandet till andra variabler? Petter Gustavsson 20 september 2011 34
Inkomna frågor Vad är validitetskoefficienten? Resultatet av en validitetsprövning (oftast i samband med prövning av validitetsevidens baserat på relationer mellan variabler. Ofta en korrelation beräknad utifrån hypoteser ställda för att ta fram evidens baserade på associationer mellan variabler.. Beroende på hypotesen och hur man metodlogiskt gått tillväga för att pröva hypotesen så kan det vara annat än korrelationer. Regessionsvikt Effektstorlek etc Petter Gustavsson 20 september 2011 35
Validitet Vad är egentligen skillnaden mellan intern konsistens och intern struktur? -"Konsekvenser av testning", har det inte med reliabilitet att göra - att alla mäts på samma sätt? Vad är: Validity evidence: Consequences of Testing? Det står om andra typer av validitet än de fem validitetsevidens som Furr tar upp. Vad är detta? Petter Gustavsson 20 september 2011 36
Validitet Vad är diskrimenant och konvergent testning? Intern struktur Om ett item har faktorladdning UNDER 0.4 på samtliga faktorer i faktoranalysen... SKa det tas bort helt då? Diagnostiska studier Positiv och negativ likelihood kvot När man talar om positiva och negativa PREDICERANDE värden är definitionen "... att sjukdom föreligger" - menas det då att sjukdom troligtvis KOMMER ATT uppstå, eller att sjukdomen redan FINNS? Petter Gustavsson 20 september 2011 37
Inkomna frågor Vad är diskrimenant och konvergent testning? Metodik för att ta fram Validietsevidens-baserat på associationer mellan teoretiskt relevanta (och irrelevanta variabler) Hypotes: Variabler som mäter teoretiskt liknande saker eller där prediktioner går att göra utifrån teori Hypotes: Variabler som mäter olika saker eller där teori säger att inte ska vara relaterade Petter Gustavsson 20 september 2011 38
Inkomna frågor Vad är diskrimenant och konvergent testning? Metodik för att ta fram Validietsevidens-baserat på associationer mellan teoretiskt relevanta (och irrelevanta variabler) Hypotes: Variabler som mäter teoretiskt liknande saker eller där prediktioner går att göra utifrån teori Resultaten konvergerar Hypotes: Variabler som mäter olika saker eller där teori säger att inte ska vara relaterade Resultatet divergerar Petter Gustavsson 20 september 2011 39
Validitet Vad är diskrimenant och konvergent testning? Intern struktur Om ett item har faktorladdning UNDER 0.4 på samtliga faktorer i faktoranalysen... SKa det tas bort helt då? Diagnostiska studier Positiv och negativ likelihood kvot När man talar om positiva och negativa PREDICERANDE värden är definitionen "... att sjukdom föreligger" - menas det då att sjukdom troligtvis KOMMER ATT uppstå, eller att sjukdomen redan FINNS? Petter Gustavsson 20 september 2011 40
Frågesport! Är intern konsistens det samma som intern struktur? Är testets homogentitet det samma som testets dimensionalitet? Är intern konsistens och homogenitet ungefär samma sak? Är intern struktur ungefär samma sak som testets dimensionalitet? Petter Gustavsson 20 september 2011 41
Reliabilitet vad är skillnaden mellan KMO och homogenitet och unidimensionalitet!? Jag skulle vara tacksam om vi återigen gick igenom lite reliabilitetsberäkningar. Repris Petter Gustavsson 20 september 2011 42
petter.gustavsson@ki.se 08-5248 3659 www