Prognosförmågan hos psykologiska test

Transkript

1 Prognosförmågan hos psykologiska test Lennart Sjöberg Seminarium på temat Har psykologiska tester något egentligt prognosvärde vid rekrytering och urval?" HRK, 6 oktober 2006

2 Syfte En snabb överblick av psykologiska test: abilitet och personlighet Typer av personlighetstest Femfaktormodellen Emotionell intelligens Egen forskning och eget utvecklingsarbete

3 Finns av många slag: Numeriska Verbala Spatiala Analytiska etc Abilitetstest Dessa test har höga inbördes samband och mäter huvudsakligen en s k g-faktor Testen har ganska god prognosförmåga, omkring 0,4, för de flesta arbetsuppgifter Denna prognosförmåga kan återföras på g-faktorn Abilitetstesten är dock impopulära eftersom hälften av de testade ligger under genomsnittet inte roligt att höra eller delge!

4 Personlighetstest Ett vanlig typ av personlighetstest har oftast inga svar som är rätt eller fel det består av påståenden man ska ta ställning till Dessa test är av självrapport-typ I stället utvärderas antalet svar som går i en viss riktning, t ex tyder på utåtvändhet eller en nervös läggning Sådana uppgifter brukar formuleras i två olika riktningar så att man balanserar bort en tendens att hålla med om allting (ja-sägartendens) Vid utvärderingen måste man förstås ta hänsyn till riktningarna och vända vissa uppgifter Största problemen med dessa test är att många ej har validerats för svenska förhållanden, och svårigheten att hantera den starka tendensen att ge falska, skönmålande svar

5 Personlighetstest av andra typer Projektiva test som Rorschach,TAT och DMT Utvärderas mera subjektivt Idén är att den testade projicerar sin personlighet i sin tolkning av mångtydiga bilder eller meningar Dessa typer av test har ingen dokumenterad prognosförmåga inom arbetspsykologiska tillämpningar

6 Intryck av validitet Många test ger ett intryck av att vara valida (face validity) Ett vanligt argument är att ett test har fått stor spridning, en svårtolkad uppgift Detta är inte någon bra grund att basera en bedömning av ett test på Man bör också se upp med påståenden av testkonstruktörer, särskilt om de säger att testet är nästan perfekt (sådana test finns inte) Det förekommer också fusk med data i syfte att påvisa validitet

7 Varför test? Enligt media ökar antalet avskedade VD:ar Klagomål på chefer är mycket vanliga Kreativitet, social och emotionell förmåga, energi och intresse tycks vara bristvaror detta trots omfattande testningar och intervjuer före anställning Vi tycks behöva bättre test

8 Alternativ Intervjuer av traditionell typ ( djupintervjuer ) kan ha sitt värde men saknar prognosvärde Strukturerade intervjuer fungerar bättre men används troligen sällan Observera dock att personintrycket kan styras av ovidkommande faktorer det etablera snabbt och påverkar starkt intervjun Andra typer av information behöver kompletteras med test

9 Femfaktormodellen för personlighet Dominerar sedan omkring 1990 De grundläggande 5 dimensionerna (även kallade Big 5 ) är Utåtvänd/inåtvänd Emotionell stabilitet Intellektuell öppenhet (kreativitet) Samvetsgrannhet Sociabilitet ( trevlighet )

10 Överblick av internationell forskning om personlighet (FFM) och ledarskap Många har hävdat att framgång i ledarskap, eller vem som blir ledare, inte kan prediceras med egenskapsmodeller Personality and leadership: A qualitative and quantitative review. By Judge, Timothy A.; Bono, Joyce E.; Ilies, Remus; Gerhardt, Megan W. Journal of Applied Psychology Aug Vol 87(4) I och med FFM menar författarna att det finns en bättre chans att strukturera området De genomför en mycket omfattande meta-analys På så sätt får de en snabb och effektiv sammanställning av 100-tals undersökningar som kan inordnas i FFM-modellen

11 Resultat av omfattande meta-analys av prognos av ledarskap Mest lovande är Utåtvändhet Kreativitet (intellektuell öppenhet) Pålitlighet/noggrannhet Mindre betydande prognosförmåga Emotionell stabilitet Trevlighet (agreeableness) Enskilda variabler ligger på validitet omkring 0.25, multipel korrelation på ca 0.5. Bäst prognos av vem som blir ledare, mindre bra av ledarens effektivitet

12 Andra viktiga dimensioner som kommer till utöver femfaktormodellen- den säger inte allt! Grundläggande värderingar Förmåga att hantera misslyckanden Positiv grundinställning till sig själv och andra Kreativitet Självförtroende Passiv-aggressiv (negativ)

13 Värderingar Omfattande forskning har visat att information om värderingar ger ett viktigt tillskott till personlighetsfaktorerna Vid många anställningar, t ex av chefer, vill man väga in kandidaternas värderingar I vårt arbete använder vi ett enkelt tvådimensionellt system: Egen fördel, makt och njutning mot att arbeta för andras och samhällets bästa Spänningssökande, energi, och resultat mot trygghet och att bli respekterad

14 Grundläggande värdestruktur Pengar och hedonism Prioriterar sig själv (egoist) A. Egoist, vill ha ansvar och resultat C. Egoist, vill ha trygghet och respekt Faktor 2 Intresse, ansvar och resultat Trygghet och respekt B. Altruist, vill ha ansvar och resultat D. Altruist, Vill ha trygghet och respekt Miljö och sociala värden Prioriterar miljö, samhälle och andra (altruist)

15 Emotionell intelligens Den andra stora nyheten inom personlighetstestning sedan 1990 De empiriska resultat är lovande men inte genomgående lika kraftfulla som för FFM Intresset är dock stort och växer

16 The development of research interest in EI measured as number of items in PsychINFO with search term 'Emotional Intelligence' 200 Number of documents in PsycLit

17 Exempel på uppgift att identifiera ansiktsuttryck i vårt EI-test Fruktan och förvåning

18 Några vanliga personlighetstest OPQ påstås mäta ett stort antal faktorer med ganska få item vilket ej kunnat dokumenteras, har låg validitet (omkring 0,2) som faktiskt är sämre än de flesta test som brukar ligga på 0,3. Frågor om forskning lämnas obesvarade. Myers-Briggs påstås mäta enligt Jungs personlighetsteori som dels är oklar, dels knappast speciellt väl avspeglad i testet. Ipsativt test inga jämförelser mellan personer möjliga PPA/Thomas. Korta adjektivskalor som mäter några få dimensioner. Knappast personlighetstest, mera underlag för diskussion. DMT och Hjulet: projektiva test utan dokumenterad validitet i arbetspsykologiska tillämpnongar 16 PF ett test från 1940-talet och första generationen av faktoranalytisk personlighetstestning. Nu sedan länge passerat av forskningen. Ingen svensk validering dokumenterad. Captain: förefaller vara en variant på femfaktormodellen, men forskning tycks saknas Neo-PI-R och liknande stort upplagda test mäter FFM (Hogan). I någon mån validerade i Sverige. Dark side testet av Hogan mäter dock affekt snarare än ett stort antal separata dimensioner. Ej validerat i Sverige

19 Testmarknaden i Sverige. Bara ganska få valideringar och ingen omfattande egen forskning på test i Sverige Många föråldrade (16 pf) eller teoretiskt dåligt förankrade test Okritiskt hållning till att svaren på testfrågorna kan vara medvetet vilseledande [ psykologen kan genomskåda sådant, folk ljuger inte för det är inte i deras intresse att få ett jobb de inte klarar av (!)]

20 Nytt chefstest Använder både självrapportformat och prestationsuppgifter Mäter - Emotionell intelligens - Motståndskraft mot misslyckande - Stresstålighet - Självförtroende - Genomförande[1] - Kreativitet - Positiv grundattityd - Utåtvändhet [1]. Denna dimension avser uppgörande av planer och genomförande av dem, en aspekt på conscientiousness, som ingår i Big 5. En annan aspekt, ordningssamhet, prövades men hade ingen validitet. Troligen gränsar den till den negativa dimensionen perfektionism och tvångsmässig noggrannhet

21 Vad finns gemensamt i dessa dimensioner? Det klassiska begreppet (i klinisk psykologi) jagstyrka tycks täcka in den gemensamma faktorn Det handlar om realitetsanpassning, emotionell stabilitet och en positiv social hållning

22 Vad är jagstyrka som psykologiskt begrepp? En jagstark person: Ser verkligheten både den sociala och fysiska som den är, önsketänker inte Kan reagera effektivt på motgångar ger inte upp, låter sig inte nedslås, men vet också när han eller hon bör ge upp Har förmåga att handskas med impulser och starka önskningar, kan skjuta på belöningar Är inte rigid utan kan tänka om och anpassa sig efter omständigheterna Planerar och genomför sina planer, skjuter inte på svåra uppgifter Har högt självförtroende Etablerar och behåller positiva relationer, skaffar sig få ovänner och kan t o m vända fiendskap till vänskap, är inte besatt av pengar Är inte prestigelåst Är nyfiken på världen och människorna, har lätt för att bli starkt intresserad Är kreativ Kan handskas med konflikter, är inte konflikträdd Är samvetsgrann men inte tvångsmässigt upptagen med detaljer Har sinne för humor och kan skratta också åt sig själv Hanterar alkohol med kontroll och måtta

23 Validering Tillämpades på 66 chefer på mellannivå Arbetsprestation bedömdes av deras chefer och av dem själva

24 Resultat Validitet 0.68, av en kombinerad testpoäng baserad på samtliga dimensioner! Speciellt hög validitet efter korrektion för tendensen att ge skönmålande svar Följande två figurer visar samband mellan test och arbetsresultat Testet kan mycket väl identifiera dem med god prognos och dem med mindre god prognos i chefsarbete

25 Work achievement as a function of a composite personality dimension of ego strength Achievement Ego strength

26 Work achievement vs ego strength at the level of individuals 8 Achievement r = Ego strength

27 Kommentar till resultatet Sambanden är starka: extremerna på testet har en tydlig prognos (positiv eller negativ) Testresultat omkring medelvärdet (4-6) medför osäkerhet: det kan gå bra och det kan gå mindre bra för dessa personer Speciellt i en situation som liknar screening, dvs ganska många testade för en befattning, kan vi troligen en short list som innehåller en eller flera personer med excellenta utsikter, Testet är också mycket informativt när ett fåtal personer testas och sätts i relation till vår ackumulerade normgrupp

28 Varför fungerar det? Vi mätte jagstyrka med hjälp av ett stort antal delkomponenter vi gjorde en mycket bred avtäckning av begreppets kärna Varje komponent mättes med stor precision På så sätt fick vi en motsvarighet till g-fakorn inom intelligenstestningen Detta tycks vara kärnan i personligheten när det gäller framgång

29 Skönmålning Vår korrektion för falska, skönmålande svar får ett solitt stöd i vår forskning och visar bl a att kvinnliga sökande bedöma mera rättvist på detta sätt de är nämligen mera ärliga På individnivå kan effekterna vara enormt stora, t ex när det gäller rangordning mellan sökande

30 Korrektion för att få mera sanna och rättvisande svar Vi använder måttet på taktiksvar för att korrigera data så att vi får en mera rättvisande bild, rensad från taktik Detta förfarande har vi validerat genom att studera grupper som svarat helt anonymt och som ej haft anledning ge skönmålande svar

31 Före och efter korrektion för tendensen att skönmåla: Anonyma Skarpt läge Omvändning! 6 5,5 5,31 5,29 5 4,9 4,5 4,13 4 3,5 3 Ej korrigerade data Korrigerade data Skala 1-9 Medelvärde=5, standardavvikelse=

32 Märk att Före korrektion hade de som testades i skarp läge ett mycket högre värde i emotionell stabilitet än de anonyma testade Men efter korrektion blev förhållandet det motsatta

33 Konsekvenser I enskilda fall kan det bli dramatiska förskjutningar, speciellt bland dem som hamnar högt i testresultat före korrektion I en grupp med ca 200 testade hamnade nr 1 och 2 före korrektion på rangplatserna 142 och 34 efter korrektion Kvinnor svarar ofta mera ärligt än män och missgynnas därför om man inte korrigerar Därför flyttas kvinnor fram i rangplats och män flyttas tillbaka efter korrektion en starkt signifikant effekt Naturligtvis gynnar korrektionen även män som svarar ärligt

34 Könsskillnader före och efter korrektion Män Kvinnor 6 5,5 5,54 5 5,09 4,9 4,5 4 3,66 3,5 3 Före korrektion Skala 1-9 Medelvärde=5, standardavvikelse=2 Efter korrektion

35 Dokumentation Omfattande dokumentation finns på min hemsida samtpå