Understanding Personal Potential: UPP-testet

Transkript

1 Understanding Personal Potential: UPP-testet Lennart Sjöberg Juni 2010 Psykologisk Metod AB

2 Disposition Bakgrund och syfte Vad testet mäter Begreppsvalideringar Proxy-kriterier Skönmålning Kvalitetsmätning Face validity Narrativa rapporter (expertsystem): normativa och ipsativa Jämställdhet och mångfald Slutsatser 2

3 Jag kommer att visa att Betydande vinster kan göras i form av ökad prognosförmåga om vissa fokuserade variabler inkluderas i ett personlighetstest FFM-modellen (Big Five) (som UPP-testet också mäter) är visserligen mer eller mindre uttömmande på en övergripande nivå men den tar inte hänsyn till det praktiska värdet av smalare testvariabler Ett nytt test har konstruerats som har många andra unika fördelar utöver detta Lennart Sjöberg 3 Psykologisk

4 Bakgrund och syfte 4

5 Personlighetens betydelse i arbetslivet 5

6 Vår målsättning var: Att konstruera ett svenskt test alltså inte bara en översättning av en amerikansk förlaga - som mäter femfaktormodellen ( Big Five ) och andra viktiga dimensioner samt tillåter korrektion för skönmålning Användbart både för rekrytering och utvecklingsarbete Inom ramen för ca 200 item, minuter Men med möjlighet att använda endast delar genom en modulstruktur Att skapa narrativa (beskrivande) verbala rapporter förutom kvantitativa profiler Att utveckla metdoken för bedömning av testdatas kvalitet och testmotivation i varje enskilt fall Att ta hänsyn till den testade personens emotionella tillstånd vid testningen Lennart Sjöberg 6 Psykologisk

7 Egen forskning: Utveckling av UPP-testet sedan 2005 Omfattande program studier, totalt ca 4000 testade personer Alla skalor reliabla och stabila över tid Begreppsvalideringar med genomgående goda resultat Validering mot arbetsmotivation ( proxy-kriterier ) Normdata för ca 1000 personer som tagit hela testet, 3500 för screeningmodulen (skarpt läge) Datorskapade narrativa rapporter UPP-testet tillgängligt på Internet 7

8 Forskningen fortsätter Testet är levande ; utveckling och forskning styrs av oss och användarnas önskemål Jämför amerikanska standardtest som är frusna och ändras ytterst sällan och då enbart i USA för att sedan översättas på nytt Vår kultur är annorlunda och värd sin egen testutveckling 8

9 Vad testet mäter 9

10 Dimensioner enligt femfaktormodellen FFM ( Big Five ) Dimensionens namn Högt värde (>5) utmärks av goda egenskaper i de flesta eller alla av nedanstående beteenden: Utåtvändhet Social, energisk, tycker om att ta kontakter och har lätt för det Emotionell stabilitet Klarar av stress och svårigheter utan att bli nervös, har ett lugnt humör, låter sig inte provoceras Öppenhet Tycker om abstrakta idéer, är öppen för nya tankar, vill gärna lära sig nytt Vänlighet Positiv till medmänniskorna, har få eller inga ovänner, engagerar sig i andras problem Noggrannhet Kontrollerar noga alla viktiga detaljer 10

11 Skala Antal Reliabilitet Genom-snittlig uppgifter eller (homogenitet korrelation ingående mellan variabler för uppgifterna de som ingår i aggregerade skalan måtten Utåtvändhet 10 0,86 0,49 Vänlighet 11 0,67 0,21 Emotionell stabilitet 8 0,75 0,34 Öppenhet 9 0,67 0,19 Noggrannhet 14 0,75 0,20 11

12 Hur långt kommer man med Big Five? 12

13 Big Five har problem Personnel Psychology

14 Big Five-dilemmat (ganska lite känt ) De övergripande dimensionerna saknar i stort sett validitet i arbetslivet De tre ledande testen på Big Five (HPI, OPQ och NEO-PI-R) bryter ner de övergripande dimensionerna i underdimensioner Detta ger en mycket komplex och svåröverskådlig bild Hur ska vi tolka det här? Med ca 200 item är det omöjligt att få reliabla underskalor Dessutom korrigerar man inte för skönmålning, varom mera senare Inte heller utvärderas datakvalitet och emotionellt tillstånd 14

15 Assessment center? Kostnadseffektivt? 15

16 Meta-analys av Assessment Centerdimensioner och arbetsprestation (Meriac et al., 2008) AC-dimension Korrelation med arbetsprestation Consideration of others 0.24 Communication Drive Influencing others Organization and planning Problem solving Stress tolerance

17 Utöver FFM ( Big Five ) mäter vi ett begränsat antal fokuserade variabler av vikt i arbetslivet Emotionell intelligens Social förmåga Positiv grundattityd Kreativitet Självförtroende Samarbetsvilja (motsatsen till Passiv aggression ) Kompulsiv noggrannhet (perfektionism) skild från sund noggrannhet Uthållighet Lennart Sjöberg 17 Psykologisk

18 Personlighetsdimensioner av särskild vikt i arbetslivet Dimensionens namn Högt värde (>5) utmärks av goda egenskaper i de flesta eller alla av nedanstående beteenden i arbetet: Samarbetsvilja Samarbetar gärna och i positiv anda med chefer och kamrater, lyssnar till andras råd, blir sällan försenad med uppgifter Kreativitet Har lätt att få nya idéer och uppslag, även av de mest originella och oväntade slag Emotionell intelligens Förstår sig på eget och andras känsloliv, kan hantera svåra emotionella lägen hos sig själv och andra Social förmåga Kan klara av att etablera och behålla goda relationer, löser upp sociala problemknutar Grad av positiv grundattityd Är i grunden positiv, hakar inte upp sig på motgångar eller på andras sociala oförmåga, sprider en god stämning omkring sig Uthållighet Ger inte upp trots misslyckanden, kan skaka av sig motgångar och ta itu med nya uppgifter i god stämning, låter sig inte nedslås Självförtroende Har ett grundläggande förtroende till den egna förmågan, tar gärna på sig nya uppgifter och utmaningar Perfektionism Höga värden i denna testvariabel tyder på mycket hög noggrannhet och upptagenhet med detaljer, vilket kan vara en fördel i vissa 18 sammanhang men en nackdel i andra

19 Skala Antal uppgifter Reliabilitet (homogenitet) Genomsnittlig korrelation mellan uppgifterna som ingår i skalan Utåtvändhet 10 0,86 0,49 Vänlighet 11 0,67 0,21 Emotionell stabilitet 8 0,75 0,34 Öppenhet 9 0,67 0,19 Noggrannhet 14 0,75 0,20 Uthållighet 8 0,78 0,23 Samarbetsvilja 11 0,79 0,18 Positiv grundhållning 10 0,84 0,28 Självförtroende 9 0,75 0,29 Social förmåga 8 0,78 0,23 Emotionell intelligens, självrapport 15 0,75 0,15 Kreativitet 8 0,75 0,33 Perfektionism 10 0,77 0,26 19

20 Varför just dessa dimensioner? Ett begränsat antal dimensioner av särskild vikt i arbetslivet Dimensioner som ligger nära vardagligt tänkande om personligheten och därför är ganska lätta att förstå Dimensioner som inte förutsätter mer eller mindre svagt underbyggda teorier 20

21 Faktorstruktur Uppgiftsorientering Social orientering Detaljorientering Arbetsrelaterade attityder 21

22 Passiv aggression (samarbetsvilja) Kärnan hos passiv aggression är dåligt socialt fungerande och ovilja att samarbeta Otydlig Undviker ansvar genom att skylla på glömska Skyller på andra Ständigt försenad och glömsk Klagar Är inte öppet fientlig eller ilsken Rädd för konkurrens Rädd för att vara beroende Rädd för närhet Rädd för auktoriteter Skapar kaos Avsiktligt ineffektiv Kommer med ursäkter och lögner Hindrar arbetet Skjuter upp uppgifter Förbittrad Lyssnar inte på andras förslag Spydig Tjurig 22

23 Passiv aggression Är ett relativt vanligt problem i arbetslivet; troligen % utmärks av hög nivå i denna egenskap Är svår att påverka eftersom det ingår som ett centralt moment att skylla på andra 23

24 Emotionell intelligens Förmågan att identifiera egna och andras emotioner Förmågan att handskas med emotioner Forskningen om EI är numera mycket omfattande och påvisar begreppets praktiska värde Även om det inte är så enormt som det har påståtts i viss marknadsföring och av Goleman, Bar-On m fl. och konsulter som baserar sin verksamhet på deras idéer 24

25 EI är ett indirekt mått på: (Avsaknad av) cynisk och manipulativ attityd Avsaknad av penninghunger och materialism Sjöberg, L. (2001). Emotional intelligence: A psychometric analysis. European Psychologist, 6, Engelberg, E., & Sjöberg, L. (2007). Money obsession, social adjustment, and economic risk perception. Journal of SocioEconomics, 36, Engelberg, E., & Sjöberg, L. (2006). Money attitudes and emotional intelligence. Journal of Applied Social Psychology, 36,

26 Emotionell intelligens mäts med självrapportfrågor och som prestation när det gäller att identifiera emotioner Lennart Sjöberg 26 Psykologisk

27 Avsky och ilska? 27

28 Bedömningsskalor Glädje Ilska Nedstämdhet Skam Skuld Förakt Förvåning Fruktan Lennart Sjöberg 28 Psykologisk

29 Vad är rätt svar? Definieras som det vanligaste svaret i en normgrupp Andra möjligheter har prövats i forskningen men detta tycks vara bäst och enklast Lite svårt att acceptera? Jämföra Massans vishet (Surowiecki, 2004). I situationer där alla har en del av sanningen blir gruppmedelvärdet ännu sannare! Lennart Sjöberg 29 Psykologisk

30 Likartade resultat med bildbedömningar och självrapportfrågor även om sambandet är lågt över individer 30

31 Emotionell intelligens 0,4 EI självrapport EI bild 0,2 0,0-0,2-0,4-0,6-0,8-1, Ålder 31

32 Medelvärde, standardiserad skala 0,1 0,0-0,1-0,2-0,3-0,4-0,5 Män Kvinnor -0,6-0,7 Självrapport Bilder 32

33 FFM och tillkommande personlighetsvariabler Kan de tillkommande variablerna förklaras av FFM-dimensionerna eller ger de något utöver dem? 33

34 Andel förklarad varians av de variabler som vi lagt till utöver FFM Variabel Förklarad varians utifrån FFM Uthållighet 0,259 Samarbetsvilja 0,202 Positiv grundattityd 0,054 Självförtroende 0,206 Social förmåga 0,333 Emotionell intelligens, självrapport 0,130 Emotionell intelligens, prestation 0,011 Kreativitet 0,264 Perfektionism 0,320 Medelvärde 0,198 34

35 Några exempel på resultat av forskning med UPP-testet 35

36 Uppgiftsorientering 0,2 0,1 0,0-0,1-0,2-0,3-0,4-0, Ålder

37 37

38 Inkomst Män Kvinnor Social förmåga 38

39 Proxy-kriterier 39

40 Proxy-kriterier Mått på arbetsprestation är mycket svåra att samla in, dels i princip dels för att företagen oftast är ovilliga att medverka till det Proxy-kriterier samlas enkelt in i samband med testningen Forskning finns som stödjer antagandet att de fungerar som indirekta mått på arbetsprestation De har ett värde i sig och underlättar starkt allt valideringsarbete 40

41 Arbetsrelaterade dimensioner: Proxy-kriterier Arbetsvilja Arbetstillfredsställelse Arbetsintresse Förändringsvilja Resultatorientering Balans arbete övrigt liv Lennart Sjöberg 41 Psykologisk

42 Arbetsmotivation och arbetsattityder: proxy-kriterier Dimensionens namn Högt värde (>5) utmärks av goda egenskaper i de flesta eller alla av nedanstående beteenden i arbetet: Arbetsvilja Arbetar hårt och koncentrerat och i god stämning, tar korta raster, är ofta upptagen av tankar om arbetet Arbetsintresse Är intresserad av sina arbetsuppgifter, går upp i dem, kan uppleva flow Arbetstillfredsställelse Trivs bra med jobbet, söker sig inte till andra uppgifter Resultatorientering Inställd på att få resultat, ser den egna och företagets prestation som något mycket viktigt Förändringsvilja Intresserad av förändringar som syftar till förbättringar av olika slag, ser möjligheten till förändringar som en intressant utmaning och som en möjlighet till kreativ problemlösning Balans arbete övrigt liv Upplever inte att arbetet stör möjligheterna till ett rikt övrigt liv med familj och vänner eller att familjen ställer krav som stör möjligheten att göra ett bra jobb 42

43 Skala Antal uppgifter Reliabilitet Genom-snittlig eller ingående (homogenitet) korrelation variabler för mellan de aggregerade uppgifterna måtten som ingår i skalan Arbetstillfredsställelse 3 0,92 0,68 Arbetsvilja 7 0,85 0,44 Resultatorientering 13 0,70 0,24 Förändringsvilja 8 0,70 0,31 Arbetsintresse 6 0,78 0,42 Balans arbete övrigt liv 9 0,90 0,53 43

44 Validering mot Proxy-kriterier Personlighet Arbetsvilja och Arbetsintresse Resultatorientering Arbetsprestation Förändringsvilja 44

45 Aggregerade variabler 45

46 Övergripande dimensioner som mäts som kombinationer av de grundläggande variablerna, reliabilitet inom parentes Jagstyrka (0.74) Stresskänslighet (0.61) Chefspotential (0.79) Anpassat efter kundens önskemål i varje särskilt fall 46

47 Validiteten hos jagstyrka mot chefers effektivitet 47

48 Kravspecificerade variabler Uppdragsgivaren kan själv definiera vilka vikterna är för lämplighet i en viss tillämpning Dessa vikter används sedan för beräkning av en sammansatt poäng I vissa fall är det även av intresse att ta fram vikter för olämplighet, som också kan läggas till grund för en aggregerad skala Båda dessa skalor normeras 48

49 Fördelen med aggregerade variabler Ett mindre antal dimensioner som är nära relaterade till praktiska behov Jämför andra test som gör tvärtom: de skriver upp antalet testvariabler till troligen med syftet att göra mera nyanserade beskrivningar Men resultatet blir komplexitet och frågan: Hur ska vi tolka det här testresultatet? 49

50 En personlighetens g-faktor: Jagstyrka Testvariablerna visar en endimensionell struktur, även efter korrektion för skönmålning Detta kan tolkas som att de mäter den övergripande dimensionen Jagstyrka Jagstyrka är förmågan att se sig själv och verkligheten sådan den är, och att styra sitt eget beteende Detta kan sägas vara personlighetens g-faktor, och mäts genom en summering av alla deltesten (utom noggrannhet och perfektionism) Detta är en mycket bredare ansats till jagstyrka än de få tidigare försöken att mäta detta eller besläktade begrepp som resilience Lennart Sjöberg 50 Psykologisk

51 Jagstyrka Högt värde (>5) innebär goda egenskaper i de flesta eller alla av nedanstående beteenden i arbetet: Verklighetsanpassad, har en klar syn på omvärlden och den egna personens styrka och svagheter, kan väl hantera sitt känsloliv och sina impulser, är långsiktig och tålig, är inte prestigekänslig, har ett lugnt humör och en positiv grundsyn, kan se sig själv med distans och humor 51

52 Jagstyrka Ingår i alla personlighetsvariabler utom noggrannhet och perfektionism Många av personlighetens mörka sidor har negativa samband med jagstyrka Pågående utvecklingsarbete: lägga till skala som mäter narcissism Obs: EI/jagstyrka negativt till cynism, manipulativ attityd och stark egoism och money obsession 52

53 Begreppsvalidering av jagstyrka (korrigerad för mätfel) Relation med härdighet (hardiness): 0.77 Maddi, S. R. (2006). Hardiness: The courage to grow from stresses. The Journal of Positive Psychology, 1, Relation med proaktiv hållning: 0.62 Bateman, T. S., & Crant, J. M. (1993). The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior, 14,

54 Vad gäller ledarskap Tidigare forskning som ansågs visa att personligheten saknar betydelse har inte verifierats Tvärtom: personligheten har betydelse både för vem som blir chef och hur bra han/hon lyckas 54

55 55

56 Stresskänslighet EI Emotionell stabilitet Uthållighet Samarbetsvilja Positiv grundattityd Social förmåga Perfektionism (efter vändning) Reliabilitet:

57 Stresskänslighet Högt värde (>5) kan innebära problem för personen att fungera bra under stress: negativa emotioner som ilska, rädsla, eller nedstämdhet. Under stress kan personen bli låst vid detaljer (perfektionism) och tunnelseende, dvs. ha svårt att ta med alla viktiga aspekter i problemlösning och beslutsfattande. Uthålligheten kan bli nedsatt, och relationen till andra människor negativ. 57

58 Stress sensitivity (reversed) and experience of a one s least bad (if several) divorce Stress resilience (standardized scale) 0,5 0,0-0,5-1,0-1,5-2,0 s ce ad ad od OK n b b o em l e s r i y a rg ob er er he o r t p V ti w n Ra ex d ep a o m b N so er t h et bu, N OK 58

59 Chefspotential Förändringsvilja Emotionell intelligens Arbetsvilja Emotionell stabilitet Extraversion Arbetsintresse Kreativitet Uthållighet Samarbetsvilja Positiv hållning Resultatorientering Självförtroende Social förmåga Öppenhet Reliabilitet:

60 Chefspotential Högt värde (>5) innebär en god förmåga att leda och motivera medarbetare, en god förståelse av andra människor och förmåga att inge förtroende. I denna dimension ingår också förmågan att planera arbetet för en grupp, och att ha god framförhållning. 60

61 Chefspotential (standardiserad skala) 0,5 0,4 0,3 0,2 0,1 0,0-0,1-0,2 Chef Ej chef 61

62 Några valda resultat av begreppsvalideringar 62

63 Emotionell intelligens och social förmåga 63

64 Standardiserad testpoäng 0,15 Män Kvinnor 0,10 0,05 0,00-0,05-0,10-0,15 EI Social förmåga 64

65 Genomsnittligt standardiserat värde 0,4 0,2 0,0-0,2-0,4-0,6 Gift, sambo Särbo Ensamstående -0,8 Emotionell intelligens Social förmåga 65

66 Balans arbete - övrigt liv 0,6 0,4 0,2 0,0-0,2-0,4 Män Kvinnor -0, Emotionell intelligens (20%-grupper) 66

67 Korrelationer (korrigerade för mätfel) mellan några av UPP-testets variabler och begreppskriterier EI i relation till Furnhams TEIQue: 0.83 Social förmåga i relation till Jones et al.:s skala för social osäkerhet ( shyness ): 0.50 Uthållighet mot Gritskalan av Duckworth et al: 0.51 Självförtroende mot Rosenbergs skala: 0.70 Samarbetsvilja mot Hogans skala på passiv aggression:

68 Valideringar 68

69 Validering mot externt kriterium UPP-testets kriterievaliditet med avseende på chefsansvar i denna studie låg på 0.52, vilket troligen är en underskattning. Värdet är på den nivå som framkommit i metaanalyser Tillskottet av förklaringsvärde genom UPPtestets variabler utöver FFM-modellen var starkt statistiskt signifikant 69

70 Studie av anställda inom Customer Service, finansbolag (N=53) Omfattande formulär för förmansbedömning av arbetsinsatser Tre övergripande dimensioner: Värde för företaget Effektivitet Social funktion Hög reliabilitet i bedömningarna 70

71 Sex bästa testvariablerna Samarbetsvilja Uthållighet Positiv attityd Utåtvändhet (B5) Emotionell stabilitet (B5) Balans 71

72 Validiteter Värde för företaget: 0.50** Effektivitet: 0.39** Social funktion:

73 Validering mot externt kriterium Validering mot chefsansvar (N=107), binärt kriterium Variabelgrupp R, Cox & Snell R, Nagelkerke χ2 df p Hela UPP-testet < FFM-modellen UPP-testets tillkommande variabler <

74 Social anpassning i arbetsmiljön 1,2 Växjöskalan Ferrisskalan 1,0 0,8 0,6 0,4 0,2 0,0-0,2-0,4-0,6-0,8-1, Social förmåga (20%-grupper) 5 74

75 Social anpassning i arbetsmiljön 0,6 0,4 Ferrisskalan Växjöskalan 0,2 0,0-0,2-0,4-0,6-0, Emotionell intelligens (20%-grupper) 75

76 Tabell 3. Hierarkisk regressions analys av social arbetsfunktion Grupp av oberoende variabler R2adj Δ R2 F för ΔR2 Steg 1: FFMmodellen Steg 2: FFM + EI och social förmåga df p (FFMmodellen ) 2,99 < (tillskottet i steg 2) Kriteriekorrelationen som svarar mot 32.3 % förklarad varians är = Tillskottet som UPP-testets relevanta variabler svarar för utöver FFM är mycket stort och starkt signifikant. 76

77 Social förmåga Samarbetsvilja EI Matchande kriterium: Social arbetsfunktion Positiv hållning Extraversion Självförtroende Förändringsvilja Vänlighet Kreativitet Arbetstillfredsställelse Öppenhet Arbetsintresse Resultatorientering Uthållighet Arbetsvilja Emotionell stabilitet Perfektionism Balans Noggrannhet -0,2 0,0 0,2 0,4 0,6 Korrelation testvariabel - social arbetsfunktion 0,8 77

78 Validering mot proxykriterier: Exemplet arbetsvilja R2adj FFM (IPIP) 0,033 FFM (IPIP) + 0,455 tillkommande dimensioner i testet Ökning av förklarad varians 0,432 F (ökning) Df Ökningens signifikans 25,845 10/311 P<0,

79 Validering mot 6 proxykriterier, multipla korrelationer (kvadrerade) Kriterium FFM UPP-testet Förändringsvilja 0,137 0,274 Arbetstillfredsställelse 0,008 0,454 Arbetsvilja 0,010 0,475 Resultatorientering 0,106 0,212 Arbetsintresse 0,054 0,389 Balans arbete/övrigt liv 0,045 0,097 Medelvärde 0,041 0,317 79

80 De viktigaste prediktorerna av proxykriterierna, i ordningen: Samarbetsvilja Kreativitet Extraversion (B5) Uthållighet Positiv grundattityd Perfektionism Märk: Bara en av FFM-dimensionerna ingår bland de viktigaste prediktorerna 80

81 Hur rättvisande är proxyvalidering? 81

82 0,80 Korrelation med proxy-kriterier 0,60 0,40 0,20 0,00 R Sq Linear = 0,416-0,20-0,20 0,00 0,20 0,40 0,60 0,80 Korrelation med Värde för företaget (chefsbedömning) 82

83 Proxyvalidering fungerar! 83

84 Proxyvalidering möjliggörs genom UPP-testet eller dess modul med enbart proxykriterier gör testvalidering enklare och billigare kan förhoppningsvis leda till förnyat intresse för testvalidering bör kunna genomföras rutinmässigt i varje ny grupp av testade och syfte 84

85 Skönmålning 85

86 Skönmålning Skönmålning är mycket vanligt förekommande och mycket stort problem vi alla former av självrapporttest Det vanligaste sättet att hantera problemet med skönmålning är att använda ett svarsformat som ber om jämförande bedömningar (ipsativt format) Men sådana svarsformat ger data som är mycket svåra att analysera psykometriskt Empirisk forskning visar att de INTE eliminerar effekterna av skönmålning Ett annat sätt att arbeta är att utveckla och tillämpa skalor som mäter tendensen att svara på ett socialt önskvärt sätt Både overta och koverta (dolda) sådana skalor används i UPP-testet 86

87 Overta och koverta (dolda) skalor Den overta skalan mäter tendensen att inte medge mycket vanliga normbrott den kan eventuellt vara lite för transparent: Jag har aldrig ljugit om något av betydelse Inget tyder på problem med en overt skala men ändå har vi utvecklat en kovert skala som inte kan genomskådas av en sofistikerad testperson Den koverta skalan innehåller vanliga självrapportuppgifter som är utvalda för att de hade starka samband med en overt skala Korrektion enbart med den koverta skalan gav resultat som korrelerade med data som korrigerats både med overt och kovert skala Det finns alltså stöd för att enbart använda den koverta skalan, något som för närvarande sker bl a i vissa tillämpningar av screeningmodulen 87

88 Korrektion för skönmålning Samarbetsvilja (omvändningen av passiv aggression) 5,5 r = 0,56 5,0 4,5 4,0 3,5 Regressionslinje 3,0 2,5 2,0 1,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 Skala för mätning av tendensen att svara socialt önskvärt Korrigerade värden mäts som residualer 88

89 Viktigt: SPECIFIK korrektion Testvariabel Andel av variansen som förklaras av skönmålning (två skalor) Extraversion 0,139 Vänlighet 0,258 Emotionell stabilitet 0,276 Öppenhet 0,104 Noggrannhet 0,098 Uthållighet 0,112 Samarbetsvilja 0,243 Positiv grundattityd 0,338 Självförtroende 0,273 Social förmåga 0,153 Emotionell intelligens 0,207 Kreativitet 0,023 Perfektionism 0,042 89

90 Faking study Personality scales Work related attitudes Standardized test scores 0,2 0,2 Faked responses Honest responses Faked responses Honest responses 0,1 0,1 0,0 0,0-0,1-0,1-0,2-0,2-0,3-0,3 Raw values Corrected values Raw values Corrected values 90

91 Anonym ous te s ting High s tak e s te s ting 6 5,31 5,5 4,9 5 4,5 5,29 4,13 4 3,5 3 Raw data Corre cte d data The effects of correction for impression management admission testing Scale 1-9, mean = 5, SD = 2 91

92 Medelvärden i skönmålning Skönmålning, standardiserad skala 0,6 0,4 0,2 0,0-0,2-0,4-0,6 Oskarpt läge Skarpt läge 92

93 Genomsnittliga värden i personlighetsvariablerna före och efter korrektion för skönmålning, skarpt och oskarpt läge. Medelvärde 0,4 Oskarpt läge Skarpt läge 0,2 0,0-0,2-0,4 g rri o Ok n de r ä ev d a er rri o K de ra e g n de r vä 93

94 Slutsatser Det fungerar! Effekterna kan vara mycket stora på individuell nivå 94

95 Ipsativa format som försök att lösa problemet med skönmålning Tycks vara en trovärdig lösning av problemet med skönmålning Innebär att uppgiften är att välja mellan olika påståenden. Vad passar bäst, vad passar sämst? Inte: hur bra stämmer detta påstående för dig? Används mycket ofta i personlighetstest i arbetslivet Ändå finns inget stöd för den metoden 95

96 Flera problem med ipsativa format De testade tycker inte om dem jämföra päron och äpplen Forskningen har visat att effekten av skönmålning inte elimineras Psykometriska analyser är omöjliga på grund av matematiska beroenden mellan testuppgifterna 96

97 Men viktigast är Vid ipsativ testning får man resultat som inte kan jämföras mellan individer, bara inom T ex kan man säga Lennart är mera kreativ än energisk men inte Pelle är mera kreativ än Lennart. För de flesta tillämpningar av test, t ex urval, är det helt nödvändigt att kunna jämföra individer Ipsativa test är inte användbara för detta syfte, men ändå märkligt nog används de, t ex OPQ, PPA (Thomas), Master, Garuda och Perspektiv 97

98 Stämningsläge 98

99 Stämningsläge har i allmänhet ignorerats i testanvändning kan påvisas vara av stor betydelse är en viktig felfaktor för vissa testvariabler om stämningsläget är extremt 99

100 Medelvärde i personlighetsskala, standardiserad 0,8 Emotionell stabilitet Noggrannhet 0,6 0,4 0,2 0,0-0,2-0,4-0, Humör, 20%-grupper 100

101 Tabell 1.2. Korrelationer mellan stämningsläge och Big Five-dimensionerna. Glad - ledsen Pigg - trött Lugn - spänd Humör, sammanslaget Vänlighet 0,09 0,11 0,08 0,11 Emotionell stabilitet 0,50** 0,35** 0,38** 0,50** Öppenhet 0,38** 0,50** 0,21** 0,41** Utåtvändhet 0,43** 0,37** 0,22** 0,39** Noggrannhet 0,01 0,30** 0,03 0,11 101

102 Medelvärde i standardiserade personlighetsskalor 0,4 0,2 10% lägsta i humör Övriga 0,0-0,2-0,4-0,6 et h g nli Vä e ll n o oti m E it bil a t s et t he n pe Öp t he d än v t å Ut t he n n ra g g No 102

103 Kvalitetsmätning 103

104 Ansats för kvalitetsmätning i ett flertal avseenden utöver skönmålning En del testningar är otillförlitliga på grund av slarv, bristande förståelse av testet etc. Det är därför viktigt att mäta kvaliteten på de testdata som varje person skapar genom sina svar UPP-testet är unikt genom att ge en bred beskrivning av kvaliteten i ett antal olika dimensioner som sammanvägs till ett övergripande mått Är detta värde lågt i förhållande till en normgrupp rekommenderas omtestning efter en diskussion om vilka problemen varit 104

105 Mått på testningens kvalitet Dimensionens namn Förklaring Skönmålning, direkt mätning Tendens att svara på ett sätt som uppfattas som socialt önskvärt i normrelaterade uppgifter Skönmålning, indirekt mätning Tendens att ge socialt önskvärda svar i personlighetsrelaterade uppgifter Ja-sägartendens Tendens att hålla med om positiva påståenden i testet och ta avstånd från negativa påståenden oavsett deras innehåll Differentiering mellan uppgifter Tendens att ge olika svar på olika uppgifter i testet i stället för att välja samma svarsalternativ för många av uppgifterna Stämningsläge vid testningen En sammanvägning av stämningsdimensionerna nedstämdhet, vakenhet och lugn Strukturlikhet Tendens att ge svar som avspeglar testuppgifternas avsedda innehåll mäter att uppgifterna har besvarats noggrant och inte mer eller mindre slumpmässigt, samt att den testade personen förstått deras innehåll på det sätt som var avsett Antal obesvarade uppgifter (Behöver inte förklaras) 105

106 Datakvalitet Tabell 8.1 Interkorrelationer mellan mått på testningens kvalitet, samt reliabilitet och stabilitet för kvalitetsmåtten. IntraLåg1 jaintralåg1 overt Låg1 kovert Reliabilitet individuell sägartenden individuell skönmålning skönmålning korrelation s spridning) Stabilitet Intra-individuell korrelation 1,00 0,84 0,40 0,48 0,71 0,75 0,84 Låg1 jasägarten-dens 0,84 1,00 0,69 0,50 0,69 0,92 0,82 Intra-individuell spridning 0,40 0,69 1,00 0,29 0,52 0,94 0,84 Låg1 overt skönmålning 0,48 0,50 0,29 1,00 0,50 0,71 0,80 Låg1 kovert skönmålning 0,71 0,69 0,52 0,50 1,00 0,61 0,71 106

107 Begreppsvalidering av kvalitetsmått Ålder äldre testade hade högre datakvalitet Kön kvinnor hade högre datakvalitet Utbildning högre utbildning var förknippad med högre datakvalitet Testningens konsekvenser datakvaliteten var högre vid testning i skarpt läge 107

108 Datakvalitet Standardiserad skala, M=5, SD=2 5,6 Män Kvinnor 5,4 5,2 5,0 4,8 4,6 4, Åldersgrupp (20%-grupper) 108

109 Datakvalitet Standardiserad skala, M=5, SD=2 5,4 5,2 5,0 4,8 4,6 4,4 4,2 4,0 a ol k ds n u Gr r m å r+ u å i 3 s a< a3 l l na m ko ko y s s G g g Hö Hö 109

110 Datakvalitet Standardiserad skala, M=5, SD=2 7,0 6,5 6,0 5,5 5,0 4,5 4,0 Skarpt läge Oskarpt läge 110

111 Validering mot prognosvärde Alla kriterier slogs ihop, relaterades till testskalorna med multipel regression (r=0.66) Felen i prognosen av kriterierna från testskalorna beräknades för varje individ Dessa fel konverterades till absolutbelopp, dvs tecknet på negativa värden ändrades till positivt, för att få ett mått på felens storlek oavsett riktning 111

112 Genomsnittliga residualer (absolutbelopp, standardiserade) i regressioner av sammansatt kriterium mot samtliga personlighetsvariabler. 0,30 0,20 Residual 0,10 0,00-0,10 R Sq Quadratic =0,658-0,20 0,00 2,00 4,00 6,00 8,00 10,00 Datakvalitet (percentiler) 112

113 Intryck av validitet: Face validity Många test ger ett intryck av att vara valida (face validity) Detta är inte någon bra grund att basera en bedömning av ett test på! Man bör också se upp med påståenden av testkonstruktörer, särskilt om de säger att testet är nästan perfekt (sådana test finns inte) Det kan förekomma fusk med data eller trixande med statistik och grafik i syfte att påvisa validitet Men de testades attityd till testet är relevant och viktig information 113

114 Tabell 8.4. Bedömning av UPP-testet av de testade, procent. Nej, Nej, i Tveksam Ja, i stort Ja, absolut stort sett t sett absolut inte inte Anser du att testningen var meningsfull? 8,3 8,3 6,9 44,4 31,9 Tog testet upp viktiga frågor? 8,3 6,9 1,4 56,9 26,4 Var instruktionerna klart formulerade? 1,4 2,9 1,4 24,3 70,0 Var testuppgifterna klart formulerade? 2,8 1,4 4,2 40,3 51,4 Var svarsalternativen klart formulerade? 2,8 2,8 5,6 45,1 43,7 Var det en intressant uppgift att besvara testuppgifterna? 7,0 7,0 2,8 29,6 53,5 Var det något som saknades i testet? 21,1 32,4 42,3 4,2 0,0 114

115 Tabell 8.5. Jämförelse mellan UPP-testet och andra test, procent. Har inte Klart tagit bättre något annat test Var testet bättre eller 11,3 sämre än andra personlighetstest som du har tagit? 12,7 Något bättre Varken bättre eller sämre Något sämre Klart sämre 26,8 40,8 8,5 0,0 115

116 116