UPP-testet: Mångfald gynnas av korrektion för skönmålning. Lennart Sjöberg Rapport 2010:2

Transkript

1 UPP-testet: Mångfald gynnas av korrektion för skönmålning Lennart Sjöberg Rapport 2010:2

2 Psykologisk Metod L Sjöberg AB arbetar med utveckling och användning av psykologiska test samt undersökningar av attityder och riskuppfattningar, andra psykologiska utredningar och tillämpad forskning. Vår affärsidé är att bedriva arbetet i nära anslutning till den aktuella forskningen inom psykologin. Skrifter utgivna av Psykologisk Metod AB Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. Rapport 2008:1. Sjöberg, L., & Möller, K. (2009). Sociala arbetsfunktioner och personlighet. Rapport 2009:1. Sjöberg, L. (2009). UPP-testet: Kriterierelaterad validitet. Rapport 2009:2. Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Rapport 2009:3. Sjöberg, L. (2010). UPP-testet: Tredje generationens personlighetstest. Rapport 2010: 1. Sjöberg, L. (2010). UPP-testet: Reviderad manual. Sjöberg, L. (2010). UPP-testet: Mångfald gynnas av korrektion för skönmålning. Rapport 2010:2. Timmermansgränd / Stockholm info@psykologisk-metod.se

3 UPP-testet: Mångfald gynnas av korrektion för skönmålning 1 Lennart Sjöberg Psykologisk Metod AB Sammanfattning UPP-testets screeningmodul togs av 1622 arbetssökande, varav 250 var av utländsk härkomst. Reliabiliteten var god i båda grupperna. Korrelationerna med skönmålning var likartade i båda grupperna, för var och en av de fem personlighetsvariabler som mäts i screeningmodulen. Korrektion för skönmålning visade sig gynna invandrargruppen, vars medelvärde efter korrektion var högre än övrigas i 3 av 5 dimensioner. Även i de 2 dimensioner där arbetssökande med svensk härkomst hade ett högre medelvärde var skillnaden betydligt reducerad mellan grupperna efter korrektion. När gruppen av arbetssökande rangordnades i de fem personlighetsvariablerna före och efter korrektion för skönmålning visade det sig att de sökande med utländsk härkomst fick ca 30 rangsteg bättre placering till följd av korrektionen. Sökande med svensk härkomst förlorade ca 5 rangsteg. Extremt stora förändringar i rangplacering troligen av särskild betydelse i en anställningsprocess - var dubbelt så sannolika bland invandrarna som bland dem av svensk härkomst. Slutsatsen är att screeningmodulen hade de förväntade psykometriska egenskaperna även för en grupp av invandrare samt att dessa gynnades av korrektionen för skönmålning, som sannolikt ger en mera rättvisande bild av dem som tagit testet än okorrigerade data. Den psykometriska metodik som används i UPP-testet bör därför kunna leda till större rättvisa och till minskade svårigheter för invandrare att få jobb. På analogitestet hade invandrarna sämre resultat än övriga. Om begåvningstest ska användas i en situation där invandrare ingår i gruppen av testade bör detta vara icke-verbalt, eller bör en särskild normtabell för invandrare koma till användning. Inledning Det är väl känt att invandare har svårt att få jobb. Det kan finnas många orsaker till det. Användningen av psykologiska test borde kunna vara till fördel för invandrare som behärskar svenska eftersom ovidkommande faktorer som utseende och namn inte påverkar testresultat. Men det är inte alls säkert att det fungerar så i praktiken. I denna rapport undersöks om invandrare som tar ett personlighetstest i samband med ansökan om anställning svarar mer eller mindre uppriktigt på testet än övriga. De som svarar minst uppriktigt tenderar ju att få ett bättre resultat på ett personlighetstest av självrapporttyp, och det är sådana test som 1 Ett tack till Hampus Breistein, Katapult AB, som tagit fram data till denna rapport samt Mona Nettelman för värdefulla synpunkter på undersökningen och rapporten. 1

4 dominerar i marknaden. I skarpt läge är det mycket vanligt att de som testas ger en överdrivet positiv bild av sin personlighet. Alla skönmålar emellertid inte lika mycket. I tidigare forskning har jag funnit att kvinnor som sökte chefsbefattningar svarade mera uppriktigt än vad män gjorde, vilket i motsvarande mån missgynnade dem [1]. Frågeställningen i denna rapport är om samma problem finns vid testning av invandrare. Metod Data för denna rapport har insamlats i skarpt läge av rekryteringsfirman Katapult, som använder screeningmodulen av UPP-testet [3]. Detta är en förkortad version av testet som mäter 5 personlighetsdimensioner samt tendensen till skönmålning. Alla personlighetsvariablerna korrigeras för skönmålning med hjälp av en psykometrisk metodik som beskrivs i [2]. Denna metodik har validerats både i experimentell forskning och med hjälp av analyser av testdata från arbetssökande. De arbetssökande tog också ett begåvningstest (analogitest). Av de testade var 1372 av svensk härkomst, 250 utländska. De fördelade sig som sökande till ett 50-tal olika jobb. Ålder registrerades inte i datafilen. Sextiofyra procent var kvinnor. Resultat I Tabell 1 ges reliabilitetsdata för de fem personlighetsvariablerna samt måttet på skönmålning. Tabell 1. Reliabiliteter (alfa-värden) för personlighetsvariablerna, samt korrelation med tendensen till skönmålning. Utländsk härkomst Skönmålning Reliabilitet Korrelation med tendensen till skönmålning Reliabilitet Korrelation med tendensen till skönmålning Utåtvändhet Uthållighet Samarbetsvilja Positiv grundhållning Kreativitet Skönmålning Tabellen visar att reliabiliteterna var tillfredsställande och på samma nivå i båda grupperna. Den visar också att relationen till skönmålning var av samma storleksordning i båda grupperna, medan den varierade mellan personlighetsvariablerna. Detta är ett vanligt resultat [3] och ett skäl till att korrektionen för skönmålning måste anpassas särskilt för varje personlighetsvariabel. Alla skalor har standardiserats till medelvärde=5 och standardavvikelse=2. Medelvärdet i skönmålning var 4.77 för invandrare och 5.05 för dem med svensk härkomst. Skillnaden var statistiskt signifikant: t=2.04, p=

5 I figurerna 1-5 visas medelvärden i personlighetsvariablerna före och efter korrektion för skönmålning. Figur 1 ger resultaten för utåtvändhet. Utåtvändhet 5,1 4,9 4,7 Ej korrigerade data Korrigerade data Figur 1. Medelvärden i utåtvändhet före och efter korrektion för skönmålning. I okorrigerade data fanns ingen skillnad mellan grupperna i utåtvändhet medan invandrargruppens medelvärde var högst efter korrektion för skönmålning. Figur 2 ger resultaten för kreativitet. 3

6 Kreativitet Ej korrigerade data Korrigerade data Figur 2. Medelvärden i kreativitet före och efter korrektion för skönmålning. Figuren visar ett högre värde i kreativitet för invandrarna än för övriga, en skillnad som blev större efter korrektion för skönmålning. Resultaten för samarbetsvilja ges i figur 3. Samarbetsvilja 5,1 4,9 4,7 Ej korrigerade data Korrigerade data Figur 3. Medelvärden i samarbetsvilja före och efter korrektion för skönmålning. 4

7 Figuren visar ett lägre värde i samarbetsvilja för invandrarna men skillnaden mellan grupperna minskade betydligt efter korrektion för skönmålning. Figur 4 ger resultaten för uthållighet. Uthållighet 5,1 4,9 4,7 Ej korrigerade data Korrigerade data Figur 4. Medelvärden i uthållighet före och efter korrektion för skönmålning. Figuren visar en nackdel för invandrarna med avseende på uthållighet i okorrigerade data men den eliminerades efter korrektion för skönmålning. Resultaten för positiv attityd ges i figur 5. 5

8 Positiv attityd 5,1 4,9 4,7 Ej korrigerade data Korrigerade data Figur 5. Medelvärden i positiv hållning före och efter korrektion för skönmålning. Invandrarna uppvisade en mera positiv hållning. Tendensen var speciellt tydlig efter korrektion för skönmålning. Skillnaderna mellan okorrigerade och korrigerade värden var tydliga och trenden genomgående densamma: invandrarna gynnades av korrektionen för skönmålning. Effekterna var emellertid små när de studerades på medelvärdesnivå. Frågan är hur mycket de betydde för rangordningen av enskilda individer. För att besvara den frågan rangordnades varje personlighetsvariabel före och efter korrektion för skönmålning. Varje persons rangordningstal bestämdes och skillnaden beräknades mellan hans eller hennes rangtal före och efter korrektionen. En positiv skillnad betyder att personen fick ett högre värde i rangordningen medan en negativ skillnad betydde att han eller hon förlorade i rangordningen. Tabell 2 visar de genomsnittliga rangförändringarna. Tabell 2. Genomsnittliga förändringar i rangordningen efter korrektion för skönmålning. Personlighetsvariabel Utåtvändhet Uthållighet Samarbetsvilja Positiv grundhållning Kreativitet Medelvärde Även i dessa analyser är trenden tydlig och genomgående densamma. Att skillnaden i rangplacering är relativt liten i kreativitetsvariabeln beror troligen på att sambandet mellan den variabeln och skönmålning var ganska svagt. 6

9 Man kan diskutera hur viktiga dessa effekter är. För den som söker ett arbete, eller är angelägen om mångfald, är emellertid en förändring i rangplacering med ca 30 steg knappast en ointressant effekt. Ännu en analys tar speciell hänsyn till extrema effekter av korrektionen för skönmålning. Eftersom det var många sökande till varje jobb 2 är extremgruppen särskilt intressant. De 2 % som visade den största förbättringen i sin genomsnittliga rangplacering efter korrektion studerades särskilt. Chansen till en rangförändring bland de 2 % mest fördelaktiga förändringarna var dubbelt så stor för invandrarna (3.2 %) som för övriga (1.6 %). Det innebär troligen en kraftig förbättring av chanserna att få det sökta jobbet, om testresultatet spelar stor roll i processen. Begåvningstestning Begåvnings- eller färdighetstest (eng. ability) är viktiga i urvalssammanhang eftersom de brukar ha höga samband med viktiga kriterier, mått på arbetsinsats. Många sådana test är ganska högt laddade i den verbala faktorn vilket kan tänkas vara till nackdel för dem som inte har svenska som modersmål. Ett analogitest med 19 uppgifter kom till användning i Katapults rekryteringsplattform. I gruppen med svensk härkomst var reliabiliteten (alfa) 0.70, bland invandrarna något lägre, 0.66, men fortfarande acceptabel. Skillnaden i resultat mellan de två grupperna var emellertid stor, se Figur 6. Mätt som d-värde var skillnaden 0.38, t=5.68, p< Verbal förmåga (analogitestet) 4,4 Figur 6. Medelvärden i analogitestet för invandrare och jobbsökande med svensk härkomst. 2 Ca 40 sökande/jobb, i genomsnitt. 7

10 Tabell 3 visar korrelationerna mellan begåvningstestet och personlighetsvariablerna. Tabell 3. Korrelationer mellan analogitestet och personlighetsvariablerna Personlighetsvariabel Utåtvändhet Uthållighet Samarbetsvilja Positiv grundhållning Kreativitet Skönmålning Sambanden var alltså mycket svaga mellan begåvningstestet och personlighetsvariablerna, vilket stämmer bra med tidigare forskning [3]. Jag har vägt samman testresultaten i alla fem personlighetsvariablerna och rangrodnat de sökande efter den rangordningen. Resultatet på begåvningstestet slogs därefter samman med den sammanlagda personlighetspoängen med lika vikter och en ny rangordning skapades. Skillnaden mellan de två rangordningarna framgår av Tabell 4. Tabell 4. Genomsnittliga förändringar i rangordningen efter det att personlighetsvariablerna kompletterats med resultat av begåvningstestet. Skillnad i rangplacering Tabellen visar att invandrarna hade en betydande stor nackdel av att begåvningstestet räknades in i slutresultatet. Skillnaden mellan invandrare och övriga i rangförskjutning var till storleken avsevärd, d=0.34, och starkt signifikant, t=5.68, p< Slutsatser UPP-testets screeningmodul fungerade bra för båda grupperna. Data på reliabilitet och korrelation med skönmålning var mycket likartade. Arbetssökande med svensk härkomst skönmålade mera än invandrarna. Vid analyser av data efter korrektion för skönmålning framkom att invandrarna hade ett värde i personlighetsvariablerna som i 3 fall av 5 var större än värdet för testade av svensk härkomst. I de två övriga fallen hade skillnaden minskats mellan grupperna till följd av korrektionen för skönmålning. Den metod som används i UPP-testet för korrektion för skönmålning är väl etablerad och har visat sig fungera i tidigare forskning. Också i de data som analyseras här är det tydligt att metoden har de förväntade egenskaperna. Slutsats: när personlighetstest används som en del av underlaget för anställningsbeslut missgynnas troligen invandrare om korrektion för skönmålning inte görs. 8

11 Det finns andra försök att motverka effekterna av skönmålning [2]. Problemet är att de inte tar hänsyn till att olika personlighetsvariabler kräver olika modeller för korrektion. Ett annat problem är att de oftast använder s.k. lögnskalor som lätt genomskådas av dem som testas. UPP-testets screeningmodul använder en indirekt skala för att mäta skönmålning som torde vara mycket svår att genomskåda för den som testas. Ett verbalt begåvningstest (analogitest) visade sig ha acceptabla psykometriska egenskaper i båda grupperna och mycket svaga korrelationer med personlighetsegenskaperna. Invandrarnas resultat på detta test var betydligt sämre än för dem med svensk härkomst, vilket ju kunde ha förväntats med tanke på de senares troligen bättre kunskaper i svenska. Om hänsyn inte tas till språkfaktorn kommer invandrarna att missgynnas genom att ett sådant test ingår i underlaget. En lösning är att utvärdera deras resultat i förhållande till normdata insamlade just för att passa denna grupp. En annan lösning är att gå över till ett icke-verbalt test på g-faktorn. Referenser [1]. Sjöberg, L. (2005). Självskattningstest: Den som ljuger fräckast vinner? Personal och Ledarskap, 36(6), [2]. Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Stockholm: Psykologisk Metod AB. [3]. Sjöberg, L. (2010). Manual för UPP-testet. Stockholm: Psykologisk Metod AB. 9