5:e Nordiska polisforskningskonferensen, Växjö 140819

5:e Nordiska polisforskningskonferensen, Växjö 140819 VANLIGA URVALSMETODER SOM PREDIKTORER AV PRESTATION, ARBETSTILLFREDSTÄLLELSE, HÄLSA OCH VILJA ATT SLUTA, BLAND NYA POLISER I SVERIGE Stefan Annell. Leg psykolog och doktorand Rekryteringsmyndigheten och Psykologiska institutionen vid Stockholms universitet Tfn: +46 10 821 11 00 Mobil: +46 761 40 00 17 E-post: stefan.annell@trm.se DENNA PRESENTATION Syftet med presentationen är att redovisa och få synpunkter en ny studie från projektet Longitudinell validering av polisurvalet: Police selection Implications for performance, satisfaction, retention, and health of recruits during training and early career Av Stefan Annell, Petra Lindfors och Magnus Sverke Skickades i juli till tidskriften Criminal Justice and Behavior Agenda: bakgrund, metod, resultat och diskussion inga tabeller! 1

INLEDNING Runt om i världen anstränger sig polisorganisationer att rekrytera personer som är lämpliga för att bli poliser (Lough & Von Treuer, 2013) Betydande resurser satsas på grundlig screeningen av de sökande Inkluderar vanligtvis ett flertal metoder, bl.a. kognitiva test, personlighetstest, bakgrundskontroll, fysiska tester, intervjuer och läkarundersökning (Drew, Carless & Thompson, 2008) Metoderna återspeglar att det handlar om: förhållandevis stora urval instegsurval till ett yrke med många olika krav Innan nya poliser börjar arbeta behöver de dessutom genomgå omfattande utbildning och träning Investeringarna, i tid och pengar, för screening, utbildning, och träning, är omfattande det tar flera år (5-10) innan polisorganisationer kan räkna med att få tillbaka sina investeringar (Allisay, Noblet, Lamontage, & Houdamont, 2013) 2

Ett viktigt skäl till de stora investeringarna i screening är de allvarliga konsekvenserna av felrekryteringar (Cochrane, Tett, & Vandercreek, 2003): slukar resurser skadar förtroende, externt och internt men för enskilda Syftet med polisurval är att finna de mest lämpliga, men i praktiken finns två mål (Sanders, 2008): att sålla bort omlämpliga sökande att välja de bästa sökande Vad är framgångrik rekrytering? Det finns en rad studier som undersökt bl.a. arbetstillfredställelse, vilja att stanna i yrket (t.ex Allisay mfl., 2013) och hälsa (t.ex. Garbarino, Cuomo Chiorri, & Magnavita, 2013) Fokus på prestation är inte tillräckligt! Målsättningen för polisrekrytering bör vara bredare att hitta sökande som över tid kommer att karaktäriseras som: högpresterande friska med hög arbetstillfredställelse med vilja att vara kvar i yrket 3

POLISURVAL Genomförs oftast stegvis (Ho, 1999, Metchik, 1999): Först ett antal steg med målet att sålla bort olämpliga sökande Vanligt med olika psykologiska och fysiska test, där sökande måste klara minimikrav för att gå vidare I det sista steget är målet att finna de lämpligaste Vanligt med intervjuer Medicinsk undersökning (för att sålla bort) Detta innebär att information från metoderna ofta inte används optimalt (t.ex. tröskelvärden)(hunter & Hunter, 1984) Polisurvalsforskning Trots omfattande forskning finns ovanligt lite stöd för hur man ska välja de lämpligaste poliskandidaterna (Aamodt, 2004): Intervjuer har visat sig ha förhållandevis låg prediktiv validitet vad gäller prestation, klart sämre än för andra yrken Kognitiva test har visat sig vara förhållandevis goda prediktorer, särskilt för utbildningsprestation, men har måttlig validitet vad gäller arbetsprestation, klart sämre än för andra yrken Löpning (= allmän kondition) har måttlig validitet vad gäller prestation, har förhållandevis god validitet Personlighetstest har visat sig ha måttlig validitet, ungefär som för andra yrken Dessutom brist på studier: som använt flera relevanta kriterier (ofta prestation + ev. oönskade beteenden; se t.ex. Cuttler & Muchinsky, 2006) som sträcker sig över tid och olika sammanhang (t.ex. utbildning, aspirant och arbete) som undersökt värdet av att kombinera flera olika metoder för att identifiera de mest lämpliga (s.k. inkrementell validitet) 4

VÅR STUDIE Syftet med studien var att undersöka möjligheterna att välja de lämpligaste polissökande genom att kombinera vanliga urvalsmetoder Vi undersökte därför hur väl fyra grupper av vanliga urvalsmetoder: 1) kognitiva test, 2) personlighetstest, 3) fysiska test och 4) bedömarbaserade metoder (intervjuer och läkarbedömning) kunde predisera fyra kriterier: 1) prestation, 2) arbetstillfredställelse, 3) vilja att stanna i yrket och 4) hälsa Vi undersökte även hur pass konsistent, över tid och sammanhang, som urvalsmetoderna predicerade kriterierna vid tre efter varandra följande uppföljningstillfällen: 1) slutet på polisutbildningen, 2) slutet på aspirant utbildningen och 3) slutet på det första arbetsåret METOD Undersökningsgrupp Data från projektet Longitudinell validering av polisurvalet (Annell, 2012) 1429 sökande som genomförde urvalstester på dåvarande Pliktverket våren 2008, varav 1344 (94 %) av samtyckte till att delta Av de 1344 påbörjade 758 (56 %) utbildningen hösten 2008 varav åtta saknade uppgift om utländsk bakgrund, och exkluderades från studien Av de 750: avslutade 719 polisutbildningen våren 2010 godkändes 711 på aspirantutbildningen var 709 anställda som poliser vid slutet av 2011 5

Analyserade variabler A) Fem grupper av prediktorer 1. Tre demografiska kontrollvariabler, av särskilt intresse (jfr Sackett mfl., 2010; White & Escobar, 2008) Kön + Ålder + Utländsk bakgrund 2. Två kognitiva test Prov i svenska + Uniq (generell begåvning = g) 3. Ett personlighetstest (MINT) med tre dimensioner från femfaktormodellen Målmedvetenhet + Emotionell stabilitet + Vänlighet 4. Två fysiska test Löpning (Cooper) + Harres Obs! Standardiserade inom kön och med olika minimikrav för män respektive kvinnor 5. Tre bedömarbaserade metoder Psykologintervju + Polisintervju + Läkarbedömning B) Fyra kriterier 1. Prestation Utbildning Medelbetyg (ICC =.62) Aspirant - Bedömningar av överordnad (oftast handledare, r =.48) Arbete - Bedömningar av överordnad (oftast närmaste chef, r =.46) 2. Arbetstillfredställelse (självskattning, skala 3 item, α =.68/.77/.89) 3. Vilja att stanna i yrket (självskattning, skala 1 item Jag tänker ofta på att byta yrkesbana/yrke ) 4. Hälsa (självskattning, skala 10 item, bl.a. besvär sömn, trötthet huvudvärk, rygg, leder, α =.74/.73/.79) C) Tre tidpunkter 1. Slutet på polisutbildningen (2 år) 2. Slutet på aspirantutbildningen (6 månader) 3. Efter ett års arbete som polis (1 år) 6

Analyser EM-imputering (Little & Rubin, 1987) av saknade data (främst av självskattade kriteriedata där svarfrekvensen var ca 70 % / tidpunkt) Serie hierarkiska multipla regressionsanalyser Undersökte det unika tillskottet från respektive grupp av prediktorer (Adj. ΔR 2 ) Notera: Bygger på observerade samband Ej korrigerat för beskuren spridning Ej korrigerat för reliabilitets brister RESULTAT Steg 1. Demografiska kontrollvariabler Predicerade prestation, arbetstillfredställelse och hälsa Kvinnor uppgav mer hälsobesvär Nya poliser med utländsk bakgrund presterade något sämre Äldre presterade något sämre på utbildningen, var mindre tillfredställda under utbildningen men uppgav mindre hälsobesvär Äldre uppgav också mindre hälsobesvär under aspirantutbildningen och var mer tillfredställda med arbetet efter ett års arbete 7

Steg 2. Kognitiva test efter kontroll för demografiska variabler Bidrog till klart till prediktionen av utbildningsprestation Främst svenska provet (som också predicerade arbetsprestation)! Mot förväntat bidrog de kognitiva testen (som block) inte till prediktionen av aspirant- eller arbetsprestation Uniq (g) bidrog negativt till prediktionen av arbetstillfredställelse vid alla tre uppföljningstillfällena. Kommentarer: De låga sambanden med kriterierna för aspirantprestation och arbetsprestation kan sannolikt förklaras av: Bristande reliabilitet (här r =.46-.48) för prestationsbedömningar inom polisen ett välkänt problem (jfr Sanders; 2008, Schmidt, 2002; White, 2008)! Beskuren spridning Resultat bekräftar tidigare forskning som visat att verbala test tycks vara något bättre prediktorer än allmänbegåvningstest vad gäller polisprestation (jfr Aamodt, 2004) Bekräftar samband med betydelsen av god kommunikativ förmåga (jfr White, 2008) Högre begåvning är inte alltid fördelaktigt! Steg 3. Personlighetstest efter kontroll av demografiska variabler och kognitiva test Bidrog till prediktionen av alla kriterier, utom arbetsprestation Vänlighet bidrog starkare än förväntat till prediktionen av: tillfredställelse under utbildningen och efter ett års arbete, viljan att stanna kvar i yrket efter 1 års arbete hälsa vid alla tre uppföljningstillfällena Kommentarer: Personlighetstest var den mest konsistenta prediktorn över kriterier Talar för att personlighet är relativt viktigt inom polisyrket (jfr Hirsh, Northrop, & Schmidt, 1986) och att personlighetstest är värdefulla vid polisurval Risken för skönmålning bör noteras (jfr Detrick, Chibnall, & Call, 2010) Alla tre dimensionerna var viktiga men för något olika kriterier Talar för att använda ett sammanslaget mått på personlighet (jfr Ones & Viewesvaran, 2001), t.ex. GFP. Vänlighet kanske är viktigt för anpassning i organisationen och för att utföra operativa uppgifter (t.ex. empati och samspel)? 8

Steg 4. Fysiska test efter kontroll av demografiska variabler, kognitiva test och personlighetstest Som förväntat bidrog främst löpning (allmän kondition) till prediktionen av: prestation under utbildning och arbete (jfr Aamodt, 2004) hälsa vid alla tre uppföljningstillfällena (jfr Gerber, Kellman, Harmann, & Pühse, 2010) Under utbildningen var löpning även en negativ prediktor av viljan att stanna i yrket Kommentarer: Att fysisk test inte predicerade aspirantprestation kan bero på att aspirantutbildningen är mindre fysiskt krävande Visar att god allmänkondition är viktigt för god hälsa bland poliser Visar att fysiska test skulle kunna användas för att välja in Fysiska test är kontroversiella, då de kan missgynna kvinnor Kan ha samma minimikrav men olika normer för att välja in? Sambandet med tankar om att lämna yrket under utbildningen och bättre fysiska förmåga Kan vara brist på matchning mellan förväntningar och utbildningsinnehållet (jfr Haarr, 2005)? Steg 5. Bedömarbaserade metoder efter kontroll av demografiska variabler, kognitiva test, personlighetstest och fysiska test Bidrog som block endast till prediktion av arbetstillfredställelse under utbildningen och aspirantutbildningen Läkarbedömning bidrog inte till prediktion av hälsa! Som enskilda metoderer bidrog dock: Psykologintervjun till prediktion av utbildningsprestation Polisintervjun till prediktion av arbetstillfredställelse under aspirantutbildningen Läkarbedömningen till prediktion av arbetstillfredställelse under aspirantutbildningen Kommentarer: Sammantaget bidrog dessa metoder mindre än förväntat Dessa metoder kan dock vara mer värdefulla för välja bort Brist på struktur en trolig orsak (jfr Conway, Jako, & Goodman, 1995) Då de metoder som ingick i studien var måttligt strukturerade Beskuren spridning en annan (nästan 90 % av det slutliga urvalsbeslutet förklarades av dessa metoder, främst intervjuerna) 9

SAMMANFATTNING Polisurval är inte enkelt! Ingen grupp av urvalsmetoder predicerade konsekvent de fyra kriterierna vid alla tre uppföljningstillfällena Efter kontroll för de demografiska variablerna bidrog i de flesta fall mer än en grupp av metoder med unik information till prediktionen av de olika kriterierna Återstående valid information från metoder som används för att sålla bort olämpliga sökande kan användas för att välja ut de som är mest lämpliga Begränsningar Studien kan inte svara på hur olika metoder ska viktas mot varandra Generaliserbarhet (Sverige)? Variabler som saknas? Val av imputeringsstrategi? Vidare forskning Betydelsen av kontextuella faktorer (t.ex. krav och stöd) i förhållande till individuella förutsättningar? Finns det typiska longitudinella mönster? Exempelvis ökande samband över tid mellan låg arbetstillfredställelse, ohälsa och vilja att sluta 10

HUVUDSLUTSATSER Kombinationer av flera metoder bör användas för att välja ut de lämpligaste polissökande I motsats till praxis, bör intervjuer främst användas för att välja bort olämpliga sökande åtminstone om de inte är högt strukturerade Ett alternativt förfaringsätt för att välja de mest lämpliga sökande tycks kunna vara mer reliabelt, valit och resurseffektivt att kombinera information från valida test som används i tidigare steg för att sålla bort olämpliga sökande, exempelvis: Ett brett och verbalt laddat kognitivt test Ett brett normalpersonlighetstest Ett test på allmän kondition (t.ex. löpning) Dessa slutsatser är betydelsefulla då polisorganisationer världen över satsar betydande resurser på rekrytering av nya poliser TACK för ert intresse! Frågor? 11

REFERENSER 1. Aamodt, M.G. (2004). Research in law enforcement selection. Boca Raton: Brown Walker Press. 2. Allisay. A.F., Noblet, A.J., Lamontagne, A.D., & Houdmont, J. (2014). Testing a model of officer intentions to quit: The mediating efects of job stress and job satisfaction. Criminal Justice and Behavior, 41(6), 751 771. 3. Annell, S. (2012). Vilka sökande antas till och påbörjar polisutbildningen? En demografisk beskrivning av 1429 sökande till polisutbildningen. En rapport från projektet Longitudinell validering av polisurvalet. Teknisk rapport, Rekryteringsmyndighetens rapportserie, rapport nr 2. Karlstad: Rekryteringsmyndigheten. 4. Cochrane, R.E., Tett, R.P., & Vandcreek, L. (2003) Psychological testing and the selection of police officers. Criminal Justice and Behavior, 30(5), 511 537. 5. Conway, J. M., Jako, R. A., & Goodman, D. F. (1995). A meta-analysis of interrater and internal consistency reliability of selection interviews. Journal of Applied Psychology, 80(5), 565-579. 6. Cuttler, M.J., & Muchinsky, P.M. (2006). Prediction of law enforcement training performance and dysfunctional job performance with general mental ability, personality, and life history variables. Criminal Justice and Behavior, 33(1), 3 25. 7. Detrick, P., Chibnall, J.T., & Call, C. (2010). Demand effects of positive response distortion by police officer applicants on the revised NEO Personality Inventory. Journal of Personality Assessment, 92(5), 410-415. 8. Drew, J., Carless S.A., & Thompson B.M. (2008). Predicting turnover of police officers using the sixteen personality factor questionnaire. Journal of Criminal Justice, 36(4), 326-331. 9. Garbarino, S., Cuomo, G., Chiorri, C., & Magnavita, N. (2013). Association of work-related stress with mental health problems in a special police force unit. BMJ Open, 3(7), e002791. doi:10.1136/bmjopen-2013-002791 10. Gerber, M. Kellmann, M., Hartmann, T., & Pühse, U. (2010). Do exercise and fitness buffer against stress among Swiss police and emergency service officers? Psychology of Sport and Exercise, 11(4), 286 294. 11. Haar, R. N. (2005). Factors affecting the decision of police recruits to drop out of police work. Police Quarterly, 8(4), 431-453. 12. Hirsh, H. R., Northrop, L. C., & Schmidt, F. L. (1986). Validity generalization results for law enforcement occupations. Personnel Psychology, 39(2), 339 420. 13. Ho, T. (1999). Assessment of police officer recruiting and testing instruments. Journal of Offender Rehabilitation, 29(3/4), 1-23. 14. Little, R. J. A., & Rubin, D. B. (1987). Statistical analysis with missing data. New York: Wiley. 15. Lough, J., & Von Treuer, K. (2013). A critical review of psychological instruments used in police officer selection. Policing: An International Journal of Police Science and Management, 36(4), 737-751. 16. Metchik, E. (1999). An analysis of the screening out model of police officer selection. Police Quarterly, 2(1), 79-95. 17. Ones, D. S., & Viswesvaran, C. (2001). Integrity tests and other criterion-focused occupational personality scales (COPS) used in personnel selection. International Journal of Selection and Assessment, 9(1/2), 31-39. 18. Sacket, P.R., et al. (2010). Perspectives from twenty-two countries on the legal environment for selection. In J. F. Farr & N. Tippins, N. (Eds.) (2010). Handbook of employee selection (pp. 651-676). London: Routledge. 19. Sanders, B.A. (2008). Using personality traits to predict police officer performance. Policing: An International Journal of Police Strategies and Management, 31(1), 129 147. 20. Schmidt, F. L. (2002). The role of general cognitive ability and job performance: Why there cannot be a debate. Human Performance, 15(1/2), 187 210. 21. White, M. (2008). Identifying good cops early: predicting recruit performance in the academy. Police Quarterly, 11(1), 27-49. 22. White, D.M., & Escobar, G. (2008). Making good cops in the twenty-first century: Emerging issues for the effective recruitment, selection and training of police in the United States and abroad. International Review of Law Computers & Technology, 22(1-2), 119-134. 12