RAPPORT 1 STUDIE AV URVALSTEST PÅ TRAFIKVERKET RAPPORT 1. Anders Sjöberg Jakob Andrén

Transkript

1 RAPPORT 1 STUDIE AV URVALSTEST PÅ TRAFIKVERKET RAPPORT 1 Anders Sjöberg Jakob Andrén

2 Copyright 2011 Assessio International AB.

3 INNEHÅLLSFÖRTECKNING INLEDNING 4 PRE-ASSESSMENT 5 ASSESSMENT DELIVERY 6 ASSESSMENT REVIEW 7 Undersökningsgrupp 7 Test 7 Resultat 8 SLUTSATS 11 TRAFIKVERKET RAPPORT 1 3

4 INLEDNING Trafikverket (dåvarande Banverket) upphandlade under 2008 tjänster rörande urvalstestning för befattningar där arbetsuppgifter av betydelse för trafiksäkerheten ingår. Assessio vann upphandlingen och har därefter bistått Trafikverket med tjänsten. Urvalstestning avropas vid urval till tjänsterna, bland annat för trafikledare. Denna rapport är den första av två som utvärderar en urvalsmodell för att sköta urvalet till trafikledare. Rapporten är strukturerad enligt ISO/DIS ; Assessment Service Delivery Procedures and methods to assess people in work and organizational settings Part 1: Requirements for Service Providers. ISO/DIS är under arbete och förväntas publiceras under De rubriker som används i rapporten är delvis engelska i enlighet med ISO riktlinjerna. Pre- Assessment, dvs. innan assessment, syftar på de aktiviteter som genomfördes och som gav upphov till den urvalsmodell som användes i urvalet till trafikledartjänst. Assessment Delivery syftar på implementering av urvalsmodellen, dvs. genomförandet av urvalstestningen. Assessment Review åsyftar en utvärdering av genomförda urvalstest. 4 TRAFIKVERKET RAPPORT 1

5 PRE-ASSESSMENT Uppdraget syftade till att utveckla en modell för urval av trafikledare på Trafikverket. I samband med uppdragsstart genomfördes ett antal aktiviteter med syfte att närmare analysera tjänsten. Analysen var sedan styrande i utformandet av modellen med val av testmetoder samt för senare test- och resultattolkning. Inledningsvis stod det klart att Assessio skulle utveckla en modell som kunde hantera både stora grupper och enstaka kandidater. Ett avrop av en urvalstjänst kunde röra sig om en urvalstestning av en trafikledarkandidat till Boden eller ett fyrtiotal sökanden till driftledningscentralen i Malmö. Det sågs som nödvändigt att ha en standardiserad testtolkningsmodell där vissa nivåer på testresultaten medförde att kandidaten antingen rekommenderades eller inte rekommenderades för fortsatt rekrytering. Det stod tidigt klart att Trafikverket önskade att resultatredovisningen skulle vara dikotom i den meningen att antingen rekommendera eller inte rekommendera kandidaten. Det skulle med andra ord inte finnas något tolkningsutrymme för rekryterande personal från Trafikverket rörande Assessios slutsatser. Dessutom var det viktigt att definiera en effektiv process där testbatteriet kunde genomföras under en halv dag och att det kunde administreras till en grupp kandidater. De aktiviteter som genomfördes var ett antal intervjuer med s.k. subject matter experts från Trafikverket. Det fanns en bredd bland de som intervjuades både operativa chefer, gruppchefer och chefer för driftledningscentralen fanns representerade. Vidare arrangerades en workshop med ytterligare experter från Trafikverket. Både intervjuerna och workshopen syftade till att identifiera kritiska situationer som trafikledarna möter i sitt arbete. Dessutom konsulterades både forsknings- och utvecklingsavdelningen vid Assessio International samt trafikmedicinska mottagningen vid Karolinska Institutet. Syftet var att få en närmare bild av forskningsläget kring urval, val av testmetoder och testtolkningsmodell för den aktuella tjänsten. Assessio analyserade även skriftlig dokumentation från Trafikverket som rör trafikledartjänsten. Avslutningsvis gjordes en inventering av Assessios testutbud för att göra en bedömning av vilka testmetoder som skulle kunna vara lämpliga och för att komplettera utbudet med andra testmetoder. Analysen resulterade i en urvalsmodell som fokuserar på tre områden; personlighetsfaktorer som Stabilitet, Integritet och Målmedvetenhet, och intellektuella faktorer som generell begåvning, samt kognitiva faktorer som mönsterigenkänning, simultanförmåga och koncentrationsförmåga. De testmetoder som valdes för att täcka in samtliga områden var PJP, MINT, Figuridentifikation, d2 Test of Attention och R11KB Kodifiering. Analysen visade att trafikledaren bör vara normal- eller högfungerande inom samtliga områden. I de fall som aspiranten fick ett lågt resultat motsvarande en standardavvikelse eller mer under medelvärdet på exempelvis Stabilitet, så rekommenderades inte kandidaten för trafikledartjänst. Om kandidatens resultat låg en standardavvikelse eller mer över på samtliga tre områden så rekommenderades kandidaten. Med andra ord föreligger inte någon kompensatorisk modell utan resultaten tolkas i enlighet med en cut-off-modell med fasta gränsvärden. TRAFIKVERKET RAPPORT 1 5

6 ASSESSMENT DELIVERY Testbatteriet administreras på cirka två timmar. Inledningsvis samlas bakgrundsinformation om kandidaten, t.ex. vilken driftledningscentral som kandidaten söker till, ålder, utbildningsbakgrund med mera. Därefter inleds testningen med Figuridentifikation. Figuridentifikation ligger först i batteriet då det är ett förhållandevis kort test och att det upplevs som relativt enkelt, vilket kan bidra till en bra start för de kandidater som har en högre anspänning. Därefter genomförs d2, R11KB Kodifiering, PJP och avslutningsvis MINT. MINT är ett självskattningstest där tidspressen och komplexiteten inte är särskilt påtaglig. Det ger kandidaten möjlighet att avsluta testningen på ett lugnt sätt. Därefter gav en konsult, tillika leg. psykolog, återkoppling till kandidaten och då samlades även en viss kompletterande information in. Samma konsult sammanställde därefter en rapport som återgavs till rekryterande personal på Trafikverket. Rapporten innebär, som nämnts, att kandidaten antingen rekommenderades eller inte. Testbatteriet administrerades på flera orter under perioden oktober 2008 till och med oktober Sammanlagt 157 individer genomförde testbatteriet. 6 TRAFIKVERKET RAPPORT 1

7 ASSESSMENT REVIEW Undersökningsgrupp Gruppen bestod av 157 sökande personer till trafikledartjänst vid Trafikverket fördelade på orterna Ånge (29), Gävle (16), Göteborg (17), Hallsberg (16), Malmö (38), Norrköping (18) och Stockholm (23). Av dessa är 93 män (59 %) och 64 kvinnor (41 %). Åldern varierade mellan 21 och 50 år (medel=32; SD=7). Två personer har genomgått grundskola, 19 personer två-årigt gymnasium, 66 personer 3-4 årigt gymnasium och 70 personer har genomfört någon form av eftergymnasial utbildning. I jämförelse med normalpopulationen i Sverige har denna grupp en högre genomsnittlig utbildningsnivå och övervägande män har sökt tjänsterna. Test Sammanlagt fem test användes i urvalsprocessen. Predicting Job Performance, ett arbetspsykologiskt test som förutsäger arbetsprestation. PJP är det enda testet på marknaden som mäter både personlighet och begåvning. Testet är neutralt för den testades kön och ålder och mäter endast faktorer som kan relateras till arbetsprestation. Faktorerna som mäts i PJP är; Stabilitet, Utåtriktning, Sympatiskhet, Målmedvetenhet och Kapacitet. MINT är ett personlighetstest. De egenskaper som mäts i MINT har stor betydelse för framgång i yrkeslivet. En god organisations-medborgare är pålitlig, ansvarstagande, lugn, tålig och månar om goda relationer till kollegor och kunder. Å andra sidan så kan mindre lämpliga personer ställa till stora problem för både arbetsgivare, kollegor och tredje man. MINT mäter Integritet, Relationsorientering och Uppgiftsorientering. Integritetspoängen används som beslutsunderlag och Relations- och Uppgiftsorientering används som feedback till testpersonen. d2 är ett så kallat cancellation test och avser främst att ge ett mått på snabbhet i bearbetning samt kvalitet i prestationen. d2 har en bred tilllämpning inom det neuropsykologiska området för mätning av koncentrations- och uppmärksamhetsstörningar Testmaterialet består av en testblankett vars första sida består av plats för personuppgifter och resultatredovisning. Den andra sidan, som utgör själva testet, består av 14 rader med 16 olika tecken. Tecknen består av antingen bokstaven d eller p med två, tre eller fyra prickar. Testpersonens uppgift är att snabbt söka av och markera alla tecken som utgörs av d och två prickar (därav namnet d2), samtidigt som alla andra tecken ignoreras. Testet rättas med hjälp av mallar och utvärderas med avseende på bland annat snabbhet och noggrannhet i prestationen, stabilitet under arbetet och graden av fokuserad uppmärksamhet. Figuridentifikation är ett test där den första figuren i varje rad är exakt lik en av de fem numrerade figurerna till höger i raden. Testpersonen ska så snabbt som möjligt skriva numret på den figur som är exakt lik den första figuren i raden. Figuridentifikation avser att mäta perceptuell snabbhet. R11 KB är ett kodifieringsprov, där det gäller att utföra kolumnmarkeringar på 37 ordpar efter 4 givna regler. Testet är tidsbegränsat och uppgifterna ska lösas en i taget. Kodifiering avser att mäta simultankapacitet. TRAFIKVERKET RAPPORT 1 7

8 Resultat För att jämföra urvalsgruppen (N=157) med normalpopulation användes statistik inhämtad från manualerna tillhörande PJP och MINT. Dessa två test är normerade och standardiserade på normalpopulation i Sverige. Genom att jämföra absoluta nivåer (Medelvärde, Mean) och spridning (Standardavvikelse, Std.Dev.) mellan urvalsgruppen och normalgruppen går det att utröna hur denna grupp liknar normalsvensken. I tabell 1 visas medelvärde (Mean) och standardavvikelse (Std.Dev) i urvalsgruppen för både personlighet (Stabilitet, Utåtriktning, Sympatiskhet, Målmedvetenhet, Integritet, Relationsorientering och Uppgiftsorientering samt begåvning (Kapacitet) 1.. I populationen är medelvärdet 5 och standardavvikelsen 2. I urvalsgruppen ligger personerna över medelvärdet (>1 poäng) i Stabilitet, Integritet och Uppgiftsorientering. Detta betyder att de personer som söker till Trafikledare är känslomässigt stabilare och mer uppgiftsorienterade i jämförelse med normalsvensken. Detta betyder att dessa personer sannolikt som grupp är känslomässigt stabila och säkra på sig själva. De Tabell 1. Beskrivande statistik PJP och MINT (N=157). Stabilitet Livlighet Målmedvetenhet Sympatiskhet Integritet Relation Uppgift Kapacitet Mean Std.Dev agerar lugnt och sansat även i stressfulla situationer och tar rationella och säkra beslut även under press. Dessa personer ger ett intryck av att vara självständiga individer som tar vara på sig själva. Andra uppfattar dessa personer som jämna i humöret och utan skuldkänslor. De har en förmåga att motstå impulser och frestelser vilket gör att de sällan hamnar i problemfyllda situationer på grund av förhastade eller behovsdrivna beslut. På övriga faktorer ligger gruppen nära populationens medelvärde 5. När det gäller spridningen (Std.Dev.) är det endast en faktor (Målmedvetenhet) som ligger strax över 2, övriga faktorer har en spridning som ligger under normalpopulationens värde (2). Detta betyder att redan innan test administreras finns det en beskuren spridning, det vill säga någon form av urval baserat på Stabilitet, Livlighet, Sympatiskhet, Integritet, Relationsorientering, Uppgiftsorientering och Kapacitet, sker innan personerna kommer till testning 2.. I Figur 1 redovisas beskrivande statistik av samma test som ovan men uppdelat på de personer som blev rekommenderade och de som ej rekommenderades att gå vidare i processen. Av resultatet i figur 1 framgår att det är framförallt en faktor som skiljer mellan de två grupperna åt; Kapacitet. Av de personer som inte rekommenderades ligger kapacitetsnivån drygt en halv standardavvikelse under normalpopulationens kapacitetsnivå. Detta ska jämföras med den rekommenderade gruppens medelvärde som ligger cirka 0,5 standardavvikelser över medelvärdet. Resultatet för den rekommenderade gruppen visar på högre medelvärden och mindre spridning på samtliga faktorer som mäts med PJP och MINT. Detta innebär att beslutet att rekommendera personer avgörs av både per- 1. Figuridentifikation, R11KB kan inte jämföras med normalpopulation då dessa test inte är normerade på samma sätt som PJP och MINT. 2. Eftersom inga testresultat har påverkat detta urval benämns denna form av beskuren spridning som indirekt. 8 TRAFIKVERKET RAPPORT 1

9 Figur 1. Jämförelse mellan rekommenderade (n=111) och ej rekommenderade (n=46) efter testningen. Stabilitet Livlighet Målmedvetenhet Sympatiskhet Integritet Ej Rekommenderad Rekommenderad Relation Uppgift Kapacitet sonlighetsfaktorer och Kapacitet. Den personlighetsfaktor som visat sig betyda mycket för arbetsprestation (Målmedvetenhet) har dock en minimal skillnad mellan personer som rekommenderas och de som inte rekommenderas. Det kan betyda att denna faktor ska vägas tyngre i kommande rekryteringar. I figur 2 visas resultatet grafiskt av samtliga test som användes i urvalet i form av en faktoranalys. 3. På den vågräta axeln redovisas faktor 1 och på den lodräta axeln redovisas faktor 2. Resultatet i figur 1 visar tydligt att testen (prickarna i diagrammet) samlas kring två faktorer (redovisat av cirklarna). Det är endast en del som inte passar in som ligger nära origo (0). Vid en närmare granskning av de numeriska värdena visar resultatet i tabell 2 hur den första faktorn utgörs av personlighet och den andra faktorn av begåvningstest och kognitiva test. Den variabel som inte passar in i faktorerna är relationsorientering som mäts med MINT 4.. Sammantaget visar resultatet att det finns en övergripande personlighetsfaktor och en begåvningsfaktor i det material som analyserats. Dessa två faktorer har ett lågt samband med varandra vilket gör att de,7 5,5, ,2 5 -,5 -,7 5-1 Figur 2. Resultat faktoranalys 1-1 -, 7 5 -,5 -, 25 0,2 5,5, F ac tor 1 3. En faktoranalys tar hänsyn till inbördes samband mellan alla test och sammanfattar dessa test i övergripande faktorer. 4. Det är svårt att enbart med statistiska mått avgöra vad som är lämpligt antal faktorer. Vi analyserade också en 3-faktorslösning. I den visade det sig att den tredje faktorn bestod av Sympatiskhet och Relationsorientering. Problemet var att dessa två variabler också laddade i faktor 1 (personlighetsfaktorn) samt att den tredje faktorn hade ett högt samband med den första faktorn (personlighet). Vi bestämde därför att behålla två-faktorslösningen tills vidare. TRAFIKVERKET RAPPORT 1 9

10 Tabell 2. Faktorladdningar och samband mellan faktorer (N=157). Stabilitet Livlighet Målmedvetenhet Sympatiskhet Integritet Relation Uppgift R11KB RP d2 TN-E rp Figur Kapacitet Factor 1 Factor fungerar som komplement till varandra när de används som beslutsunderlag. Resultatet stödjer således inte att det går, eller är meningsfullt, att skilja på en kognitiv faktor och en begåvningsfaktor som beskrivs ovan i avsnittet om Pre-Assessment. För att undersöka hur den föreslagna modellen stämmer överens med det som sker i urvalsprocessen analyserades de slutbedömningar som genomfördes (personlighet, begåvning och kognitiv förmåga). Dessa variabler kan variera mellan 1 och 3 där 3 utgör det bästa resultatet. I tabell 3 visas kategoriseringen givet testresultat på de tre områdena personlighet, begåvning och kognitiva test. Factor 1 Factor 2 Factor 1 Factor Resultatet visar att det är i endast undantagsfall som beslutet (7 fall av 157) som urvalsmodellen frångås. Detta visar att modellen följs av samtliga konsulter inblandade i urvalsprocessen. För att avgöra vilka specifika testresultat som vägs in i beslutet, givet den modell som beskrivits i Pre-Assessment -avsnittet, analyserades samtliga testresultat (som oberoende variabler) och rekommenderad/ej rekommenderad som beroende variabel. Resultatet visade att det först och främst är prestationstesten (R11KB, Kapacitet) som vägs tyngst i beslutet men att även MINT (integritetspoängen) vägs in i den slutliga bedömningen om personer blir rekommenderade eller inte. Övriga testresultat har begränsad betydelse i urvalsmodellen. Tabell 3. Kategorisering och felmarginal på poängsättning. Observed Ej Rekommenderad Observed Rekommenderad Overall Predict Ej Rekommenderad 41 2 Predict Rekommenderad Percent Correct % % % 10 TRAFIKVERKET RAPPORT 1

11 SLUTSATS I denna rapport beskrivs en urvalsmodell för trafikledare. Först beskrivs vad som hände innan testningen (Pre-Assessment), sedan hur testning gick till (Assessment Delivery) och sedan hur urvalsmodellen utvärderats (Assessment Review). Resultatet visar att: - De ingående test som ingår som beslutsunderlag kan sammanfattas i en begåvningsfaktor och en personlighetsfaktor. - Begåvning vägs in 100 % tyngre än personlighet vid beslut vilka som rekommenderas eller inte. - En kombination av MINT, R11KB och kapacitetsdelen i PJP är tillräcklig för att fungera som relevant beslutsunderlag. - För att fullt ut värdera nyttan med denna urvalsmodell rekommenderas en kriterievalidering där samtliga test korreleras med valda kriterier. TRAFIKVERKET RAPPORT 1 11