RAPPORT 2 STUDIE AV URVALSTEST PÅ TRAFIKVERKET RAPPORT 2 Anders Sjöberg Jakob Andrén
Copyright 2011 Assessio International AB.
INNEHÅLLSFÖRTECKNING INLEDNING 4 METOD 5 Undersökningsgrupp 5 Urvalsmodell 5 Kriterier 5 Bedömd prestation av cheferna 5 Egen bedömd arbetsprestation 6 Egen bedömning av arbetstrivsel 6 Statistiska beräkningar 6 RESULTAT 7 Urvalsmodellen och bedömd prestation av cheferna 7 Enskilda test och bedömd prestation av cheferna 7 Urvalsmodellen, enskilda test och egen bedömd prestation och arbetstrivsel 8 SLUTSATS 9 APPENDIX 1 10 APPENDIX 2 15 TRAFIKVERKET RAPPORT 2 3
INLEDNING Den första utvärderingen (se rapport 1) beskrivs i vilken utsträckning den föreslagna urvalsmodellen (se sid 5, rapport 1) är standardiserad, dvs hur väl den föreslagna modellen följs i praktiken. Det visade sig att den föreslagna modellen följs till 95% (se sid 10, rapport 1 ). I termer av ISO 10667 betyder detta att beslut är baserad på detaljerade regler och specifikationer med syfte att uppnå ett enhetligt bedömningsförfarande och tolkning av resultat så att tillvägagångssättet är detsamma för alla de kandidater som ingår i urvalet. Detta är en förutsättning för att kunna utvärdera hur effektiv urvalsmodellen är i praktiken. I ISO termer handlar detta om evidens; i vilken utsträckning tolkningen och användningen av bedömningsresultaten stämmer överens med syftet med bedömningen och även att tolkningsmodellen stöds av evidens och teori. Att modellen efterlevs är i sin tur givetvis en förutsättning för att kunna följa upp hur effektivt den fungerar i praktiken, dvs. att modellen verkligen plockar ut de bästa kandidaterna. Därför genomfördes denna studie där syftet var att undersöka i vilken utsträckning urvalsmodellen verkligen rekommenderade de bäst lämpade kandidaterna. De två övergripande hypoteserna var; 1. Trafikverkets urvalsmodell fungerar för att förutsäga arbetsprestation bedömd av närmaste cheferna 2. Trafikverkets urvalsmodell fungerar för att förutsäga egen bedömd arbetsprestation, arbetstrivsel och intention att stanna kvar i den tjänst de rekommenderats för Syftet med studien är också att föreslå förbättringar av urvalsmodellen. Därför analyserades även de enskilda testpoängen i förhållande till både chefernas bedömningar och den egna bedömningen. 4 TRAFIKVERKET RAPPORT 2
METOD Undersökningsgrupp Gruppen bestod av 50 sökande personer som blivit rekommenderade av Assessio till trafikledartjänst vid orterna Ånge (8), Gävle (8), Göteborg (3), Hallsberg (7), Malmö (12), Norrköping (5) och Stockholm (7). Av dessa är 37 män (74 %) och 13 kvinnor (26 %). Åldern varierade mellan 19 och 50 år (medel=30; SD=7). Sju personer har genomgått 2-årigt gymnasium, och resterande personer har genomgått 3-4 årigt gymnasium. Urvalsmodell Som beskrivs i rapport 1 (se sid 5) utgjordes urvalsmodellen av tre faktorer; personlighets-, intellektuella- och kognitiva faktorer. De testmetoder som valdes för att täcka in samtliga områden var PJP, MINT, Figuridentifikation, d2 Test of Attention och R11KB Kodifiering. Om kandidatens resultat låg över en viss gräns på samtliga tre områden (-1 SD) så rekommenderades kandidaten. Med andra ord föreligger inte nå gon kompensatorisk modell utan resultaten tol kas i enlighet med en urvalsmodell med fasta gränsvärden. Kriterier Två typer av kriterier samlades in; prestation bedömd av operativ chef och gruppchef samt självrapporterad data från de anställda i form av en arbetsmiljöenkät. Arbetsmljöenkäten utgjorde kompletterande information om den upplevda arbetsmiljön, medan chefernas prestationsskattningar utgjorde den primära källan till information om hur väl urvalsmodellen funge- rar. Samtliga item som administrerades i studien redovisas i appendix 1. Bedömd prestation av cheferna Som kriterie användes medelvärdet av den operativa chefen och gruppchefens bedömningar. P g a av att inte tillräckligt med svar inkommit på vissa frågor plockades dessa frågor bort från analysen. De frågor som inte finns med i analysen var frågorna; 2, 11, 17, 20, 24, 25, 26, 27, 28, 29, 30. Att särskilt de operativa cheferna inte svarat på frågor beror förmodligen på att de upplever att de inte kan besvaras pga att de inte har tillräcklig information om medarbetarna. De frågor som handlade om normbrytande beteende (fråga 25-30) visade inte på någon variation (få av de anställda uppvisade dessa beteenden på arbetsplatsen). Därför plockades dessa bort från analysen. Sammanlagt hade 42 personer kompletta data som ingick i analysen. En särskild källa till variation i prestation fanns mellan enheterna. Den troliga orsaken till variation mellan enheterna ansågs vara mätfel snarare än verkliga skillnader, eftersom cheferna bara kan jämföra individer på respektive arbetsplats. Därför korrigerades resultat genom att varje enhet inomgruppstandardiserades. Detta betyder att varje enhet utgör en egen valideringsstudie, innan resultatet behandlas tillsammans. Reliabiliteten mellan den operativa- och gruppchefen var extrem hög efter att denna korrigering genomförts (ICC=.90). Detta betyder att gruppchefen och operativa chefen på varje enhet hade liknande uppfattning vilka som presterade bäst på varje enhet. TRAFIKVERKET RAPPORT 2 5
Sammanlagt bestod arbetsprestationsmåttet av 20 frågor som speglar de anställdas problemlösningsförmåga (löser problem på egen hand), initiativförmåga (tar befäl över situationer) och interpersonella förmåga (är positiv). Det övergripande måttet på arbetsprestation (alpha=.96) relaterades till ett item som speglar om medarbetaren ligger över eller under genomsnittet i arbetsprestation. Både för gruppchefer (r=.83) och för operativa chefer (r=.81) fanns det ett starkt samband mellan indexet arbetsprestation och detta item. Den goda överensstämmelsen mellan chefernas bedömningar, (uttryckt i ett reliabilitetsmått; ICC=.90), gav stöd för att bedömningarna utgör ett reliabelt mått på arbetsprestation. Därför lades båda chefernas skattning ihop till ett prestationsmått. Egen bedömd arbetsprestation Detta mått utgjordes av fem frågor till de anställda hur de uppfattar sin egen prestation på arbetet i form av initiativtagande och eget självförtroende i sin yrkesroll (alpha=.67). Detta mått utgör även detta ett prestationsmått av betydelse då detta säger något om hur medarbetarna uppfattar att de klarar arbetsuppgifterna på enheten. Egen bedömning av arbetstrivsel Detta mått bestod av sex frågor till de anställda hur väl de trivs i arbetet och i vilken grad de vill fortsätta arbeta inom yrket (alpha=.85). Detta mått är mer av känslomässig karaktär i förhållande till övriga mått i studien. Arbetstrivsel speglar medarbetarens känsla av trivsel på enheten och intention därför att stanna i arbetet. Statistiska beräkningar Tre sambandsmått beräknades för att utvärdera modellen. Först beräknades det bivariata sambandet mellan de oberoende variablerna och kriteriet arbetsprestation. Sedan genomfördes en regressionsanalys för att utvärdera hur den sk operationella validiteten i urvalsmodellen, dvs hur väl de tre poängen på faktorerna; personlighets-, intellektuella- och kognitiva faktorer förutsäger hur väl medarbetarna presterar. Vissa resultat kompletterades även med oddskvotsberäkningar. Denna typ av undersökning som benämnas predicerande validering har två metodologiska problem; 1. Medarbetarna i studien har valts ut på de faktorer som ingår i studien, vilket betyder beskuren spridning bland medarbetarna på de variabler som ska utvärderas. 2. Det finns ett mätfel i kriteriet, dvs cheferna är inte till 100% överens i deras skattningar. Dessa två problem finns alltid i denna typ av studie och kommer därför att korrigeras för i denna undersökning. De resultat som visas i tabellerna nedan är korrigerade för beskuren spridning och reliabilitetsbrister i kriteriet. De värden som använts i korrigeringen redovisas i appendix 2 (μ respektive alpha). För formeln som används vid korrigeringen, se Sjöberg (2009)*. Det sammantagna måttet redovisas i en multipel korrelation (R) och utgör det statistiska måttet på effektivitet av prediktorerna, dvs urvalsmodellen. Som komplettering till dessa resultat genomfördes analyser av enskilda test; PJP, MINT och Kognitiva test (R11KB, D2 och Figuridentifikation). * Sjöberg (2009). Lämplighetspoäng i PJP, Manualsupplement. Assessio International AB. 6 TRAFIKVERKET RAPPORT 2
RESULTAT Urvalsmodellen och bedömd prestation av cheferna Samtliga resultat redovisas i appendix 2. I tabell 1 sammanfattas resultatet i form av linjära sambandet (ρ) mellan prediktorerna, personlighets-, intellektuella- och kognitiva faktorer och kriteriet arbetsprestation. Dessutom redovisas respektive vikt av varje faktor när de andra faktorerna hålls konstant (beta, β) och den operationella validiteten av hela urvalsmodellen (R). Tabell 1. Urvalsmodell och arbetsprestation. Arbetsprestation Faktor ρ β Personlighetsfaktorer -0,06-0,13 Intellektuella faktorer 0,40 0,30 Kognitiva faktorer 0,38 0,26 R 0,48 Resultatet i Tabell 1 visar att den sammantagna modellens validitet ligger på en hög nivå (R=.48). Av de olika faktorerna som använts för beslut vilka individer som plockats ut är det särskilt intellektuella och kognitiva faktorer som bidrar till det höga sambandet. Personlighet har en svaga negativ effekt på bedömningen av cheferna. Sammantaget ger detta stöd för urvalsmodellen, men närmare granskning bör göras av de personlighetsmässiga faktorerna. För att förtydliga resultatet har det ovan nämnda sambandet räknats om till oddskvot. Odds kvot är ett mått på hur sannolikt en händelse kommer att inträffa. För att illustrera detta har varje variabel delats på mitten (vid medelvärdet). Vi får således ett lågt (under medel) och ett högt värde (över medel) på både vår urvalsmodell och bedömd arbetsprestation. Den beräknade oddskvoten säger hur sannolikt det är att en individ hamnar över medel på prestation (istället för under medel i prestation) givet att medarbetaren ligger över medel på faktorerna i urvalsmodellen Om urvalsmodellens effektivitet utvärderas med oddskvot istället för korrelation (R=0,48) skulle det betyda att det är nästan fyra (3,7) gånger större chans att individen hamnar över medel i prestation istället för under medel om individen väljs ut över medelvärdet för respektive faktor. Enskilda test och bedömd prestation av cheferna Resultatet av de enskilda testen visas i Tabell 2. Resultatet visar att PJP, MINT och kognitionstesten visar på en positiv effekt på arbetsprestation. I PJP är det särskilt kapacitetsdelen som bidrar till detta samband. I MINT är det övergripande integritetsmåttet som ger en effekt och av kognitionstesten, som bidrar något mindre till att förklara variationen i kriteriet, är det figuridentifikation och R11 KB som står för ett visst förklaringsvärde av arbetsprestationen. För att testa alla möjliga kombinationer av test för att maximalt förutsäga arbetsprestation behandlades alla test i en och samma analys. Även om resultatet visade på en något bättre prediktion (R=.52) i jämförelse med tidigare analyser som redovisas i tabell 1 och tabell 2, så visade TRAFIKVERKET RAPPORT 2 7
Tabell 2. Enskilda test och bedömd prestation av cheferna. Arbetsprestation Test R Faktorer inom testen PJP 0.40 Kapacitet MINT 0.31 Integritet Kognition 0.28 Figuridentifikation; R11KB Tabell 3. Enskilda test och bedömd prestation av cheferna. Faktor Arbetsprestation β Kapacitet (PJPk) 0,33 Integritet (MINT) 0,28 R 0,46 detta får betraktas som en tidig prestations mätning, andra faktorer kan vara mer betydande över en längre tidshorisont. Urvalsmodellen, enskilda test och egen bedömd prestation och arbetstrivsel Trettiofyra personer hade kompletta data som ingick i analysen. I Tabell 4 redovisas de linjära sambanden mellan urvalsmodellen och självrapporterad prestation samt de enskilda testens samband med kriterierna. De samband som är signifikanta är markerad med fet stil. I urvalsmodellen är det de kognitiva testen som bidrar med att förklara variationen i självrapporterad prestation. Arbetstrivsel kan ej förutsägas med befintlig urvalsmodell. När det gäller enskilda test så är det integritetsmåttet och uppgiftsmåttet i MINT som predicerar prestation. Det är endast relationsorientering som bidrar med att förutsäga arbetstrivsel bland de anställda. det sig vara främst två faktorer i testen som förklarade mesta delen av chefernas bedömning; PJPk och integritetsmåttet i MINT (R=.46). I Tabell 3 visas resultatet av att endast använda integritetsmåttet i MINT och PJPk. Resultatet visar att urvalsmodellen förmodligen kan effektiviseras genom att använda ett allmän begåvningstest och integritetsmåttet som urvalsmetod för att förutsäga arbetsprestation, de andra testbatterierna kan användas som komplement men får betraktas i sammanhanget som något överflödiga. Att medarbetare som ligger på höga värden på kapacitet och integritet har ca 3,5 gånger större chans att vara högpresterande medarbetare i jämförelse med de som inte hamnar högt på integritet och PJPk får betraktas i sammanget utgöra en bra modell för testning av trafikverkets kandidater. Detta resultat bör dock följas upp med senare mätningar då Tabell 4. Resultat självrapporterad data. Prestation Arbetstrivsel Urvalsmodell ρ ρ Personlighets faktorer 0,32-0,05 Intellektuella faktorer -0,09 0,02 Kognitiva faktorer 0,60-0,11 Enskilda test ρ ρ Stabilitet 0,36-0,10 Livlighet 0,30-0,10 Målmedvetenhet 0,30-0,04 Sympatiskhet 0,48 0,39 Kapacitet -0,22 0,05 Integritet 0,67 0,07 Relation -0,39 0,51 Uppgift 0,59 0,00 R11KB 0,17 0,20 D2 0,44-0,12 Figuridentifikation 0,36 0,33 8 TRAFIKVERKET RAPPORT 2
SLUTSATS Resultatet visar att både att den befintliga urvalsmodellen fungerar men också att den kan förbättras. Det är särskilt två saker som bör lyftas fram. Ett allmänt begåvningstest av karaktären kapacitet i PJP bör användas i kommande urvalsmodeller därför att det visat sig att detta test förutsäger arbetsprestation bedömd av cheferna. Ett integritetstest av karaktären MINT bör användas i kommande urvalsmodeller därför att det visat sig att detta test förutsäger arbetsprestation bedömd av cheferna Att använda MINT stöds även av det preliminära resultatet av de egna bedömningarna av prestation och arbetstrivsel där samtliga mått i MINT bidrog att förklara variationen bland de anställda. Resultaten stödjer sammantaget trafikverkets urvalsmodell. Kontinuerliga utvärderingar bör göras i framtiden för att utröna om resultaten förändras över tid. TRAFIKVERKET RAPPORT 2 9
APPENDIX 1 Skattningsschema Medarbetarens namn: Börja med att skatta medarbetarens övergripande arbetsprestation på skalan nedan. Sätt en ring runt den siffra (0 10) som du anser motsvarar medarbetarens övergripande arbetsprestation. 10 9 Medarbetarens arbetsprestation ligger klart över genomsnittet vilket är ett resultat av medarbetarens ansträngningar och kvalifikationer. 8 7 6 5 4 Medarbetarens arbetsprestation är genomsnittlig och i enlighet med de arbetskrav som förväntas uppfyllas. 3 2 1 0 Medarbetarens arbetsprestation ligger klart under genomsnittet vilket beror på medarbetarens brist på ansträngning och kvalifikationer. Fortsätt på nästa sida Assessio International AB, 2010. All kopiering och spridning av ingående uppgifter förbjuden. 10 TRAFIKVERKET RAPPORT 2
Instruktion Nedan följer ett antal påståenden som beskriver hur medarbetaren fungerar på arbetsplatsen. Ta ställning till hur väl varje påstående stämmer överens med din egen uppfattning om medarbetaren. Ringa in den siffra som motsvarar ditt svar enligt skalan 1 = Stämmer inte alls, till 7 = Stämmer helt. Om du anser att du inte har tillräckligt med information om medarbetaren för att kunna ta ställning till påståendet, lämna raden tom och gå vidare till nästa påstående. Ringa endast in en siffra för varje påstående. Medarbetaren Stämmer inte alls Stämmer helt 1 är avspänd och lätt att ha att göra med. 2 har goda färdigheter i att uttrycka sig skriftligt. 3 blir sällan arg. 4 har goda färdigheter i att uttrycka sig muntligt. 5 litar på andra är inte misstänksam. 6 löser problem på egen hand. 7 kommer väl överens med överordnade. 8 löser kreativt nya problem som uppstår. 9 tar initiativ löser problem på egen hand. 10 upptäcker när något är fel. 11 är tävlingsinriktad. 12 är uppmärksam på saker som avviker. Fortsätt på nästa sida TRAFIKVERKET RAPPORT 2 11
Medarbetaren Stämmer inte alls Stämmer helt 13 är positiv. 14 gör rätt sak i rätt ordning. 15 tar befäl över situationer. 16 minns viktiga saker. 17 har utstakade karriärmål. 18 skapar sig snabbt förståelse för problem som uppstår i arbetet. 19 är varm och vänlig till sättet. 20 har ett bra lokalsinne. 21 arbetar hårt. 22 kan fokusera på en uppgift utan att bli distraherad. 23 presterar så bra som möjligt. 24 kan skifta mellan olika arbetsuppgifter utan att det påverkar kvaliteten. Fortsätt på nästa sida 12 TRAFIKVERKET RAPPORT 2
Instruktion Nedan följer fler påståenden om hur medarbetaren fungerar på arbetsplatsen. Ta ställning till hur väl varje påstående stämmer överens med din uppfattning om medarbetaren. Ringa in den siffra som motsvarar ditt svar enligt skalan 1 = Aldrig till 7 = Dagligen. Om du anser att du inte har tillräckligt med information om medarbetaren för att ta ställning till påståendet, lämna raden tom och gå vidare till nästa påstående. Ringa endast in en siffra för varje påstående. Medarbetaren Aldrig Dagligen 25 har tagit hand om privata angelägenheter på arbetstid. 26 har skojat på arbetskamraternas bekostnad. 27 har tagit med sig saker från arbetsplatsen utan lov. 28 har sårat någon på arbetet. 29 har tagit längre eller fler raster än vad som är tillåtet. 30 har kommenterat eller skämtat om andras ursprung eller religion. 31 har kommit för sent till arbetet. 32 har uppträtt hotfullt mot andra på arbetet. 33 har kommit till arbetet påverkad av droger eller alkohol. 34 har betett sig ohyfsat mot arbetskamrater eller kunder. 35 Utifrån det du vet om medarbetarens arbetsprestation och hur hon/han fungerar på arbetsplatsen, skulle du anställa henne/honom på nytt? Ringa in lämpligt svar JA NEJ Assessio International AB, 2010. All kopiering och spridning av ingående uppgifter förbjuden. 2010.11 AS/CA TRAFIKVERKET RAPPORT 2 13
Egen bedömning Namn Läs noga igenom varje påstående och sätt ett kryss i den ruta som bäst stämmer överens med Din uppfattning. Svara så uppriktigt som möjligt Stämmer inte alls Stämmer helt 1 Jag trivs på mitt arbete 1 2 3 4 5 2 Jag känner tillfredsställelse med mitt arbete 1 2 3 4 5 3 Jag är nöjd med det arbete jag har 1 2 3 4 5 4 I mitt arbete försöker jag alltid leva upp till god kvalitet 1 2 3 4 5 5 Jag tar initiativ för att lösa problem i arbetet 1 2 3 4 5 6 Jag gör alltid mitt bästa i arbetet 1 2 3 4 5 7 Jag är trygg och kompetent i min yrkesroll 1 2 3 4 5 8 Jag klarar av de flesta situationer som dyker upp i mitt arbete 1 2 3 4 5 9 Det känns ofta som om organisationens problem är desamma som mina egna problem 1 2 3 4 5 10 Organisationen har stor personlig betydelse för mig 1 2 3 4 5 11 Jag tycker om att berätta för vänner och bekanta att jag arbetar i denna organisation 1 2 3 4 5 12 Jag har en stark känsla av samhörighet med den organisation jag arbetar för 1 2 3 4 5 13 Jag tänker ofta på att byta arbete 1 2 3 4 5 14 Om jag får tillfälle kommer jag att byta arbete 1 2 3 4 5 15 Jag söker aktivt efter andra arbeten 1 2 3 4 5 Tack för Din medverkan 14 TRAFIKVERKET RAPPORT 2
APPENDIX 2 Bedömd Egen bedömd Egen bedömd arbetsprestation (N=42) prestation (N=34) arbetstrivsel (N=34) Urvalsmodell Alpha μ r ρ r ρ r ρ Personlighetsfaktorer 1.00 0.86-0.05-0.06 0.22 0.32-0.04-0.05 Intellektuella faktorer 1.00 0.84 0.32* 0.40-0.06-0.09 0.01 0.02 Kognitiva faktorer 1.00 0.84 0.31* 0.38 0.42* 0.60-0.08-0.11 Stabilitet 0.89 0.89 0.13 0.17 0.25 0.36-0.08-0.10 Livlighet 0.82 0.97 0.04 0.06 0.23 0.30-0.09-0.10 Målmedvetenhet 0.75 0.82-0.02-0.05 0.17 0.30-0.02-0.04 Sympatiskhet 0.70 0.87 0.08 0.11 0.25 0.48 0.28 0.39 Kapacitet 0.84 0.90 0.30* 0.36-0.14-0.22 0.04 0.05 MINT 0.97 0.84 0.25* 0.32 0.48* 0.67 0.05 0.07 Relation 0.93 0.93 0.08 0.10-0.29-0.39 0.44* 0.51 Uppgift 0.94 0.82 0.09 0.12 0.40* 0.59-0.00 0.00 R11KB 0.90 0.85 0.15 0.20 0.11 0.17-0.15 0.20 D2 0.96 0.78 0.04 0.06 0.28 0.44-0.08-0.12 Figuridentifikation 0.90 0.87 0.20 0.24 0.17 0.36-0.26 0.33 * (ρ <.10); Alpha = Cronbach Alpha; μ = beskuren spridning; r = observerat värde; ρ = värde korrigerat för beskuren spridning i prediktorerna och reliabilitetsbrister i kriteriet (ICC=.90). TRAFIKVERKET RAPPORT 2 15