Redovisade validitetskoefficienter för Psykometrikas testfaktorer

Transkript

1 Valideringsstudie 1. Var: Stockholm. När: våren Vem: Konsultorganisation med 10 bedömda konsulter. Hur: Hela testpaketet användes. Bedömning av kriterievaliditet av överordnad chef. Denne bedömde konsulterna på en skala från 1-5. Kriteriemått som användes var: Har hög potential för professionell utveckling Hög arbetskapacitet Skulle återanställa honom/ henne Omdöme om personens generella arbetsprestation Ett medeltal beräknades över dessa kriteriemått. Därefter beräknades korrelationen mellan respektive testfaktor och kriteriemåttet. Substantiella samband, dvs kriterievaliditeteter var: Arbetsmotivation 0.73 (motivation) Målmedvetenhet 0.70 (personlighet) Motståndskraft 0.68 (personlighet) Verbal förmåga 0.67 (begåvning) Emotionell stabilitet 0.60 (personlighet) Logisk förmåga 0.58 (begåvning) Självförtroende 0.44 (personlighet) Emotionell förmåga 0.41 (begåvning) Även om materialet är begränsat så framkommer att såväl personlighet, motivation och begåvning är valida prediktorer inom detta arbetsområde. 1

2 Valideringsstudie 2. Var: Stockholm och Strömsund vid tre tillfällen. När: Senhösten Vem: Kundtjänstföretag med 26 bedömda medarbetare som deltog frivilligt Hur: Hela testpaketet användes. Könsfördelningen var relativt jämn, 12 män och resten var kvinnor. Åldersfördelningen bland deltagarna var mellan 19 och 52 år (Medianåldern=26 år.) Utbildningsmässigt hade majoriteten (65 %) gymnasiekompetens, där Stockholm generellt sett hade högre utbildningsnivå än Strömsund. I Strömsund var medelanställningstiden drygt 10 år. I Stockholm var motsvarande tid drygt två år. Bedömning genomfördes av överordnade chefer. Dessa bedömde medarbetarna på en skala från 1-5. Kriteriemått som användes var: Har hög potential för professionell utveckling i arbetet Har hög arbetskapacitet Jag skulle återanställa honom/ henne Vill ge ett positivt omdöme om personens generella arbetsprestation Varje individ bedömdes och rangordnades. Måtten vägdes samman till ett medelvärde för bedömd arbetsprestation. Därefter beräknades korrelationen mellan respektive faktor och kriteriemått: Statusmotivation 0.50 (motivation) p Emotionell stabilitet 0.49 (personlighet) p Självförtroende 0.43 (personlighet) p Självbedömd prestation 0.40 (arbetsrelaterat) p Social smidighet 0.30 (personlighet) p Utåtriktad läggning 0.27 (personlighet) p Arbetsmotivation 0.27 (motivation) p

3 Samtliga resultat är korrigerade för kontroll skalan förskönande svar. Det är alltså rensat för felkällan att individer försöker skönmåla sina svar. Redovisat resultat är statistiskt säkerställt på så låg nivå som under 0.2, vilket alltså är statistiskt starka samband med valt framgångs mått. Traditionella personlighetstest brukar ha en prognosförmåga på runt 9 procent (prognostisk validitet runt 0.3), om man ens kan redovisa några relevanta värden. Valida prediktorer inom detta arbetsområde är alltså individers personlighet och motivationsfaktorer. Dessa har sedan legat till grund för den Framgångsprofil som företaget sedan använder vid sina rekryteringar. Notabelt är att begåvningsfaktorerna i och för sig hade ett visst positivt samband med prestation i företaget. Men de var inte signifikanta. 3

4 Valideringsstudie 3. Var: Stockholm och Göteborg/ Halmstad löpande under knappt 3 månader. När: Vintern 2013/våren Vem: Call centerföretag med 21 bedömda medarbetare. Företaget får mellan och ansökningar per år. Av dessa anställs cirka per år. Hur: Hela testpaketet användes, förutom prestationsdelen. Totalt testades 58 personer. Av olika skäl kategoriserade de lokala rekryteringsansvariga 21 medarbetare som bedömdes utifrån tre nivåer: Bra Medel Dålig (grön gul röd). För att kunna beräkna korrelationer delade vi in individerna i två grupper: Grön, definierad som personer vilka presterar bra och företaget trivs med, samt skulle återanställa (N= 9.) Dessa tilldelades värdet 2 (hög i lämplighet). Den gula och röda gruppen slogs samman till en grupp (N= 12.) Dessa tilldelades värdet 1 (låg i lämplighet). Sambandet mellan resultat och kriterievaliditet var: Arbetstrivsel 0.64 (arbetsrelaterat) p Självförtroende 0,62 (personlighet) p Självbedömd prestation 0,62 (arbetsrelaterat) p Arbetsmotivation 0,57 (motivation) p Självansvar 0.52 (personlighet) p Målmedvetenhet 0,43 (personlighet) p

5 Samtliga resultat är korrigerade för kontroll skalan förskönande svar. Det är alltså rensat för felkällan att individer försöker skönmåla sina svar. Redovisat resultat är statistiskt säkerställt på mycket låg nivå, under Vi ser här statistiskt starka samband med valt framgångsmått och hög/låg lämplighetsskattning. Traditionellt brukar personlighetstest ha en prognosförmåga på runt 9 procent (prognostisk validitet runt 0.3). Valida prediktorer inom detta arbetsområde är alltså individers personlighet och motivations- faktorer. Dessa har sedan legat till grund för den Framgångsprofil som företaget sedan använder vid sina rekryteringar. Notabelt är att begåvningsfaktorerna i och för sig hade ett visst positivt samband med lämplighetsskattning i företaget. Men de var inte signifikanta. Hypotesen är att framgång i mer monotona och repetitiva arbeten mer beror på individens motivation och personlighet, än begåvning. Notabelt är också att den enskilt viktigaste faktorn är Arbetstrivsel, som ju inte är en urvalsfaktor vid extern rekrytering. Men viktigt att förstå och arbeta med för ledningen. Troligen är det den enskilt viktigaste faktorn att arbeta med för att minska personalomsättningen och därmed påverka lönsamheten i företaget. 5

6 Valideringsstudie 4. Var: Stockholm och Åseda. När: Vintern Vem: Call centerföretag med 40 bedömda medarbetare. Av dessa testades 37 personer som deltog frivilligt. Hur: Hela testpaketet användes. Könsfördelningen var ojämn, 67 procent var kvinnor. Åldersfördelningen bland deltagarna var mellan 19 och 46 år (Medianåldern=24 år.) Utbildningsmässigt hade majoriteten (89 %) gymnasiekompetens. Personalomsättningar är dock låg, bara 20 procent, vilket är mycket lågt för branschen. Bedömning genomfördes av överordnade teamledare. Dessa bedömde medarbetarna på en skala från 1-5. Kriteriemått som användes var: Har hög arbetskapacitet Visar stort engagemang i sitt arbete Är lättlärd Uppfyller de uppsatta indexmålen Är professionell i arbetet Sprider positiv energi i gruppen Närvaro Jag skulle återanställa honom/ henne 6

7 Varje individ bedömdes. Måtten vägdes samman till ett medelvärde för bedömd arbetsprestation. Tydligast blev resultaten när vi bildade en toppgrupp (N=9) och jämförde med gruppen som bedömdes prestera sämre (N=9). Därefter beräknades korrelationen mellan respektive faktor och kriteriemått: Självansvar 0.50 (personlighet) p Arbetstrivsel 0.47 (arbetsrelaterat) p Arbetsmotivation 0.44 (motivation) p Utåtriktad läggning 0.34 (personlighet) p Målmedvetenhet 0.33 (personlighet) p Emotionell förmåga 0.33 (begåvning) p Samtliga resultat är korrigerade för kontroll skalan förskönande svar. Det är alltså rensat för felkällan att individer försöker skönmåla sina svar. Redovisat resultat är statistiskt säkerställt på så låg nivå som under 0.10, vilket alltså är statistiskt starka samband med valt framgångs mått. Traditionella personlighetstest brukar ha en prognosförmåga på runt 9 procent (prognostisk validitet runt 0.3), om man ens kan redovisa några relevanta värden. Valida prediktorer inom detta arbetsområde är alltså individers personlighet och motivationsfaktorer. Dessa har sedan legat till grund för den Framgångsprofil som företaget sedan använder vid sina rekryteringar. Notabelt är att begåvningsfaktorerna i och för sig hade ett visst positivt samband med prestation i företaget. Men de var inte signifikanta. 7

8 Valideringsstudie 5. Var: Sverige. När: Våren Vem: Sveriges största Juristbyrå med 143 bedömda medarbetare. Av dessa testades 141 personer som deltog frivilligt. Hur: Hela testpaketet användes. Könsfördelningen var ojämn, 81 procent var kvinnor. Åldersfördelningen bland deltagarna var mellan 19 och 64 år. Utbildningsmässigt hade majoriteten (66 %) Högskoleexamen. Bedömning genomfördes av två överordnade chefer, oberoende av varandra. Dessa bedömde medarbetarna på en skala från 1-5. Kriteriemått som användes var: Har hög arbetskapacitet Visar stort engagemang i sitt arbete Har hög potential för professionell utveckling i arbetet Håller sin debiteringsgrad Jag vill ge ett positivt omdöme över individens generella arbetsprestation Får höga värden vid kundnöjdhetsundersökningar Jag skulle återanställa honom/ henne 8

9 Varje individ bedömdes. Måtten vägdes samman till ett medelvärde för bedömd arbetsprestation. Tydligast blev resultaten när vi bildade en toppgrupp (N=21) och jämförde med gruppen som bedömdes prestera sämre (N=23). Därefter beräknades korrelationen mellan respektive faktor och kriteriemått: Självbedömd prestation 0.40 (arbetsrelaterat) p Logisk förmåga 0.38 (begåvning) p Arbetstrivsel 0.34 (arbetsrelaterat) p Emotionell förmåga 0.33 (begåvning) p Arbetsmotivation 0.33 (motivation) p Målmedvetenhet 0.31 (personlighet) p Utåtriktad läggning 0.28 (personlighet) p Motståndskraft 0.24 (personlighet) p Självansvar 0.24 (personlighet) p Statusmotivation 0.24 (motivation) p Samtliga resultat är korrigerade för kontroll skalan förskönande svar. Det är alltså rensat för felkällan att individer försöker skönmåla sina svar. Redovisat resultat är statistiskt säkerställt på så låg nivå som under 0.10, vilket alltså är statistiskt starka samband med valt framgångs mått. Traditionella personlighetstest brukar ha en prognosförmåga på runt 9 procent (prognostisk validitet runt 0.3), om man ens kan redovisa några relevanta värden. Valida prediktorer har sedan legat till grund för den Framgångsprofil som företaget sedan använder vid sina rekryteringar. 9