Vad är kvalitet vid test och testanvändning? Sara Henrysson Eidvall, leg psykolog/specialistbevis i arbetslivets psykologi

Transkript

1 Vad är kvalitet vid test och testanvändning? Sara Henrysson Eidvall, leg psykolog/specialistbevis i arbetslivets psykologi

2 STP stiftelsen för tillämpad psykologi Ursprungligen Instiftat av Sveriges psykologförbundet och Psykologiförlaget Verka för kvalitet och kvalitetsutveckling inom arbetspsykologin Granskar test Certifierar testanvändare

3 Kvalitet en process Tillförlitlig och giltig information som leder till en bedömning som leder till beslut om urval som leder till: Ökad effektivitet och lönsamhet för uppdragsgivaren Bästa potential för bästa prestation i arbete, ledarskap eller utbildning rangordning av kandidater Minimerad risk - välja bort kandidater 3

4 Varför testa? Intervju låg reliabilitet och låg validitet Intervju låg överensstämmelse mellan intervjuare Test kan ge Mer, relevant samt standardiserad information Tillförlitlig information (reliabilitet) Giltig information (validitet) Jämförbar information (normer) 4

5 Magkänsla?

6 Vad mäta med test? Personlighet Problemlösningsförmåga (IQ/begåvning) Specifika kapaciteter, tex snabbhet eller noggrannhet 6

7 Exempel på modell och metod Modell Relevans Personlighet Femfaktormodellen, Big five. Den teoretiska modell som har gediget empiriskt stöd i forskning om urval och personbedömning. Prediktiv förmåga. Begåvning Hierarkisk begåvningsmodell med g överst. Starkt empiriskt stöd för modellen. Mycket stark prediktiv förmåga i flera stora metastudier. Metod Personlighetstest Begåvningstest

8 Big Five FFM - Femfaktormodellen N - Känslomässig instabilitet (Neuroticism) E - Utåtriktning (Extraversion) O - Öppenhet (Openness) A - Vänlighet (Agreeableness) C - Målmedvetenhet (Conscientiousness )

9 EQ? Mer populärt förr Olika begrepp Oklara modeller Lågt forskningsstöd 9

10 Intelligens = Begåvning Problemlösning oberoende av tidigare erfarenheter och kunskaper Analys och se samband Logiskt tänkande What you do when you don t know what to do (Haier)

11 Begåvningens betydelse för framgång i arbetslivet - metaanalys av Schmidt & Hunter, 2004 Intresse styr vilket yrke vi väljer men inte hur vi presterar när vi väl har valt. Begåvning förutsäger mer än någon annan egenskap: yrkesnivå och komplexitetsgrad hur man lär sig ett arbete prestationen inom det yrke man valt

12 Begåvning på jobbet Predicerar förmågan att; Handskas med det oväntade 0,75 Lära och återge information 0,71 Fatta beslut 0,69 Snabbt identifiera problem 0,69 Åtgärda problem snabbt 0,67 Lära nya arbetssätt 0,66 Jämföra information från flera källor 0,49

13 Certifiering av testanvändare Syftet med detta certifikat är att ge testledaren ett bevis för sina kunskaper och färdigheter, och för beställaren/köparen ett minimimått på testledarens kunskap, färdighet och erfarenhet inom området Mer än 150 registrerade certifierade testanvändare Skriftligt och muntligt prov Redovisa urvalsärende Register på 13

14 Testgranskning Leverantören skickar själv in sitt material Tre oberoende granskare Efpa-kriterier: Slutsatser och rekommendationer för användning

15 Kvalitetskriterier Teoretisk förankring Psykometriska egenskaper: - normer - reliabilitet - Validitet Dokumentation Användbarhet 15

16 Granskade test 16 PF Hogans Deskriptiva skalor, HDS Hogans Personlighetsinvetorium, HPI Master Person Profil MPP BasIQ KompetensProfilen Myers-Briggs Type Indicator, MBTI steg 1 ThomasSystemet Personlig Profil Analys Thomas PPA ( DISC ) PerSpektiv 1 Service F OPQ32I PAPI Svenska Mercuri Urval Personality, MUPI Prisma Understanding Personal Potential, UPP BP, Basprofil 16

17 Pre- Assessment Assessment Post- Assessment Certifiering av testanvändare EFPA normer Granskning av test EFPA normer

18 v 2 18

19 En internationell standard för bedömningsmetoder i arbetslivet håller på att utarbetas Standarden kommer att påverka alla som på något sätt arbetar med bedömningsmetoder i arbetslivet Resultatet av standarden förväntas bli att genomförandet av bedömningar i arbetslivet blir effektivare, ger bättre beslutsunderlag och mer rättvisa bedömningar 19

20 ISO Assessment Service Delivery Procedures and methods to assess people in work and organizational settings v 2 20

21 Nyheter ISO Skapar en gemensam terminologi på internationell nivå Tydliggör relationen mellan uppdragsgivare och kund Fokuserar både på kvaliteten i bedömningen och beslutet som tas efter bedömningen (karriärplanering, rekrytering, omplacering, rehabilitering, ledarutveckling) Lyfter fram nyttan med bedömningen och möjliggör utkrävandet av ansvar för nyttan 21

22 Nyheter ISO Tar hänsyn till hela bedömningsprocessen istället för att detaljgranska en metod (jmfr STP s granskning av test och certifiering av testanvändare) Skapar ett ramverk för företag och organisationer att effektivisera bedömningsprocessen Fungerar som utgångspunkt för diskussion inom organisationer om etiska och moraliska riktlinjer för bedömningsprocessen 22

23 ISO Part 1 Service Provider Part 2 Client Annex Participant 23

24 Beslut Exempel på beslut som standarden berör; 1. Anställningsrelaterade beslut (rekrytering, urval, utveckling, promotion, omplacering) 2. Karriärrelaterade beslut (coaching, vägledning, rehabilitering) 24

25 Nivåer Nivåer som standarden berör; 1. Individuell bedömning 2. Gruppbedömningar 3. Organisatoriska bedömningar 25

26 Bedömningsmetoder Exempel på bedömningsmetoder som standarden berör; 1. Intervjuer, test, assessment center, CV, referenser 2. Klimatundersökningar (presenterade på teamnivå) 3. Organisatoriska bedömningar (medarbetarundersökningar presenterade på organisationsnivå) 26

27 ISO-standards om bedömningar i arbetslivet 2011 Bedömningsprocessen SKA ha en empirisk, teoretisk och logisk grund Bevis för validitet och nytta SKA finnas dokumenterat Bedömningen SKA vara standardiserad Om flera bedömningsmetoder kombineras SKA det finnas en skriftlig dokumentation om hur dessa ska tolkas i förhållande till varandra Utföraren (konsulten) SKA ha en klar och tydlig rational för slutsatser och beslut samt evidens för detta Läs mer: SIS/TK513 eller ISO/PC230

28 Kärnan i ISO öppenhet och tydlighet >>Denna standard kan i bästa fall säkra öppenhet och tydlighet om de metoder som används för bedömning i exempelvis urvalssyfte, om den evidens som finns för dessa metoders effektivitet och lönsamhet och att människor bedöms efter relevanta och rättvisa kriterier>> MARIA ÅKERLUND

29 Nyckelområden i standarden Pre-assessment (före bedömningen) Assessment delivery (under bedömningen) Post-assessment review (efter bedömningen) 29

30 Pre assessment (Före) I denna fas ska bedömaren visa på dokumentation av att tidigare bedömningar har haft avsedd effekt i form av nytta för både individen och organisationen. Genomföraren/leverantören ska beskriva vilka metoder som ska användas (test, intervju, referenstagning, etc), hur val av metod och process leder fram till beslut, vilka roller olika intressenter ska ha i bedömningen och hur denna bedömning följer de regler och lagar som gäller på arbetsmarknaden. Avtalet mellan beställare och utförare ska dokumenteras. 30

31 Assessment Delivery (Under) I denna fas ingår planering av bedömningen, planering av kommunikation till berörda parter, genomförande av bedömningen, analys och sammanvägning av olika resultat av bedömningsmetoder som använts, rapportering av slutbedömning, eventuell feedback till den/de bedömda. Dessa steg ska dokumenteras i inledningen av denna fas och ingå i överenskommelsen mellan kund och leverantör. 31

32 Post-assessment review (efter) En analys av vilka konsekvenser och vilken nytta bedömningen har på individ, grupp och organisationsnivå. 32

33 Sverige Svenska deltagare i arbetet är representanter från: Stiftelsen för Tillämpad Psykologi, Göteborgs stad, Socialstyrelsen, Ericsson AB, Stockholmsoch Uppsalas universitet/psykologiska institutionerna och test- och konsultföretagen Cut-e Sverige, Sandahl Partners, SHL Group Sverige och Assessio International v1 33

34 Lagstiftning - PUL Om datainsamling - Skriftligt samtycke - Måste informera om referenstagning - Personuppgifter ska INTE sparas efter att rekryteringsprocessen är avslutad 34

35 Lagstiftning Offentlighets- och sekretesslagen (2009:400) 39 kap 5 a Sekretess gäller i ärende om anställning för uppgift som hänför sig till urvalstest, om det inte står klart att uppgiften kan röjas utan att den som uppgiften rör eller någon närstående till denne lider men. Gäller vid alla anställningsbeslut vid alla myndigheter. 35

36 39 kap 1 Sekretess gäller i myndighets personalsociala verksamhet för uppgift som hänför sig till psykologisk undersökning eller behandling och för uppgift om enskilds personliga förhållanden hos psykolog, personalkonsulent eller annan sådan befattningshavare som särskilt har till uppgift att bistå med råd och hjälp i personliga angelägenheter, om det inte står klart att uppgiften kan röjas utan att den som uppgiften rör eller någon närstående till honom eller henne lider men. 36

37 Dina kontrollfrågor Vilken är rationalen för urvalsprocessen? Dvs: 1. Vilket är målet och nyttan med processen? 2. Vilka egenskaper ska man mäta och varför? 3. Vilka metoder väljer man och varför? 4. Hur viktar man ihop resultatet och varför? 5. Hur fattar man sitt beslut och varför? 37

38 Förhållande till andra riktlinjer - standards US ISO (10667 ) EU AERA, APA NCME Standards for Educational and Psychological Testing EFPA European Federation of Psychologists Associations SIOP Society of Industrial and Organizational Psychology STP Stiftelsen för Tillämpad Psykologi American Educational Research Association (AERA), American Psychological Association (APA) and the National Council for Measurement in Education (NCME).

39 STP planerade tjänster Utbildning i Standard ISO Testanvändarcertifiering med europeiska normer Testgranskning med europeiska normer

40 Testdagen 25 maj 2011 på Operaterrassen dagarna/ 40