ÄR HÖGSKOLEUTBILDNINGAR ANPASSADE FÖR ARBETSLIVET?

RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS 2015:4 ÄR HÖGSKOLEUTBILDNINGAR ANPASSADE FÖR ARBETSLIVET? En studie om alumners upplevelser av måluppfyllnad under utbildningen Peter Sigrén

FÖRELIGGANDE RAPPORT är nummer 2015:4 i rapportserien Rapporter och publikationer från Högskolan i Borås. Syftet med rapportserien är dels att redovisa resultat från pågående och avslutade projekt samt att publicera inlägg i en pågående diskussion kring tillämpade metoder och att utveckla idéer inom ramen för högskolans uppdrag. Högskolan i Borås Besöksadress: Allégatan 1, 501 90 Borås e-post: peter.sigren@hb.se Grafisk form PETER SIGRÉN Omslagsbild COLOURBOX Tryck RESPONSTRYCK, BORÅS 2015 NR 2015:4 ISSN:1400-0253 ISBN: 978-91-87525-87-2 (tryckt) ISBN: 978-91-87525-88-9 (pdf) DiVA: http://urn.kb.se/resolve?urn=urn:nbn:se:hb:diva-1007

I RAPPORTSERIEN RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS 2003:1 Alonzo, Y., & Holmqvist, H. (2003). Högskolan i Borås regionala betydelse ur ett näringslivsperspektiv. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2005:1 Nilsson, K. S. (2005). At the Core. Undervisning och lärande vid ett amerikanskt liberal arts college sett ur svenskt utbildningsperspektiv. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2007:1 Lööf, S. (2007). Costa Rica januari 2007 en resa för att undersöka möjligheter till samarbete. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2007:2 Högberg, I., & Holmeros Skoglund, K. (2007). Studentsupport vid Högskolan i Borås. Orsaker till ofullständiga studieresultat bland förstaårsstudenter kan vi göra något åt detta? Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2014:1 Sigrén, P. (2014). Studentbarometern HT 2013. Studie- och arbetsmiljö. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2014:2 Sigrén, P. (2014). En studie om utbildningskvalitet kvalitetsbedömning inom den högre utbildningen. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2014:3 Sigrén, P. (2014). Boråsakademiker 2014. Etableringsgrad och utbildningskvalitet 2008 års programstudenter. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2015:1 Sigrén, P. (2015). Studentbarometern 2014. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2015:2 Sigrén, P. (2015). Boråsakademiker 2015. Etableringsgrad och utbildningskvalitet 2009 års programstudenter. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås.

2015:3 Sigrén, P. (2015). Kvalitet i högskolan. Studenters uppfattningar om utbildningskvalitet. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås. 2015:4 Sigrén, P. (2016). Är högskoleutbildningar anpassade för arbetslivet? En studie om alumners upplevelser av måluppfyllnad under utbildningen. Högskolan i Borås: Rapporter och publikationer från Högskolan i Borås.

RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS INNEHÅLL Rapport 2015:4 Är högskoleutbildningar anpassade för arbetslivet? En studie om alumners upplevelser av måluppfyllnad under utbildningen SAMMANFATTNING... 7 1 INLEDNING... 9 Bakgrund... 10 Syfte... 10 Frågeställningar... 11 Studiens disposition... 11 Genomförandet... 11 Referenslitteratur... 12 Svarsfrekvens och bortfallsanalys... 12 2 METOD FÖR ANALYS... 15 Inledning... 15 Faktoranalys som metod... 16 Val av extraktions- och rotationsmetod... 17 Ett dataunderlags lämplighet... 18 Internt bortfall... 21 Variansanalys... 23 Indexering av variabler... 23 Mätinstrumentets validitet... 25 Tillförlitlighet av mätningar... 26 3 RESULTAT... 29 3.1 Inledning... 29 3.2 Generiska förmågor... 30 Sammanfattning... 34 3.3 Språklig kompetens... 37 Sammanfattning... 41 3.4 Sociokulturell kompetens... 43 Sammanfattning... 47

3.5 IT-kompetens... 49 Sammanfattning... 53 3.6 Presentationsfärdigheter... 54 Sammanfattning... 58 3.7 Projektledningskompetens... 59 Sammanfattning... 63 3.8 Totalt kvalitetsindex (TQI)... 64 Sammanfattning... 68 4 AVSLUTANDE KOMMENTARER... 69 REFERENSER... 73 BILAGA I... 77 Tabell 1 Factor correlation matrix.... 77 Tabell 2 Factor correlation matrix.... 77 Tabell 3 Reliabilitet.... 77 BILAGA II... 79 Genus och ålderskategorier för populationen... 79 Renommé och tidigare högskolestudier... 79 Förstahandsval av högskola... 80 Inför utbildningsvalet?... 80 Examen... 80 BILAGA III... 81 Exempel på vykortsutskick... 81

SAMMANFATTNING Studien har som utgångspunkt att redovisa statistisk empiri, från de fem senaste Boråsakademiker (s.k. etableringsrapporter) som genomförts vid lärosätet (2011-2015). Resultaten omfattar endast de kvalitetsindex som redovisats i de nämnda studierna med några få undantag, se bilaga II. De två frågeinstrumenten består av 25 variabler vardera och avser att mäta: a) ett upplevt behov i arbetslivet av ett antal dimensioner; b) hur dessa dimensioner genererats under utbildningstiden. Index som mäts är: Generiska förmågor Språklig kompetens Sociokulturell kompetens IT-kompetens Presentationsfärdigheter Projektledningskompetens Föreliggande studies resultat avser egentligen huruvida lärosätet genererar tillräckligt hög kompetens, för högskolans alumner, vid inträdet till arbetslivet. Kompetensbegreppet kan vara svårdefinierat. Enligt Swedish Standards Institute s (SIS) standard för ledningssystem och kompetensförsörjning kan själva begreppet definieras som förmåga och vilja att utföra en uppgift genom att tillämpa kunskaper och färdigheter. Vad som har framgår, av resultaten, är att måluppfyllnaden (under utbildningen) inte når upp till målupplevelser (behovet i arbetslivet). Alumner upplever att de dimensioner, med något undantag, som mäts skulle behöva genereras i större utsträckning, än vad om sker, under utbildningstiden. Analysmetoden (faktoranalys) följer en modell som introducerades 2011, när projektet initierades, se t.ex. (Sigrén, 2014b, 2015b). En faktoranalys (FA) kan vara eller är snarare ett värdefullt verktyg vid en analys av ett större statistiskt datamaterial och kan i sin förlängning leda till en mer teoretisk förståelse för materialet. Det kan naturligtvis vara ett mål i sig men ofta finns flera mål med en faktoranalys. Det kanske viktigaste målet med en faktoranalys är att kunna förbättra och utveckla ett mätinstru- HÖGSKOLAN I BORÅS 7

ments validitet. Begreppet innebär att forskaren erhåller en kontroll av trovärdigheten (giltigheten) i en analys som genomförs. Styrkan eller avsaknad av densamma, i den empiri som föreligger, är en viktig aspekt att förvissa sig om och samtidigt kunna göra en bedömning av den rimlighet som utförs i slutfasen av en studie. Resultaten visar på relativt stora skillnader mellan alumners målupplevelser (arbetslivet) och måluppfyllnad (utbildningen), se tabell 1 och 2. Tabell 1 Totalt index för arbetslivet. Referensvärde 1,0 (maximal målupplevelse). 2005-2009 års programstudenter. ÅR BHS HIT IH PED THS VHB HB TOTALT 2005 0,804 0,777 0,723 0,821 0,795 0,782 0,788 2006 0,774 0,792 0,752 0,806 0,774 0,790 0,785 2007 0,780 0,755 0,756 0,815 0,778 0,815 0,789 2008 0,758 0,742 0,727 0,809 0,757 0,801 0,776 2009 0,764 0,774 0,688 0,808 0,759 0,793 0,767 2005-2009 0,778 0,771 0,727 0,812 0,772 0,796 0,781 Tabell 2 Totalt index för utbildningen. Referensvärde 1,0 (maximal måluppfyllnad). 2005-2009 års programstudenter. ÅR BHS HIT IH PED THS VHB HB TOTALT 2005 0,729 0,697 0,714 0,812 0,696 0,741 0,734 2006 0,705 0,787 0,680 0,808 0,712 0,738 0,744 2007 0,738 0,727 0,677 0,828 0,728 0,825 0,763 2008 0,704 0,622 0,721 0,761 0,759 0,754 0,734 2009 0,683 0,754 0,617 0,769 0,705 0,736 0,711 2005-2009 0,711 0,725 0,676 0,798 0,722 0,758 0,737 8 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

1 INLEDNING Studien som föreligger har som utgångspunkt att redovisa statistisk empiri, från de fem senaste Boråsakademiker (etableringsrapporter) som genomförts vid lärosätet (2011-2015). Studien omfattar endast de kvalitetsindex som redovisats i de nämnda studierna. De två frågeinstrumenten består av 25 variabler vardera och avser att mäta: a) ett upplevt behov i arbetslivet av ett antal dimensioner; b) hur dessa dimensioner genererats under utbildningstiden. Högskolans dåvarande sex institutioner har getts möjlighet, i dessa nämnda studier, att ha med två egna frågebatterier som då är institutionsspecifika. Dessa redovisas ej i föreliggande studie. Anledningen till detta ställningstagande är att studien blir allt för omfattande. Studien ingår i ett större longitudinellt projekt som påbörjades vid lärosätet hösten 2010. Projektet omfattas såväl årliga etableringsrapporter som årliga studentbarometrar. Respondentdatabaserna, omfattar, för dessa två projekt, cirka 7 000 respondenter. Primärt belyser alumnundersökningar hur väl studenter klarar av inträdet till arbetslivet. Sekundärt kan alumnundersökningar även utnyttjas för att ge återkoppling vad gäller utbildningars kvalitativa innehåll, upplägg och relevans i ett samtida samhällsperspektiv. En annan viktig aspekt är att alumnaktiviteter bygger upp en relation till tidigare studenter. Samtliga nämnda aspekter utgör viktiga faktorer för högskolans strategiska utveckling som ett professionsinriktat lärosäte (Högskolan i Borås, 2010). De årliga etableringsrapporterna mäter naturligtvis mer än dessa s.k. kvalitetsindex. I denna studie har valet varit att inte redovisa den resterande empirin. Risken är att rapporten blir för "tung" och resterande data redovisa under 2016, se t.ex. (Sigrén, 2015a). Index som mäts: Generiska förmågor Språklig kompetens Sociokulturell kompetens IT-kompetens HÖGSKOLAN I BORÅS 9

Presentationsfärdigheter Projektledningskompetens Bakgrund När de longitudinella studierna (studentbarometrar och etableringsrapporter) startade hösten 2010 gavs uppdraget, som projektledare, till undertecknad. Från början fanns 56 frågeställningar som var tänkta att mäta ett antal övergripande, för lärosätet, "kvalitetsindex". Efter fem utförda studier återstår 50 av de ursprungliga frågeställningarna. Referensgruppen för projekten funderade något över uppdragets karaktär där uppdragsgivaren endast önskade deskriptiva resultat i form av enklare diagram och tabeller (ingen tyngre statistik redovisning). En tanke som lyftes var att nu samlas det in en hel del empir och är det önskvärt, att i framtiden, kunna utföra mer vetenskapliga studier? Svaret som följde var att mer djupgående studier skulle kunna genomföras och därigenom blev det en modellstruktur som var möjlig att analysera via faktoranalys och där tillhörande statistiska mätmetoder. Det har under åren skett justeringar i frågeformulären specifikt för att höja validiteten i undersökningarna. Faktoranalysen fångar upp dessa förändringar på korrekt sätt. De 50 frågeställningar som nu återstår, efter fem års arbete, extraherar tolv faktorer och mäter de dimensioner/index som var avsedda att mätas på ett fullgott sätt. Faktorerna extraheras med en god intern konsistens och instrumentet kan således påstås hålla hög validitet. Formulärets frågematriser innehåller fem svarsalternativ (ordinalskala). Vid den statistiska bearbetningen ges svarsalternativen ett värde från 1 (mycket låg) till 5 (mycket hög). Frågeställningarna lyder: I vilken utsträckning innefattar ditt arbete att du skall kunna... (målupplevelser) I vilken utsträckning anser du att utbildningen genererat att du skall kunna... (måluppfyllnad) Syfte Syftet med studien är dels att statistiskt säkerställa och redovisa diskrepanser för ett antal index, mellan institutioner, samt att kunna avgöra hur väl utbildningen motsvarat arbetslivets behov av dessa dimensioner. 10 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Frågeställningar Är det möjligt att, i enlighet med syftet för undersökningen, använda explorativ faktoranalys (EFA) 1 som metod för att synliggöra bakomliggande fenomen. Levererar lärosätet de färdigheter, förmågor och kompetenser, i den omfattning, som arbetslivet efterfrågar? Studiens disposition Studien inleds med en inledning, bakgrundsbeskrivning, syfte, urvalsproces och bortfallsanalys. Därefter redovisas teoretiska och metodologiska utgångspunkter för studien, resultatredovisning och slutligen ett diskussionsavsnitt. Genomförandet Studien utgår, som tidigare nämnts, utifrån fem totalundersökningar med den begränsningen att endast respondenter med en e-postadress i högskolans studentadministrativa system Ladok 2 har kunnat svara på ett webbaserade frågeformuläret. Huruvida det kan påstås att det är en totalundersökning för 2013-2015 års undersökningar kan diskuteras. Det skedde i och för sig ett urval, se fotnot 2. Det kan även tilläggas att vid de två första studierna som omfattade 2005 och 2006 års programstudenter gjordes ett försök med vykortsutskick, som ett komplement till de webbaserade frågeformulären. Det visade sig att svarsfrekvensen blev allt för låg på "vykortet" och kostnaden för arbetsinsatsen samt distributionen av dessa blev inte försvarbart, se bilaga III. Det räknades på kostnaden och det framkom att kostnaden för ett uppdaterat adressregister 3, tryckning av vykort samt porto blev cirka tolv kronor per vykort. Cirka 1 000 vykort skickades ut, vid varje års undersökning, samt en påminnelse för cirka 900 respondenter per studie. För- 1 Exploratory Factor Analysis (EFA) is a statistical method used to uncover the underlying structure of a relatively large set of variables. 2 Vid 2011 och 2012 års studie fanns e-postadresser till cirka 50 procent av alumnerna. 2013-2015 har det skett en kumulativ ökning av tillgången till e-postadresser och vid 2015 års undersökning fanns e-postadresser till 86 procent av alumnerna. 3 www.adressleverantoren.se HÖGSKOLAN I BORÅS 11

söket var lärorikt med tanke på allt arbete som låg till grund för dessa vykortsutskick. Referenslitteratur Referenslitteratur vid metodutveckling och analys har varit: (Borg & Westerlund, 2006; Bryman & Cramer, 2011; Djurfeldt & Barmark, 2009; Djurfeldt, Larsson, & Stjärnhagen, 2003; Edlund, 1995; Hair, Black, Babin, Anderson, & Tatham, 2006; Loehlin, 2004; Miller, Vandome, & McBrewster, 2010; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991; Wilson, 2005). Förkortningar för lärosätets institutioner används såväl i löpande text som i figurer och tabeller. Institutionen biblioteks- och informationsvetenskap Bibliotekshögskolan (BHS) Institutionen Handels- och IT-högskolan (HIT) Institutionen Ingenjörshögskolan (IH) Institutionen för pedagogik (PED) Textilhögskolan (THS) Institutionen för vårdvetenskap (VHB) Svarsfrekvens och bortfallsanalys Ett övergripande problem med alumnstudier är att erhålla en tillräcklig hög svarsfrekvens. I föreliggande studie uppvisas en svarsfrekvens på cirka 25 procent. Naturligtvis är det svårt att generalisera, utifrån en så låg svarsfrekvens men sett över de fem studierna som utförts kan ändå vissa slutsatser dras. Webbaserade enkäter visar, rent generellt, på låga svarsfrekvenser (Hansson, 2006). Vid de två studentspeglar (2002, 2007) som dåvarande Högskoleverket genomförde framgår det att svarsfrekvensen minskade, mellan dessa två studier, med tio procent (Högskoleverket, 2002, 2007). Vid Karlstad universitet har det pågått longitudinella studier rörande studenter och alumner och i dessa studier diskuteras även de svårigheter, med att analysera data, som uppstår med låga svarsfrekvenser, se t.ex. (Haglund, 2010) jmf (Lundmark, 2006). 12 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Erfarenhetsmässigt har det visat sig att det finns registrerade studenter kvar i systemen även om dessa har avbrutit sin utbildning. Det är svårt att få ett grepp om antalet. Ses det till nybörjare (förstahandsval för hela riket) finns cirka 60 procent av dessa kvar under år två (Universitetskanslersämbetet, 2014:119). Det kan tilläggas att cirka hälften av varje årskull räknas som nybörjare vid registreringen. Vid jämförelser mot t.ex. studentbarometern framgår det att det underlättar, vad gäller svarsfrekvensen, att ha studenterna på plats. Beroende något på hur bortfallet hanteras ligger svarsfrekvensen, för studentbarometern, på drygt 40 procent - som då kan anses som relativ hög, se t.ex. (Sigrén, 2014b:10). Tabell 1.1 Registrerade programstudenter 2005-2009 (exkluderat studenter som inte kunnat nås med e-post; 1 416). Andel i antal och procent. N = 7 715. Procent för institutioner redovisas mot respektive grupp. INSTITUTION KVINNOR (N) PROCENT MÄN (N) PROCENT BHS 755 15,9 320 10,8 HIT 685 14,4 632 21,4 IH 515 10,8 1 291 43,6 PED 1 286 27,0 287 9,7 THS 737 15,5 135 4,6 VHB 1 077 22,6 295 10,0 TOTALT 4 755 61,6 2 960 38,4 Tabell 1.2 Svarsfrekvens per institution (2005-2009). Procent redovisas mot respektive institution och grupp (se tabell 1.1). N = 1 612. INSTITUTION KVINNOR (N) PROCENT MÄN (N) PROCENT BHS 207 27,4 60 18,8 HIT 107 15,6 82 13,0 IH 85 16,5 137 10,6 PED 298 23,2 41 14,3 THS 267 36,2 10 7,4 VHB 248 23,0 70 23,7 TOTALT 1 212 25,5 400 13,5 En allt för låg svarsfrekvens, från en målgrupp, medför att det blir svårt att anta, på ett korrekt sätt, ifall alumner som besvarat enkäten kan anses vara representativa för hela målgruppen. Sett över tid har svarsfrekvenser, HÖGSKOLAN I BORÅS 13

generellt sett, minskat och numera är det inte alls ovanligt med svarsfrekvenser på långt under 50 procent. Ett grundantagande vid beräkning av urvalsstorlek i stickprovsunderlag är att populationen fördelar sig symmetriskt kring sitt medelvärde, s.k. normalfördelning. Om det kan antas att detta inte är fallet bör slumpmässiga urval uteslutas och istället välja någon form av systematiskt urval. Fördelen som finns i föreliggande studie är att det ges möjlighet att även se hur resultaten sett ut för varje års population. Framgår det då avvikelser som kan anses vara av onormal karaktär kan ytterligare mätningar utföras för att kontrollera sådana avvikelser, se vidare i metodavsnittet. Vid dessa etableringsrapporter utförs egentligen inget urval enligt de nämnda metoderna ovan. Enkäten skickas ut till den e-postlista som finns att tillgå. Detta förfarande beror på svårigheter med att få alumner att besvara enkäten. Ett systematiskt- alternativt slumpmässigt urval skulle troligen leda till en allt för låg svarsfrekvens för att kunna genomföra det metodval (EFA) som undersökningarna vilar på. 14 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

2 METOD FÖR ANALYS Inledning Analysmetoden följer den modell som introducerades 2011, när projektet initierades, se t.ex. (Sigrén, 2014b, 2015b). Justeringar har skett kontinuerligt vid de årliga analyserna. När pilotstudien genomfördes hösten 2007 observerades problem med validitet i instrumentet, som till viss del berodde på ett allt för optimistiskt frågeinstrument, t.ex. frågor som egentligen mätte samma sak samt otydlighet i ett par frågeställningar där frågeställningar kunde tolkas som flera frågor. Utifrån 2007 års pilotstudie kunde det uppmärksammas att den interna konsistensen inte var tillräcklig hög vid faktoranalysens extraktion, som då bl.a. berodde på det som nämnts ovan. Faktoranalysen utfördes, i efterhand, i samband med deltagande, av undertecknad, i en kurs i utvärderingsmetodik, inom ramen för en ledarskapsutbildning, (Sigrén, 2010). Ett av flera mål med dessa longitudinella studier är att se på hur alumner upplever att de dimensioner som mäts behövs i arbetslivet och samtidigt mäta på hur alumner upplever att utbildningen genererat dessa dimensioner. Andra mål med studierna är att kunna fånga upp vilka fenomen som gör att lärosätet lyckats väl med att utbilda studenter som dels trivs under sin studietid på lärosätet samt blir attraktiva på arbetsmarknaden. Ett annat mål är naturligtvis att utveckla lärosätets utbildningar mot samtidens krav på kvalitativt innehåll bl.a. genom att förbättringsåtgärder sker utifrån redovisade resultat, se t.ex. (Högskoleverket, 2009). Studierna/undersökningarna är effektstudier som innebär att fenomen mäts i efterhand. I dessa studier har alumner arbetat mellan 12 och 18 månader, efter det att utbildningen avslutats. Initialt vid databearbetning används, avser samtliga genomförda studier, Exploratory Factor Analysis (EFA) och inom ramen för EFA används Principal Axis Factoring (PAF). HÖGSKOLAN I BORÅS 15

Faktoranalys som metod Teorin bakom faktoranalys är väl beprövad t.ex. genom C. Spearman s, (Spearman, 1904) och L. L. Thurstone s (Thurstone, 1933) såväl tidiga som klassiska studier. Thurstone utvecklade en teori om att gruppfaktorer, på ett säkrare sätt, kunde mäta underliggande fenomen till skillnad från Spearman s teori där en enskild faktor påstods kunna mäta en enskild dimension. En faktoranalys (FA) kan vara eller är snarare ett värdefullt verktyg vid en analys av ett större statistiskt datamaterial och kan i sin förlängning leda till en mer teoretisk förståelse för materialet. Det kan naturligtvis vara ett mål i sig men ofta finns flera mål med en faktoranalys. Det kanske viktigaste med en faktoranalys är att kunna förbättra och utveckla ett mätinstruments validitet. Begreppet innebär att forskaren erhåller en kontroll av trovärdigheten (giltigheten) i en analys som genomförs. Styrkan eller avsaknad av densamma, i den empiri som föreligger, är en viktig aspekt att förvissa sig om och samtidigt kunna göra en bedömning av den rimlighet som utförs i slutfasen av en studie. Vid ett frågeinstrument med ett stort antal variabler som är tänkta att mäta liknande fenomen t.ex. kvalitet kan det uppstå problem med multikollinearitet som då innebär att inbördes variabler blir korrelerade. Det är inte ett helt ovanligt fenomen när ett mätinstrument är i sin första fas av utvecklingen och antalet variabler kan reduceras genom faktoranalys och därigenom skapa en regressionsmodell som blir mer hanterbar och mer djupgående analyser i form av strukturell ekvationsmodellering (SEM) kan utföras. Multipla indikatorer är i sig ofta komplexa och svåra att på ett mer teoretiskt plan tyda. Det är önskvärt att erhålla en god validitet i undersökningar och då är det brukligt att ställa fler frågor till (eller runt) ett fenomen som forskaren önskar undersöka närmare. Ambitionen är att täcka in fler dimensioner av det som skall undersökas och samtidigt minimera problem med inflytandet av mätfel som beror på att variabler i sig är behäftade med mätfel. Genom att väga samman variabler t.ex. vid en indexering kan s.k. mätfel utjämnas, i enskilda variabler, och därmed minimera risken att ett snedvridet resultat uppstår (bias), se t.ex. (Barmark, 2009; Borg & Westerlund, 2006; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:413ff) jmf (Loehlin, 2004:152ff). 16 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

För att faktoranalys ska vara lämplig som metod krävs generellt ett relativt stort antal variabler. I vanlig ordning finns inga exakta regler för hur många som krävs, men det är bra om minst 3-5 variabler (för varje enskild faktor) är starkt associerade med varje identifierad faktor (Barmark, 2009:79). Faktorladdningar bör ha en laddning på minst 0,4 för att indikera en godtagbar intern konsistens (Sharma, 1996) jmf (Hair et al., 2006). En faktoranalys avgör t.ex. en diskrepans mellan faktorer som eventuellt kan säkerställas statistiskt alltså att diskrepanser inte beror på slumpmässiga faktorer. Det är viktigt att klargöra att faktoranalys, som metod, är ett sätt att kombinera variabler och samtidigt reducera antalet variabler för att synliggöra bakomliggande fenomen. En faktor innebär således att sätta ihop variabler som tillsammans visar på något bakomliggande (latent) som då är gemensamt för själva faktorn. Vidare bör det klargöras att en faktoranalys inte avgör om ett resultat är bra eller mindre bra. Den ger snarare indikationer på om forskaren är på rätt väg. Vid faktoranalyser i föreliggande studie används de starkt associerade items i respektive faktorer till att skapa ett antal index, se t.ex. (Field, 2005; George & Mallery, 2006:246; Loehlin, 2004:152ff; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:592 ff). Dessa index används i sin tur till jämförelser mellan institutioner såväl genom grafer som genom multivariat variansanalys samt linjär regressionsanalys. Val av extraktions- och rotationsmetod Analysen sker genom explorativ faktoranalys (EFA) med efterföljande indexering. För att vara mer specifik används Principal Axis Factoring (PAF) med rotationsmetoden Direct Oblimin. En förklaring till valet är att frågorna som ställs berör närliggande fenomen, nämligen utbildningsrelaterade. En oblik rotation (spetsvinklig) har dessutom inget krav på sig att faktorerna skall vara okorrelerade sinsemellan. De krav som ställs för att kunna genomföra EFA kan anses vara uppfyllda men för att krångla till det ytterligare finns ett antal olika metoder för extrahering när en faktoranalys skall genomföras och som då är knutna mot syftet för att genomföra en sådan. De två förekommande metoderna är Exploratory Factor Analysis (EFA) samt Common Factor Analysis (CFA) och en diskussion om vilken av dessa som lämpar sig bäst finns. Skillnaden är att i den först nämnda HÖGSKOLAN I BORÅS 17

baseras beräkningarna på den totala spridningen i variablerna medan beräkningarna i CFA baseras på den andel av spridningen som är gemensam och som då innebär att korrelationer mellan variabler synas närmare. Kortfattat kan sägas att CFAn lämpar sig bättre om syftet främst är teoretiskt. EFAn däremot är bättre lämpad om empirin skall ligga till grund för efterföljande regressions- och variansanalyser och därigenom kunna maximera modellens prediktiva förmåga (Djurfeldt & Barmark, 2009: 82-83). Utfallen från de tidigare studiernas resultat har visat på ett antal bakomliggande "fenomen" därav är det tillräckligt med att utföra endast en EFA i föreliggande studie. Utfallet från EFAn är dessutom något mer lättolkad. Figur 2.1 Oblik faktor rotation. Från Hair et al. (2006), p. 108. Innebörden av en oblik rotation blir att faktorerna anpassar sig till variabelklustrets faktiska position. Faktorlösningen blir då tydligare och mer följsam i och med att en enskild faktor kommer att korrelera starkt med några få variabler och svagare med övriga. Ett dataunderlags lämplighet Ett dataunderlags lämplighet för att genomföra faktoranalys bör testas innan en sådan genomförs. Det finns några olika metoder för att testa underlagets lämplighet. En metod är att utföra ett test i form av Kaiser- Meyer-Olkin Measure of Sampling Adequacy (KMO) som då mäter data- 18 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

underlagets lämplighet för att genomföra faktoranalys. Kortfattat kan sägas att KMO undersöker om det finns variabler som inte samvarierar med andra variabler. Variabler som inte samvarierar med andra kan inte bidra till att identifiera faktorer och KMO varnar för förekomst av sådana variabler, se t.ex. (Barmark, 2009:92). Testet skall visa på "icke signifikant". Även om KMO inte är ett statistiskt test finns framtagna rekommendationer för hur högt KMO bör visa på för att dataunderlaget skall passa för att genomföra faktoranalys. Ett KMO värde ligger mellan 0 och 1 och där ett värde över 0,90 anses som excellent. Föreliggande studies KMO uppvisar värden på över 0,90 för båda frågebatterierna. När KMO väljs, i SPSS, erhålls även Bartlett s Test of Sphericity som är ett statistiskt test för att kontrollera om det finns någon korrelation mellan variabler (Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:596ff). Värdet för denna analys leder oss till huruvida en nollhypotes skall förkastas (r=0). Är resultatet signifikant finns samband i materialet. Det dataunderlag som här föreligger visar på att resultatet, för båda frågeformulären, är signifikant (p < 0,000) och därigenom kan slutsatsen dras att det finns samband i datamängden som är lämplig för faktoranalys. Problemet med detta test är att det nästan undantagslöst blir signifikant, framförallt vid stora dataunderlag. Vad som mäts, eller anges, är att bland samtliga bivariata korrelationer i korrelationsmatrisen åtminstone finns någon som är signifikant (Barmark, 2009:92). Det vore högst osannolikt, med tanke på dataunderlagets storlek, att H 0 inte skulle uppnås (förkastas) i föreliggande dataunderlag. Pedhazur & Pedahzur Schmelkin anger att: Bartlett s sphericity test is affected by sample size. When N is large, as it should be in factor analytic studies, the null hypothesis will almost always be rejected. This is why the application of Bartlett s test should be "used" as a lower bound to the quality of the matrix. (Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:596ff) Ytterligare en bedömning, utöver dessa redan nämnda statistiska tester, som bör utföras av den variabeluppsättning som skall ingå i faktoranalysen, är att se om underlaget ger partiell korrelation. Denna mätning är relativt enkel att utföra genom att det anges, vid datakörningen (faktoranalysen), att se på hur anti-image-matrisen faller ut. I matrisen framgår flera mått/värden som ger en möjlighet till att kunna avgöra om en fak- HÖGSKOLAN I BORÅS 19

toranalys är möjlig att genomföra. Vad som bl.a. kan utläsas, i korrelationsmatrisen, är den andel av de parvisa korrelationer som då inte är korrelerade med övriga variabler. Dessa koefficienter bör vara låga på grund av att matrisen inte enbart består av parvisa korrelationer utan även av en hög grad av multivariat samvariation. Av utrymmesskäl kan inte ett exempel på en sådan matris visas här. Matrisen visar på kovarians och korrelationer mellan de ingående variablerna, i två enskilda matriser. Med hjälp av matrisen kan det avgöras om eventuellt någon variabel bör uteslutas från analysen. Det finns en fördel med att leta efter variabler som kan ligga i gränstrakten för att inte inkluderas i analysen och som i sin förlängning leder till att övriga variabler kan förklaras med hjälp av ett mindre antal faktorer och bidrar därigenom till att faktorlösningen blir tydligare. Det finns ytterligare ett mått, som framgår, i matrisen Measure of Sampling Adequacy (MSA) som kvantifierar graden av interkorrelationer mellan variabler och lämpligheten att utföra en FA. MSA har ett värde på mellan 0 och 1 där 1 anger att variabeln är perfekt förutsagd (utan några fel mot de andra variablerna). Värdet på MSA bör inte understiga 0,7 för respektive variabel, se Hair et al. (2006:99). Utfallet av datakörningen visar på att två variabler, såväl för arbets- som utbildningsindexen (språklig kompetens), uppvisar ett något lågt MSA men som helhet kan uttryckas att samtliga variabler interkorrelerar i tillräcklig hög utsträckning. Slutligen kan även Root Mean Square Error of Approximation (RMSEA) kontrolleras. Det är ett mått som är relativt lätt att tolka och har därigenom fått en dominerande ställning. Enligt praxis har en modell med mycket god anpassning ett RMSEA lägre än 0,05. Ett värde på högst 0,08 indikerar en acceptabel modell (Gustavsson, 2009:293). Tabell 2.1 redovisas en sammanställning över de mått som här diskuterats. Tabell 2.1 Inför, under och efter EFA. TOTALT INDEX ALPHA KMO BARTLETT RMSEA EXPLAINED MSA 4 (SIG) VARIANCE MÅLUPPLEVELSER (ARBETE) 0,908 0,904 0,000 0,062 59,70 0,85-0,96 MÅLUPPFYLLNAD (UTBILDNING) 0,936 0,922 0,000 0,062 60,02 0,90-0,96 4 46 av 50 variabler befinner sig inom spannet. 20 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Internt bortfall Det interna bortfallet är sparsamt förekommande men valet blir ändå att använda möjligheten till multipel linjär regressionsimputation av data. Imputerade värden är kvalificerade gissningar eller uppskattningar som visserligen kan ha empiriskt stöd, men som är baserade på olika antaganden som ofta inte kan verifieras. Värden som saknas kan uppskattas med olika metoder, s.k. imputationsmetoder. Den kompletta uppsättningen data, efter en sådan process, analyseras sedan med statistiska standardmetoder, se t.ex. (Bassam, 2012:320; Reuterberg, 2001). Strukturellt eller slumpmässigt internt bortfall Det interna bortfallet kan delas upp i två typer: a) systematiskt/strukturellt; b) slumpmässigt. Det strukturella bortfallet beror på att de alumner som angett att de saknar ett arbete inte besvarat frågeinstrumentet som avser målupplevelser i arbetslivet (N = 222). Bortfallet kodas som standard till missing values med bortfallskoden 999 och där sker ingen imputation av värden. Det har sin förklaring i att det inte, i enlighet med den imputationsmetod som används, finns några data att utföra beräkningar på. Vid den andra typen av internt bortfall (det slumpmässiga) innebär det, i förekommande fall, att det har skett något inmatningsfel till databasen. Det framgår att respondenten har besvarat variabeln men ingen indikation på data finns. Det har skett i ett fåtal fall och där kan en beräkning ske utifrån hur alumnen besvarat övriga variabler i frågeinstrumentet. Vanligtvis kodas även dessa som missing values med t.ex. koden -9. Samtidigt som databasen kodas, enligt ovan, skiftas variablerna till intevallskalenivå. Då erhålls ett exakt och korrekt värde vid imputationen. Kortfattat kan tilläggas (i anslutning till förfarandet med imputation av data) att de statistiska standardmetoderna förutsätter kompletta datamatriser och analyserna blir mer komplicerade om vissa data saknas, se t.ex. (Reuterberg, 2001). När sedan extraheringen sker vid faktoranalysen väljs även kommandot Exclude Cases Listwise som innebär att samtliga individer som helt saknar data, för variabler, utesluts oavsett analys (s.k. missing values med koden 999). När kommandot Exclude Cases Listwise används är det viktigt att ha kontroll över det interna bortfallet - mer konkret - är det interna bortfallet strukturellt eller slumpmässigt? Ett problem, som kan uppstå, HÖGSKOLAN I BORÅS 21

med kommandot Exclude Cases Listwise är att om det interna bortfallet är stort kan det uppstå en situation där det inte finns några respondenter kvar att analysera - speciellt vid små undersökningsgrupper. Därav måste forskaren ha kontroll över vad som sker i analysen eller snarare vilka respondenter som kommer att ingå i analysen samt på vilka premisser respondenter utesluts. Reuterberg (2001) klargör att: Imputationsmetoderna har den fördelen framför uteslutning av individer att de leder fram till en komplett datamatris varigenom man kan utnyttja all den information som faktiskt finns insamlad. Dock har de vissa brister och den allvarligaste av dessa är att de leder till underskattningar av varianser och kovarianser. (Reuterberg, 2001:177) Vidare menar Reuterberg att: I och med denna underskattning av varianserna kommer också medelfelen att underskattas vilket ökar risken för Typ I-fel vid signifikansprövningar. Allra mest påtaglig blir underskattningen givetvis om vi imputerar totalmedelvärdet, då samtliga personer med bortfall tilldelas ett och samma imputationsvärde. Dock medför även regressionsimputationerna en viss underskattning eftersom de individer som har identisk kombination av värden på de oberoende variablerna i regressionsekvationen tilldelas identiska värden i bortfallsvariabeln. För att undvika en underskattning av varianser och kovarianser har Rubin (1987) 5 föreslagit multipel regressionsimputation. Med detta menas att man beräknar de värden som skall imputeras på flera olika stickprov av personer och att man tar hänsyn till den osäkerhet som imputationsmetoden medför genom att väga in också den varians som gäller för de upprepade imputationerna. Ett alternativt sätt att ta hänsyn till denna osäkerhet är att man till varje imputerat värde adderar ett slumpmässigt valt värde med en på förhand bestämd variation och med ett medelvärde lika med noll. En sådan funktion finns t ex i SPSS:s statistikpaket. (ibid., sid. 177-178) Vid en multipel linjär regressionsimputation ges även möjligheten att jämföra originaluppsättningen av variabler med den imputerade uppsättningen. Det framgår en ytterst liten skillnad, i faktorers laddningar, när utfallet av originalet och den imputerade jämförs. 5 (Rubin, 1987). 22 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Variansanalys Analysis of Variance (ANOVA) är en samling statistiska metoder för hypotesprövning. ANOVA kan användas för att undersöka skillnader i variansen mellan två eller fler populationer. I föreliggande studie undersöks diskrepanser, mellan institutioners medelvärden, på de tolv index som ingår i studien. Denna diskrepans säkerställs således statistiskt dels genom variansanalys och dels genom linjär regressionsanalys. Konfidensintervallet bestäms/beräknas för en given konfidensgrad. Exempelvis kan ett konfidensintervall bestämmas för konfidensgraden 95 procent vilken bestäms i förväg av användaren. Mer konkret innebär detta att den verklighet som är avsedd att mätas befinner sig innanför konfidensintervallet vid 95 procent av fallen). Detta innebär således att om sampels (stickprov) tas från andra "alumn"populationer vid lärosätet är risken mindre än 5 på 100 att ett s.k. typ 1 fel uppstår alltså att H 0 förkastas (om den vore sann). Resonemanget förutsätter att ett statistiskt korrekt urval av respondenter skett samt att svarsfrekvensen är betydligt högre än i föreliggande studie. Vid sambandsanalyser (regressionsanalyser) bör reliabiliteten närma sig en gräns som generellt ligger i spannet 0,7-0,9 (Djurfeldt et al., 2003; Edlund, 1995; Smithson, 2000:286ff). Cronbach s alpha är den mest använda metoden för att mäta reliabilitet och som även används i föreliggande studie. Mätmetoden kan beskrivas som ett mått på hur mycket varje item är associerat med varje annat item (t.ex. inom en faktor). Utifrån faktoranalysens utfall kan även begrepp som validitet och intern konsistens (jmf engelskans internal consistency) analyseras. Begreppet kan förklaras som att den ömsesidiga korrelationen i faktorns extraherade variabler tillsammans är tillräckligt starkt korrelerade (Barmark, 2009: 100). Samtliga faktorer som ingår i mätningen har ett högt Cronbach s alpha som då indikerar på en god intern konsistens. Indexering av variabler En teoretisk diskussion kan föras huruvida det är bättre, mätmässigt, att konstruera index istället för att välja ut en representativ variabel för varje enskild faktor. Barmark (2009) diskuterar såväl för- som nackdelar vid dessa båda metodval. Väljs den variabel som laddar högst i faktorn bör den även på ett teoretiskt plan vara representativ för det latenta fenomen som faktorn är tänkt att representera. HÖGSKOLAN I BORÅS 23

En hög faktorladdning innebär att variabeln är den som empiriskt ligger närmast faktorn och den borgar också för att residualen (mätfelet och den unika spridningen hos denna variabel i relation till den latenta) är relativt liten. (Barmark, 2009:100) Orsaken till detta är att faktorerna är baserade på en faktorlösning som är unik för varje material och inte kommer att bli exakt likadant i en upprepad mätning av samma variabler. (ibid., sid.101) Ett problem som uppstår, om en enskild variabel får representera faktorn, är att det kan vara svårt att välja ut en sådan om det finns fler som laddar högt. Risken blir då att ingen enskild variabel representerar hela faktorn och således blir tillförlitligheten i mätningen lidande. Fördelen med EFAn tenderar ändå att överväga genom att ha ett högre förklaringsvärde i jämförelse med ett index som skapats utan faktoranalys, framförallt när sambandsanalyser skall utföras. Varje enskild variabel är behäftade med slumpmässiga mätfel som till viss del faktorerna är befriade från. Generellt, innan beslut tas, bör det övervägas om att testa båda varianterna för att konstatera hur diskrepansen ser ut. I samtliga studier, och även i föreliggande, har index skapats utifrån variabler som associerar väl med respektive faktor. Vid en sådan indexering skall det finnas en teoretisk förankring för ändamålet. Brukligt är att reliabilitetsmåttet används för att avgöra om en indexering av faktorers enskilda item är möjlig att utföra, ur ett teoretisk vetenskapligt perspektiv. Rent praktiskt bör ett alfa på minst 0,7 erhållas, men hellre uppåt 0,9 för att det skall anses som ett godtagbart mått på intern konsistens. Reliabiliteten för samtliga tolv index ligger på över 0,80. Ses det till de två totala indexen är reliabiliteten på över 0,90 för båda (se bilaga I). Slutsatsen blir att den interna konsistensen är acceptabel för samtliga tolv faktorer och reliabiliteten är hög för de tolv index som skapats. Till skillnad mot multipla linjära regressionsanalyser (MRA) behöver inte kategorier dummykodas, i föreliggande studie, när de enkla linjära regressionsanalyserna utförs. Som en förberedelse inför regressionsanalyserna kodas kvinnor som 1 och män som 0, se t.ex. (Djurfeldt & Barmark, 2009:110ff; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:464ff). 24 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Mätinstrumentets validitet Mätinstrumentets validitet har analyserats under ett flertal år och den interna konsistensen har visat sig vara godtagbar vid faktoranalysens extrahering samt att variabler inom respektive faktor varit relativt konstanta under, i vart fall, de tre närmast genomförda undersökningarna (Sigrén, 2013, 2014a, 2015a). När faktorerna synas något närmare kan det, om möjligt, vara så att några eventuellt kan slås ihop. För att kunna avgöra om ett sådant beslut skall tas bör mer djupgående analyser ske där confirmatory factor analysis (CFA) tillsammans med t.ex. structural equation modeling (SEM) 6 kan ge ytterligare hjälp på vägen, huruvida en sammanslagning av faktorer kan utföras. Den sist nämnda metoden gör det möjligt att på en och samma gång analysera fler index (multipel analys). Kortfattat kan det förklaras som att det konstrueras en flerdimensionell modell. Gustavsson (2009) klargör att i vissa sammanhang är det också möjligt att undersöka variablers ömsesidiga påverkan av varandra (Gustavsson, 2009:269). När regressions- och variansanalyser utförs bör en intervallskala ligga till grund för bearbetningen av empirin (avser den beroende variabeln). Många analystekniker är konstruerade på ett sätt där det "räknas" på medelvärden och/eller medianer (exempel på sådana kan vara ANOVA och regressionsanalys). Resonemanget leder då till att en beroende variabel måste/bör vara på intervallskalenivå. Samtidigt är det inte ett helt ovanligt fenomen att analyser utförs med hjälp av ordinalskalor, men som sagt det är inte helt statistiskt korrekt att använda sig av ordinalskalor. I föreliggande studies design av skalfaktorer visar det sig att skillnaden är marginell mellan ett aritmetisk medelvärde och medianvärdet (för ett index) och torde därmed inte påverka resultaten märkbart se t.ex. (Djurfeldt & Barmark, 2009:37ff). 6 Muthén & Muthén s ekvationsmodelleringsprogram Mplus är t.ex. ett program för denna typ av analyser. R-Console är ett annat exempel på programvara för SEM analyser (Open Source). HÖGSKOLAN I BORÅS 25

Tillförlitlighet av mätningar Tillförlitligheten i ett mätinstrument är inte enkel och helt oproblematisk men samtidigt går reliabiliteten att hantera på ett annat sätt än problematik som avser en mätnings validitet se t.ex. (Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:81-118). En hög reliabilitet är inte synonymt med en hög validitet. Det kan vara så att fel fenomen mäts men det erhålls ett likvärdigt resultat vid återupprepade mätningar och då håller, i vart fall, mätinstrumentet en hög reliabilitet. Det går således att påstå att en låg reliabilitet för instrumentet ger även en låg validitet däremot kan det inte påstås att en hög reliabilitet med automatik skulle innebära en hög validitet. Om något eller några item skall exkluderas framgår först när en faktoranalys har utförts. En sådan exkludering, av item, bör även vara teoretiskt förankrad. T.ex. kan det vara att ett enskilt item laddar någorlunda starkt inom flera faktorer (oftast inom två faktorer). Ett smidigt sätt att kontrollera reliabilitet är att ta ett slumpmässigt urval av urvalet och sedan jämföra resultatet mot originalet. Det kan även utföras en s.k. Test-Retest Reliabilitet där det utförs upprepade mätningar som då utgår ifrån samma mätmetod och genomförande. Utifrån dessa mätningar beräknas sedan korrelationen från respektive mättillfälle. Det kan avse en persons svar på ett formulär, vilket är en typ av Test-Retest Reliabilitet, eller bedömarens skattning av något. Ytterligare metodologiska angreppsätt att mäta reliabilitet på är Split-Half metoden, som då innebär att frågorna delas i två hälfter och därigenom beräknas sedan korrelationen mellan dessa hälfter. I föreliggandes studie används Cronbach s alpha som ett mått på reliabilitet och det bör tilläggas att i ett teoretiskt perspektiv är Cronbach's alpha ett mått på alla Split-Half utförda på en och samma gång kan även ses som ett utfall av faktorers Internal Consitency Reliability. Validitet i frågeställningar är däremot svårare att ha kontroll över. Wolming (1998) anger bl.a. Något som är gemensamt för alla dessa instrument och dess tillämpningar är att inget av dem är perfekta i sin strävan att visa på en med verkligheten överensstämmande bild. När vi försöker att erhålla en bild av ett fenomen eller företeelse, kan en mätning aldrig vara något som ger en till fullo sann och överensstämmande bild av verkligheten. Resultatet av mätningen är alltid indikationer på det man vill mäta. (Wolming, 1998:81) 26 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

Messick (1998) diskuterar att både empiriska och teoretiska resonemang och belägg är väsentliga delar i en validering (Wolming 1998:94). När Messick beskrev begreppet validitet använde han två aspekter som avsåg mätningars utfall och motiv för mätningen. Mätningars utfall avser de tolkningar som görs och nyttan av mätningen. Motivet blir en fråga som styrs mot syftet för studien/mätningen en slags värdering (Messick, 1989). Brister i deskriptiva mätningar förekommer som då bl.a. kan förklaras genom hur instrumentet hanteras t.ex. mätningars noggrannhet, se t.ex. (Linn, Baker, & Dunbar, 1990). För att undvika feltolkningar är en bra hjälp på vägen att använda sig av faktoranalys som metod. Utifrån en faktoranalys kan även validitetsbegreppet diskuteras. En klassisk förklaring till vad validitet innebär är att validitet är ett begrepp som används för att beskriva mätningars kvalitet. Kort och gott: vad skall mätas och hur väl lyckas det med hjälp av instrumentet "fånga upp" fenomenet? se t.ex. (Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:52-80). Validiteten i undersökningen kan ytterligare kontrolleras genom att utföra (dock inte i föreliggande studie) Confirmatory Factor Analysis (CFA) där ansatsen är att pröva den faktorstruktur som erhållits specifikt för att säkerställa validiteten i materialet. Om det t.ex. visat sig vid EFAn att vissa frågeställningar, i en eller fler frågematriser, mäter samma grundläggande förmåga eller egenskap kan det genom CFAn testas i hur hög grad detta verkligen stämmer, se t.ex. (Barmark, 2009; Gustavsson, 2009; Elazar J. Pedhazur & Kerlinger, 1982; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:631-694). Skillnaden mellan explorativ och konfirmatorisk faktoranalys är att i den sist nämnda specificeras en modellstruktur i förväg och testar dess lämplighet för ett visst givet datamaterial (Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:631). EFAn i sin tur extraherar strukturer i empirin i form av faktorer som identifierats som lämpliga för att visa på fenomen (i föreliggande studie benämns dessa som index) jmf (Hair et al., 2006: 117ff). Genom att applicera CFAn som en submodel i den mer generella metoden Structural Equation Modeling (SEM) kan antaganden om validiteten, i såväl föreliggande som föregående års studier, ytterligare förstärkas/bekräftas, se t.ex. (Gustavsson, 2009:269-321; Elasar J. Pedhazur & Pedhazur Schmelkin, 1991:695-740). HÖGSKOLAN I BORÅS 27

Som ett tillägg och ett förtydligande till Wolming s citat ovan går det inte att bortse ifrån att faktorer och index är empiriska konstruktioner och resultaten är, som alltid, tolkningsbara beroende på tolkarens referensramar. 28 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS

3 RESULTAT 3.1 Inledning Under kapitlet redovisas resultaten (målupplevelser och måluppfyllnad) för de alumner som har gått igenom en programutbildning på Högskolan i Borås mellan 2005-2009. Alumner som angett att de avbrutit sin utbildning (N = 222) svarar endast på frågebatteriet som avser måluppfyllnad under utbildningstiden. Hur upplever alumner att de dimensioner som mäts behövs i arbetslivet? Hur upplever alumner att de dimensioner som mäts genererats under utbildningstiden? Det interna slumpmässiga bortfallet har justerats med hjälp av multipel linjär regressionsimputation. Resultaten redovisas dels som en positiv opinion, dels som ett målindex där respektive index redovisas mot referensvärdet. Referensvärdet för positiv opinion är 100 och innebär hur stor andel (i procent) av respondenternas svarsträffar som ligger, inom respektive index, över kriterievärdet 3,3 på en 5-gradig ordinalskala. Målindex beräknas utifrån medelvärden där referensvärdet är 1,0. Det kan tilläggas att 0,60 motsvarar ett medelvärde på 3,0 på en 5-gradig ordinalskala. Den förklarade variansen för de tolv faktorerna är 59,70 procent (för arbetslivet) samt 60,02 procent (för utbildningen). Den multipla variansanalysen visar differensen (medelvärde) mellan institutioner på respektive index. Den linjära regressionsanalysen visar differensen (medelvärde) mellan kvinnor och män på respektive index. Kommentarer och slutsatser, av resultaten, redovisas efter varje enskilt avsnitt. HÖGSKOLAN I BORÅS 29

3.2 Generiska förmågor Tabell 3.2.1 Visar frågeställningar inom index generiska förmågor. Reliabilitet, medelvärde samt standardavvikelse. Multiple Linear Regression Imputation. Exclude cases listwise. 5-gradig ordinalskala (arbetslivet). N = 1 488. ARBETSLIVET (ALPHA 0,806) 2005-2009 GENERISKA FÖRMÅGOR M SD SJÄLVSTÄNDIGT LÖSA PROBLEM 4,56 0,64 TILLÄMPA KRITISKT TÄNKANDE 4,32 0,84 ANALYSERA PROBLEM 4,07 1,00 ARGUMENTERA OCH ÖVERTYGA 3,93 0,99 INTA ETT KRITISKT FÖRHÅLLNINGSSÄTT 3,91 1,05 TOTALT 4,16 0,69 Tabell 3.2.2 Visar frågeställningar inom index generiska förmågor. Reliabilitet, medelvärde samt standardavvikelse. Multiple Linear Regression Imputation. Exclude cases listwise. 5-gradig ordinalskala (utbildningen). N = 1 544. UTBILDNINGEN (ALPHA 0,868) 2005-2009 GENERISKA FÖRMÅGOR M SD TILLÄMPA KRITISKT TÄNKANDE 4,00 0,90 ANALYSERA PROBLEM 3,96 0,92 INTA ETT KRITISKT FÖRHÅLLNINGSSÄTT 3,85 1,00 SJÄLVSTÄNDIGT LÖSA PROBLEM 3,82 0,92 ARGUMENTERA OCH ÖVERTYGA 3,51 1,00 TOTALT 3,88 0,86 30 RAPPORTER OCH PUBLIKATIONER FRÅN HÖGSKOLAN I BORÅS