Årlig uppföljning av servicemätning bland studenter Sven Faugert Annelie Eriksson Faugert & Co Utvärdering AB, Nybrogatan 15, 4 tr., S-114 39 STOCKHOLM, Sverige Bakgrund utvärderingsobjekt och referensram Verket för högskoleservice i Sverige, VHS, är en statlig myndighet som ansvarar för den samordnade antagningen till landets alla högskolor och universitet. Varje höst, sedan fem år tillbaka, genomför vi för deras räkning bland annat en postenkät om verkets service till sökande till högskolan 1. De sökandes attityder till och upplevelser av informationsmaterial, service och informationsvägar mäts. Den årliga uppföljningen används för en allmän kvalitetskontroll av servicen. Den används också som underlag för verksamhetsutvecklingen, för att pröva hypoteser om effekterna av olika åtgärder som vidtagits för att öka servicenivån och för att få uppslag till nya åtgärder. Vi har främst fyllt rollen som genomförare av undersökningarna och som katalysator för en självreflektion bland de närmast ansvariga inom myndigheten. År 1997 genomförde vi, som inledning till arbetet, en gemensam workshop tillsammans med vår uppdragsgivare, antagningsavdelningen vid VHS. Tillsammans definierade vi då bland annat vilka de viktigaste målgrupperna för servicen var, vilka frågor som bäst mätte deras upplevelse av VHS service, och vilka mål för en förbättring av servicen som VHS ville nå. Målgrupperna är fortfarande desamma utöver de sökande är det studie- och yrkesvägledare samt antagningsansvariga vid universitet och högskolor. Själva enkätformuläret har trimmats och reducerats under åren och nya aktuella frågor har lagts till. Stommen av frågor är densamma, för att möjliggöra jämförelser över tid. De inledningsvis satta målen upplevs fortfarande som relevanta och avvikelse från dem diskuteras återkommande under åren. Varje år redovisar vi mätresultaten vid informella workshops med närmast berörda inom VHS. På beställning gör vi, i anslutning till dessa möten, särskilda statistiska analyser av enkätresultaten. Syftet är att så långt möjligt förklara resultaten och vägleda det fortsatta utvecklingsarbetet inom VHS. Bland annat gör vi särskilda s k hävstångsanalyser som är avsedda att vägleda arbetet med kvalitetsförbättringar genom att rangordna olika delområden efter hur stor vikt de kan be- 1 Se exempelvis: VHS service vad anser sökande till högskolan? den femte mätningen, Sven Faugert & Annelie Eriksson, Konsultrapport i september 2001, Faugert & Co Utvärdering 1
dömas ha för den totala kvalitetupplevelsen 2. Vid dessa workshops tar vi oss också tid att mer kvalitativt diskutera igenom årets resultat och vilka ytterligare åtgärder rörande servicen som eventuellt behövs. Även effekter av nyligen insatta åtgärder och eventuellt andra förklaringar till olika mätresultat diskuteras. Chris Argyris talar om singleloop, doubleloop och deutero -lärande inom organisationer 3. Singleloop learning, innebär i korthet att man lär sig utföra en given uppgift bättre. Med doubleloop learning menas att människor inom en organisation reflekterar och ifrågasätter sådant som tidigare togs för givet och förmår ändra roller och strategier. Deutero learning handlar om att bli bättre på att lära sig, d v s om en kvalitetshöjning av lärandet. Med detta case vill vi ge ett exempel på i första hand doubleloop learning. När det gäller lärande organisationer talas det ibland om ett yttre och ett inre lärande 4. Det yttre lärandet handlar om organisationens anpassning och hur den agerar i förhållande till omvärlden. Det inre lärandet handlar om organisationens förmåga att förbättra och förändra sina interna arbetsformer m.m. - som är en förutsättning för det förstnämnda. För att uppnå organisatoriskt lärande brukar forskare peka på att det bl a krävs dialog mellan människor i en gemensam lärprocess 5. Vilka lär? Vi tror att mätningarna bidrar till både yttre och inre lärande och till den nämnda dialogen. I det aktuella fallet har uppdragsgivaren en grupp av flera anställda, som samlas vid varje årlig workshop. De arbetar alla med antagning samt även med internt kvalitetsarbete inom myndigheten. De använder servicemätningen med efterföljande workshop som ett led i VHS interna kvalitetsarbete. Syftet med kvalitetsarbetet är att bättre kunna möta omvärlden och sina kunder. Vanligtvis består workshop-gruppen av ca 5-10 personer, som deltar aktivt med frågor och tolkning under diskussion och resultatredovisning. Såvitt vi förstått, leder detta till ett lärande på flera nivåer inom organisationen. De som är närmast berörda och arbetar med antagningsfrågorna lär sig givetvis mest. De får återkoppling på en del av sitt eget arbete sedan förra mätningen och uppslag till olika åtgärder de kan vidta för att förbättra servicen. Genom rangordningen av åtgärdsområden enligt de särskilda hävstångsanalyserna får de underlag för att prioritera olika åtgärder för serviceförbättring. De får också en del 2 Det statistiska analysprogram, som används, kombinerar å ena sidan mått på samband mellan svar på frågor som avser delområden och en särskild fråga som avser den totala nöjdheten eller kvalitetsupplevelsen med å andra sidan mått på det maximala förbättringsutrymmet. Kombinationen benämns hävstångsindex. 3 Refereras i Peter Docherty, 1996, Läroriket vägar och vägval i en lärande organisation, Arbetslivsinstititutet, Solna, exempelvis sid. 32 f 4 Angelika Dilschmann, 1998, Delaktighet och lärande organisation, s 4 5 Ibid., s 6 2
underlag för policydiskussioner på högre nivå i organisationen genom exempelvis analyser av trender. På högre nivå ger mätningarna bidrag till strategiska diskussioner om ambitionsnivåer när det gäller servicen, relationerna till olika externa målgrupper och aktörer etc. Målgruppen för enkäten, de sökande, kan också lära sig genom undersökningen. Vi har dock ingen egentlig kännedom om hur de tar till sig frågorna. De sökande skulle exempelvis kunna bli medvetna om VHS och dess roll, genom att de är mottagare av enkäten. Antagningsansvariga och studie- och yrkesvägledare är andra högst väsentliga intressentgrupper, som dels berörs av resultatet och dels ingår i andra delar av undersökningen, genom att svara på särskilda telefonenkäter om VHS service. De får genom enkäten till de sökande en viss bild av hur dessa ser på antagningen och vilka krav de ställer. Genom de särskilda telefonenkäter, som de själva deltar i, får de också möjlighet att precisera sina krav på VHS och ge återkoppling om hur de uppfylls. Även vi som utvärderare lär oss, både när det gäller utvärderingsmetoden och ämnesområdet. Vad lär de? Vid en workshop efter den första mätningen (av hittills fem) hade vi en dator tillgänglig. Vid sittande bord testade vi statistiskt några olika hypoteser som kunde förklara vissa negativa resultat. Vi kunde då direkt avfärda vissa omhuldade myter, som t ex att det främst var de studenter som inte kom in på sina utbildningar, som gav VHS service dåligt betyg. De antogs alltså vara besvikna över detta och hämnas genom att klaga på antagningsservicen. Vi kunde inte se några som helst statistiskt signifikanta skillnader, mellan dem som kom in och dem som inte gjorde det. Vi bidrog till uppdragsgivarens lärande genom att ge honom en anledning att ompröva sin egen teori om hur servicen togs emot. Om det inte bara är de som inte kommer in som klagar, så måste ju VHS ta de sökandes synpunkter på servicen på större allvar! Det finns flera exempel på samband, som vi kunde se i de olika mätningarna, och som gav VHS en del att tänka på i sin planering av verksamheten. Det gällde till exempel skillnader mellan hur manliga och kvinnliga sökande använder olika informationsmedier och effekterna av VHS kurser för studie- och yrkesvägledare. VHS inser självfallet att kunderna och intressenterna är viktiga och måste tillfredsställas. VHS lär alltså själv genom mätningarna en del kring resultatet av sitt arbete, om hur servicen uppfattas av målgrupperna, om vilka åtgärder som tycks ge effekt, om vilka åtgärder som önskas av målgrupperna. Det handlar både om inre och yttre lärande. Man får exempelvis återkoppling om hur det nya call-center som inrättats fungerar. Minskar det telefonköerna till exempel? En annan fråga som berörs är hur studenterna vill kunna använda Internet för att främst söka information, möjligen också sända in sin anmälan till högskoleutbildning. 3
Lärandet för målgrupperna skulle som nämnts kanske kunna vara att de reflekterar över VHS service genom att besvara enkäten. Återigen, det är inget vi vet något närmare om eftersom det inte undersökts. Det finns också flera typer av lärande för oss utvärderare. Vi lär oss självfallet en hel del när gäller ämnet och uppdragsgivaren. Genom att vi gjort dessa undersökningar flera år i sträck, kan vi exempelvis allt bättre formulera frågor som är relevanta inom området. Resultatet leder också till att vi successivt lär känna både målgrupperna och uppdragsgivaren, och därigenom kan tolka resultatet på ett mer tillförlitligt sätt. När det gäller våra arbetsmetoder lär vi oss också en del. Den kvantitativa enkätmetoden ger en möjlighet att ständigt bättra på färdigheten att få ut mesta möjliga ur en sån datainsamlingsmetod. Vi övar oss på att tolka resultat och ju mer data vi får, desto mer tillförlitliga sammantagna analyser går att göra. Vi kan exempelvis se mer av trender och mönster ju länge tidsserier vi får. Vi en får också del övning i andra tekniska färdigheter, som exempelvis att kombinera kvantitativ metod med mer kvalitativa tolkningar och möten. Och på det mer övergripande eller strategiska planet ger det erfarenheter av att medverka i uppdragsgivarens lärprocess och av styrka och begränsningar hos de valda metoderna. Villkor för lärande För att förutsättningar för lärande ska kunna skapas i en organisation har bland annat följande tre faktorer en stor betydelse 6 : Organisationens kultur, med kultur menar vi här helt enkelt det kitt (av normer och värderingar, grundläggande antaganden etc.), som enar, sammanfogar medarbetare i en organisation. Kulturen påverkar i stor utsträckning om organisationen accepterar eller tar avstånd från förändringar. Organisationsklimatet, d v s sådant som nivån av tolerans, öppenhet m. m. inför förändringar, inför oliktänkande etc. Ledarstilen, d v s sådant som vilket stöd ledare ger, hur mycket tid, resurser, befogenheter etc. de har för sin uppgift. Inom VHS uppfattar vi att det råder en öppen kultur och ett positivt utvärderings- eller lärklimat. Till skillnad från en del andra organisationer, som gör kundundersökningar mest som en slags ritual, tar man dessa mätningar på allvar. VHS har som organisation ett klimat, som tillåter att även oönskade resultat diskuteras utifrån syftet att lära och förbättra. Diskussionerna rör inte bara tekniska detaljer, utan även hur bra och effektiv service man kan ge och till vilket pris. Det är tillåtet att diskutera frågor som: Var går gränsen?, Går det att uppnå hög nöjdhet hos en så stor del som majoriteten av de sökande?, Om målgruppen inte är helt nöjd, är det då acceptabelt med att betyget endast är OK?. 6 Peter Docherty, 1996, s. 66 4
Ledningens stöd har också visats tydligt. Vid diskussionerna av resultaten har den ansvarige chefen visat stort intresse och själv aktivt deltagit i diskussioner och tolkningar. Vid resultat som inte varit positiva, har ledningen visat att även detta är OK och tagit upp en diskussion i termer av: Vad kan göras för att påverka resultatet nästa år?, Vilka åtgärder kan sättas in?. En yttre faktor, som troligen också påverkar klimatet eller VHS vilja till lärande, kan vara den massmediala uppmärksamhet som verksamheten regelbundet får. Vid ansökningstiderna till universitet och högskolor framförs nästan alltid kritik mot väntetider etc. Omvärldens uppfattning 7 av VHS resultat påverkar lärviljan i så motto att det leder till att man behöver argument och Svart på vitt om hur det egentligen ser ut. Det gör också ett positivt intryck om VHS kan hänvisa till att man använder regelbundna servicemätningar som stöd för sitt kvalitetsarbete. En näraliggande faktor är den potentiella konkurrensen från andra aktörer främst universitet och högskolor själva. Dessa kan i princip tänkas vilja ta över antagingssamordningen och driva den i egen regi, om de inte är nöjda med servicen i förhållande till priset. VHS verksamhet finansieras nämligen med avgifter från dessa kunder. Timingen är också viktig för det interna lärklimatet. Arbetsläget är under vissa tider, runt den s.k. första och andra antagningen, särdeles pressat. Workshops med resultattolkning måste läggas på en sådan tid på året då stressnivån i antagningsarbetet inte är så hög. (Timingen för själva enkäten till de sökande är givetvis också viktig för att få en bra svarsfrekvens och en tillförlitlig svarsbild.) Vi som utvärderare har främst en roll som katalysator för lärandet. Den slutliga tolkningen av resultaten, åtgärdsprogram o.s.v. gör VHS själva. Där är vi inte alls inblandade. Vi har en renodlad roll att mäta resultaten. Vi för fram frågor och tänkbara perspektiv på resultaten, och VHS tolkar dem, kopplade till de åtgärder de satt in det senaste året sedan förra mätningen. Vår roll har också varit att bidra till att skapa en återkommande rutin för servicemätningarna och till att mätningarna blir ett normalt inslag i arbetet. Avslutning Självklart lär sig VHS på den första nivån, single loop, man förbättrar alltså löpande sin verksamhet i olika delar med hjälp av bland annat servicemätningarna. Trots att det sägs vara relativt sällsynt, menar vi att VHS också lär sig enligt vad Chris Argyris kallar doubleloop 8 learning. D v s man reflekterar och ifrågasätter resultat, funderar över orsaker och tolkar dem, diskuterar inte bara mer tekniska åtgärder, utan även något mer radikala policyfrågor etc. Vi har själva goda erfarenheter, också från flera andra utvärderingar, av att på detta sätt komplettera hårda och kvantitativa eller kvantifierade data med mer mjuk interaktiv gemensam 7 Dag Björkegren, 1989, Hur organisationer lär, Studentlitteratur, Lund. Björkegren framhåller omvärldens uppfattning om en verksamhets resultat som något som påverkar lärandeförmågan. Om omvärlden ständigt är positiv finns inte så starkt incitament att förbättra verksamheten. 8 P. Docherty, 1996, s 32 f 5
reflektion. Våra utomstående mätningar kompletterar de löpande interna diskussionerna genom att aktivt engagera de närmast ansvariga och hjälpa dem pröva sina teorier om verksamheten. Vi ser detta som ett verkningsfullt angreppssätt vid sådana utvärderingar som är särskilt inriktade på att främja lärande hos främst uppdragsgivaren ledningen för organisationen - och de närmast berörda. Vi kan enkelt sammanfatta vår erfarenhet av bidraget till uppdragsgivarens lärande i följande matris. Metod/typ av lärande First loop learning Second loop learning Enkäter kvantitativ metod Återkoppling på tekniska justeringar av servicen Faktabaserat ( hårt ) underlag för omprövning av målnivå och strategier, positionering mot olika intressenter Workshops - kvalitativ metod Kritisk diskussion av samband och bakgrundsfaktorers inverkan, uppslag till ytterligare justeringar Underhåll av regelbunden intern utvecklings- och strategidiskussion, uppslag till nya åtgärder etc. Går det att här utveckla lärandet ytterligare, att uppnå s k deutero learning? Det skulle innebära att utveckla själva formerna för lärandet. Vi har kanske svårt att spekulera i hur långt det går att komma. Vad som spelar roll är bland annat hur hela den strategiska planeringen inom VHS går till och vilka som deltar. Möjligen är det viktigt att inte dessa mätningar blir en slentrian, utan att helt nya frågor kan ställas och att även andra metoder än enkäter kan komma till användning. 6