Förstudie gällande SAM 3.0 Undersökningen har genomförts av Splitvision Research på uppdrag av GR Utbildning och Vuxenutbildningen i Göteborgs Stad Juni 2014
Innehållsförteckning I KORTA DRAG... 3 OM UNDERSÖKNINGEN... 6 1.1 SYFTET MED UNDERSÖKNINGEN... 7 1.2 HUR FÖRSTUDIEN HAR GENOMFÖRTS... 7 1.3 BEGREPP... 11 BESKRIVNING AV SITUATIONEN... 12 OM GÖTEBORGSREGIONEN (GR)... 13 INSIKT #1 - EN HETEROGEN GRUPP... 13 INSIKT #2 - DET LIGGER I TIDEN... 14 INSIKT #3 - TVÅ LÄGER... 14 INSIKT #4 - RESURSER & PRESTATIONER... 15 INSIKT #5 - ALVIS ÄR NAVET I ALL DATA... 15 INSIKT #6 - OREN DATA... 16 INSIKT #7 ALVISGENERAL & REVISION... 16 INSIKT #8 - JÄMFÖRBAR DATA BEHÖVS... 16 INSIKT #9 VILDA WESTERN... 17 INSIKT #10 - SILOTÄNKANDE... 18 INSIKT #11 - SAKNAR MOTTAGARE... 18 BEHOV AV DATA... 19 INSIKT #1 - PÅLITLIG OCH JÄMFÖRBAR... 20 INSIKT #2 MECKIGT... 20 INSIKT #3 - INDIKATORER... 21 INSIKT #4 - UPPGIFTER SOM IDAG NYTTJAS... 22 INSIKT #5 - INFORMATIONSKÄLLOR SOM NYTTJAS DÅLIGT... 22 INSIKT #6 - RESULTAT KOMMER FÖR SENT FÖR ATT KUNNA ANVÄNDAS I PLANERING... 23 INSIKT #7 - RESULTAT NÅR INTE UT... 23 INSIKT #8 - GR BÖR HÅLLA I ALL ANALYS FÖR KRANSKOMMUNERNA... 23 BESKRIVNING AV LÖSNING... 24 EN GOD RESULTATKULTUR... 25 OM SPLITVISION RESEARCH... 27-2-
I korta drag I korta drag Denna förstudie är genomförd av Splitvision Research AB på uppdrag av GR Utbildning och Vuxenutbildningen i Göteborgs Stad. Undersökningen genomfördes under perioden november 2013 - april 2014. Kort om undersökningen Syftet med denna förstudie har varit att identifiera de behov som utbildningsledningen (planerare och beslutsfattare) i kranskommunerna inom Göteborgsregionen (benämns fortsättningsvis kranskommunerna) och Vuxenutbildningsförvaltningen i Göteborgs Stad (benämns fortsättningsvis VUF) har av insamlad data och hur de önskar erhålla data presenterad. Förstudien utgör ett första steg mot att identifiera grunderna i en god resultatkultur. Med data syftas det till den information som omfattar elevdata och pedagogisk verksamhet, inte ekonomisk uppföljning. Undersökningen har genomförts med etnografisk metodik, där insikter har samlats in med hjälp av 24 semistrukturerade djupintervjuer. Intervjuerna har genomförts med personer i utbildningsledningen (planerare och beslutsfattare) inom kranskommunerna (14 personer) och personer inom VUF (10 personer). Insamling och analys har genomförts i en iterativ process i tre fältperioder. Sammanfattning av resultat De behov som utbildningsledningen Inom kranskommunerna och Vuxenutbildningsförvaltningen i Göteborgs Stad har av insamlad data och hur de önskar erhålla data har vi presenterat kortfattat nedan i elva plus åtta insikter. Situationen Insikt #1 - En heterogen grupp Förutsättningarna för hur vuxenutbildning bedrivs skiljer sig åt mellan de tretton kommunerna i Göteborgsregionen. Insikt #2 - Det ligger i tiden Det finns ett stort behov av att skapa gemensam data, en gemensam plattform för uppföljning och analys av de studerades situation och den pedagogiska verksamheten. Insikt #3 - Två läger Majoriteten av de intervjuade använder elevdata för rapportering och uppföljning av elever. Endast några få av de intervjuade använder data för verksamhetsuppföljning eller verksamhetsutveckling. Insikt #4 - Resurser & prestationer Det är främst inom områdena resurser och prestationer som rapportering och uppföljning sker och mindre inom områdena aktiviteter (pedagogiska processen), effekter av de pedagogiska processerna, elevernas nytta av verksamheten eller samhällsnytta. - 3-
I korta drag Pedagogiska*processen* Utveckla*den*pedagogiska* processen* Resurser) Ak#viteter) Presta#oner) Effekter) Ny5a) Poäng** SEK*?*?*? Betyg* AvbroC* Andel*godkända*betyg*?*?*? Redovisa*vad*de*har*gjort* Insikt #5 - Alvis är navet i all data Alvis beskrivs som navet i all datahantering. De intervjuade beskriver att det är i Alvis som de hämtar all elev- och kursdata. Insikt #6 - Oren data Flera av de intervjuade har beskrivit att ett problem för dem i uppföljning och rapportering är att det förekommer felaktigheter i den data som finns i Alvis. Sex orsaker till att uppgifter i Alvis blir behäftade med fel beskrivs. Insikt #7 Alvis- general & revision De intervjuade efterfrågar en inrapporteringsgeneral, någon som har ett tydligt uttalat ansvar och mandat för systemet samt att det löpande genomförs revision av inrapportering i Alvis. Insikt #8 - Jämförbar data behövs Det saknas i många fall jämförbara data att ställa den egna verksamheten gentemot. Insikt #9 Vilda western Det råder vilda western vid insamling av data. Flera aktörer samlar in data utan vetskap om eller hänsyn till varandras undersökningar. Insikt #10 - Silotänkande De flesta av de intervjuade utbildningsledarna arbetar väldigt självständigt och i sin ensamhet med analys. Insamlandet och hanterandet av data sker enbart utifrån de egna uppgifterna eller ansvarsområdet och vad de själva har nytta av. Det saknas i många fall ett helhetsperspektiv (både ur verksamhets- och elevernas perspektiv). Insikt #11 - Saknar mottagare Mer än hälften av de intervjuade i kranskommunerna beskriver att det inom deras kommun inte finns något intresse för att diskutera eller att sätta upp mål med den vuxenutbildning som kommunen driver. Behov av data Insikt #1 - Pålitlig och jämförbar Flera av de intervjuade har efterfrågat mer pålitlig data i Alvis. Insikt #2 Meckigt När det handlar om att ta fram data från Alvis finns det två olika kategorier av behov. - 4-
I korta drag I. Behov av relativt enkla uppgifter gällande exempelvis elevers kurser och tagna poäng (standardiserade uttag). II. Behov av specifik data gällande exempelvis en specifik kurs, specifika elever eller en specifik studieform (standardiserade uttag eller situationsbaserade uttag). Insikt #3 - Indikatorer Återkommande i intervjuerna är att de intervjuade efterfrågar indikatorer som kan hjälpa dem att kunna följa upp verksamheten. De efterfrågar dels enklare indikatorer av karaktären snittvärden eller medelvärden och dels komplexa indikatorer som exempelvis visar på lärsträcka eller studieprogression. Insikt #4 - Uppgifter som idag nyttjas Ett 20- tal olika data omnämns i intervjuerna som uppgifter de idag hämtar ur Alvis. Insikt #5 - Informationskällor som nyttjas dåligt Klagomålshantering och information som finns i ansökningar och studieplaner beskrivs som informationskällor som idag används bristfälligt. Insikt #6 - Resultat kommer för sent för att kunna användas i planering Resultatet från undersökningar som exempelvis SPU och Effekt kommer för sent för att de intervjuade ska kunna använda dem i sin planering av utbildningar eller vid rapportering. Insikt #7 - Resultat når inte ut Det är en lång kedja för att resultaten från undersökningarna ska komma ut till alla aktörer. Flera av de intervjuade har beskrivit att det krävs en tydlig process för att detta ska ske. Insikt #8 - GR bör hålla i all analys för kranskommunerna För kranskommunerna skulle det underlätta och effektivisera arbetet om insamling, sammanställning och analys genomfördes av GR Utbildning. För VUF är verksamheten i Vuxenutbildningen i Göteborgs Stad så komplex att den behöver ske inom VUF. Däremot behöver arbetet med insamling, sammanställning och analys likriktas inom hela Göteborgsregionen för att full vinst ska kunna ske. Beskrivning av lösningen I analysen av intervjuerna framkommer tydligt att det som behövs är att skapa (bygga vidare) en kultur och en organisation där uppföljning, utvärdering och utveckling (de tre U:na) blir ett parallellt nav till den ordinarie pedagogiska verksamheten. Undersökningen visar också att elevernas perspektiv på verksamheten behöver ha en mer framträdande roll och utgöra stommen i en god resultatkultur. Den goda resultatkulturen handlar om att knyta samman de sex stegen nedan: 1. Insamling 2. Bearbetning av data 3. Analys av data 4. Presentation av resultatet 5. En gemensam reflektion av resultatet 6. Verksamhetsutveckling - 5-
Kapitel 1 Om undersökningen KAPITEL 1 Om undersökningen - 6-
Kapitel 1 Om undersökningen Undersökningen har genomförts av Splitvision Research på uppdrag av GR Utbildning och Vuxenutbildningen i Göteborgs Stad och utfördes under perioden november 2013 - april 2014. För mer information om SAM 3.0 kontakta projektledarna: Martin Johansson vid Göteborgsregionens Kommunalförbund. 031-335 50 51, martin.johansson@grkom.se Tomas Mjörnheden vid Vuxenutbildningsförvaltningen i Göteborgs Stad. 031-368 30 12, tomas.mjornheden@vux.goteborg.se 1.1 Syftet med undersökningen 1.1.1 Bakgrund Offererad förstudie är ett första led i SAM 3.0 och en vidareutveckling av det arbete som genomfördes i SAM- projektet. I tidigare studier har fokus till stor del varit insamling av rätt data och att skapa en undersökningsarkitektur där det finns en röd tråd mellan undersökningarna som görs riktade till elever inom vuxenutbildningen (SFI, grundläggande och gymnasial vuxenutbildning och yrkesvux). I projektet SAM 3.0 är fokus mer på hur den insamlade datan (studieplaner, SPU- undersökningar, effektundersökningar och system- data) ska göras mer tillgänglig och talande i uppföljning, utvärdering och planering av VUFs och GR Utbildnings utbildningsverksamhet. 1.1.2 Syfte Syftet med denna förstudie har varit att identifiera de behov som utbildningsledningen (planerare och beslutsfattare) i kranskommunerna inom Göteborgsregionen (benämns fortsättningsvis kranskommunerna) och Vuxenutbildningsförvaltningen i Göteborgs Stad (benämns fortsättningsvis VUF) har av insamlad data och hur de önskar erhålla data presenterad. Förstudien utgör ett första steg mot att identifiera grunderna i en god resultatkultur. Med data syftas till data som omfattar elevdata och pedagogisk verksamhet, inte ekonomisk uppföljning. 1.2 Hur förstudien har genomförts Undersökningen har genomförts med en etnografisk metodik, där insikter har samlats in med hjälp av semistrukturerade djupintervjuer. Insamling och analys har genomförts i en iterativ process i tre fältperioder under november 2013 till april 2014. 1.2.1 Urval och insamling Undersökningen har omfattat totalt 24 intervjuer. Intervjuerna har genomförts med personer i utbildningsledningen (planerare och beslutsfattare) inom kommuner som hör till Göteborgsregionen (14 personer) och med personer inom Vuxenutbildnings förvaltningen i Göteborgs Stad (10 personer). De 24 personer som valts ut att ingå i undersökningen har samtliga valts ut av uppdragsgivaren för - 7-
Kapitel 1 Om undersökningen att de tillsammans ger en bra och bred bild av hur arbetet med att leda verksamheten, planering, utvärdering och uppföljning av verksamheten sker. I intervjuerna har vi strävat efter att erhålla så täta och innehållsrika berättelser som möjligt. Grunden i vårt arbete har varit semistrukturerade djupintervjuer. Det innebär att intervjuerna genomförts utifrån teman som vi låtit den intervjuade prata fritt utifrån. 1.2.2 Relativt förutsättningslöst I syfte att svara på uppdragets frågeställning kring vad som ger en god resultatkultur, vilka behov av data som finns och på vilket sätt verksamheterna idag använder sig av elevdata har intervjuerna varit ganska fritt hållna. Den intervjuade har fått beskriva hur de arbetar idag och hur de skulle önska att de kunde använda sig av data. Ur ett helhetsperspektiv har vi fångat insikter och förståelse för hur relationen till en god resultatkultur och nyttjandet av data förhåller sig. Efter respektive fältperiod har vi ställt de insamlade insikterna i relation till den ursprungliga frågeställningen. Illustration 1:1 Vi har i intervjuer närmat oss ämnet relativt förutsättningslöst. Syftet med det är att kunna identifiera betydelsefulla insikter som initialt bara ser ut att ligga i periferin. 1.2.3 Iterativ process Undersökningen har genomförts i en iterativ process som möjliggjort att valet av insamlingssätt, val av målgrupp och frågeställningar löpande har kunnat anpassas utifrån de insikter som erhållits efter varje delmoment. Insamlingen har fördelats på tre fältperioder. Mellan varje fältperiod har det insamlade materialet analyserats och därefter diskuterats i ett insiktsmöte tillsammans med en arbetsgrupp från GR Utbildning och Vuxenutbildningen i Göteborgs Stad. - 8-
Kapitel 1 Om undersökningen En viktig del under dessa möten har varit föreningen mellan insikter i målgruppens beteende, uppdragsgivarens kompetens i området och Splitvision Researchs kunskaper om undersökningar och mänskligt beteende. +* Djupintervjuer* Insikter* Arbetar*mot*en*frågeställning* Stämmer*av*insikter*(löpande*förfinar* frågeställningen)** Insiktsmöte/ arbetsmöte* +* Djupintervjuer* Insikter* Insiktsmöte/ arbetsmöte* Djupintervjuer* Insikter* InsiktsF*och* rapportmöte* Resultat* Rapport* Förslag*på* * Illustration 1:2 Undersökningen har genomförts i en iterativ process. 1.2.4 Analys Vid analysen av det insamlade materialet har vi haft ett abduktivt förhållningssätt. I det insamlade materialet har vi sökt mönster och förståelse för de intervjuades beskrivningar. Vi har tagit hänsyn till vad de intervjuade säger, vad de inte säger samt vad som sägs mellan raderna. Metodologiskt har vi haft ett öppet förhållningssätt i analysarbetet. Vi har inte varit bundna vid en specifik analytisk teknik utan har rört oss fritt mellan flera analytiska tekniker (Bricolage) i syfte att nå förståelse för de berättelser vi samlat in. Alla intervjuer som genomförts har spelats in på band. Vi har därmed i efterhand kunnat lyssna på alla inspelningar och har på detta sätt fått möjlighet att analysera materialet två gånger. Det har möjliggjort att vi kunnat diskutera resultatet utifrån ett tvärvetenskapligt perspektiv. I analys och bearbetning av de intervjuades användande av data har vi använt oss av en blueprint (en karta över data- och informationsflöden). Vi har sorterat resultatet från intervjuerna i två huvudgrupper: en publik nivå och en intern nivå, se illustration 1:3. Den publika nivån har delats in i två grupper: Vad som sägs mellan raderna Vad de inte säger Vad de säger I. Hur de intervjuade nyttjar data. I vilka situationer de hämtar data, till vad och till vilka analyser de använder data. II. Vilka data de intervjuade har tillgång till, i vilka kanaler de hämtar data, exempelvis Alvis, SPU, nöjdkundundersökning, effektstudier osv. Den interna nivån har på likvärdigt sätt delats in i två grupper: I. Information i systemet. II. Insamling av data. - 9-
Kapitel 1 Om undersökningen Hur*använder*ni*informaGonen?* Ny:jar* Tillgång* Info*i*systemet* Insamling* Publik*nivå* Intern*nivå* I*vilka*situaGoner*hämtar*ni*informaGon/data?* Till*vad*och*för*vem*använder*ni*informaGon/data?* Vilka*svar*söker*ni*siffror/informaGon*om?* Var*(kanal)*hämtar*ni*informaGon/data*idag:*! Alvis*! Rapporter/bilagor*! Bokslut* * Standardiserade*u,ag* Situa.onsbaserade*u,ag* Alvis* Ansökan* studieplan* SPU* Avbro:* Effekt* Granskning* Illustration 1:3 Blueprint över hur data har analyserats. Insikterna som presenteras i rapporten är uppbyggda dels på de intervjuades svar och resonemang och dels på vår analys av deras svar och resonemang. När vi i rapporten har använt oss av citat från intervjuade representerar de vad flera av de intervjuade har uttryckt. - 10-
Kapitel 1 Om undersökningen 1.3 Begrepp Begrepp Data Göteborgsregionen GR Kranskommunerna Semistrukturerade djupintervjuer Utbildningsledning VUF Förklaring Med data syftar vi till uppgifter som omfattar elevdata, pedagogisk verksamhet. Den ekonomiska uppföljningen omfattas inte. Göteborgsregionen innefattar 13 kommuner (Ale, Alingsås, Göteborg, Härryda, Kungsbacka, Kungälv, Lerum, Lilla Edet, Mölndal, Partille, Stenungsund, Tjörn och Öckerö). De samverkar genom Göteborgsregionens kommunalförbund (GR). I de sammanhang som vi i rapporten skriver GR åsyftas Göteborgsregionens kommunalförbund. De 12 kommunerna inom Göteborgsregionen (GR) förutom Göteborgs Stad. De utgörs av Ale, Alingsås, Härryda, Kungsbacka, Kungälv, Lerum, Lilla Edet, Mölndal, Partille, Stenungsund, Tjörn och Öckerö. Är en intervjuform där den intervjuade intervjuas utifrån teman istället för en fast frågestruktur. Detta möjliggör att de ingångar och öppningar till ämnet som den intervjuade ger smidigt kan följas. I rapporten refererar vi till utbildningsledning och syftar då till dem vi intervjuat i undersökningen som samtliga är i olika befattningar som innefattar planerare och beslutsfattare. Det kan exempelvis vara rektorer och verksamhetschefer. Vuxenutbildningsförvaltningen i Göteborgs Stad. - 11-
Kapitel 2 Beskrivning av situationen KAPITEL 2 Beskrivning av situationen - 12-
Kapitel 2 Beskrivning av situationen I detta kapitel återger vi med hjälp av elva insikter de redogörelser som utbildningsledningen (planerare och beslutsfattare) inom Göteborgsregionen har gett gällande hur de idag använder data. I texten refererar vi fortsättningsvis till kranskommunerna när vi syftar till de 12 kommunerna inom Göteborgsregionen och till VUF när vi syftar till Vuxenutbildningsförvaltningen i Göteborgs Stad. Vi inleder dock med en kort beskrivning om Göteborgsregionens kommunalförbund (GR) och Göteborgsregionen. Om Göteborgsregionen (GR) Göteborgsregionens kommunalförbund är en samarbetsorganisation för 13 kommuner i Västsverige. Tillsammans har dessa kommuner ca 960 000 invånare. GR:s uppgift är att verka för samarbete över kommungränserna och vara ett forum för idé- och erfarenhetsutbyte inom regionen. Verksamheten inom GR ska vara till kommunal nytta, samtidigt som den ska stärka regionen nationellt och internationellt. När det gäller vuxenutbildning samverkar de 13 kommunerna genom ett samarbetsavtal. I dagsläget gäller samarbetet främst gymnasiala yrkesutbildningar. Koordinerade och administrativ aktör för samarbetet är GR Utbildning som är en enhet inom Göteborgsregionen kommunalförbund. De 13 kommunerna som samverkar är: Ale Alingsås Göteborg Härryda Kungsbacka Kungälv Lerum Lilla Edet Mölndal Partille Stenungsund Tjörn Öckerö Insikt #1 - En heterogen grupp Förutsättningarna för hur vuxenutbildning bedrivs skiljer sig åt mellan de tretton kommunerna i Göteborgsregionen. Det som skiljer de olika kommunerna åt är bland annat omfånget på utbildningarna som äger rum, hur vuxenutbildningen i den kommunala förvaltningen är organiserad samt hur de operativa verksamheterna är organiserade. I vissa kommuner sker all vuxenutbildning i egen regi medan all verksamhet sker i upphandlad regi i andra kommuner. Vuxenutbildningen i Göteborgs Stad är lika stor som de övriga 12 kommunerna tillsammans. Det som förenar kommunerna är bland annat: ett gemensamt utbud av gymnasiala yrkesutbildningar för invånarna inom Göteborgsregionen (genom samarbetsavtalet inom GR). ett gemensamt system för att administrera elever (Alvis). behov av att för sin huvudman, politiken, kunna visa på den nytta och de effekter som vuxenutbildningens verksamhet ger. behov av pålitlig och jämförbar data. - 13-
Kapitel 2 Beskrivning av situationen Insikt #2 - Det ligger i tiden Det som framgår tydligt i intervjuerna både inom kranskommunerna och inom VUF är att det ligger helt rätt i tiden med projektet SAM 3.0. Det finns ett stort behov av att skapa gemensam data, en gemensam plattform för uppföljning och analys av de studerades situation och den pedagogiska verksamheten. Inom kranskommunerna och VUF beskrivs i intervjuerna behovet av en god resultatkultur. Flera av de intervjuade beskriver att de inom sin verksamhet har projekt som är under uppstart som är i området en god resultatkultur. Exempelvis så arbetar VUF med att införa LEAN. Ett nytt branschråd håller på att startas upp inom GÖTEBORGSREGIONEN Utbildning (två representanter från VUF och en från GR Utbildning). Flera av utbildningsledarna inom kranskommunerna beskriver sina ambitioner med att genomföra strukturerade uppföljningar av sin verksamhet. Insikt #3 - Två läger Majoriteten av de intervjuade inom kranskommunerna och VUF beskriver att de huvudsakligen använder elevdata för rapportering och uppföljning. Endast några få av de intervjuade använder data för verksamhetsuppföljning eller verksamhetsutveckling. I fallande ordning har de intervjuade omnämnt att de använder sig av data till: 1. Rapportering 2. Uppföljning av elever 3. Verksamhetsuppföljning 4. Verksamhetsutveckling Om vi summerar ihop beskrivningen av den data som framför allt används i uppföljningar, handlar det om antal poäng som eleverna tagit eller antal poäng som kurserna har, vilka betyg som är tagna, andel godkända betyg och om andelen som avbrutit sina studier. Det handlar också om en ren ekonomisk uppföljning. För några av de intervjuade genomförs detta genom en strukturerad process medan andra beskriver att uppgifterna inhämtas genom att de går ut och känner in i utbildningsverksamheten, har en dialog med lärare och elever samt att de förlitar sig på sin magkänsla. - 14-
Kapitel 2 Beskrivning av situationen Insikt #4 - Resurser & prestationer Om vi tar med oss de beskrivningar vi fått från de intervjuade och analyserar det ur ett systemteoretiskt perspektiv i enlighet med illustrationen nedan, är det främst inom områdena resurser och prestationer som rapportering och uppföljning sker. Väldigt lite beskrivs av analys och uppföljning runt aktiviteterna (den pedagogiska processen). Likaså görs det lite analys och användande av data runt effekterna av de pedagogiska processerna eller uppföljning runt elevernas nytta av verksamheten och samhällsnytta (mikro- respektive makroperspektiv). Det är endast i några få intervjuer som området verksamhetsanalys tas upp. Effektstudier för yrkesvuxutbildningar inom Göteborgsregionen omnämns. Likaså omnämns effektstudier för grundläggande och gymnasial vuxenutbildning hos VUF och hos vissa av kranskommunerna, men dessa länkas inte samman och analyseras ur ett process- eller systemperspektiv. Resultatet används ofta enbart till att redovisa att något är genomfört, inte till verksamhetsutveckling. Pedagogiska*processen* Utveckla*den*pedagogiska* processen* Resurser) Ak#viteter) Presta#oner) Effekter) Ny5a) Poäng** SEK*?*?*? Betyg* AvbroC* Andel*godkända*betyg*?*?*? Redovisa*vad*de*har*gjort* Illustration över vilken data som relateras till i intervjuerna kopplat till en system/processanalys. Insikt #5 - Alvis är navet i all data Alvis beskrivs av samtliga vi intervjuat som navet i all datahantering. De beskriver att det är i Alvis som de hämtar all elev- och kursdata. Den enda elevdata som de i intervjuerna har refererat till som hanteras utanför Alvis är skyddade identiteter samt även vissa distanskurser. Detta har enbart nämnts i kranskommunerna. Vi har i intervjuerna med VUF inte kommit in på hur denna hantering sköts där. - 15-
Kapitel 2 Beskrivning av situationen Insikt #6 - Oren data Flera av de intervjuade har beskrivit att ett problem för dem i uppföljning och rapportering är att det förekommer felaktigheter i den data som finns i Alvis. Orsakerna till att vissa av uppgifterna blir behäftade med fel är bland annat: I. Att administratörer (ute i kommunerna, hos Utbildningsanordnarna) som rapporterar in uppgifter i Avis inte följer de rutiner och manualer som finns. II. III. IV. Att uppgifterna som läggs in i Alvis har rapporterats in för ett annat syfte än för elev- och kursuppföljning, exempelvis för ekonomisk redovisning. Att inte uppgifter (exempelvis kursavbrott, tagna betyg och kursbyten) rapporteras in i tid (innan brytning). Att data hämtas ut vid fel tidpunkt, innan data har hunnit rapporteras in. Så är exempelvis fallet, har vi fått förklarat för oss, när det gäller de uppgifter som ska rapporteras till SCB. SCB efterfrågar bland annat uppgifter om antalet elever innan detta är fastställt. V. Att uppgifter eleverna har lämnat i ansökan har varit oriktiga bland annat på grund av att eleverna lämnar oriktiga uppgifter för att öka sina chanser att bli antagna till en utbildning. VI. Att eleverna inte uppdaterar sina kursplaner, alternativt att utbildningsanordnare inte har rapporterat in de uppdaterade kursplanerna. Insikt #7 Alvisgeneral & revision Både GR Utbildning och VUF har administratörsträffar och utbildningar för de inom verksamheterna som rapporterar in uppgifter i Alvis i syfte att utbilda och säkerställa att rutiner efterföljs. Både inom kranskommunerna och VUF efterfrågas än mer uppföljning och utbildning inom detta område. De efterfrågar att det finns en inrapporteringsgeneral, någon som har ett tydligt uttalat ansvar och mandat för systemet. I intervjuerna i kranskommunerna har det också efterfrågats att GR Utbildning löpande bör göra revision ute i verksamheterna för att säkerställa att allt ser korrekt ut och att gemensamma rutiner efterföljs. Insikt #8 - Jämförbar data behövs När det handlar om den egna rapporteringen och resultatredovisningen har flera av de intervjuade lyft att de i många fall saknar jämförbara data att ställa den egna verksamheten gentemot. - 16-
Kapitel 2 Beskrivning av situationen Insikt #9 Vilda western Det som blir mycket tydligt i beskrivningarna från utbildningsledarna i kranskommunerna och på VUF är att det råder vilda western vid insamling av data. Flera aktörer samlar in data utan vetskap om varandras undersökningar eller utan hänsyn till varandras undersökningar (se även nästa insikt kring silotänkande). De som i intervjuerna har beskrivits genomföra bland annat studerandeprocess- undersökningar, nöjdkundundersökningar, trivselundersökningar och effektstudier är: Utbildningsanordnarna (UBA) Lärarna Kommunerna GR Utbildning och VUF Till detta kommer också utbildning som sker med annan finansiär, så som yrkeshögskolan och lärling. Dessa utbildningar har sina direktiv för uppföljning från sina finansiärer. Följderna i och med att flera parallella undersökningar genomförs utan samverkan blir att det bland annat: Blir förvirrande för eleverna som upplever att de redan svarat på undersökningen (utan att veta att den genomförs) Ger låga svarsfrekvenser Ger dubbla kostnader för insamling av samma data Ger data som inte är jämförbar En annan försvårande omständighet för undersökningar som görs under studierna är att lärarna är gatekeepers. Några av de intervjuade har beskrivit att de har svårt att få lärarna att samarbeta runt att få genomföra undersökningar i klassrummen då lärare motarbetar genomförandet. En av de intervjuade beskriver: Lärarna gör egna enkäter, vilket gör att de inte är intresserade av centrala/lokala SPU- och effektundersökningar. De vi har intervjuat som ansvarar för SFI- utbildning har lyft att språket i enkäterna ofta är för svårt för SFI- elever. Detta leder till att frågorna missförstås eller inte alls förstås. Följderna av för svåra enkäter är att validiteten på resultatet blir dålig och att undersökningen får en låg svarsfrekvens. Brist på återkoppling I intervjuerna beskrivs att eleverna sällan får reda på resultatet från undersökningarna de deltagit i. Genom att de flesta undersökningarna enbart används till redovisning och rapportering, och inte till verksamhetsutveckling eller kvalitetssäkring, kvarstår brister som eleverna upplyst om år efter år. Detta leder i sin tur till att incitamentet och motivationen för elever att svara på enkäter avtar. - 17-
Kapitel 2 Beskrivning av situationen Insikt #10 - Silotänkande De flesta av de intervjuade utbildningsledarna arbetar väldigt självständigt och i sin ensamhet med analys. Insamlandet och hanterandet av data sker enbart utifrån de egna uppgifterna eller ansvarsområdet och vad de själva har nytta av. Det saknas i många fall ett helhetsperspektiv (både ur verksamhets- och elevperspektiv). Silotänkandet finns på flera olika nivåer, exempelvis inom den egna kommunen, inom den egna utbildningsformen, hos utbildningsanordnare samt inom den enskilda klassen. Insikt #11 - Saknar mottagare Mer än hälften av de intervjuade utbildningsledarna i kranskommunerna beskriver att det inom deras kommun inte finns något intresse för att diskutera eller att sätta upp mål med vuxenutbildningen som kommunen driver. De berättar att politikerna i kommunen är nöjda så länge de håller sig inom de ekonomiska ramarna för verksamheten. Några av de intervjuade berättar att de när de var nya i sina roller hade en hög ambitionsnivå när det gäller att visa på vilka effekter vuxenutbildningen har för kommunens invånare. Men de beskriver att samma ambitionsnivå inte funnits inom förvaltningen eller bland kommunens politiker. De intervjuade har gett följande beskrivningar: Skulle önska att politikerna efterfrågade mer data/information. Skulle önska att politikerna styrde vuxenutbildningen mer med mål. Ingen kommunikation, vet inte vart de vill. Inga mätbara mål, inga direktiv. Endast ekonomisk uppföljning. Målen som vi har är så övergripande så de går inte att mäta. Jag har två mål: öka antalet godkända i några specifika ämnen och att arbetsmiljön ska förbättras. Några av de intervjuade i kranskommunerna har dock beskrivit att det i deras kommun finns ett intresse för vuxenutbildningens resultat. En av de intervjuade säger bland annat: Politikerna är intresserade av att ta del av detta samt våra analyser. Några beskriver att de har ett antal verksamhetsindikatorer som de använder sig av i redovisningen. En av de intervjuade berättar att de använder sig av: Betygsstatistik Avbrott Resultat av effektstudier NKI (Nöjd kund index) Genomströmningshastighet för SFI - 18-
Kapitel 3 Behov av data KAPITEL 3 Behov av data - 19-
Kapitel 3 Behov av data Beskrivning av hur Utbildningsledningen (planerare och beslutsfattare) inom kranskommunerna och VUF har behov av data idag görs med hjälp av nedanstående åtta insikter. Insikt #1 - Pålitlig och jämförbar Flera av de intervjuade har efterfrågat mer pålitlig data i Alvis som vi beskrev i Insikt #6 i kapitel 2. Det samtliga också beskriver är att de är i behov av att ha tillgång till jämförande data. Det behövs såväl generell som specifik data (kurs, målgrupp eller inriktning) att kunna jämföra med. Insikt #2 Meckigt När det handlar om att ta fram data från Alvis finns det två olika kategorier av behov. I. Behov av relativt enkla uppgifter gällande exempelvis elever, kurser och tagna poäng (standardiserade uttag). II. Behov av specifik data gällande exempelvis en specifik kurs, specifika elever eller en specifik studieform (standardiserade uttag eller situationsbaserade uttag). För båda kategorierna av behov ställs de inför problematiken att den framtagna datan inte kan användas rakt av utan kräver en viss bearbetning. En av de intervjuade beskriver: Om jag exempelvis ska ta ut uppgifter om hur ett kurspaket är upplagt kommer det med en massa biinformation. För de med behov av specifik data är det ofta betingat med att de behöver vara mycket insatta i elevernas situation och i hur uppgifterna lagras i Alvis för att få fram valid data. En av de intervjuade beskriver: För att veta vad man svarar på när man tar ut data från Alvis behövs gedigen kunskap. Datan behöver analyseras för att skapa korrekt insikt i vad den betyder och innebär. Båda grupperna är i behov av att kunna ta fram jämförbar data, vilket idag ofta är svårt. Flera av de intervjuade beskriver också att det ofta är kort om tid när de behöver få fram uppgifter som de i sin tur ska rapportera vidare. En problematik i Alvis är att systemet är uppbyggt på terminer (HT/VT) medan många utbildningar idag har löpande kursstarter under terminerna. En annan problematik som beskrivs är att enstaka kurser hänger samman över terminerna och skapar program, vilket ställer till det vid uttag. De vi har intervjuat på VUF beskriver att det finns några specifika nyckelpersoner som är behjälpliga med att ta fram dessa uppgifter. I kranskommunerna får de flesta av de intervjuade hjälp av en specifik person. Några av de intervjuade, både på VUF och i kranskommunerna, kan ta fram data själva. Både i kranskommunerna och på VUF beskrivs det att den fördjupade kunskapen att kunna problematisera data och datauttagen saknas idag. Inom kranskommunerna hänvisar de till att - 20-
Kapitel 3 Behov av data kompetensen finns på GR Utbildning, men inte lokalt. På VUF refereras det till att denna kompetens tidigare fanns, men numera saknas inom förvaltningen. De intervjuade beskriver att det är önskvärt att datan: är pålitlig är exakt är tillgänglig och analyserad inte kräver handpåläggning går att ta fram på kursnivå och branschnivå är enkel inte är för komplex Några av de intervjuade utbildningsledarna på VUF beskriver att det idag tas fram övergripande data, men att de skulle behöva kunna dyka ner på ämnesnivå för att kunna arbeta med verksamhetsutveckling. Insikt #3 - Indikatorer Återkommande i intervjuerna är att de intervjuade efterfrågar indikatorer som kan hjälpa dem att kunna följa upp verksamheten. Utifrån det de beskriver att de önskar följa upp finns behov av både enklare och mer komplexa indikatorer. De enklare indikatorerna är mer av karaktären snittvärden eller medelvärden (exempelvis andel i arbete efter studier, andel som tar poäng). De indikatorer som är av mer komplex karaktär är de som exempelvis visar på lärsträcka eller studieprogression. Indikatorvärdet för de enklare indikatorerna borde med relativ enkelhet kunna beräknas fram på en större volym data. De mer komplexa indikatorerna kräver betydligt mer begrundande för att bli relevanta Indikatorvärden. Vi upplever att det finns en viss övertro till indikatorer som uppföljning. En indikator ger en endimensionell bild av verkligheten. Den visar på ett positivt eller negativt värde i förhållande till ett definierat värde. För att ett indikatorresultat ska bli relevant krävs en fortsatt analys och fördjupning av resultatet. - 21-
Kapitel 3 Behov av data Insikt #4 - Uppgifter som idag nyttjas Några av de data som de intervjuade beskriver att de använder och är i behov av är: Andel godkända elever Andel i arbete alternativt fortsatta studier efter studierna på Vuxenutbildningen Antal elever Antal elever på praktik Antal lärare Antal elever med tagna betyg (betygsstatistik) Antal terminer med praktik Avbrott Avbrottsstatus Orsak till avbrott Betyg Betygsfördelningen Effekt per peng och inriktning Effekt sett till i arbete eller studier efter avslutad utbildning Elevers progression Mål med studierna Måluppfyllelse Poäng Producerade poäng Utfall nationella prov/betygssättning Lärsträcka för SFI Insikt #5 - Informationskällor som nyttjas dåligt Några av de intervjuade har lyft att de upplever att det finns informationskällor som inte nyttjas eller endast i begränsad omfattning nyttjas. Det är bland annat klagomålshantering som borde kunna analyseras mer samlat. Det är också information som finns i ansökningar och studieplaner. De som arbetar med antagning och studie- och yrkesvägledning har efterfrågat bättre uppföljning av olika studieformer, studietakter, kursstarter, praktik med mera och elevernas förutsättningar (tidigare studieerfarenhet, språkkunskaper och yrkeserfarenhet) och hur utfall ser ut. Med en bättre uppföljning och analys skulle bättre vägledning kunna äga rum och därmed åstadkomma ett bättre nyttjande av verksamheternas resurser. - 22-
Kapitel 3 Behov av data Insikt #6 - Resultat kommer för sent för att kunna användas i planering Några av de intervjuade inom både kranskommunerna och VUF beskriver att resultatet från undersökningar som exempelvis SPU och Effekt kommer för sent för att de ska kunna använda dem i sin planering av utbildningar eller vid rapporteringar. Insikt #7 - Resultat når inte ut Det är en lång kedja för att resultaten från undersökningarna ska komma ut till alla aktörer. Flera av de intervjuade har beskrivit att det krävs en tydlig process för att detta ska ske. Som vi ser det behövs krav på mottagarna från ledningen och en uppbyggd kultur av att resultatet från verksamheterna ska följas upp och att data ska användas för att planera och förbättra verksamheten. Det är först då som det går att säkerställa att resurser används på bästa sätt för att få ut maximal kvalitet. I insikt #10 i kapitel 2 beskrev vi att det råder ett silotänkande inom verksamheterna. För att överbygga detta behöver en god resultatkultur marknadsföras i organisationerna. Det behöver byggas upp en kultur där alla är involverade i processen. Att det anordnas analysträffar där respektive ansvarig får redovisa utfall och planerad verksamhet och att detta diskuteras och problematiseras i verksamhetsgrupper. För att detta ska vara möjligt krävs det att: Data är lättillgänglig Begränsningarna i data är uttalad och tydlig Data är jämförbar Det finns en långsiktighet i hantering och insamling av data som möjliggör analysering över tid Insikt #8 - GR bör hålla i all analys för kranskommunerna För kranskommunerna skulle det underlätta och effektivisera arbetet om insamling, sammanställning och analys genomfördes av GR Utbildning. För VUF är verksamheten i Vuxenutbildningen i Göteborgs Stad så komplex att den behöver ske inom VUF. Däremot behöver arbetet med insamling, sammanställning och analys likriktas inom hela Göteborgsregionen för att full vinst ska kunna ske. Inom kranskommunerna har det i intervjuerna på flera håll lyfts att de även önskar att kvalitetskontrollen av utbildningarna sker av GR Utbildning. En av de intervjuade säger: Jag är nog för en gemensam kvalitetskontroll inom Göteborgsregionen. Vi har försökt en massa olika alternativ, att vi har varit kvalitetsgranskare åt varandra. Men utrymmet för personligt tyckande och engagemang har varit för stort. Det bör vara enligt gemensamma principer som vi bör kontrollera utbildarna. I alla fall de GR- gemensamma utbildningarna. - 23-
Kapitel 4 Beskrivning av lösning KAPITEL 4 Beskrivning av lösning - 24-
Kapitel 4 Beskrivning av lösning Här nedan följer vårt (Splitvision Researchs) förslag på vad som behöver göras för att åstadkomma en god resultatkultur. En god resultatkultur I analysen av intervjuerna framkommer tydligt att det som behövs är att skapa (bygga vidare) en kultur och en organisation där uppföljning, utvärdering och utveckling (de tre U:na) blir ett parallellt nav till den ordinarie pedagogiska verksamheten. Den goda resultatkulturen handlar om att knyta samman de sex stegen nedan. 1. Insamling 2. Bearbetning av data 3. Analys av data 4. Presentation av resultatet 5. En gemensam reflektion av resultatet 6. Verksamhetsutveckling Insamling När det gäller insamling behöver denna ske från centralt håll. GR Utbildning och VUF bör hålla i insamlingen och båda dessa parter behöver samordna undersökningarna i syfte att säkerställa att dessa sker på likvärdigt sätt. Det behöver tas ett samlat grepp på hur och vad som ska följas upp och när det ska göras. Det finns stora vinster ekonomiskt och resultatmässigt med att undersökningarna sker centraliserat för hela Göteborgsregionen. I varje undersökning kan det finnas ett utrymme för att intressenter kan lägga till frågor, i stället för att flera separata enkäter genomförs. Det behöver finnas en långsiktighet i hantering och insamling av data för att möjliggöra analys över tid. Det är med andra ord viktigt med en uthållighet i när och hur uppföljning sker. Elevernas perspektiv Elevernas perspektiv behöver utgöra stommen för den data som samlas in. Idag saknas elevernas perspektiv nästan helt i de intervjuades beskrivning av verksamheten och analysarbetet. Det mesta sker helt ur ett organisations- och verksamhetsperspektiv. Med att inte se frågor och insamlat material ur elevernas perspektiv finns en risk att analys och slutsatser blir endimensionella och felaktiga. Bearbetning av data Det behöver bli mer ordning och reda i den data som finns inrapporterad i Alvis. Det behöver också skapas bättre rutiner och struktur för hur data ska rapporteras in samt hur uppföljning genomförs och kontroll av hur detta efterföljs. Det behöver tas fram relevanta indikatorer och indikatorvärden samt underlag för hur användande och tolkning av dessa indikatorer ska ske. - 25-
Kapitel 4 Beskrivning av lösning Analys av data Två av de uttagstyper som behöver göras ur Alvis bör i högre grad kunna systematiseras. Det handlar om: Standardiserade uttag Situationsbaserade uttag I syfte att säkerställa att analys av datauttag sker på kvalitetsmässigt sätt bör det tas fram en handledning till hur uppgifterna ska tolkas och vilka begränsningar som finns med uppgifterna. Något som vi varit förvånande över att det inte har använts eller efterfrågats i högre grad är så kallade A/B- tester. A/B- tester innebär exempelvis att nya former av utbildningar och programspår kodas i Alvis och att utfallet mellan olika spår sedan jämförs och följs upp i en strukturerad analys. Presentation av resultatet I syfte att säkerställa att framtagen data kan användas och användas på ett korrekt sätt behövs ett genomtänkt och kvalitetssäkrat arbetssätt för presentation av undersökningsresultat. Det är viktigt att i presentationen säkerställa att data inte blir allt för förenklad, endimensionell och att viktiga komplexa samband inte tappas bort. Det är också viktigt att presentation av undersökningsresultat är riktat och relevant för just den målgrupp som varje presentation är avsedd för, exempelvis politiker, verksamhetsansvariga, rektorer, lärare eller elever. En gemensam reflektion av resultatet Det handlar mer om att skapa en organisation, en kultur, en god resultatkultur än att skapa en ny förordning om systematiskt uppföljningsarbete. I en god resultatkultur utgör de tre U:na (uppföljning, utvärdering och utveckling) en naturlig och central del i verksamheten. Resultatet används, är efterfrågat och analysen blir en gemensam aktivitet som görs utifrån ett helhetsperspektiv. Verksamhetsutveckling Målet med de tre U:na och en god resultatkultur är att verksamheterna ska kunna utvecklas utifrån en stabil och säker grund. Beslut bör tas utifrån evidensbaserade underlag, vilket innebär att hänsyn har tagits till forskning och vetenskapliga rön, elevernas åsikter och resultat, samt verksamhetens kunskap och erfarenheter. - 26-
Om Splitvision Research Om Splitvision Research Splitvision Research AB är ett etnografiskt undersökningsföretag. Vi arbetar främst med samhälls- och marknadsundersökningar, utvärderingar och utredningar där våra uppdragsgivare vill nå en djupare och bredare kunskap om företeelser och kunder. Vår specialitet som affärsantropologer är att vi kan mäta det "mjuka", hur människor tänker och vad de upplever. Vi arbetar på ett nytt sätt med kvalitativa och kvantitativa undersökningar. I egenskap av affärsantropologer använder vi oss av etnografiska metoder som intervjuer, observationer och deltagande. Ofta genomförs våra undersökningar i människors vardag. Det kan vara på plats i personers hem, på kontor, på sjukhus, i butiker eller på skolor. De etnografiska metoderna lyfter fram människors attityder, värderingar, beteenden och de kulturella sammanhang som de ingår i. Bland våra kunder finns både näringsliv och offentlig verksamhet. Vi arbetar både med korta, intensiva uppdrag och med långsiktiga strategiska projekt. För mer information besök gärna vår webbsida: Ni är även varmt välkomna att kontakta oss: Göteborgskontoret: 031-707 41 00 Stockholmskontoret: 08-55 24 24 70-27-