Delrapport 1 projekt SAM 3.0 Göteborg 2015-11-24 Inledning SAM 3.0 är en fortsättning på projekt SAM som genomfördes mellan 2006-2009 Projektägare av SAM 3.0 är Arbetsmarknad och Vuxenutbildningsförvaltningen i Göteborgs Stad (Arbvux) och Göteborgsregionens kommunalförbund (GR). Skolverket är en aktiv följare av projektet och har även bidragit med resurser. Projektuppdraget är beslutat (20140611) av Vuxenutbildningsnätverket inom GR och leds av en styrgrupp bestående av ledningsrepresentanter från vardera organisationen. Initialt skulle även Skolverket ingått i styrgruppen som adjungerad, men har av praktiska skäl inte kunnat delta. Projekttiden är satt från september 2014 till juni 2016, med möjlighet till förlängning till juni 2017. Projektstart blev försenat p.g.a. inväntande av beslut från Skolverket som rörde den ekonomisk finansiering. Grunden i SAM-systemet bygger på att sätta individen (eleven) i fokus. Strukturen följer elevens process från ingången till studierna (studieplanering och ansökan), genom studierna och efter avslutade studier. Från det att eleven är antagen och tiden eleven är i studier samlas kontinuerligt information in via verksamhetsdata och elevundersökningar. Efter avslutade studier genomförs en effektstudie. I projektet läggs ett särskilt fokus på en god resultatkultur som bygger på principen att skapa medvetenhet kring hur vi tar del av uppföljningsresultat, samt hur vi använder oss av resultaten i det kontinuerliga planeringsarbetet. Förväntat resultat är att, på såväl kommunal som regional nivå och senare på riksnivå, etablera en struktur och systematik för att på ett gemensamt sätt samla in data. En central utgångspunkt är att insamlingen av data följer den enskilde eleven på individnivå. Detta för att kunna skapa flödesbaserade resultatbeskrivningar. Vidare att detta är stabilt över tid och kan skapa förutsättningar för enhetlighet i det insamlade underlaget samt möjlighet till jämförelse av resultaten. Centralt är etablering av en grundläggande bas utifrån gemensamma värderingar och synsätt, kring hur reflektion och analys av data kan ske. Resultat av uppföljning ska bidra till verksamhetsutveckling och visa på hur vuxna, efter avslutad utbildning, etablerar sig i samhället och på arbetsmarknaden. Utmaningar med SAM 3.0 I arbetet med SAM 3.0 har projektledningen stått inför fyra utmaningar. Dessa utmaningar har varit att: 1. Skapa en struktur för ett sammanhållande undersökningssystem (enkäter och verksamhetsdata). 2. Kunna hantera den stora mängd data som ett sådant system kräver. 3. Kunna tillgängliggöra och presentera data. 4. Få till kulturdelen i en god resultatkultur, vilket innebär att alla intressenter verkar för att använda och samverka runt resultatet.
av SAM 3.0 fram till 24 november 2015 Nedan sker en redovisning utifrån uppsatta mål i projektet. Mål 1. Kartlägga grunderna för vad varje kommun, inom GR, ser som en god resultatkultur. Detta mål är genomfört och finns redovisat i Förstudie gällande SAM 3.0 (GR Dnr 2014-00216) Samtliga ledande personer (rektorer och chefer) inom Vuxenutbildningsförvaltningen i Göteborg och GR har blivit intervjuade om vad de anser är en god resultatkultur. Resultatet redovisas som 11 insikter som beskriver själva situationen chefer och medarbetare upplever och 8 insikter som rör behovet av data. Exempel på insikter från denna förstudie 1 är: - Betänkligheter kring validiteten i insamlandet av grunddata t.ex. definiering av begrepp/terminologi, urval, validitet, reliabilitet. - Silotänkande 2 i vilka resultat man efterfrågar och vill använda sig av. - Bristande systematik i hur uppföljning sker. - Analysen av resultaten är en enskild process. I samband med förstudien ställdes en direkt fråga till vuxenutbildningarna inom GR vilka behov och resultat av elevuppföljning som finns. Detta sammanställdes och resultatet används i det fortsatta arbetet inom SAM 3.0. Kortfattat visar resultaten på: - Behovet av att kunna koppla ihop information om resurser, aktiviteter och prestationer samt effekter - Att samverkan inom verksamhetsutveckling kräver gemensamt definierade begrepp - Att det finns ett behov av att kunna jämföra varandras verksamheter. Detta kräver enhetlig hantering och märkning av data. - Ett större antal kommuner inom GR har i storlek ett elevunderlag som skapar begränsningar när resultatanalys ska genomföras. Genom samverkan skapas ett större elevunderlag och därmed säkrare analys Se vidare dokument Behovsanalys vad kommunerna svarat på frågor från projektledningen för SAM 3.0 20150417 Ingen avvikelse från projektet 2. Lägga en grund för utbyte av erfarenheter och kunskap mellan kommunerna gällande hur vi följer upp vår verksamhet, analyserar och redovisar resultat. I projektet har två forum identifierats för att skapa utbyte av erfarenheter och kunskaper mellan kommunerna: Vuxenutbildningsnätverket, samt Kvalitetsgruppen för 1 Se vidare Förstudie gällande SAM 3.0 GR Dnr 2014-00216 2 Silotänkande = att man bara ser till sin egen verksamhet/ansvarsområde och inte ser konsekvenser eller nytta för kringliggande verksamheter/ansvarsområde
vuxenutbildning båda verkar inom GR. I vuxenutbildningsnätverket har följande aktiviteter genomförts: - av förstudien (11/6 2014) - Kick off för SAM 3.0 (12/3 2015) där bl.a. Jonas Österberg föreläste om resultatanalys i skolan och Splitvision Research om en god resultatkultur. Forefront consulting och Quicksearch föreläste om teknikutveckling för elevuppföljning. Skolverket medverkade och redogjorde för deras behov och syn på elevuppföljning. - Vuxenutbildningsdag S.t Jörgen (7-8/9 2015). Delredovisning SAM 3.0 - En god resultatkultur fortbildningsdag.(2/12 2015) där bl.a. Optivasys föreläser om resultatdatabas samt visualiseringsverktyget Qlik, Splitvision Research redovisar fördjupad målgruppsstudie och nästa steg mot en god resultatkultur. Det genomförs även en workshop med koppling till en god resultatkultur. Kvalitetsgruppen har i sitt uppdrag att aktivt följa SAM 3.0 i sitt arbete. Vidare ska kvalitetsgruppen fungera som en referensgrupp till SAM 3.0. Även i kvalitetsgruppen har föreläsningar genomförts av Jonas Österberg (resultatanalys i skolan) samt redovisning av förstudien till SAM 3.0. Kvalitetsgruppen även har tagit del av litteratur som ligger till grund för de teorier SAM 3.0 vilar på. Ex Lena Lindgren - Utvärderingsmonstret, Ekonomistyrningsverket - Verksamhetslogik, Jonas Österberg Resultatanalys i skolan. Kick off senarelades p.g.a. inväntande om bidragsbeslut kopplat till Skolverket. 3. Identifiera möjligheter att utifrån en gemensam grund genomföra uppföljningar som är jämförbara kommuner emellan. Resultat av detta mål är dels Förstudie gällande SAM 3.0, Behovsanalys vad kommunerna svarat på frågor från projektledningen för SAM 3.0 och fördjupad målgruppsundersökning (klar dec 2015) samt sammanhållande undersökningssystem (klar januari 2016) Genomförande av fördjupad målgruppsundersökning och färdigställande av rapporter har tagit längre tid än planerat. 4. Etablera teknik och teori för kontinuerlig och systematisk uppföljning samt redovisning av resultat. Elever, lärare, studie- och yrkesvägledare, rektorer och chefer (målgrupper). - Teknik Arbetet med att etablera teknik startade med en period av kartläggning. Ett flertal möten med konsulter (Qbranch, FindWise, Optiva, Happens, Forefront, Quick Search, Microsoft, Gavagai) har genomförts för att skapa förståelse kring olika tekniska möjligheter för att inhämta data, resultat och effekter av utbildningarna samt hur den kan bearbetas och visualiseras. Ett urval av möten och innehåll följer nedan: Qbranch 20/10 2014 Samarbetar med Google apps. Arbetar bl.a. med att stödja den formativa bedömningen inom UBF i Göteborg. Är delaktiga i ett vårdprojekt inom VGR där man använder sig av Big data. Vi talade bl.a. om möjligheter att samköra olika register. Om det ska ske är det en
fördel att startar ett forskningsprojekt. Det gäller att skapa rutiner för anonymisering när man använder sig av olika register. FindWise 23/10 2014 Vi talade mycket om själva uppbyggnaden av en databas och vad Big data är. Ett exempel är vikten av att bygga upp en ren (städad och neutral) databas. Sedan kravställer man vilken information man har behov av att ta ut och anpassar applikationerna efter detta. Qbransch och Microsoft 12/11 2014 Tekniska lösningar kring Big data. Stort fokus på det tekniska och hur organisationer själva kan göra ett upplägg av en databas. Molnlösningar som fungerar i offentlig verksamhet diskuterades. Happens 12/11 2014 Samtal kring utveckling av appar, vad man bör tänka på, möjligheter och kostnader. Forefront, Gavagai, Microsoft 3/12 2014 Möte om Big data och otraditionella datakällor. Föreläsning om hur Gavagai och Microsoft hanterar detta. Hur hanterar, värderar och visualiserar dessa företag strömmarna av meningar, konversationer och texter på nätet? Hur värderas ord och stavfel? Hur kan man lära programmen att hantera detta på ett korrekt sätt? QlickView - Optiva. 21/1 2015 (Specialister på visualisering av data) Vilka möjligheter finns med prediktiv data? Möjligheter att skapa scenarier för framtiden. Vi talade även om möjligheten att göra någon form av mindre förstudie för att se hur visualiseringen kan komma att se ut. Tankar om alternativa vägar att samla in data via exempelvis olika sociala medier, Behovet av en tydlig teknisk design, skapandet av datalager, vikten av att göra en lösning som är teknikoberoende, att använda otraditionella datakällor, nya tekniklösningar som är i antågande som fingeravtryck och ögonscanner och vikten av att vi äger vår data. Diskussion kring visualiseringen av resultat och att företagen har sin specialistkompetens inom olika områden, vilket gör att det kan vara en fördel att ha flera olika leverantörer av programvara. Forefront och Quick Search (Arbetar med visualisering) 30/1 2015 Beskrivning och diskussion kring arbetssättet för att utveckla ett IT-verktyg, tre centrala delar: - Fokus kundresan - Verksamhetens affärsförmågan (förmågan att organisera uppföljning och redovisning) - Verksamhetens IT-förmåga (person/kompetens, process och system) Under våren fram till sommaren 2015 genomfördes ytterligare ett antal möten med syfte att kartlägga de tekniska behoven och diskussion kring olika lösningar. Genom ett redan etablerat avtal på GR (styrgruppsmöte 27 april) har projektet beslutat (redovisas på styrgruppsmöte 8 juni 2015) att samarbeta med Optivasys. I arbetet med de tekniska lösningarna har Skolverket visat kontinuerligt intresse då de har nytta av våra erfarenheter till förstudien VAS (se vidare nedan). Exempelvis har Skolverket deltagit i olika möten kring tekniska lösningar (ex möte 12 juni 2015). Under hösten har arbetet gått in i en utvecklingsfas av att etablera dels en databas för mottagande av automatsikt överförbar data samt mottagande av resultat från elevundersökningar, dels framtagande av gränssnitt för visualisering av data och resultat. Ett betydande arbete är att förbereda, anpassa och säkerställa integration och
teknik mellan den leverantör (Gotit) som ansvarar för elevadministrationssystemet och mottagare av data (Optivasys). Teori För att etablera teori har förstudie och fördjupad kartläggning varit centrala arbeten. Den teoretiska grunden bygger på etablerad teoribildning (ex Ekonomistyrningsverket Verksamhetslogik 2001, Lena Lindgren Nya Utvärderingsmonstret 2014, Jonas Österberg Resultatanalys i skolan 2014). För att förankra teoribildningen har kvalitetsgruppen på GR varit en viktig samtalspartner och som i sin tur problematiserat olika frågeställningar och därmed synliggjort eventuella oklarheter. Utifrån kartläggning och teori har en grundstruktur för elevuppföljning byggts upp och en effektkarta tagits fram. Effektkartan syftar till att: - synliggöra både intressenter av data samt de resultat som efterfrågas och som ligger till grund för att beskriva elevens studiegång, - visa på olika indikatorer som kan fungera som markörer - vara ett underlag för den tekniska utveckling som bedrivs parallellt. Ovan arbete kommer att konkretiseras i det underlag som kommer ligga till grund för de allmänna råd/metodguide kring arbetet med elevuppföljning som Skolverket beställt av projektet. Arbetsnamnet är Metodguide för en god resultatkultur. Se vidare under målet vidga till övriga landet, spridningsprojekt. Skolverket genomför en förstudie vid namn VAS som syftar till att förbättra uppföljning och effekter av genomförda insatser inom vuxenutbildningens skolformer. SAM 3.0 är en del av detta arbete, dels som samtalspart/sakkunnig, dels som referensobjekt. Projektledarna har blivit intervjuade av Governo som genomför förstudien. Ett faktum som projektet har diskuterat sedan projektstart är att både Arbvux och GR sedan tidigare genomför elevuppföljning. Arbvux har sedan 2004 byggt upp och utvecklat organisation och teknik för elevuppföljning. I samband med yrkesvux har även GR byggt upp en organisation och teknik för elevuppföljning. För ett antal år sedan fanns intentioner om en harmonisering mellan medlemskommunerna. En gemensam effektundersökning genomfördes 2007, men arbetet avstannande. En central händelse är Utbildningsdepartementets hearing november 2013 då Arbvux och GR medverkade tillsammans med ett 15-tal kommuner runt om i Sverige för att redovisa hur vi arbetar med elevuppföljning. Det framstod tydligt att GR och Göteborg kommit långt i detta arbete. Efter hearingen tog Skolverket initiativ till diskussion om möjligheten att GR och Göteborg med stöd av Skolverket skulle, som ett projekt, utveckla system och teknik för elevuppföljning. SAM 3.0 började då planeras och en tidig frågeställning var hur gör vi med våra gamla system?. Parallellt med SAM 3.0 har denna fråga ställts ett flertal gånger till styrgruppen och enskilda chefer för att medvetengöra samt förbereda en förändring. I SAM 3.0 finns det inget mål uppsatt att arbeta med denna fråga, men då projektledarna i sina andra roller arbetar och ansvarar för den ordinarie elevuppföljningen har det fallit sig naturligt att synliggöra att vi har att hantera parallella system och med det kostnader.
5. Beskriva elevens studier i tre faser (innan studier, under studier och effekt av studier). Varje fas är synliggjord av ett antal indikatorer som fungerar som markörer. Grunden för att synliggöra elevens resa genom studierna och de behov av resultat som verksamheten efterfrågar finns i den effektkarta som projektet framställt. Den slutgiltiga beskrivningen finns i arbetet med ett sammanhållande undersökningssystem (klar januari 2016). Exempel på en indikator är procentuellt antal elever som är i arbete efter avslutade studier. r Inga avvikelser 6. Genomföra minst en gemensam och årligen återkommande uppföljning där resultat redovisas, jämförs, analyseras och kan återkopplas till kommande planering av verksamheten. Projektet har genomfört en delundersökning vintern 2014/2015 av effekt yrkesvux och gy yrk. Centralt resultat av detta arbete var samverkan mellan GR och Arbvux t.ex. i framtagning av urval och genomförande av själva undersökningen. Även diskussioner kring det praktiska arbetet har varit av vikt. Delar av denna erfarenhet ligger bl.a. till grund för det underlag till metodikguide som Skolverket har beställt av projektet. I tidsplaneringen finns tre gemensamma uppföljningar inplanerade. Pilotundersökningen låg i fas, medan de övriga inplanerade inte är genomförda. En orsak är att vald teknik inte har varit på plats. För att få mer erfarenheter av teknik, innehåll och systematik planerades under våren 2015 ett särskilt försök inom Arbvux att utifrån befintlig teknik och organisation genomföra en elevuppföljning med fokus på gy yrk och yrkesvux och anamma ett mer flödesorienterat uppföljningssätt. En workshop genomfördes den 17 mars 2015 för att insamla synpunkter och behov från de medarbetare som arbetar med planering av yrkesutbildningar. GR fanns med som observatör, samt konsult kopplad till SAM 3.0. De konsulter (Forefront och Quicksearch) som ledde workshopen lämnade ett förslag på strategi för genomförande. I förslaget fanns det oklarheter som ledde till en diskussion inom Arbvux där olika synpunkter ställdes mot varandra. Ledningen på Arbvux valde då att detta försök inte skulle genomföras. Projektledningen i SAM 3.0 har valt att avvakta med nästa uppföljning tills teknik är på plats samt att leverantör för insamling av elevuppgifter (enkät) ska bli upphandlad av GR. Denna upphandling planeras vara klart till årsskiftet 2015/16. 7. Vidga till övriga landet. Spridningsprojekt, hösten 2016. Som nämnts i inledande text är förväntat resultat att, på såväl kommunal som regional nivå och senare på riksnivå, etablera en struktur och systematik för att på ett gemensamt sätt samla in data. Detta förväntade resultat är skrivet utifrån de samtal som förts med Skolverket och deras behov av en samsyn i landet vad gäller hur insamling av underlag till nationell data ska se ut. I SAM 3.0 använder vi begreppet harmonisering av elevuppföljning. Som nämnts ovan har SAM 3.0 föregåtts av ett tidigare projekt, SAM, där Stockholm, Malmö, samt Nationellt centrum för flexibelt
lärande medverkande som partners. Tidigt i projektet har det förts en diskussion om Stockholm och Malmö ska bjudas in till projektet och bli partners. På styrgruppsmöte den 1 april 2015 beslutades att SAM 3.0 skulle presenteras på storstadsregionsmöte i Göteborg den 23 april. Intresset för projektet var stort. Vuxenutbildningen i Stockholm, Göteborg och Malmö har ett storstadsnätverk som träffas regelbundet för att utbyta erfarenheter och diskutera olika frågor. Till mötet den 12 juni i Göteborg var SAM 3.0 inbjudet för att presentera projektet. Frågan ställdes då till de övriga städerna om de var intresserade av att medverka i projektet. Representant från SKL medverkade även på detta möte. Detta resulterade senare i att på ett nätverksmöte på SKL 19-20 augusti uppmuntrade SKL Stockholm och Malmö att gå med i SAM 3.0. Utifrån denna händelseutveckling har det genomförts ett möte den 6 november mellan de tre största städerna, samt GR med syfte att sondera vad ev. samarbete ska utmynna i. Även Skolverket medverkade på detta möte. På detta möte framhölls en önskan om att samarbeta med genomförande av gemensamma effektstudier. Nytt möte är inplanerat den 22 januari 2016 i Stockholm. Ytterligare städer (Borås och Örebro) har hört av sig och visat intresse för att gå med i projektet. Tidigt under våren 2015 fick projektet en förfrågan från Skolverket att ta fram underlag till en metodikguide för vuxenutbildningens effekter. Uppdraget sträcker sig från 1 maj 2015 till 31 december 2015. Arbetsnamnet på detta arbete är: Metodguide för en god resultatkultur. Spridning av metodikguiden till oss och övriga landet beräknas till våren 2016. Styrgruppen beslutade 27 april att detta kan ingå i projektet. Som beskrivets ovan har det visats ett intresse för projektet som innebär att spridningsaktiviteter har startat tidigare än planerat, samt att inresset är så pass stort för deltagande att projektledarna ser över möjligheterna för att utöka projektet med fler projektmedlemmar. 8. Ett strävansmål är att genom identifierade indikatorer sätta fokus på lärandeprocessen. Utifrån den forskning och diskussion som varit de senaste åren kring lärande (ex John Hattie) har projektet ett särskilt fokus på att identifiera indikatorer som rör själva lärprocessen. Då det är flera faktorer som är osäkra är detta uppsatt som ett strävansmål. Möjliga resultat ska redovisas i arbetet som rör ett sammanhållande uppföljningssystem (januari 2016). Ingen avvikelse från projektmålet /Martin och Tomas