Insamling av elevdata inom vuxenutbildningen

Relevanta dokument
SAM 3.0 Student Activity Monitoring 15 juni Copyright Splitvision Research. All rights reserved.

Kvalitetsarbete inom GRvux. Verksamhetssystem Alvis

Råd inför att genomföra kvantitativa undersökningar

SAM 3.0 Student Activity Monitoring

UPPFÖLJNING AV VUXENUTBILDNING I GÖTEBORGSREGIONEN, MALMÖ STAD OCH STOCKHOLMS STAD

Regiongemensam enkät i förskola och familjedaghem 2017

GRs effektstudie 2008 Gällande studerande vid kommunal vuxenutbildning i Göteborgsregionen, våren 2006

Uppföljning av studerande på yrkesvux inom GR 2010

U T B I L D N I N G A R S L U T F Ö R D A

Regiongemensam enkät till vårdnadshavare inom förskola och pedagogisk omsorg

Skolundersökning 2012 Elevenkät. Göteborgsregionen Resultat

Vuxenutbildning 2016 Grundläggande och gymnasial vux SIFA Stockholms intensivsvenska vux

Splitvision. Juni 2005 Undersökningen är genomförd av Splitvision Business Anthropology på uppdrag av Göteborgsregionens kommunalförbund (GR)

Effektstudie gällande GR-gemensamma yrkesutbildningar, 2006

Regiongemensam enkät i förskola/pedagogisk omsorg 2018

Regiongemensam elevenkät 2019

om Regiongemensam elevenkät 2014

Uppföljning av yrkesutbildningar för vuxna i Göteborgsregionen anordnade av GRvux, till Kortversion

Beslut för vuxenutbildning

Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE

U P P F Ö L J N I N G AV V U X E N U T B I L D N I N G I G Ö T E B O R G S R E G I O N E N, M A L M Ö S TA D O C H S T O C K H O L M S S TA D

Regiongemensam elevenkät 2018

Fördelning av statsbidrag ur förordning 2015:403 utifrån arbetslöshet

Regiongemensam elevenkät 2017

Regiongemensam elevenkät Bortfallsrapport

Beslut för vuxenutbildning

Regiongemensam elevenkät 2015

Vuxenutbildning 2017 Grundläggande och gymnasial vux SIFA Stockholms intensivsvenska vux

Beslut för vuxenutbildningen

Invandrarindex Teknisk beskrivning

Avtal för samverkan kring vuxnas lärande i Göteborgsregionen Etapp för utbildningar som startar våren 2008

Beslut för vuxenutbildning

Preliminärantagningen 2019

Uppföljning och rapport

Beslut för vuxenutbildning

Reservantagningen 2018

Invandrarindex Teknisk beskrivning

Regiongemensam elevenkät 2014

Beslut för vuxenutbildning

Halvtidsutvärdering av yrkesutbildningar med språkstöd Den 8 september 2014

Redovisning av Kvalitetsarbetet för perioden januari 2009-juni 2010

Regiongemensam elevenkät 2015

Indikatorer Uppdraget har genomförts av Splitvision Research på uppdrag av GRvux

Beslut för vuxenutbildning

Gemensam enkätstrategi Inför Utbildningschefsgruppen 15 juni 2012 Jenny Nordqvist

PROTOKOLL att godkänna rapporten Särskild granskning- registrering och uppföljning i vuxenutbildningen.

Invandrarindex Teknisk beskrivning Vuxna

Samverkansavtal för gymnasiesärskolan i Göteborgsregionen (GR) 2011/ /2013

Beslut för vuxenutbildningen

Regiongemensam elevenkät 2014

Förskole-/familjedaghemsenkät 2016 Regiongemensam enkät i förskola och familjedaghem Sammanfattande resultat

Bilaga 2 Enkät till lärare

Steg för steg-guide för. Medarbetarundersökning

Avtal kring regionala utbildningar inom vuxnas lärande i Göteborgsregionen - Etapp 3.4 (utbildningar som startar våren 2009)

Beslut för vuxenutbildning

Regiongemensam elevenkät 2013

Samverkansavtal inom vuxenutbildningen i Göteborgsregionen

Anordnarträff

Introduktion till studier på Masugnen och sfi

Regiongemensam elevenkät 2013

Riktlinjer för utformning av enkäter med fokus på inkluderande svarsalternativ för kön och könsidentitet

Beslut för vuxenutbildning

Reservantagningen 2019

Studie- och yrkesvägledning. Inom gymnasiesärskolan och särskild utbildning för vuxna

Urval och insamling av kvantitativa data. SOGA50 16nov2016

Regelbunden tillsyn i Futurum

Beslut för vuxenutbildning

Systematiskt kvalitetsarbete för Hermods Vuxenutbildning i Avesta För perioden september 2012 till den 30 april 2014

Kommunal vuxenutbildning: elever, kursdeltagare och utbildningsresultat, första halvåret 2016.

Beslut för vuxenutbildning

Regiongemensam elevenkät 2017

Riktlinjer för brukarundersökningar inom Umeå kommun

Regiongemensam elevenkät 2017

Regiongemensam elevenkät 2017

Bilaga 1 Enkät till rektorer

Systematiskt kvalitetsarbete i skolan. Utbildning för BSN och UN 2019

Beslut för vuxenutbildning

Anita Ahlman Enhetschef Vuxnas lärande / rektor för upphandlad vuxenutbildning , anita.ahlman@kungsbacka.se

Validering vid VO-C Gävleborg

Regiongemensam elevenkät 2017

Flest sökande till program oavsett behörighet

Samverkansavtal för gymnasieskolan i Göteborgsregionens intagningsområde läsåret 1997/98

Instruktioner för brukarundersökning inom individoch familjeomsorg (myndighetsutövning)

Garanterad undervisningstid i Göteborgsregionen - GR

Bes ut för vuxenutbildning

Beslut för vuxenutbildning

Regiongemensam elevenkät 2017

Regiongemensam elevenkät 2017

Elever och studieresultat i kommunal vuxenutbildning i svenska för invandrare år 2017

Frågeområden. Registrering: Avbrott och andra status Uppföljning av avbrott Statistik på betyg Uppföljning efter studier Statistik

Beslut för vuxenutbildning

Beslut för vuxenutbildning

Elever och resultat i kommunal vuxenutbildning år 2016

Regiongemensam elevenkät 2017

Gärdsmosseskolan - Åk 3 - Göteborgs Stad

Samverkan för en miljöanpassad offentlig upphandling

Regiongemensam elevenkät 2017

Regiongemensam elevenkät 2017

Komvux: Elever, kursdeltagare och utbildningsresultat, första halvåret 2015.

Backegårdsskolan - Förskoleklass - Göteborgs Stad

Transkript:

Insamling av elevdata inom vuxenutbildningen

Insamling av elevdata inom vuxenutbildningen Innehållsförteckning FÖRORD...4 KAPITEL 1 INTRODUKTION...5 1.1 INTRODUKTION VAD DU SOM LÄSARE KAN FÖRVÄNTA DIG... 6 KAPITEL 2 ETT SAMMANHÅLLANDE UNDERSÖKNINGSSYSTEM...8 2.1 EN GOD RESULTATKULTUR... 9 2.2 UTGÅ IFRÅN ELEVPERSPEKTIVET SKAPA ELEVRESEKARTOR... 10 2.3 IDENTIFIERA RELEVANTA MÄTOMRÅDEN OCH MÄTDATA... 11 2.4 ARBETA AKTIVT FÖR ATT SKAPA EN KULTUR... 15 KAPITEL 3 ATT NÅ ÖKAD EFFEKT MED HJÄLP AV PROGRAMTEORI... 16 3.1 ATT NÅ ÖKAD EFFEKT MED HJÄLP AV PROGRAMTEORI... 17 3.2 TIPS PÅ MER LÄSNING... 19 KAPITEL 4... 20 ATT HANTERA VERKSAMHETSDATA... 20 4.1 ATT TÄNKA PÅ VID HANTERING AV VERKSAMHETSDATA... 21 KAPITEL 5 ATT SAMLA IN ELEVDATA... 24 5.1 OM ELEVDATA... 25 5.2 ATT TÄNKA PÅ VID GENOMFÖRANDE AV ELEVUNDERSÖKNINGAR... 25 5.3 ÅTERKOPPLING TILL ELEVER... 31 5.4 TIPS PÅ MER LÄSNING OM KVANTITATIVA UNDERSÖKNINGAR... 31 KAPITEL 6... 32 ARBETA MED RESULTATET ANALYSERA OCH PRESENTERA... 32 6.1 ANALYS OCH PRESENTATION AV RESULTAT... 33 6.2 GÖR RESULTATET HANDLINGSBART... 42 6.3 VERKSAMHETSUTVECKLING... 44 KAPITEL 7... 45 EN GOD RESULTATKULTUR EXEMPEL PÅ HUR KOMMUNERNA I GÖTEBORGSREGIONEN ARBETAR... 45 7.1 OM PROJEKTET SAM 3.0... 46 7.2 ATT SKAPA EN STRUKTUR FÖR RESULTAT... 48 7.3 ATT ETABLERA EN GEMENSAM DATABAS OCH VISUALISERING AV DATA... 54 7.4 ATT UTVECKLA KULTURDELEN I EN GOD RESULTATKULTUR... 55 ORDLISTA... 56 REFERENSKÄLLOR... 62 BILAGA EXEMPEL PÅ MISSIVBREV... 63-2-

Insamling av elevdata inom vuxenutbildningen BILAGA EXEMPEL PÅ FÖLJEBREV... 64 BILAGA EXEMPEL PÅ SMS-TEXT GÄLLANDE PÅMINNELSE... 66 BILAGA EXEMPEL PÅ ENKÄT SPU (STUDERANDEPROCESSUNDERSÖKNING)... 67 BILAGA EXEMPEL PÅ EFFEKTENKÄT 1 (E1)... 75 BILAGA EXEMPEL PÅ EFFEKTENKÄT 2 (E2)... 81 BILAGA EXEMPEL PÅ AKTIVITETSLISTA... 85-3-

Förord Förord Inom ramen för projektet Uppföljning och effekter av vuxenutbildningen har Göteborgsregionens kommunalförbund (GR) och Förvaltningen för arbetsmarknad och vuxenutbildning i Göteborgs Stad (Arbvux) författat denna handbok för en god resultatkultur. Materialets syfte är att det kan utgöra stöd och vägledning till kommuner i hur uppföljning av vuxenutbildningens effekter kan ske på ett systematiskt grundat sätt. Den ska inte ses som en rekommendation och är inte heller heltäckande. -4-

Kapitel 1 Introduktion KAPITEL 1 Kapitel 1 Introduktion -5-

Kapitel 1 Introduktion 1.1 Introduktion Vad du som läsare kan förvänta dig Syftet med denna handbok är att ge inspiration, stöd och vägledning till dig som arbetar med uppföljning av vuxenutbildningens skolformer på huvudmannanivå. I denna handbok får du i kapitel 2 läsa om ett sammanhållande undersökningssystem. I kapitel 3 presenteras programteori som kan vara till hjälp att synliggöra orsakssamband mellan effekter, prestationer, aktiviteter och resurser. I kapitel 4 presenteras vad du kan tänka på vid hantering av verksamhetsdata (utgörs av data om eleverna, exempelvis antal ansökningar och tagna kursbetyg). I kapitel 5 presenteras vad du kan tänka på vid insamling av elevdata (utgörs av elevernas egna åsikter, synpunkter och beskrivningar som exempelvis kan hämtas från ansökan, individuell studieplan eller elevenkäter). I kapitel 6 presenteras hur du kan arbeta med resultatet i form av analys och presentation. I kapitel 7 presenteras exempel på hur Göteborgsregionens kommunalförbund 1 och Förvaltningen för arbetsmarknad och vuxenutbildning i Göteborgs Stad 2 arbetar med en god resultatkultur och ett sammanhållande undersökningssystem. I slutet av handboken finner du en ordlista. Illustrationerna i handboken kommer samtliga från Göteborgsregionens kommunalförbunds presentationsmaterial gällande SAM 3.0-projektet. Handboken omfattar inte granskning, ekonomiuppföljning eller arbetsmiljö för lärare, utan har fokus på ett sammanhållande undersökningssystem och skapandet av en god resultatkultur. Handboken är framtagen i samverkan mellan Göteborgsregionens kommunalförbund och Förvaltningen för arbetsmarknad och vuxenutbildning i Göteborgs Stad. De flesta exemplen i handboken är tagna från erfarenheter i projektet SAM 3.0 3 eller från erfarenheter av flera års 1 Göteborgsregionens kommunalförbund (GR) är en samarbetsorganisation för 13 kommuner i Västsverige. Tillsammans har dessa kommuner ca 970 000 invånare. GR:s uppgift är att verka för samarbete över kommungränserna och vara ett forum för idé- och erfarenhetsutbyte inom regionen. Verksamheten inom GR ska vara till kommunal nytta, samtidigt som den ska stärka regionen nationellt och internationellt. När det gäller vuxenutbildning samverkar de 13 kommunerna genom ett samarbetsavtal. Sedan 2001 gäller samarbetet främst yrkesinriktade utbildningar på gymnasial nivå. Koordinerande och administrativ aktör för samarbetet är GR Utbildning som är en enhet inom Göteborgsregionens kommunalförbund. De 13 kommunerna som samverkar är: Ale, Alingsås, Göteborg, Härryda, Kungsbacka, Kungälv, Lerum, Lilla Edet, Mölndal, Partille, Stenungsund, Tjörn och Öckerö. 2 Förvaltningen benämndes tidigare Vuxenutbildningen i Göteborgs Stad. 3 Göteborgsregionens kommunalförbund och Förvaltningen för arbetsmarknad och vuxenutbildning i Göteborgs Stad arbetar inom projektet SAM 3.0 med att bygga upp ett sammanhållande undersökningssystem i syfte att skapa en god resultatkultur. Inom SAM-projektet har de 13 kommunerna i Göteborgsregionen enats om att skapa ett gemensamt undersökningssystem. En grundläggande tanke med SAM-projektet är att ge -6-

Kapitel 1 Introduktion genomförande av gemensamma undersökningar inom Göteborgsregionens kommunalförbund. De kommer även från de erfarenheter som Förvaltningen för arbetsmarknad och vuxenutbildning i Göteborgs Stad har fått genom att skapa ett sammanhållande undersökningssystem och tidigare genomförda SAM-projekt. förutsättningar för samverkan och samarbete runt elev- och verksamhetsdata samt att minska kostnader och arbetsinsatser för dessa delar. Namnet SAM är en akronym till Student Activity Monitoring. -7-

Kapitel 2 Ett sammanhållande undersökningssystem KAPITEL 2 Kapitel 2 Ett sammanhållande undersökningssystem -8-

Kapitel 2 Ett sammanhållande undersökningssystem 2.1 En god resultatkultur En god resultatkultur handlar om att skapa ett gemensamt intresse och en gemensam grund för att förstå och utveckla verksamheten. En viktig förutsättning för att kunna skapa en gemensam grund är att såväl verksamhetsdata (exempelvis antal ansökningar, kursbetyg och avbrottsstatistik) som elevdata (exempelvis undersökningar genomförda under studier, undersökningar om avbrott och undersökningar om vuxenutbildningens effekter) vävs samman i en sammanhållande struktur. Ett råd är att redan från början av en undersökningsprocess tänka på vilka som kan vara intresserade av resultatet och involvera dessa intressenter tidigt. En grundläggande del i en god resultatkultur är att data finns tillgängliga för alla och att det över professionsgränser förs en diskussion om vad ett resultat kan betyda. Det handlar också om att ge möjligheter att jämföra resultat vid analys och vidareutveckling (nationellt, regionalt, kommunalt, mellan utbildningsanordnare och skolor). Med detta angreppssätt skapas en kultur där resultatet sätts i fokus. Olika delar i en god resultatkultur En bra utgångspunkt för att kunna skapa en gemensam grund för resultat är att (i löpande ordning): 1. Utgå ifrån elevperspektivet. För att kunna synliggöra detta perspektiv kan man identifiera och illustrera ett antal elevresekartor 4. 2. Identifiera relevanta mätområden, mätdata och indikatorer utifrån elevresekartorna. Dessa kan följas upp med hjälp av mätdata som hämtas från både elevundersökningar och från olika former av verksamhetsdata. För att få en bra bild av helheten är det en fördel att sätta upp en struktur som följer elevens resa före, under och efter studierna. 3. Ta stöd av metoden programteori (se Kapitel 3 Att nå ökad effekt med hjälp av programteori) för att få hjälp att koppla samman elevens resa och verksamhetens aktiviteter i ett orsakssamband. En viktig del utgörs också av att arbeta med att få till kulturdelen i en god resultatkultur, vilket innebär att alla intressenter verkar för att använda och samverka runt resultatet. 4 Elevresekartor kan likställas med begreppet kundresekartor. Kundresor är en metod som kan användas vid tjänste- och verksamhetsutveckling för att få med kundperspektiv. -9-

Kapitel 2 Ett sammanhållande undersökningssystem I följande avsnitt presenteras ovan nämnda steg 1 3 mer i detalj. Steg 1 2 behandlas i detta kapitel medan steg 3 behandlas i kapitel 3. 2.2 Utgå ifrån elevperspektivet skapa elevresekartor En viktig del i en god resultatkultur och ett sammanhållande undersökningssystem är att fokus ligger på elevens upplevelser. För att synliggöra och illustrera elevens upplevelser kan du ta fram ett antal representativa elevresekartor som beskriver elevens resa före, under och efter studierna. Dessa elevresekartor ger stöd i att identifiera och konkretisera ett antal steg för eleven: vilka kurser man funderar på att söka, vilka kurser man faktiskt söker, när man träffar studie- och yrkesvägledare och så vidare. Illustration 2:1. Illustrativ elevresekarta gällande elevens situation före, under och efter studier. Lyssna till elevernas egna upplevelser I arbetet med att ta fram elevresekartor är det en stor fördel att lyssna till hur eleverna själva beskriver att de upplever vuxenutbildningens bemötande och relevansen i ert utbud och era tjänster. Om du har möjlighet (resurser och tid) är det därför en fördel att intervjua ett antal elever så att de kan beskriva sina resor utifrån sitt perspektiv. Omvandla sedan dessa olika beskrivningar till generella berättelser. Se exempelvis i kapitel 7, där det beskrivs hur de i Göteborgsregionen har arbetat med att ta fram en sådan generell resa. Dessa kartor kan du bygga upp utifrån den kunskap som finns inom verksamheten. Observera att det finns en risk för att man får ett inifrånperspektiv, det vill säga att man utgår för mycket ifrån verksamhetens processer eller från vad man tror eller önskar att eleven tycker. Hitta avgörande ögonblick I beskrivningen av elevernas resor är det viktigt att fånga de händelser som är avgörande för olika utfall. Det kan exempelvis vara när en person bestämmer sig för att börja studera och söker efter passande kurser. Om en person då exempelvis lätt kan finna kurser av intresse är sannolikheten större att personen ifråga går från tanke till handling. Om det däremot är svårt att hitta sådana kurser är sannolikheten mycket stor att eleven inte -10-

Kapitel 2 Ett sammanhållande undersökningssystem gör en ansökan. Tillfället då den här personen gör sin ansökan kan då vara ett så kallat avgörande ögonblick. 2.3 Identifiera relevanta mätområden och mätdata För att kunna mäta och följa upp de grundläggande delarna i elevens resa kan du identifiera ett antal mätområden och mätdata. Tänk på att dessa mätdata kan byggas upp av både det som kan hämtas från verksamhetssystemet (verksamhetsdata) och via de undersökningar som görs riktade till eleverna (elevdata). Exempel på mätdata och mätpunkter kan vara upplevelsen av stöd från lärare eller andelen elever som har avbrutit sina studier. För att få en heltäckande bild av verksamheten kan du med fördel strukturera dessa mätområden utifrån elevens resa i tre faser: före, under och efter studier (se illustration nedan). Illustration 2:2. Illustration över moment som kan beröra elevens resa före, under och efter studierna vid vuxenutbildningen. Ta fram indikatorer I arbetet med att ta fram det sammanhållande undersökningssystemet finns det många som föredrar att låta några utvalda mätdata utgöra indikatorer som signalerar något mer än sitt eget värde. Exempelvis kan du låta andelen avbrott vara en indikator som bidrar till att mäta kursens kvalitet. Tänk på att ta fram en lagom mängd indikatorer. Definiera enbart sådant som är relevant att mäta utifrån elevens resa samt verksamhetens syfte och mål. Det är lättare att arbeta löpande med och följa upp ett mindre antal indikatorer som verkligen säger något om verksamheten än att hantera en stor mängd mätdata som ger mindre nytta. Här är det en fördel att ta fram indikatorer som ger information om hur väl verksamheten levererar och bemöter med relevans vid de avgörande ögonblick som har identifierats i elevresekartan. I arbetet med att ta fram indikatorer är det också en fördel att stämma av mot nationella, kommunala och interna krav, exempelvis styrdokument och eventuellt redan uppsatta mätområden. -11-

Kapitel 2 Ett sammanhållande undersökningssystem Följande sex punkter kan vara bra att ha med sig i arbetet med att ta fram indikatorer: Enkelhet. Den indikator du väljer bör man enkelt kunna förstå vad den mäter. Finns det risk att mätdata kan missförstås är det bra att välja bort dessa som indikatorer. Engagemang. Välj indikatorer som skapar intresse och uppmanar till handling för verksamhetsansvariga och politiker. Känslighet för förändringar. Välj med fördel indikatorer som snabbt indikerar på förändring. Tillförlitlighet. Välj sådana indikatorer där du vet att ni kan få fram korrekta uppgifter. Relevans. Använd bara indikatorer som avser relevanta uppgifter för att kunna förstå elevens resa, alternativt för er att kunna följa er verksamhet. Det är fördelaktigt att välja ett fåtal indikatorer som följer före, under och efter elevernas studier. Upprepningsbarhet. Indikatorerna du väljer ska vara möjliga att mäta från år till år. Något som är viktigt att tänka på vid arbetet med indikatorer är att en indikator är satt att indikera situationen för ett område. Det viktiga är diskussionen som blir runt indikatorer och värden som hjälper till att skapa förståelse för verksamheten för att öka kvaliteten för eleverna. Försök att undvika att fokus enbart skulle vara att höja värdet för själva indikatorn i sig. En indikator ingår oftast i ett mätområde, en serie av mätdata, där indikatorn behöver analyseras i relation till hela mätserien. Exempelvis behöver söktryck tolkas i relation till antal besök på webbplatsen, antal/andel elever som antas och antal/andel elever som kommer till kursstart. Exempel på mätdata i form av verksamhetsdata Exempel på mätdata som knyter an till verksamhetsdata är (denna process underlättas om du har ett IT-baserat system för elev- och kursadministration): Före studierna: Antal sökta kurser Antal/andel antagna (beviljade) av sökta kurser Under studierna: Antal elever i utbildning Antal/andel elever som studerar hos upphandlad anordnare i annan kommun respektive i egen regi Antal pågående kurser med teoretisk respektive yrkesinriktning Betyg på nationella prov/nationella slutprov, eventuellt jämfört med kursbetyg Antal/andel kurser i respektive studieform (1=dag, 2=kväll, 3=distans, 4=annan förläggning av utbildningen) -12-

Kapitel 2 Ett sammanhållande undersökningssystem Antal/andel elever med individuell studieplan (ISP). Enligt skollagen ska alla elever ha en individuell studieplan. 5 Antal/andel elever som fått kursbetyg efter prövning/validering Efter studierna: Antal/andel betygssatta kurser per betygsnivå (F, E, D, C, B, A), inklusive betygsunderlag saknas (-) För att få en heltäckande bild av verksamheten är det också en fördel att identifiera indikatorer som fångar upp de elever som inte följer den tänkta planen. Relevanta indikatorer för denna process kan exempelvis vara: Antal/andel som inte kom till kursstart Antal/andel avbrutna kurser Antal/andel kursbyten Om ni idag inte använder er av ett IT-baserat system för elev- och kursadministration eller annat IT-baserat verktyg för att styra verksamheten, finns det mycket att vinna på att använda något av de ITsystem som finns på marknaden. Om er verksamhet inte är så omfattande kan ett alternativ vara att använda ett enklare databasprogram och däri skapa ett eget register. Genom att använda ett system för elev- och kursadministration minskar ni risken för mänsklig felhantering och höjer därmed kvaliteten på in- och utdata. Dessa färdiga system har också ofta inbyggda rutiner för rapportering, exempelvis för rapportering till SCB. 5 Varje elev i vuxenutbildningen ska ha en individuell studieplan. Det är den som är verktyget för att planera elevens utbildning. Det är hemkommunen som från och med 1 juli 2016 ansvarar för att en sådan studieplan tas fram för varje elev. Planen ska innehålla uppgifter om elevens mål och omfattning av studierna. -13-

Kapitel 2 Ett sammanhållande undersökningssystem Exempel på mätdata i form av elevdata Exempel på mätområden som du kan få fram via olika former av elevdata som exempelvis ansökan, individuell studieplan och elevenkäter är: När Område Förslag på insamling Före studier Under studier Efter studier Sysselsättning före studier Via enkät i samband med kursstart alternativt via individuell studieplan Elevernas mål: Vilka mål har eleverna själva med sin utbildning? Stöd vid ansökan: Elevernas upplevelse av det stöd de får från vägledningen i samband med sin ansökan. Via enkät i samband med kursstart Via enkät i samband med kursstart Stöd från lärare Via enkät när eleverna har kommit igång med sina studier Progression: Elevernas upplevelse av sin egen lärandeutveckling. Praktik: Uppfyller praktiken sitt syfte? Avbrott: Varför har en elev avbrutit sina studier? Måluppfyllelse: Har eleven nått sina uppsatta mål? Demokratiska processen: Upplevelse av att i högre grad kunna ta del av den demokratiska processen; förstå samhällsinformation som finns i tidningar, TV, radio eller på internet eller kunna delta i aktiviteter som exempelvis föräldramöten, hyresgästföreningar eller andra föreningar. Personlig utveckling: Om eleverna känner sig bättre rustade att nå arbetsmarknad eller högre Via enkät när eleverna har kommit igång med sina studier Via enkät om praktik eller via enkät när eleverna har kommit igång med sina studier Via enkät om avbrott Via enkät om effekt som genomförs 6 12 månader efter det att studierna har slutförts Via enkät om effekt som genomförs 6 12 månader efter det att studierna har slutförts Via enkät om effekt som genomförs 6 12 månader efter det att studierna har slutförts studier. Sysselsättning efter studier Via enkät om effekt som genomförs 6 12 månader efter det att studierna har slutförts Tabell 2:1. Exempel på mätområden gällande elevdata. -14-

Kapitel 2 Ett sammanhållande undersökningssystem Illustration 2:3. Illustration över moment som kan beröra elevens resa före, under och efter studierna vid vuxenutbildningen. Syftet är utveckling inte att hitta absoluta sanningar Det är viktigt att poängtera att syftet med att göra dessa mätningar är att ur ett helhetsperspektiv få ett så bra underlag till verksamhetsutveckling som möjligt, inte att hitta absoluta sanningar. Det är lätt att fastna i själva mätvärdena och glömma det egentliga målet. Tänk på att det är diskussionen kring siffrorna och resultatet i förhållande till elever och verksamhet som är det centrala, inte resultatet och siffrorna i sig. 2.4 Arbeta aktivt för att skapa en kultur Kultur kommer ifrån latinets cultura som betyder odla. Något man odlar måste man vårda och ta hand om för att det ska växa och leva vidare. Det kräver också att man styr hur man önskar att det ska växa. Genom att dela erfarenheter, kunskaper och värderingar över tid skapas en kultur. Kulturen förs vidare genom att det skapas en gemensam historia och gemensamma berättelser. En god resultatkultur skapas därmed genom att över professionsgränser aktivt och kontinuerligt arbeta med resultat. Det kan exempelvis göras genom att skapa olika forum där resultat diskuteras i syfte att få till verksamhetsutveckling. En god resultatkultur handlar också om att kontinuerligt vårda och arbeta med in- och utdata. Om en god resultatkultur ska kunna uppstå och bli bestående över tid behöver ledningen tydligt verka för att en god resultatkultur är ett prioriterat arbetsområde. -15-

Kapitel 3 Att nå ökad effekt med hjälp av programteori KAPITEL 3 Kapitel 3 Att nå ökad effekt med hjälp av programteori -16-

Kapitel 3 Att nå ökad effekt med hjälp av programteori 3.1 Att nå ökad effekt med hjälp av programteori Det övergripande målet för vuxenutbildningen är enligt Läroplan för vuxenutbildningen 2012: Vuxenutbildningen ska fo rmedla kunskaper och sto dja eleverna sa att de kan arbeta och verka i samha llet. Den syftar ocksa till att mo jliggo ra fortsatta studier. Vuxenutbildningen ska fo rmedla sa dana kunskaper som utgo r den gemensamma referensramen i samha llet och som utga r fra n de grundla ggande demokratiska va rderingarna och de ma nskliga ra ttigheterna. För att ha möjlighet att analysera och följa upp effekten i en verksamhet som arbetar mot ett övergripande mål är modellen programteori ett användbart verktyg. Modellen är också ett bra stöd i arbetet med att följa upp elevens resa före, under och efter studierna (finns beskrivet i föregående avsnitt). Programteori bygger på ett antagande om att det finns ett kausalt samband (orsakssamband) där resurser, aktiviteter, prestationer och effekter länkas samman. Resurser är exempelvis: pengar, lärare, elever. Aktiviteter är exempelvis: olika former av undervisning, stöd. Prestationer är exempelvis: betyg, antal undervisningstimmar. Effekter är exempelvis: om eleverna kommer i arbete eller högre studier, om eleverna upplever sig vara bättre rustade för att kunna komma i arbete eller högra studier. Tänk på att effekten kan vara på flera nivåer: för individen, för er verksamhet samt kommunalt och nationellt. Illustration 3:1. Illustration över programteoretisk modell. Modellen ringar in hela verksamheten och tar hänsyn till hur varje del påverkar utfallet både framåt och bakåt. Ett syfte med modellen är att ge stöd redan i ett tidigt skede med att definiera vilka effekter som ska uppnås och utifrån det kunna planera vilka insatser som behövs. -17-

Kapitel 3 Att nå ökad effekt med hjälp av programteori Modellen programteori kallas ibland även för Effektmodell, Systemmodell eller Verksamhetslogik. I engelsk utvärderingslitteratur benämns den exempelvis som: A Program s Theory of Action 6, Logical Framework 7, The Impact Model of the Program 8. Exempel på resonemang enligt programteorin Här följer ett exempel på ett resonemang enligt programteorin: Den effekt vi vill uppnå är att x av tio kommer i arbete av de elever som antas till kurser inom ramen för vuxenutbildningen. För att kunna uppnå denna effekt sätter vi bland annat upp följande prestationer: - x av 10 elever ska slutföra sina kurser. - x av 10 elever bör ha godkänt betyg på sina kurser. - x av 10 elever ska i förekommande fall ha haft ett givande arbetsplatsförlagt lärande (APL). För att nå dessa prestationer behöver vi bland annat åstadkomma följande aktiviteter: - upprättande av en individuell studieplan (ISP). 9 - erbjuda möjlighet till individuellt stöd under elevens studier. De resurser som behövs för att åstadkomma ovanstående aktiviteter och prestationer är bland annat: - x antal elever - x antal lärare - x antal vägledare - x antal lokaler. Om vi redan före en utbildningsinsats definierar värden enligt ovan, skapas möjligheter att i efterhand titta på vilka aktiviteter som ledde till de önskade effekterna. Exempelvis: Hur stor andel elever slutförde sina kurser (prestationen) av de elever som fick individuellt stöd under utbildningen (aktiviteten) i förhållande till de elever som inte fick individuellt stöd? 6 Bo Sandberg och Sven Faugert. (2007). Perspektiv på utvärdering. Malmö. Studentlitteratur. Sidan 88. 7 Ibid. 8 Evert Vedung. (1988). Utvärdering i politik och förvaltning. Malmö: Studentlitteratur. Sid 124. 9 På Skolverkets webbplats (www.skolverket.se) finner du stödmaterial med information om hur du kan arbeta med individuella studieplaner inom vuxenutbildningen. -18-

Kapitel 3 Att nå ökad effekt med hjälp av programteori 3.2 Tips på mer läsning På Ekonomistyrningsverkets webbplats (www.esv.se) finner du ett antal relevanta publikationer runt programteori. Du finner publikationerna genom att exempelvis söka på: programteori, verksamhetslogik, resultatanalys, resultatstyrning och resultatindikatorer. På Skolverkets webbplats (www.skolverket.se) finner du BRUK som är ett verktyg för självskattning av kvaliteten i samtliga skolformer och är ett stöd i det systematiska kvalitetsarbetet. Självskattningen görs med hjälp av indikatorer och kriterier som är framtagna med utgångspunkt från de nationella styrdokumenten. -19-

Kapitel 4 Att hantera verksamhetsdata KAPITEL 4 Kapitel 4 Att hantera verksamhetsdata -20-

Kapitel 4 Att hantera verksamhetsdata 4.1 Att tänka på vid hantering av verksamhetsdata Detta kapitel fokuserar på verksamhetsdata kopplat till elever, exempelvis antal ansökningar, kursbetyg och avbrottsstatistik som kommer från ert verksamhetssystem/elev- och kursadministrativa system. Texten är skriven utifrån att du som huvudman, som är ansvarig för kursen, är den som ansvarar för att hålla samman data i verksamhetssystemet (oberoende av om kurserna genomförs internt eller av upphandlad aktör). Elevdata, till skillnad från verksamhetsdata, utgörs av elevernas egna åsikter, synpunkter och beskrivningar och beskrivs närmare i nästa kapitel. Verksamhetsdata kan exempelvis tas fram ur ett verksamhetssystem eller ett kurs- och elevadministrativt system. Verksamhetsdata är viktiga av två anledningar: dels ger de en indikation på volymer, flöden av elever (ser vi till programteorin gäller det både aktiviteter, prestationer och resurser). dels utgör de ett komplement till elevdata då man i verksamhetsdata ofta kan se hur väl eleverna presterar (hur många som slutför kurser, som tar betyg, som examineras, som lyckas väl med nationella prov med mera). Man kan få ett mått på hur väl verksamheten möter elevernas behov för att nå sina uppsatta mål. För att kunna hämta rätt uppgifter ur verksamhetssystemet är det viktigt att det finns korrekta och aktuella uppgifter i systemet. Nedan följer några tips att tänka på vid hantering av verksamhetsdata. Underskatta inte ett gott förarbete Förarbetet är viktigt för att de data ni tar ut ska kunna vara tillförlitliga. Ett tips är att skapa en grupp över professionsgränser och arbeta fram vad ni ser att ni behöver idag. Bena ut vilka uppgifter ni vill följa upp och varifrån de kan samlas in (elevdata eller verksamhetsdata). Glöm inte att stämma av mot interna, kommunala, regionala och nationella krav på vad som efterfrågas. Stäm av så att era rutiner och riktlinjer överensstämmer med verksamhetsår och utbildningsår. Stäm även av hur de sammanfaller med de krav som finns från de olika intressenter som efterfrågar data från er (exempelvis Skolverket och SCB). -21-

Kapitel 4 Att hantera verksamhetsdata Red ut om det finns uppgifter ni behöver märka på något speciellt sätt i ert system för att kunna få ut önskvärda data. Om ni exempelvis inte kan få ut uppgifter om när en elev har slutfört ett stort antal kurser från ert system som det ser ut idag, skulle ni kanske behöva registrera det på något specifikt sätt för att sedan kunna ta ut uppgifter om detta. Skapa gemensamma begrepp och definitioner Det är viktigt att strukturera upp hur information registreras i verksamhetssystemet. Ett första steg är att ni internt blir överens om begrepp och definitioner så att ni registrerar på likvärdigt sätt. Det är viktigt att enas och att bryta ned dessa begrepp i detalj. Exempel på begrepp som kan vara viktiga att definiera är: Elev När det gäller elev kan följande frågeställningar vara intressanta: När räknas man som elev? Vilka elever ska följas upp i de olika undersökningar ni gör och när? Ska ni följa upp de personer som har lämnat återbud, det vill säga de som inte har påbörjat en kurs? Kursbyte När det gäller kursbyte kan följande frågeställningar vara intressanta: Vad är definitionen av ett kursbyte? När anses man göra ett kursbyte? Om en elev till exempel läser kurser i byggteknik och sedan väljer att läsa kurser i svenska och matematik (fullständigt byte av inriktning), räknar ni det som ett kursbyte eller ett avbrott där eleven sedan påbörjar en ny kurs? Avbrott När det gäller avbrott kan följande frågeställningar vara intressanta: Vad innebär avbrott från en kurs? Vilken tidsperiod krävs för att det ska räknas som avbrott? När kan man säga att elever har gjort avbrott? När ska man följa upp de elever som har gjort avbrott? Det är en fördel att tydligt definiera de begrepp som används som indikatorer vid uppföljningsarbetet. Tänk igenom om ni önskar att era data ska vara jämförbara med nationella uppgifter, med en specifik region, med specifika grannkommuner eller utomstående utbildningsanordnare. Hur ser deras definitioner ut? Går det att få till enhetliga definitioner med dem i åtanke? Tänk på att det vid nästa upphandling kan vara bra att sätta som skall-krav att de begrepp och definitioner ni arbetar fram gällande vuxenutbildning ska användas i all upphandlad verksamhet. -22-

Kapitel 4 Att hantera verksamhetsdata Skapa rutiner och riktlinjer för att hantera indata För att alla ska registrera händelser på ett likvärdigt sätt i ett verksamhetssystem är det fördelaktigt att ta fram rutinbeskrivningar. Exempel på sådana dokument kan vara: Rutiner för förlängning, Rutiner kring studieavbrott och Rutiner kring registrering. Tänk på att informationen ofta berör många olika aktörer och intressenter. Även här är ett tips att skapa en grupp över professionsgränser för att arbeta med rutiner, riktlinjer och definitioner för hur och när data ska registreras. Använder ni olika system kan det vara bra att exempelvis tänka på hur ni registrerar personnummer. Personnummer kan läggas in på flera olika sätt, vilket kan ställa till det om ni ska lägga ihop data från olika system eller om ni ska jämföra data. För att kunna hämta ut korrekta uppgifter från sitt administrativa system, behöver ni veta när alla registreringar kommer att finnas inlagda. För att kunna ha data som är så tillförlitliga som möjligt är det viktigt att alla registreringar sker kontinuerligt med korta ledtider. Exempelvis om en elev avbryter sina studier bör kurserna avregistreras direkt. Med utgångspunkt från ovanstående får ni fastställa ett antal så kallade fryspunktstillfällen där ni kan ta ut registerdata. Om ni enbart använder Excel eller liknande databasprogram (inte använder verksamhetssystem), är det viktigt att fastställa vilka kolumner som det alltid ska hämtas ut uppgifter ifrån och på vilket sätt. Tänk på att det vid upphandling kan vara bra att sätta som skall-krav att de rutiner och riktlinjer ni arbetar fram gällande vuxenutbildning ska användas i all upphandlad verksamhet. Ta fram en checklista Ta gärna fram en enkel checklista för administratörer och annan personal som arbetar med data. Checklistan beskriver hur man lägger in data, hur man definierar data och hur man tar ut data. Tänk på att planera i god tid så att eventuella förändringar av den registrerade informationen hinner göras innan data ska tas ut. Kvalitetssäkra verksamhetsdata Det är viktigt att kvalitetssäkra data som tas ut från systemet. Gör en rimlighetsbedömning och se om det är någonting som är orimligt bland era uppgifter. När det exempelvis gäller kurser, kan du göra en kontroll för att säkerställa att elever inte finns med flera gånger. Det kan exempelvis ske vid kursbyten eller om en person med skyddad identitet finns registrerad både med sitt tillfälliga personnummer och med sitt riktiga personnummer. -23-

Kapitel 5 Att samla in elevdata KAPITEL 5 Kapitel 5 Att samla in elevdata -24-

Kapitel 5 Att samla in elevdata I detta kapitel får du en checklista som kortfattat tar upp olika steg och frågeställningar som behövs för att genomföra en lyckad enkätundersökning. På Skolverkets webbplats finner du mer fördjupad information, tips och råd om att genomföra undersökningar i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. 5.1 Om elevdata Elevdata utgörs av information som eleverna själva har lämnat ifrån sig. Det kan vara: Ansökan Den individuella studieplanen (ISP) Undersökningar som eleverna får besvara under tiden de studerar alternativt efter det att de har studerat klart (exempelvis undersökningar genomförda under studier, undersökningar om avbrott och undersökningar om studiers utfall). Skillnaden mellan elevdata och verksamhetsdata är att det är elevernas egna åsikter, synpunkter och beskrivningar som framkommer i elevdata. Verksamhetsdata utgörs av data om eleverna, exempelvis antal ansökningar, kursbetyg och avbrottsstatistik som kommer från ert verksamhetssystem /elev- och kursadministrativa system. Nedan presenteras vad du ska tänka på vid genomförande av elevundersökningar. 5.2 Att tänka på vid genomförande av elevundersökningar På följande sätt kan du steg för steg skapa goda förutsättningar för en lyckad undersökning. Definiera syftet med undersökningen Definiera ett tydligt syfte med undersökningen. 1. Vad vill vi ha svar på? 2. Vilka intressenter finns det gällande resultatet (lärare, studie- och yrkesvägledare, skolledare med flera)? 3. Varför vill vi ha svar på det här? 4. Hur ska resultatet från undersökningen användas? 5. När behöver resultatet vara tillgängligt? -25-

Kapitel 5 Att samla in elevdata Egen regi eller att köpa in tjänsten? Fundera på de fördelar och nackdelar som finns med att själv genomföra undersökningen jämfört med att ta hjälp av en extern leverantör för hela eller delar av arbetet med undersökningen. På Skolverkets webbplats finner du mer information om att genomföra undersökningar i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. På SCB:s webbplats finner du fler råd i deras skrift: Att köpa statistiska undersökningar. www.scb.se. Nå ut med undersökningen till eleverna genom lärplattform Om ni, era upphandlade utbildningsanordnare i kommunen eller elev i annan kommun använder någon lärplattform kan denna vara en bra kanal för att nå eleverna med er undersökning som genomförs under tiden eleverna studerar. I många lärplattformar finns dessutom färdiga verktyg för att genomföra webbenkäter. Definiera målgruppen Definiera vilka det är som omfattas av undersökningen ni ska göra. Inom vuxenutbildningen är det ofta så att elever ligger i olika faser med sina studier. Vissa har precis påbörjat sina studier medan andra är mitt i eller nästan klara med sina kurser. Välj typ av undersökning Ska undersökningen genomföras som: Totalundersökning samtliga elever blir tillfrågade eller Urvalsundersökning ett urval av målgruppen får representera helheten. En bra form av urvalsundersökning är obundna slumpmässiga urvalsundersökningar. 10 På Skolverkets webbplats finner du mer information om urvalsundersökningar i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. 10 Vid obundna slumpmässiga urvalsundersökningar har alla individer i den bakomliggande populationen samma chans att bli valda. Ett exempel på ett upplägg skulle kunna vara att man har en bakomliggande population på totalt 1 000 personer och att man slumpmässigt låter var tionde person tillfrågas om att delta i undersökningen (100 personer tillfrågas). -26-

Kapitel 5 Att samla in elevdata Välj insamlingsmetod Det finns många olika insamlingsmetoder och tillvägagångssätt för att samla in elevdata. De vanligaste kvantitativa metoderna är webbenkäter och enkätintervjuer via telefon. En fördel med webbenkät är de låga rörliga kostnaderna samt möjligheten att styra vem som ska svara på vilka frågor. Det går även att styra så att respondenten inte kan hoppa över frågor. En fördel med intervjuer via telefon är att det snabbt går att få ett resultat. Tänk på att dessa två insamlingsmetoder är bra att kombinera i syfte att nå en hög svarsfrekvens. Önskar du nå en djupare förståelse inom något specifikt område kan istället kvalitativa metoder vara rätt tillvägagångssätt. De vanligaste kvalitativa metoderna är djupintervjuer 11 och fokusgrupper 12. På Skolverkets webbplats finner du mer information om insamlingsmetoder i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Skapa en aktivitetslista Skapa en aktivitetslista för alla aktiviteter. I listan framgår: när en aktivitet ska genomföras vem som ansvarar hur aktiviteterna förhåller sig till varandra. När man skapar en aktivitetslista kan det vara bra att börja från slutet. Utgå ifrån när du behöver kunna presentera resultatet och arbeta dig bakåt i tiden fram till när undersökningen ska genomföras och enkätfrågor behöver formuleras. Se exempel på en aktivitetslista i Bilaga. Samordna enkäter från olika aktörer Försök att som huvudman samordna de undersökningar som riktas till eleverna (till exempel från olika utbildningsanordnare och lärare). Detta för att inte eleverna ska behöva svara på flera likvärdiga enkätundersökningar under samma period. 11 En kvalitativ undersökningsmetod där det finns utrymme för intervjupersonen att ge fördjupande beskrivningar om ett visst ämne. Semistrukturerade djupintervjuer innebär att det inte finns en fast frågestruktur, utan frågorna ställs utifrån temaområden där intervjuaren följer den intervjuades beskrivning av temaområdet. 12 En kvalitativ undersökningsmetod där en grupp människor utfrågas kring sina attityder, värderingar, åsikter kring en specifik situation, område, produkt, tjänst, vara med mera. Med fokusgruppen erhålls en gemensam beskrivning av frågorna. Fokusgrupperna genomförs oftast med en blandning av frågor och övningar. -27-

Kapitel 5 Att samla in elevdata Utforma enkäter Tänk på följande när du utformar enkätfrågor: Försök att göra enkäten så kortfattad som möjligt och tänk igenom vad du verkligen behöver få svar på. Avsätt tid för att skapa enkäten. Bolla gärna enkätfrågorna i en arbetsgrupp. Använd ett enkelt språk. Ta gärna hjälp av en expert på området vid behov. Kom ihåg tillgängligheten. Enligt diskrimineringslagen ska webbenkäter vara utformade så att stöd för tekniska hjälpmedel fungerar. Utforma enkäten så att den håller över tid. En bra riktlinje är att ha en bas av frågor som går att jämföra över tid och en möjlighet att lägga till och ta bort så kallade tilläggsfrågor. Om du använder skalor i din enkät använd samma skalsteg i hela undersökningen. Det är oftast fördelaktigt att använda sig av femgradiga skalor 13. Mer nyanserat än fem steg behövs sällan. Förstärk gärna skalans betydelse visuellt, med hjälp av bilder. Använd öppna frågor om du har behov av att få en djupare beskrivning. Öppna frågor är dock ofta mer tidskrävande att sammanställa och hantera statistiskt. På Skolverkets webbplats finner du fler tips och råd om hur du utformar bra enkäter i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Formulera följebrev/e-postutskick Det brev/e-postutskick som går ut tillsammans med enkätförfrågan bör vara kort och tydligt. Det utgör en viktig del i arbetet med att erhålla en hög svarsfrekvens. I Bilaga kan du se ett exempel på ett följebrev. Genomför pilottest Ett effektivt sätt att säkerställa att en enkät och dess frågor fungerar och förstås på rätt sätt är att sitta tillsammans med personer från målgruppen och testa både enkät och instruktionstext. 13 I vissa större forsknings- och samhällsundersökningar kan det finnas fördelar med att använda sig av sju- eller tiogradiga skalor då det möjliggör mer avancerade statistiska beräkningar. Det kan vara bra att ha i åtanke att ju fler svarsalternativ en fråga har, desto svårare är det att få signifikanta skillnader mellan svarsalternativen. För att uppnå signifikanta skillnader mellan skalstegen krävs det att en sådan undersökning baseras på ett större antal svarande. -28-

Kapitel 5 Att samla in elevdata Skapa struktur och rutin för kontaktuppgifter För att få en så hög svarsfrekvens som möjligt 14 är det A och O att ha rätt kontaktuppgifter till de som ska svara på enkäten. På Skolverkets webbplats finner du tips och råd för att skapa strukturer och rutiner i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Hantera skyddad identitet Bestäm er för hur ni hanterar personer med skyddad identitet. På Skatteverkets webbplats finner du mer information om "skyddade personuppgifter" och vägledning runt hantering av sekretess: www.skatteverket.se. Kom ihåg PuL redan från start Personuppgiftslagen (PuL) styr hur vi får hantera personuppgifter digitalt. Inom din kommun ska det finnas en person som är personuppgiftsbiträde. Vänd dig till denna person för att få mer information om hur ni hanterar personuppgifter inom er kommun. Avisera att undersökning kommer att genomföras Berätta att undersökningen kommer att genomföras genom att skicka ut ett så kallat missivbrev innan undersökningen startar. Se exempel på missivbrev i Bilaga. På Skolverkets webbplats finner du mer information om missivbrev i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. 14 Vilken svarsfrekvens man kan acceptera måste ställas i relation till syftet med undersökningen. Är det exempelvis för att få en orientering av situationen eller verksamhetsutveckling kanske man kan acceptera en lägre svarsfrekvens då man mer är intresserad av att se tendenser eller få en fingervisning. Är det däremot för forskning och för att kunna publicera vetenskapligt resultat krävs ofta högre svarsfrekvenser. Oavsett svarsfrekvens bör man göra en bortfallsanalys för att säkerställa att det inte är någon specifik grupp som har exkluderats från undersökningen. Har undersökningen en svarsfrekvens under 50 % är det fördelaktigt att göra en mer ingående bortfallsanalys. -29-

Kapitel 5 Att samla in elevdata Genomför påminnelseutskick Utöver inbjudan och förberedande avisering kan det vara bra att genomföra två till tre påminnelseutskick via exempelvis e-post, sms eller vykort. Erbjud jour via telefon och e-post under tiden som undersökningen pågår Säkerställ att både du som initierar undersökningen och den som genomför undersökningen finns tillgängliga på telefon och e-post för att svara på frågor om undersökningen under perioden som den genomförs. Arbeta aktivt för att öka svarsfrekvensen Det är ofta värt att lägga ned arbete på att uppnå en så bra svarsfrekvens som möjligt. På Skolverkets webbplats finner du tips och råd för att öka svarsfrekvensen i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Besluta om hantering av internt bortfall Ta beslut om hur du hanterar de fall där respondenter inte genomför hela undersökningen (så kallat internt bortfall). På Skolverkets webbplats finner du mer information om olika tillvägagångssätt i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Städa bland svaren När du har fått in alla svar bör du gå igenom och se om något behöver justeras, exempelvis om det är en stor andel som har svarat annat och det finns svar som i efterhand kan få en egen kategori. På Skolverkets webbplats finner du mer information om att städa bland svaren i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Genomför en bortfallsanalys Om det är låga svarsfrekvenser för hela eller delar av undersökningen behöver du göra en bortfallsanalys. På Skolverkets webbplats finner du mer information om bortfallsanalys i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. -30-

Kapitel 5 Att samla in elevdata 5.3 Återkoppling till elever Det är viktigt med återkoppling till de elever som har deltagit i undersökningar. Det finns främst två anledningar: Visa att ni har en transparent verksamhet där eleverna kan ta del av resultatet. För elevernas del kan tillgången till resultatet bland annat användas vid val av utbildning. När ni återkopplar resultatet av undersökningen upplever eleverna att det är relevant att besvara era enkäter. Framför allt är det viktigt att eleverna får information om åtgärder som vidtagits för frågor som de har lyft att de inte är nöjda med. 5.4 Tips på mer läsning om kvantitativa undersökningar På SCB:s webbplats (www.scb.se) finns: Att köpa statistiska undersökningar Urval från teori till praktik På Surveyföreningens webbplats (www.statistikframjandet.se) finns: Standard för bortfallsberäkning -31-

Kapitel 6 Arbeta med resultatet analysera och presentera KAPITEL 6 Kapitel 6 Arbeta med resultatet analysera och presentera -32-

Kapitel 6 Arbeta med resultatet analysera och presentera För att du ska komma vidare i arbetet med en god resultatkultur behöver de verksamhets- och elevdata som du har samlat in analyseras och presenteras på ett tillgängligt och pedagogiskt sätt. Nedan presenteras kortfattat vad du behöver tänka på när du hanterar kvantitativa data. Därefter följer tips på hur du gör data mer handlingsbara med hjälp av elevresor och programteori. 6.1 Analys och presentation av resultat När du har samlat in information i form av: data från ditt verksamhetssystem (till exempel antal elever, antal sökande) elevdata från ansökan och studieplanen (exempelvis syfte med studierna, tidigare erfarenheter) elevdata från undersökningar som du har genomfört (exempelvis undersökningar om vuxenutbildningens effekter, om sysselsättning efter studier) följer ett arbete med att analysera all data och lägga ihop allt som en helhet i ett sammanhängande system, så att du kan följa upp elevens resa och din verksamhet över tid. Nedan får du tips på några saker att tänka på när du hanterar, analyserar och presenterar verksamhetsdata och elevdata. Gör en sista kvalitetskontroll av verksamhetsdata Innan du lägger ihop all information är det bra att göra en sista kvalitetskontroll av de data du har tagit fram från verksamhetssystemet. Även om du redan har gjort den här typen av kontroll är det alltid bra att göra en sista rimlighetsbedömning. Exempel på frågor att ställa som stöd i den bedömningen kan vara: Är det rimligt att det är x antal elever som har läst en kurs? Är siffrorna angående söktryck rimliga? Är siffrorna gällande antal elever som tagit olika betyg rimliga? Det är också bra att göra en likvärdig kontroll av de elevdata du hämtar från ansökan och studieplanen. I många kommuner kan studie- och yrkesvägledarna ge stöd för att göra dessa rimlighetsbedömningar. -33-

Kapitel 6 Arbeta med resultatet analysera och presentera Kvalitetskontrollera enkätdata Även de data som du har samlat in från enkäter behöver kvalitetssäkras. Du bör kontrollera att data inte är korrupt, det vill säga att det inte har blivit något fel vid filhanteringen, exempelvis en förskjutning av kolumner eller rader. Innan du går vidare och arbetar med dessa enkätdata bör du först säkerställa att: du har en godtagbar svarsfrekvens en bortfallsanalys är genomförd. På Skolverkets webbplats finner du mer information om svarsfrekvenser och bortfallsanalyser i deras skrift: Råd inför att genomföra kvantitativa undersökningar. www.skolverket.se. Statistik kan ibland ge skenet av att leverera sanningar med alltför stor noggrannhet och exakthet. Vid analys av enkätdata är det därför bra att tänka på att hantera siffror, andelar och procentsatser utifrån att de ger er en fingervisning om vilka tendenser som råder. I många fall är det just diskussionen runt ett resultat som är det viktiga. Börja med att analysera som helhet När det är dags att börja analysera brukar första steget vara att analysera datamängden som helhet per fråga, så kallad frekvens. Det vill säga: Hur har alla som ingår i undersökningen svarat på respektive fråga? Här nedan presenteras ett exempel på hur en frekvenstabell som gäller Sysselsättning efter studierna inom vuxenutbildningen kan se ut. Sysselsättning efter studier Andel Antal Arbetar heltid 39% 621 Arbetar deltid 20% 319 Arbetssökande 19% 303 Annat 8% 126 Studerar inom komvux/särvux 5% 80 Studerar inom universitet och högskola 4% 64 Studerar inom annan skolform 3% 48 Egen företagare 2% 32 Total 100% 1 593 Tabell 6:1. Exempel på frekvenstabell som gäller Sysselsättning efter studierna inom vuxenutbildningen. -34-

Kapitel 6 Arbeta med resultatet analysera och presentera Bryt ned i korstabeller Nästa steg är att bryta ned resultatet i så kallade korstabeller. I många fall kommer du långt i din analys genom att korsa frågor mot olika bakgrundsdata (bakgrundsvariabler) 15, exempelvis att korsa sysselsättning efter studier med kön eller ålder. Här nedan presenteras ett exempel på hur en korstabell per kön som gäller Sysselsättning efter studierna inom vuxenutbildningen kan se ut. Sysselsättning efter studier Kvinna Man Total Andel Antal Andel Antal Andel Antal Arbetar heltid 28% 208 49% 413 39% 621 Arbetar deltid 27% 203 14% 116 20% 319 Arbetssökande 20% 153 18% 150 19% 303 Annat 8% 63 8% 63 8% 126 Studerar inom komvux/särvux 7% 50 4% 30 5% 80 Studerar inom universitet och högskola 4% 32 4% 32 4% 64 Studerar inom annan skolform 4% 28 2% 20 3% 48 Egen företagare 2% 12 2% 20 2% 32 Total 100% 749 100% 844 100% 1 593 Tabell 6:2. Exempel på korstabell per kön som gäller Sysselsättning efter studierna inom vuxenutbildningen. Analysera ytterligare med regressionsanalys Genom att göra en så kallad regressionsanalys går det att beräkna vilka frågor som har högst inflytande på någon annan fråga. Det går exempelvis att beräkna vilka andra frågor som har en inverkan på om eleven kommer i arbete. Då görs en statistisk körning för samtliga frågor i undersökningen gentemot frågeställningen sysselsättning efter studier och mer detaljerat gentemot svarsalternativet arbetar heltid som ingår i sysselsättning efter studier. Att göra en regressionsanalys kräver att du har kunskap om statistik och att du har tillgång till ett statistiskt beräkningsprogram. Att analysera orsakssamband runt vuxenutbildning är ofta komplext och kan ofta visa på skensamband. Det är bra att ha i åtanke att de samband man kan få fram i en regressionsanalys inte alltid säger allt och att de därmed inte är helt korrekta. Därför är det viktigt att det finns kunskap inom såväl statistik som vuxenutbildningens verksamhet när en regressionsanalys görs. 15 Begreppen bakgrundsdata/bakgrundsvariabler är data som i en undersökning används för att beskriva målgruppen (ofta demografiska uppgifter), exempelvis ålder, kön, bostadsort och utbildnings- och arbetserfarenhet. -35-