Råd inför att genomföra kvantitativa undersökningar

Transkript

1 Råd inför att genomföra kvantitativa undersökningar

2 Innehållsförteckning 1. DEFINIERA SYFTET MED UNDERSÖKNINGEN EGEN REGI ELLER ATT KÖPA IN TJÄNSTEN? LÄRPLATTFORMAR DEFINIERA MÅLGRUPP OCH URVAL VÄLJ INSAMLINGSMETOD SKAPA EN AKTIVITETSLISTA SAMORDNA ENKÄTER FRÅN OLIKA AKTÖRER KOM IHÅG PUL REDAN FRÅN START UTFORMA ENKÄTER UPPDATERADE KONTAKTUPPGIFTER ÄR A OCH O UTSKICK OCH PÅMINNELSER SVARSFREKVENS OCH BORTFALL ATT STÄDA BLAND SVAREN ÅTERKOPPLING TILL ELEVER TIPS PÅ MER LÄSNING

3 Detta är en fördjupning till Insamling av elevdata inom vuxenutbildningen. Fördjupningen berör genomförande av postala enkätundersökningar eller enkätundersökningar via webb och telefon. 1. Definiera syftet med undersökningen För att få stöd med att definiera syftet med en undersökning kan det vara till hjälp att ställa följande frågor: 1. Vad vill vi ha svar på? 2. Vilka intressenter finns det gällande resultatet? 3. Varför vill vi ha svar på det här? 4. Hur ska resultatet från undersökningen användas? 5. När behöver resultatet vara tillgängligt? Svar på dessa frågor kan exempelvis vara: 1. Vi vill ha svar på vad våra elever gör efter det att de har avslutat sina studier. 2. Lärare, rektorer, utbildningsanordnare, studie- och yrkesvägledare och skolledare. 3. Vi behöver dessa svar för att kunna fastställa om kursen har varit lyckad. 4. Resultatet från undersökningen ska användas till verksamhetsutveckling och framtagning av målformuleringar för skapande av nästkommande kurser. 5. Resultatet från undersökningen ska användas vid verksamhetsplaneringen. 2. Egen regi eller att köpa in tjänsten? Det finns fördelar med att genomföra en undersökning i egen regi. De externa kostnaderna blir ofta lägre och ni kan dra fördel av den interna kunskapen som finns inom verksamheten. I många fall är det dock bättre att köpa in tjänsten från företag som har inarbetade rutiner, strukturer och tekniska förutsättningar att genomföra enkätundersökningar med god kvalitet. Ytterligare fördelar med att låta en extern part genomföra en undersökning är: Inom verksamheten har ni möjlighet att lägga er tid och kraft på att analysera och implementera resultatet att genomföra en undersökning kräver tid. Respondenterna kan i högre grad känna sig fria att svara på webbenkäter och telefonintervjuer om undersökningen genomförs -3-

4 av en extern aktör till skillnad från om den genomförs av skolan eller huvudmannen. Undersökningsföretag har ofta god kunskap om hur man undviker att e-postutskick blir klassade som spam (så att utskicken inte riskerar att hamna i mottagarens skräpkorg). Ett tips vid genomförande av undersökningar är att samverka med grannkommuner. Ni kan då dela på fasta kostnader för enkäter och databaser. Tänk också på att ni inte behöver köpa hela paketet från ett undersökningsföretag. Det finns möjlighet att göra vissa delar av en undersökning i egen regi. Exempelvis kan ni be om extern hjälp med att samla in data för att sedan själva göra i ordning analys och presentation av materialet. På SCB:s webbplats finner du fler råd i deras skrift: Att köpa statistiska undersökningar Lärplattformar Om ni eller era upphandlade utbildningsanordnare i kommunen använder någon lärplattform kan denna vara en kanal för att nå eleverna med er undersökning som genomförs under tiden eleverna studerar. I många lärplattformar finns dessutom färdiga verktyg för att genomföra webbenkäter. 4. Definiera målgrupp och urval Nästa steg innebär att definiera vilka det är som omfattas av undersökningen. Om du exempelvis vill veta vilken sysselsättning de före detta eleverna har efter avslutade studier, bör du först fastställa vilka det är som räknas som tillhörande gruppen har avslutat studierna och om det är någon speciell studieform du är intresserad av (1=dag, 2=kväll, 3=distans, 4=annan förläggning av utbildningen). Efter det att du har definierat vilka det är som ingår i undersökningen får du fastställa om undersökningen ska genomföras som en totalundersökning (att samtliga elever blir tillfrågade) eller som en urvalsundersökning. I en urvalsundersökning låter man ett urval av målgruppen delta i undersökningen och därmed representera helheten. Om du väljer att göra en urvalsundersökning måste du ta ställning till hur stort urvalet ska vara. Det är en komplex ekvation där det som är avgörande är hur djupt resultatet ska brytas ned och hur olika svarsalternativ ska korsas med varandra. -4-

5 En faktor när man väljer hur stort urvalet ska vara är hur stor felmarginal 1 man accepterar i de svar man får fram. Generellt kan man säga att för en ja/nej-fråga som ställs till: 100 personer är felmarginalen 10 procent (med 95 procents säkerhet) 300 personer är felmarginalen 5,8 procent (med 95 procents säkerhet) 500 personer är felmarginalen 4,5 procent (med 95 procents säkerhet) För mer om felmarginal, se Insamling av elevdata inom vuxenutbildningen, kapitel 6.1 Analys och presentation av resultat, avsnittet Statistiska begrepp. 5. Välj insamlingsmetod Det finns många olika metoder att samla in ett undersökningsmaterial på. De brukar oftast delas in i kvantitativa och kvalitativa metoder. Vid kvantitativa undersökningar är det ett större antal respondenter som svarar på en eller flera likvärdiga frågor. Vid kvalitativa undersökningar är det färre respondenter som får ge djupare beskrivningar, ofta utifrån teman eller frågeområden. Den här guiden berör enbart genomförande av webbenkäter och enkätundersökning via telefonintervjuer (kvantitativa insamlingsmetoder). Webbenkäter En fördel med att genomföra webbenkäter är att de rörliga kostnaderna för att genomföra en webbenkät är låga. Däremot är kostnaden för att sätta upp en webbenkät ofta högre jämfört med att exempelvis genomföra en postal enkät. För en postal enkät är istället den rörliga kostnaden med tryckning, kuvertering och porto ofta högre. Ytterligare en styrka med webbenkäter är att de är betydligt snabbare att genomföra än postala enkäter då du slipper invänta postgången med utskick och svarspost. På detta sätt får du snabbare in svaren från respondenterna. Du behöver inte heller bearbeta svaren i efterhand (vilket du behöver göra med en postal enkät där svaren antingen behöver stansas in eller skannas in). I en webbenkät kan du också styra vem som ska svara på vilka frågor. Det går även att styra så att respondenten inte kan hoppa över frågor (mer information om detta i avsnitt 9 Utforma enkäter). 1 Felmarginal syftar till den differensnivå som svaret ligger inom. I ett exempel är det 40 procent som har svarat att de tycker att utbildningen är bra. Med en felmarginal på ±10 procent, innebär det att det statistiskt säkerställda svaret ligger inom spannet procent som uppger att utbildningen är bra. -5-

6 Enkätundersökning via telefon Enkätundersökning via telefonintervjuer är generellt den undersökningsform som kräver minst tid för genomförande av undersökning. Vid genomförande av telefonintervjuer behöver man inte invänta att respondenter ska ha läst e-post eller postala utskick. Det som är viktigt att tänka på är att ha en kort enkät. Intervjun bör kunna genomföras på cirka fem minuter. Precis som vid webbenkäter är det viktigt att vid uppringningen snabbt sälja in och komma igång med undersökningen. Det är också viktigt att avsluta intervjun genom att tacka för samtalet och gärna återigen berätta vad du heter och var du ringer ifrån. Se exempel på manus för telefonintervju i Bilaga. För att öka svarsfrekvensen är det ofta en fördel att skicka ut ett missivbrev före det att en telefonundersökning börjar genomföras (för mer information om missivbrev, se avsnitt 11 Utskick och påminnelser och för mer information om svarsfrekvens, se avsnitt 12 Svarsfrekvens och bortfall). Om du ringer till mobilnummer kan du skicka ut ett sms och förbereda respondenterna på att du inom kort kommer att ringa. På detta sätt kan du nå respondenter som väljer att inte svara på okända nummer för att undvika telefonförsäljare. Att kombinera är okej Det går bra att kombinera olika kvantitativa insamlingsmetoder och sammanföra dessa i en gemensam resultatdatabas. Genom att erbjuda olika sätt att svara på en enkätundersökning, exempelvis både via webbenkät och telefonintervju, kan du ofta få fler respondenter att svara. På detta sätt kan du möta både de som vill svara skriftligen i lugn och ro och de som hellre svarar muntligen i en telefonintervju. Det finns en fördel med att initialt samla in så många svar som möjligt via en webbenkät, då det ofta är en mer kostnadseffektiv metod. Därefter kan du ringa till dem som inte har svarat via webbenkäten för att erbjuda dem en möjlighet att svara per telefon. -6-

7 Kvalitativa insamlingsmetoder Om du har områden där du önskar mer förklarande underlag (varförfrågor) än mätande underlag, är kvalitativa metoder en bättre källa. Kvalitativa metoder kan bland annat vara: Semistrukturerade djupintervjuer, vilket innebär att du låter ett urval personer bli intervjuade muntligen. Här brukar cirka 5 30 intervjuer per målgrupp vara en lämplig omfattning. En styrka med djupintervjuer är att det finns utrymme för varje respondent att utveckla sina tankar och idéer. Här finns också möjlighet att diskutera sådant som kan vara känsligt att diskutera i grupp. Fokusgrupper är gruppintervjuer där respondenter får beskriva sina uppfattningar, åsikter och attityder gentemot en vara, tjänst, idé, ett koncept eller dylikt. Styrkan med att välja fokusgrupper är att de som deltar kan ha hjälp av varandra i att besvara frågorna och att det kan bli givande diskussioner mellan respondenterna. Deltagande observationer går ut på att man under en period enbart observerar alternativt är med och gör samma sak som målgruppen gör. Här finns möjlighet att komma åt vad respondenterna verkligen gör, inte bara vad de säger och tänker om det de gör. Ett exempel på en frågeställning där kvalitativa metoder lämpade sig var när Arbetsmarknad och vuxenutbildning i Göteborgs Stad genomförde en undersökning kring vad kvalitet är vid vägledning. Denna undersökning genomfördes med en kombination av kvalitativa metoder som observationer, fokusgrupper och djupintervjuer för att få en beskrivning av vad både personal och vägledda upplevde som kvalitet vid vägledning och vad som kunde göras för att höja kvaliteten vid studie- och yrkesvägledning Skapa en aktivitetslista När du har klargjort syfte, målgrupp och insamlingsmetod är det en fördel att skapa en aktivitetslista för alla aktiviteter som ska genomföras. Av listan framgår det när en aktivitet ska genomföras, vem som ansvarar och hur aktiviteterna förhåller sig till varandra. När man skapar en aktivitetslista är det fördelaktigt att börja från slutet. Utgå ifrån när du behöver kunna presentera resultatet och arbeta dig bakåt i tiden fram till när undersökningen ska genomföras och enkätfrågor behöver formuleras. Se exempel på en aktivitetslista i Bilaga. 2 Kartläggning av vägledning för Vuxenutbildningen i Göteborgs Stad Kartläggningen genomfördes av Splitvision Research AB på uppdrag av Vuxenutbildningen i Göteborgs Stad (sedermera Arbetsmarknad och vuxenutbildning i Göteborgs Stad). -7-

8 7. Samordna enkäter från olika aktörer I många fall ställs elever inför ett flertal undersökningar under en kort period. Det kan vara undersökningar från er (huvudmannen), olika utbildningsanordnare, lärare eller föreläsare. Exempelvis har elever som läser yrkesutbildning i Göteborgsregionen i intervjuer uppgett att de under en tremånadersperiod har fått upp till sex enkäter med snarlika frågor från olika aktörer. I den mån det går, försök som huvudman att samordna de undersökningar som riktas till eleverna. Ett tillfälle att ta ett samlat grepp för hur undersökningar hanteras är när det är dags att förnya avtal med utbildningsanordnare. Då finns det en möjlighet att kravställa hur ni önskar att insamlingar av enkäter ska ske och hur data bör göras tillgängliga för samtliga aktörer. 8. Kom ihåg PuL redan från start Personuppgiftslagen (PuL) styr hur vi får hantera personuppgifter digitalt. En personuppgift är en uppgift som direkt eller indirekt kan härledas till en fysisk levande person. Om du hanterar personuppgifter, tänk på att du är skyldig att informera personen du hämtar uppgifter ifrån om hur materialet ska hanteras och få ett godkännande/samtycke. Du får därefter inte använda uppgifterna till något annat syfte än det du informerat om. Inom din kommun ska det finnas en person som är personuppgiftsbiträde. Vänd dig till denna person för att få mer information om hur ni hanterar personuppgifter inom er kommun. 9. Utforma enkäter När du har definierat frågeställningar och hur resultatet ska användas är det dags att börja formulera enkätfrågor. När du har kommit en bit in i det arbetet kan det vara en fördel att börja skissa på hur du senare ska bryta ned, analysera och presentera materialet (exempelvis vilka bakgrundsuppgifter och vilka frågor som ska korsas med varandra). Försök att göra enkäten så kortfattad som möjligt och tänk igenom vad du verkligen behöver få svar på. Tänk också på att sätta av tid för skapandet av enkäten. Det är lätt att fastna och bli hemmablind. Ha gärna en arbetsgrupp som kan bolla enkätfrågorna. Det är också en fördel att ha tid och möjlighet att lägga ifrån sig enkäten för att få distans och sedan kunna ta sig an frågorna på nytt. -8-

9 Använd ett enkelt språk För att få korrekta svar och en så hög svarsfrekvens som möjligt är det viktigt att språket i enkäterna är utformat så enkelt och precist som möjligt. Ta gärna hjälp av en expert på området. Ett stöd i arbetet med att formulera språket i en enkät kan vara att hela tiden ha en bild av personerna som ska svara på enkäten i åtanke. Det är en fördel att rikta sig till den som är språksvagast inom målgruppen och försöka göra språket i enkäten så lättillgängligt som möjligt. Diskrimineringslagen Tänk på att säkerställa att webbenkäter och annan digital information som berör undersökningen uppfyller kraven för att vara tillgängliga. De verktyg som används för webbenkäter ska vara utformade så att stöd för tekniska hjälpmedel fungerar. En rekommendation är att utgå från WCAG 2.0 nivå AA (Riktlinje 1). Bristande tillgänglighet räknas sedan 1 januari 2015 som diskriminering, vilket innebär att en person med en funktionsnedsättning inte får missgynnas genom att åtgärder för tillgänglighet inte vidtas. I diskrimineringslagen står det bland annat att det är förbjudet att direkt eller indirekt diskriminera en person i arbetsliv eller utbildning på grund av funktionsnedsättning. För mer information om tillgänglighet: Kammarkollegiets riktlinjer gällande upphandling av IT-tjänster: Vägledning om användbarhet och tillgänglighet vid avrop från ramavtalsområdet e-förvaltningsstödjande tjänster finner du på Du finner också information om tillgänglighet på E-delegationens webbplats. -9-

10 Några råd när du utformar enkätfrågor Tänk på följande när du utformar en enkät: 1. Välj enkla ord framför akademiska termer och svåra ord. Ofta kan vi uppleva att en fråga blir mer precis om vi använder en akademisk term, men för en person som inte vet vad ordet innebär blir istället frågan svår att förstå. Välj exempelvis hellre ord som använder istället för nyttjar och får stöd istället för uppbär stöd. 2. Undvik långa frågeformuleringar. Skriv lätta meningar. Använd gärna rak ordföljd utan bisatser eller inskjutna meningar. Markera gärna viktiga ord. Låt nyckelorden i frågan stå med fetstil. Det underlättar förståelsen för frågan. 3. Ställ bara en fråga åt gången. Med ambitionen att begränsa antalet frågor kan det vara lätt att lockas av att trycka in flera frågor i en frågeställning. Förutom att sådana frågor kan skapa förvirring och irritation hos mottagaren ( Vad är det jag ska svara på? ) är risken att du vid analysen inte vet vilken av frågorna mottagaren har svarat på. Exempel på två frågor i en fråga: Har du någon gång besökt en studie- och yrkesvägledare och var du nöjd med besöket? 4. Var så precis som möjligt i dina frågor. Det kan till exempel handla om att definiera tider så precist som du kan. Skriv hellre: Vad gjorde du (huvudsaklig sysselsättning) våren 2014? i stället för: Vad gjorde du (huvudsaklig sysselsättning) före dina studier? 5. Undvik ledande frågor. Exempel på ledande fråga: Tycker du att det är bra att skolan kräver att elever ska göra en individuell studieplan för att antalet elever som avbryter sina kurser ska minska? 6. Undvik att använda negationer. Frågor som innehåller negationer blir ofta onödigt krångligt formulerade och kan riskera att respondenten svarar helt tvärtom. Det är lätt att frågan innehåller syftningsfel och dessutom finns risken att det till och med blir en dubbelnegation. Exempel på fråga som innehåller en negation: Tycker du inte att vi borde ha fler datorer på skolan? 7. Använd flyktvägar för alla frågor. En flyktväg i det här sammanhanget är ett eller flera svarsalternativ som respondenterna kan välja om de inte vill besvara frågan eller om frågan inte är relevant för dem att besvara. Exempel på sådana svarsalternativ är Vet inte, Önskar inte svara, Inte aktuellt för mig. Genom att erbjuda flyktvägar ökar du möjligheten att få så relevanta svar som möjligt. -10-

11 Utforma enkäten så att den håller över tid Tänk på att utforma en enkät så att du har en bas av frågor som går att jämföra över tid och som kan användas från år till år. Utöver denna bas av frågor kan du lägga till frågor som är aktuella för ett specifikt tillfälle. Tänk på att basfrågorna alltid bör ligga i början av en enkät för att undvika att de tillagda frågorna skulle kunna påverka hur respondenten svarar på basfrågorna. Exempel på basfrågor (som är fasta över tid) kan vara: Vilken är din huvudsakliga sysselsättning efter avslutade studier inom vuxenutbildningen? (Göteborgsregionens kommunalförbund) Vad gjorde du huvudsakligen halvåret innan du började studera på vuxenutbildningen? (Vuxenutbildningen i Göteborgs Stad) Efter basfrågorna kan du ha frågor som är unika för den aktuella undersökningen, eller som inte lika frekvent behöver följas upp. Det kan vara en fråga som följer upp en specifik aktivitet för en specifik period, som exempelvis en reklaminsats. Exempel på en fråga som bara är aktuell för en specifik period eller som gäller ett visst insatsområde, i det här fallet entreprenörskap, kan vara: - Har du under tiden du har studerat inom vuxenutbildningen fått någon undervisning om entreprenörskap? (Vuxenutbildningen i Göteborgs Stad) Enkäter på olika språk Det finns för- och nackdelar med att erbjuda en enkät på flera språk. Att ge ett entydigt svar på vad som är mest fördelaktigt är svårt och får oftast bedömas från fall till fall. När det gäller undervisning i sfi kan det finnas en pedagogisk poäng med att låta eleverna genomföra enkäten på svenska. Mycket handlar om att göra ett bra förarbete och att utforma en tydlig och enkel enkät. Du kan exempelvis använda dig av bilder och illustrationer för att tydliggöra frågornas innebörd. Ett alternativ kan också vara att komplettera en enkät på svenska med en ordlista. I vissa fall finns också möjligheten för läraren att gå igenom enkäten tillsammans med eleverna innan de ska besvara den. I samband med det kan det också vara en fördel att i undervisningen prata om hur enkätundersökningar är en viktig del i att kunna påverka i den svenska, demokratiska samhällsutvecklingen. Det är en självklarhet i många länder, men inte i alla. -11-

12 Ställ bara de frågor du behöver Tänk på att inte ställa frågor om sådant ni kan få svar på via ert elevregister. På så sätt kan ni undvika att en enkät blir onödigt omfattande. Exempelvis behöver ni sällan ställa frågor om kön, ålder och betyg. Ofta finns det också möjlighet att hämta personuppgifter om elever i register som SPAR och RTB. Båda dessa register baseras på folkbokföringsregistret (Skatteverket). Faktafrågor och åsiktsfrågor En enkät är ofta uppbyggd av två typer av frågor, faktafrågor och åsiktsfrågor. Faktafrågor är de frågor som behandlar fakta, exempelvis: - Vad gjorde du före dina studier? eller - Vilket land är du född i? Vid faktafrågor är det viktigt att i frågeställningen vara precis och att det också finns ett svarsalternativ som heter övrigt eller annat i syfte att fånga upp de fall där ett svarsalternativ saknas i enkäten. Vid åsiktsfrågor används ofta skalor Det vanligaste sättet att fånga upp åsikter i en enkät är att använda skalor. Det finns en mängd olika sätt att presentera svarsalternativ på i form av skalor. Sträva efter att använda samma skalsteg i hela undersökningen. Att använda sig av olika skalsteg kan verka förvirrande för respondenten och leder i värsta fall till att hon/han svarar fel. Det finns flera olika skolor när det gäller att använda skalor och antal skalsteg. Många menar att man ska tvinga respondenten att ta ställning till ett positivt eller ett negativt svar. Men om vi tänker till oss själva finns det ofta tillfällen då det är någonstans mitt emellan som är det mest sanna. Att då tvinga respondenten att ta ställning till något som hon/han egentligen inte håller med om kan leda till att svaret inte blir sant. Det är oftast fördelaktigt att använda sig av femgradiga skalor. Mer nyanserat än fem steg behövs sällan för denna typ av undersökningar. 3 Det innebär att frågan kan innehålla två positiva, två negativa och ett neutralt svarsalternativ. Om enkäten innehåller fler steg kan det i många fall leda till att frågan blir svårare att besvara. 3 I vissa större forsknings- och samhällsundersökningar kan det finnas fördelar med att använda sig av sju- eller tiogradiga skalor då det möjliggör mer avancerade statistiska beräkningar. Det kan vara bra att ha i åtanke att ju fler svarsalternativ en fråga har, desto svårare är det att få signifikanta skillnader mellan svarsalternativen. För att uppnå signifikanta skillnader mellan skalstegen krävs det att en sådan undersökning baseras på ett större antal svarande. -12-

13 Tänk på att du har ett så neutralt påstående som möjligt i förhållande till skalan, så att själva påståendet inte blir ledande. Det är också en fördel att formulera alla skalsteg i klartext, exempelvis: 1 Mycket dåligt 2 dåligt 3 varken bra eller dåligt 4 bra 5 mycket bra. Förstärk gärna skalans betydelse visuellt, med hjälp av bilder, exempelvis med hjälp av så kallade emojis. Använd er av samma klassificeringar som exempelvis ålder i alla era enkäter och undersökningar. På detta sätt kan ni korsanalysera alla insamlade data. Ett vanligt fel som ofta görs är att man lägger till svarsalternativ mellan nollmätning och eftermätning, vilket medför att resultatet från undersökningarna inte kan jämföras. Om ni exempelvis ska jämföra vilka effekter en utbildning har är det viktigt att ni kan jämföra sysselsättning före studier och sysselsättning efter studier. Om det exempelvis skulle läggas till ett svarsalternativ gällande sysselsättning efter studier medför det att ni inte till fullo kan jämföra hur situationen före och efter studier ser ut då det extra svarsalternativet påverkar hur svaren fördelar sig. Ordkryssfrågor ett ytterligare alternativ vid åsiktsfrågor Ett alternativ för att få en mer nyanserad beskrivning än vad en skalfråga kan ge, är att låta respondenten välja vilka ord hon/han tycker stämmer bäst in på en fråga. Frågan får sedan analyseras med utgångspunkt från vilka valda ord respondenterna i högst och lägst omfattning förknippar med frågan. Tänk gärna i dikotomier (motsatsförhållanden) när ni utformar dessa svarsalternativ. Lätt svårt, viktigt inte viktigt och bra dåligt. Exempel på ordkryssfråga: Hur tycker du att kursen har varit? Lärorik Poänglös Gemenskap Ingen gemenskap Intressant Ointressant Bra sammanhållning Dålig sammanhållning Användbar Oanvändbar Lätt att förstå Svårt att förstå Rolig Tråkig Bra instruktioner Dåliga instruktioner Bra lärare Dåliga lärare Bra stöd Dåligt stöd -13-

14 Öppna frågor Öppna frågor innebär att det finns fält där respondenten fritt kan skriva in sitt svar. Denna frågeform kan användas för såväl fakta- som åsiktsfrågor. Fördelar med öppna frågor är att det finns utrymme för respondenten att fritt beskriva och det ger ett material som innehåller en tätare och djupare beskrivning. Dessa frågor är dock ofta tidskrävande att sammanställa, då de behöver bearbetning för att kunna hanteras statistiskt. Gruppera och filtrera Försök att gruppera frågor i områden när du skapar en layout för din enkät. Om enkäten innehåller frågor som berör olika tidpunkter kan det exempelvis vara en fördel att dela in frågorna i grupperna före, under och efter studierna. Om enkäten innehåller frågor som handlar om vad som har hänt bakåt i tiden brukar det vara en fördel att börja med att ställa frågor som berör nutid. Exempel: Börja med Vad gör du nu? och Hur upplevde du din studietid? och gå sedan in på Vad gjorde du före dina studier? Försök att sträva efter att varje fråga i en enkät hänger ihop som en helhet och inte är för mycket uppdelad. För en målgrupp med dyslexi är det oftast lättare att läsa text som inte är uppdelad. Nedan följer exempel på frågor i tabellform där texten är uppdelad (alternativ A) och där texten inte är uppdelad (alternativ B). Alternativ A Hur stor betydelse har studierna inom yrkesvux haft för dig när det gäller Ingen betydelse 1 Liten betydelse 2 Måttlig betydelse 3 Stor betydelse 4 Mycket stor betydelse 5 Gäller inte mig Förstår inte frågan 6. att få arbete? dina studier efter yrkesvux? att tro mer på dig själv?.. Alternativ B Ingen betydelse 1 Liten betydelse 2 Måttlig betydelse 3 Stor betydelse 4 Mycket stor betydelse 5 Gäller inte mig Förstår inte frågan 6. Hur stor betydelse har studierna inom yrkesvux haft för dig när det gäller att få arbete? Hur stor betydelse har studierna inom yrkesvux haft för dig när det gäller dina studier efter yrkesvux?. 8. Hur stor betydelse har studierna inom yrkesvux haft för dig när det gäller att tro mer på dig själv?

15 I en enkät är det viktigt att respondenten inte missar eller hoppar över att svara på en fråga, så kallat internt bortfall. En fördel med att använda webbenkäter är att det går att konstruera formuläret så att det inte går att missa/hoppa över att svara på en fråga. Det är då viktigt att det finns flyktvägar (hänvisningar) så att respondenten inte slutar att besvara enkäten eller ger ett felaktigt svar på någon fråga för att ha möjlighet att komma vidare i enkäten. Tänk även på att du i en webbenkät ofta har möjlighet att filtrera så att rätt personer svarar på rätt frågor. Exempel: En fråga som Har du gått tillbaka till samma arbetsplats som före dina studier inom vuxenutbildningen? behöver enbart ställas till de som på en tidigare fråga har svarat att de har haft ett arbete före sina studier. Pilottest Det är lätt att bli hemmablind vid formulering av texter i enkäter, missivbrev och påminnelsebrev. Ett effektivt sätt att säkerställa att en enkät fungerar är att testa både enkät och instruktionsbrev på personer från målgruppen som inte kommer att ingå i undersökningen. Dessa tester görs med fördel genom att sitta individuellt med personer som får gå igenom instruktionsbrev och enkät och samtidigt läsa och tänka högt kring hur de tolkar och förstår texter och frågor. Att göra dessa tester på 5 20 personer kan vara en bra riktlinje. Det är viktigt att skapa en trygg atmosfär där testledaren förhåller sig neutral och visar ett genuint intresse av att få reda på testarens tolkning. Ibland kan det vara en fördel att låta någon annan än den som har tagit fram frågorna vara testledare. 10. Uppdaterade kontaktuppgifter är A och O Skapa strukturer och rutiner för att ha aktuella uppgifter För att få en bra svarsfrekvens är det A och O att ha rätt kontaktuppgifter till de som ska svara på enkäten. Försök att automatisera så mycket som möjligt för att minska andelen manuellt uppdaterade register och filer. Bestäm hur ni klassificerar enstaka kurser och utbildningar så att ni vet att en specifik kurs tillhör en specifik utbildning och så att ni vet när utbildningen är slutförd. Denna klassificering är viktig för att sedan kunna plocka ut de elever ni önskar följa upp för en specifik period. Beroende på var i processen du är när du genomför enkäten kan du tänka på följande: -15-

16 Under studier: Säkerställ med skolor att adressuppgifter för eleverna är uppdaterade. Lägg in så att det med automatik sker uppdateringar av kontaktuppgifter vid kursbyten, avbrott med mera. Om ni har lärplattformar eller liknande system är det fördelaktigt att ni, inför att ni ska genomföra en undersökning, ber eleverna uppdatera sina kontaktuppgifter Efter studier: Tänk på att skapa en rutin för att kunna följa upp och ha en fortsatt dialog med eleverna efter slutförda studier. Ofta handlar det om att hantera e-postadresser. När det gäller adresser och telefonnummer kan de ofta köpas in från folkbokföringsregistret. I många fall har kommunen avtal för att kunna göra sådana uppdateringar. För undersökningar som ska genomföras efter studier inom vuxenutbildningen är det också extra viktigt att säkerställa att det inte finns avlidna personer i registret. Skyddad identitet Bestäm er för hur ni hanterar personer med skyddad identitet. 11. Utskick och påminnelser En avisering om att undersökning kommer att genomföras (missivbrev) Innan en undersökning startar är det en fördel att skicka ut ett brev (missivbrev) där ni berättar om att respondenten kommer att få delta i en undersökning. Det höjer ofta benägenheten hos respondenten att besvara enkäten. Om ni använder er av en extern aktör för att genomföra undersökningen är det viktigt att skicka ut detta brev postalt. Likaså om ni genomför undersökningen via e-post med webblänk, webb eller telefon är det bra att ta en första kontakt postalt. En fördel med att skicka ett separat missivbrev är att ni som huvudman är avsändare och att ni med utskicket ger undersökningen legitimitet. Det är extra viktigt om undersökningen går ut via e-post så att respondenterna känner sig trygga med att öppna e-postmeddelandet och klicka på länken. Ett missivbrev kan skickas ut i form av ett brev eller vykort. I missivbrevet bör det finnas kontaktuppgifter till både de som genomför undersökningen och de som initierar undersökningen. I samband med utskick av missivbrev är det också en fördel att be respondenten att uppdatera sin e-postadress och sitt telefonnummer. Om ni använder er av en lärplattform eller liknande system kan ni be eleverna själva gå in och uppdatera sina kontaktuppgifter. -16-

17 I Bilaga finner du ett exempel på ett brev som Göteborgsregionens kommunalförbund skickar ut inför uppstart av undersökning. Följebrev/e-postutskick Det brev/e-post som skickas ut tillsammans med enkätförfrågan bör vara kort och tydligt. Utforma gärna texten säljande så att den svarande känner sig positivt inställd till att besvara enkäten. I Bilaga finner du ett exempel på ett följebrev. Tänk på att använda dig av en e-postavsändare som heter något som har med er som huvudman att göra. Exempelvis i effektundersökningen som Göteborgsregionens kommunalförbund genomför står det: Studerandeuppföljning. Ha gärna med följande information i ett följebrev: En införsäljande introduktion Information om sista svarsdag Beskrivning av undersökningen och varför den görs Beskrivning av hur ni kommer att hantera respondenternas svar och beskrivning av att ni kommer att hantera svaren konfidentiellt Hur respondenten ska besvara (inloggning med mera) Vem respondenten kan vända sig till om hon/han har frågor om enkäten (telefon och e-post) Vem respondenten kan vända sig till om hon/han har frågor om undersökningen (telefon och e-post). Påminnelseutskick Det brukar vara fördelaktigt att, utöver inbjudan och förberedande avisering av undersökningen, även genomföra två till tre påminnelseutskick. Här går det bra att använda såväl e-post som sms. Beroende på hur säker du är på att du har rätt e-postadresser och mobilnummer kan det ibland vara en fördel att göra någon av påminnelserna postalt, gärna då i form av vykort. Var tillgängliga via telefon och e-post under tiden som undersökningen pågår Respondenterna är er största källa till att erhålla kunskap och insikter om er verksamhet. Hantera dem med respekt. Säkerställ att både du som initierar undersökningen och den som genomför undersökningen finns tillgängliga på telefon och e-post för att svara på frågor om undersökningen under perioden som den genomförs. Tänk på att de svarande ofta kan ha behov av att ställa frågor efter kontorstid. -17-

18 12. Svarsfrekvens och bortfall Det är ofta värt att lägga ned arbete på att uppnå en så hög svarsfrekvens som möjligt. 4 Det kan vara en utmaning då eleverna ofta exponeras för ett stort antal enkäter och undersökningar i sin vardag. Tips för högre svarsfrekvens Några råd för att uppnå en så hög svarsfrekvens som möjligt är: Säkerställ en god kvalitet i kontaktuppgifterna. En förutsättning för att få en hög svarsfrekvens är att man når de som man vill ha svar från. Det är värt att lägga ned kraft och energi på att säkerställa att de kontaktuppgifter man har är riktiga. Tänk på att om undersökningen genomförs efter studierna är avslutade så är det viktigt att ha uppdaterade e-postadresser och telefonnummer. Få undersökningen att bli så relevant som möjligt för mottagaren. Utforma en väl genomarbetad, kort och tydlig enkät som har en tilltalande och respektfull ton. Förbered genom att göra ett förberedande utskick, missivbrev. Använd er av påminnelser. Kommunicera tydligt till eleverna hur ni hanterar resultatet, om det är konfidentiellt eller inte. Erbjud flera olika sätt att svara på en enkät, exempelvis kan en webbenkät kompletteras med telefonintervjuer. Generellt är det fördelaktigt att undvika att genomföra undersökningar under jul, nyår och semestertider. 4 Vilken svarsfrekvens man kan acceptera måste ställas i relation till syftet med undersökningen. Är det exempelvis för att få en orientering av situationen eller verksamhetsutveckling kanske man kan acceptera en lägre svarsfrekvens då man mer är intresserad av att se tendenser eller få en fingervisning. Är det däremot för forskning och för att kunna publicera vetenskapligt resultat krävs ofta högre svarsfrekvenser. Oavsett svarsfrekvens bör man göra en bortfallsanalys för att säkerställa att det inte är någon specifik grupp som har exkluderats från undersökningen. Har undersökningen en svarsfrekvens under 50 % är det fördelaktigt att göra en mer ingående bortfallsanalys. -18-

19 Bortfallsanalys För att kunna använda en undersökning med låga svarsfrekvenser behöver du kunna göra en bortfallsanalys. Steg ett i en bortfallsanalys är att se om det är några specifika grupper som har fallit bort, till exempel grupperingar av ålder, kön, skolform eller studieform. Om det är så att det är någon grupp som utmärker sig, kan du ifrågasätta resultatet i undersökningen. Här är svårt att ge ett generellt svar på hur du kan hantera detta. Rådet är snarare att vända sig till någon som är kunnig inom statistik för råd i det specifika fallet. Steg två i en bortfallsanalys kan vara att ytterligare en gång kontakta ett urval av de som inte har besvarat enkäten i syfte att jämföra deras svar med övriga respondenters. Om dessa svar är likvärdiga med övriga respondenters svar, kan du eventuellt se undersökningens resultat som godtagbart att använda. Internt bortfall Om respondenterna inte har besvarat hela enkäten Något som är vanligt vid framför allt webbenkäter är att respondenten inte slutför hela undersökningen, utan stannar någonstans på vägen. I dessa fall kan du välja att skicka ut enkäten på nytt till dessa personer och be om deras svar. Om du är i slutet av undersökningsperioden och inte har möjlighet att göra ett nytt utskick får du ställa dig frågan om, och på vilket sätt, du kan använda dig av svaret. Exempelvis har man, för de effektundersökningar som har gjorts i Göteborgsregionen, valt att ha med de svar som har kommit in, trots att inte hela enkäten är besvarad. Här har man satt gränsen vid att de två första frågorna ska vara besvarade, vilket är ett minimum för att en effektanalys ska kunna göras. 13. Att städa bland svaren När du har fått in alla svar bör du dra ut frekvenslistor och se om det finns någon/några frågor som behöver justeras. En frekvenslista är en tabell där alla frågor och svarsalternativ presenteras per samtliga svarande (se exempel på frekvenstabell i avsnitt 6.1 i Insamling av elevdata inom vuxenutbildningen). Det kan exempelvis vara svarsalternativ där man har kunnat kryssa i svarsalternativ annat. Om det är ett stort antal svar på detta svarsalternativ är det lämpligt att lägga till nya svarsalternativ utifrån de öppna svaren som har angetts. Exempelvis om man på frågan Vad är din huvudsakliga sysselsättning efter dina studier inom vuxenutbildningen? får en stor andel som anger föräldraledig på svarsalternativet Annat, kan du lägga till -19-

20 Föräldraledig som ett eget svarsalternativ. Uppdatera även gärna enkäten med detta svarsalternativ inför genomförandet av nästa undersökning. Om det är någon fråga som har ett förhållandevis stort partiellt bortfall, där många inte har besvarat frågan eller har svarat de så kallade flyktvägarna (vet inte, gäller inte mig med mera) bör du reflektera över vad anledningen kan vara och om det är någonting du behöver justera vid en eventuellt nästkommande undersökning. Partiellt bortfall är detsamma som internt bortfall (att den svarande inte har svarat på en eller flera specifika frågor). På samma sätt som när du gör en redovisning av hur svarsfrekvens och bortfall ser ut, bör du också göra en sammanställning av hur det partiella bortfallet ser ut per fråga för samtliga frågor. Denna sammanställning bör även inkludera de som har uppgett de så kallade flyktvägssvaren. Om enkäten innehåller öppna frågor kan du behöva gå igenom dessa för att se om det går att skapa klassificeringar av de öppna svaren för att på så sätt kunna hantera dem statistiskt. 14. Återkoppling till elever Det är viktigt med återkoppling till de elever som har deltagit i undersökningar. Det finns främst två anledningar: Det är viktigt att visa att ni har en transparent verksamhet där eleverna kan ta del av resultatet. För elevernas del kan tillgången till resultatet bland annat användas vid val av kurser. För att eleverna ska uppleva att det är relevant att besvara era enkäter, är det viktigt att ni återkopplar resultatet av undersökningen. Framför allt är det viktigt att eleverna får information om åtgärder som vidtagits för frågor de lyft att de inte är nöjda med. Ett tips kan vara att upprätta en webbsida där de senaste undersökningarnas resultat presenteras för elever. På detta sätt kan du i alla undersökningar som genomförs referera till samma plats. -20-

21 15. Tips på mer läsning På SCB:s webbplats ( finns: Att köpa statistiska undersökningar Urval från teori till praktik På Surveyföreningens webbplats ( finns: Standard för bortfallsberäkning -21-