Konsekvensanalys kring den regiongemensamma elevenkäten

Transkript

1 SKRIVELSE Utbildningschefsnätverket ÄRENDE 7 Konsekvensanalys kring den regiongemensamma elevenkäten Inledning Den här konsekvensanalysen har tagits fram för att synliggöra olika aspekter som kan påverka en omarbetning av den regiongemensamma elevenkäten. Analysen utgår ifrån fyra tänkta utfall och avslutas med en slutsats och reflektioner kring vad de olika besluten kan innebära. Bakgrund och syfte Inför upphandling av nytt avtal med leverantör under 2015 har ett omfattande arbete gjorts med översyn av den regiongemensamma enkäten, hur den visualiseras och hur rådatan varit åtkomlig. Arbetsgruppen för frågeöversyn har gjort en kartläggning av befintliga enkäter, frågor samt målgrupper. Under detta arbete har det framkommit att SKL och Skolinspektionen samarbetar kring en nationell enkät för målgrupperna 5 och 9 i grundskolan, samt år 2 på gymnasiet. Då många frågor är snarlika och målgrupperna likaså har frågan uppkommit om GR istället ska använda sig av den enkätens frågor de år huvudmännen inte har enkät från Skolinspektionen. På Kvalitetsnätverkets möte den 2 oktober 2015 diskuterades frågan om eventuellt byte av målgrupp samt en förändring av frågeinnehåll. Diskussion fördes huruvida årskurs 8 ska bytas ut till årskurs 9, samt huruvida årskurs 2 ska vara med i framtida enkäter. Nätverkets mening var att ett byte till åk 9 från och med 2017 var att föredra, medan åsikterna gällande årskurs 2 inte var eniga. Diskussion fördes även huruvida GR:s enkätfrågor ska bytas ut till Skolinspektionens frågor. Enighet råder inte i denna fråga, även om majoriteten av ledamöterna förordar en förändring till Skolinspektionens frågor. Då diskussionerna landade i att frågan fortsatt är komplex beslutades att en fördjupad konsekvensanalys bör göras innan eventuellt beslut om förändring tas. Kvalitetsnätverkets rekommendation var således att pausa arbetet med frågeöversyn, samt att skjuta upp beslutet gällande eventuell förändring av frågeinnehåll till I samband med beslut gällande eventuell förändring av frågeinnehåll tas även ett beslut gällande eventuell förändring av målgrupper. Metod och angreppssätt Utbildningschefsnätverket gav i uppdrag att tillsätta en arbetsgrupp bestående av tre ledamöter från Kvalitetsnätverket samt projektledare från GR med uppdraget att göra en fördjupad konsekvensanalys av ovan beskriven problematik. Gruppen har träffats vid tre tillfällen. Arbetet har varit transparent gentemot Kvalitetsnätverket som har fått ta del av arbetsmaterial och möjlighet till att ge synpunkter på detta. Arbetsgruppen presenterade även arbetet så långt det var gjort vid nätverkets möte den 18 mars Arbetet har utgått ifrån de argument som lyfts fram i tidigare diskussioner gällande 1

2 enkätens omarbetning. Dessa argument har i föreliggande analys lyfts in i en ny struktur. Analysen är uppbyggd kring konsekvenser av en omarbetning av enkäten utifrån fyra tänkta utfall: 1. Behålla målgrupp men byta frågor 2. Behålla frågor men byta målgrupp 3. Behålla både målgrupp och frågor 4. Byta både målgrupp och frågor Att byta frågor innebär genomgående i analysen ett byte till Skolinspektionens frågor. Att behålla frågor innebär genomgående i analysen en revidering av nuvarande frågor då detta redan är beslutat. Att byta målgrupp innebär att årskurs 8 byts till årskurs 9. Även om Skolinspektionen inte genomför sin enkät i årskurs 2 kommer denna målgrupp att vara kvar i Göteborgsregionen. Att behålla nuvarande målgrupp innebär att inga ändringar görs gällande målgrupp. Konsekvenserna kring dessa utfall analyseras utifrån tre kriterier som genomgående har varit centrala i de bakgrundsdokument som fört fram denna konsekvensanalys: Enkäten ska vara lätt att genomföra och innebära mindre jobb och större samordningsvinster än om kommunerna genomfört enkäter själva. Enkäten ska vara ett verktyg i det systematiska kvalitetsarbetet. En hög svarsfrekvens är önskvärt för att därmed få en högre reliabilitet. Enkätresultaten ska vara komparativa och därmed kunna sättas i ett relevant sammanhang. Underlag från Kvalitetsnätverket Därtill har ett antal frågor skickats ut via ett Googleformulär till samtliga representanter i Kvalitetsnätverket. 10 av 13 kommuner svarade och i några kommuner var det flera professioner som arbetar med den regiongemensamma enkäten i sitt dagliga arbete som svarade, totalt 21 stycken. (Se frågor i dokument Bilaga Konsekvensanalys - enkät) 2

3 Analys 1. Behålla målgrupp men byta frågor Om nuvarande målgrupp behålls kommer skolorna det år som Skolinspektionens enkät genomförs (vartannat år) att göra två enkäter med samma innehåll (GR + Skolinspektionen), men för två olika målgrupper (åk 8 och9). Det är då viktigt att ha koll på när olika kommuner och fristående koncerner har inspektion. Detta för att veta vad som ska samlas in från kommunerna och när (vid inspektion finns möjlighet för skolhuvudman att stå över GR-enkäten). Samma frågor i de olika enkäterna kan göra att de blir bättre synkade, vilket kan bidra till en högre svarsfrekvens i båda enkäterna. (Idag är det högre svarsfrekvens på GR-enkäten än Skolinspektionens enkät) Genom att behålla nuvarande målgrupp finns möjlighet att arbeta vidare med tillfrågade elever utifrån enkätens resultat eftersom alla årskurser då har ett år kvar på skolan. Det är idag oklart om GR får tillgång till data på klassrumsnivå varje år om frågorna byts. Skolinspektionens uppdrag är att se till att skolor följer lagen. Med samma frågor har alla samma bild och tittar efter samma saker, vilket gör att huvudman kan tillse att lagen följs. Om målgruppen behålls kan inte GR fortsätta att rapportera till SKL. (eftersom SKL ska byta till åk 9) Samma frågor i båda enkäterna kan medföra en bättre synkning dem emellan och därmed en högre svarsfrekvens. Om nuvarande målgrupp behålls finns möjlighet att jämföra resultaten inom regionen i årskurs 8 för att sedan se vad som händer efter att samma elever genomfört Skolinspektionens enkät i årskurs 9. Om Skolinspektionen får ett annorlunda uppdrag eller byter frågor varje år går det inte att jämföra över tid. Om frågorna byts går det att jämföra geografiskt (med andra regioner). Om frågorna byts finns inte möjlighet att jämföra bakåt i tiden. GR får vartannat år med de fristående aktörer som valt att stå utanför GR (20% av våra gymnasieelever). Och kan därmed vartannat år jämföra med samtliga skolor i regionen. 2. Behålla frågor men byta målgrupp 3

4 Det år Skolinspektionens enkät genomförs (vartannat år) kommer skolorna att genomföra två enkäter med olika innehåll (GR + Skolinspektionen) för samma målgrupp (5,9, gy2). GR blir oberoende (gällande frågorna). Det finns bättre möjlighet att varje år få svar på elevernas upplevelser om exempelvis skolmaten, skolans toaletter, syn på framtiden osv om nuvarande frågor behålls. Upplevelsen efterfrågas inte i Skolinspektionens frågor. Om målgrupp byts kan GR fortsätta att rapportera till SKL (eftersom SKL ska byta till årskurs 9). I GR-enkäten finns möjlighet att varje år mäta på klassnivå med hjälp av rådata. Huruvida detta är möjligt vet vi inte i nuläget. Om frågorna behålls finns möjlighet att jämföra bakåt i tiden. 3. Behålla både målgrupp och frågor Om nuvarande målgrupp behålls kommer skolorna det år som Skolinspektionens enkät genomförs (vartannat år) att göra två enkäter med olika innehåll (GR + Skolinspektionen), för två olika målgrupper (årskurs 8 och9). Genom att behålla nuvarande målgrupp finns möjlighet att arbeta vidare med alla elever utifrån enkätens resultat eftersom samtliga då har ett år kvar på skolan. GR blir oberoende (gällande frågorna). Det finns bättre möjlighet att få svar på elevernas upplevelser om exempelvis skolmaten, toaletter, syn på framtiden osv om nuvarande frågor behålls. Upplevelsen efterfrågas inte i Skolinspektionens frågor. Om målgruppen behålls kan inte GR fortsätta att rapportera till SKL (eftersom SKL ska byta till årskurs 9). I GR-enkäten finns möjlighet att varje år mäta på klassnivå med hjälp av rådata. Om nuvarande målgrupp behålls finns möjlighet att jämföra resultaten inom regionen i åk 8 för att sedan se vad som händer efter att samma elever genomfört Skolinspektionens enkät i åk 9. Om frågorna behålls finns möjlighet att jämföra bakåt i tiden. 4

5 GR-enkäten kommer fortsatt kunna jämföras med övriga GR varje år. Därtill kommer några frågor (SKL-frågorna) att kunna jämföras med riket och andra regioner. Mer djuplodande jämförelser med rike och region görs då bara vartannat år, när Skolinspektionen genomför sin enkät. 4. Byta både målgrupp och frågor Det blir färre olika enkäter för samma målgrupp. Vartannat år, när skolinspektionen genomför sin enkät, kan kommuner avstå från att delta i GR:s enkät eftersom samma frågor ställs. Samma frågor i enkäterna kan göra att de blir bättre synkade, vilket kan bidra till en högre svarsfrekvens i båda enkäterna. (Idag högre svarsfrekvens på GRenkäten än Skolinspektionen) Det år Skolinspektionens enkät genomförs (vartannat år) kommer skolorna ha möjlighet att genomföra två enkäter med samma innehåll (GR + Skolinspektionen) för samma målgrupp (5,9, gy2). Detta gör att det då finns möjlighet till två mätpunkter i samma målgrupp under ett läsår höst och vår. Om målgrupp byts kan GR fortsätta att rapportera till SKL (eftersom SKL ska byta till åk 9). Det är lättare att jobba med resultatet när samma frågor återkommer varje år. Det vill säga att om GR och Skolinspektionen har samma frågor följs frågorna upp varje år och det blir lättare att jobbare utifrån de resultat som Skolinspektionens enkät visar. Proaktivt. Skolinspektionens uppdrag är att se till att skolor följer lagen. Med samma frågor har alla samma bild och tittar efter samma saker, vilket gör att huvudman kan tillse att lagen följs. Samma frågor i båda enkäterna kan medföra en bättre synkning dem emellan och därmed en högre svarsfrekvens. Om Skolinspektionen får ett annorlunda uppdrag eller byter frågor varje år måste även GR byta frågor för att behålla jämförelsen med riket. Detta gör dock att historisk jämförelse försvinner. Om frågorna byts går det att jämföra geografiskt (tex med andra regioner). Om frågorna byts finns inte möjlighet att jämföra lika långt bakåt i tiden. GR får vartannat år med de fristående aktörer som valt att stå utanför GRenkäten (ca 20% av gymnasieeleverna). Och kan därmed vartannat år jämföra med samtliga skolor i regionen. 5

6 Slutsats Nedan presenteras en slutsats kring vilka av de tänkta utfallen som arbetsgruppen bedömer som mer lämpliga än övriga när det gäller de olika perspektiven samordning, användbarhet och jämförbarhet. Det som sedan avgör beror på vilken vikt som läggs vid de olika perspektiven. Enkäten ska vara lätt att genomföra och innebära mindre jobb och större samordningsvinster än om kommunerna genomfört enkäter själva. Om nuvarande målgrupp behålls kommer skolorna det år som Skolinspektionens enkät genomförs att ha ytterligare en målgrupp (årskurs 8) att samordna när det gäller exempelvis utdelning av inloggningsuppgifter och bemanning vid genomföranden. Om frågorna dessutom behålls i nuvarande form innebär det att två olika enkäter ska genomföras vid två tillfällen med två olika målgrupper. Att behålla målgrupp och frågor skulle således öka administrationen för skolorna. Om årskurs 8 byts ut till årskurs 9 har kommunerna fyra årskurser att hantera, precis som tidigare. Om frågorna byts till Skolinspektionens har kommunerna möjlighet att avstå GR-enkäten det år de har inspektion. Utifrån dessa aspekter bedöms alternativ 4, att byta både målgrupp och frågor, vara det mest lämpliga ur ett samordningsperspektiv. Enkäten ska vara ett verktyg i det systematiska kvalitetsarbetet. En hög svarsfrekvens är önskvärt för att därmed få en högre reliabilitet. Eftersom enkätens användbarhet är viktig i alla led, finns olika sätt att se på vilket alternativ som är mest lämpligt. Det som avgör kan exempelvis vara var i organisationen en person befinner sig samt hur resultatet vidare tas om hand om i kvalitetsarbetet. Nedan följer en sammanställning kring olika aspekter som kan användas för beslut. Data på klassnivå I dagsläget levereras resultaten från enkäten på årskurs- och skolnivå. Kommunerna har också tillgång till rådata ner på individnivå. 2 av de 21 som svarat på frågorna via Googleformuläret menar att de skapar klassrapporter utifrån rådatafien och använder detta i det systematiska kvalitetsarbetet. Några vet inte om detta görs. Med dagens frågor finns även möjlighet att få svar på elevernas syn på exempelvis skolmaten och skolans toaletter, vilket skulle vara svårare vid ett byte av frågor. Förutsatt att dessa två aspekter anses vara viktigast bedöms utifrån analysen att alternativ 2 och 3, som båda handlar om att behålla frågorna, vara mest lämpliga ur ett användbarhetsperspektiv. Möjlighet att arbeta med resultatet Majoriteten av de som svarat på frågorna via Googleformuläret använder resultaten för att arbeta med de elever som genomfört enkäten. För att det ska vara möjligt att göra 6

7 detta med samtliga elever behöver målgruppen vara kvar i nuvarande form, eftersom alla respondenter då har ett år kvar på skolan. Förutsatt att dessa aspekter anses vara viktigast bedöms alternativ 1 och 3, som handlar om att behålla målgrupp, vara mest lämpliga ur ett användbarhetsperspektiv. Samma bild som Skolinspektionen Om det i stället anses viktigare att fortsatt kunna rapportera data till SKL (som ska byta målgrupp till årskurs 9) samt kunna ha möjlighet till ett proaktivt arbete gentemot Skolinspektionen, bedöms alternativ 4, som handlar om att byta både målgrupp och frågor vara mest lämpligt ur ett användbarhetsperspektiv. Enkätresultaten ska vara komparativa och därmed kunna sättas i ett relevant sammanhang. Jämföra med andra kommuner och fristående aktörer De flesta av de som svarat på frågorna som skickades ut via Googleformuläret menar att resultaten används i det systematiska kvalitetsarbetet för att jämföra med andra enheter inom den egna kommunen och andra kommuner i regionen. Flera använder den också för att jämföra med kommuner utanför Göteborgsregionen (via SKL:s Öppna jämförelser). Om det anses viktigast att kunna jämföra Göteborgsregionen med övriga Sverige, samt få med de fristående aktörerna i regionen som idag står utanför enkäten (ca 20% av eleverna i regionen), bedöms utifrån analysen att alternativ 4, att byta både målgrupp och frågor, är det mest lämpliga ur ett jämförbarhetsperspektiv. Jämföra bakåt i tiden Om det anses viktigare att ha möjlighet att jämföra resultatet med den egna verksamheten och kommunen de sex år tillbaka i tiden som GR-enkäten har genomförts bedöms utifrån analysen att alternativ 3, att behålla både målgrupp och frågor, är mest lämpligt ur ett jämförbarhetsperspektiv. Reflektioner Reflektioner från arbetsgruppen I dagsläget vet vi inte om GR kommer att få tillgång till Skolinspektionens rådata för att kunna mäta på klassnivå, vilket gör att ett eventuellt byte inte kan garantera tillgången till detta mer än vartannat år. Påverkar detta huruvida det blir ett byte av frågor? I sådant fall behöver kanske detta utredas innan beslut tas. Även om det finns en vinst med att byta till Skolinspektionens frågor, då detta bland annat kan göra kommunerna och skolorna mer rustade för inspektion, är frågan om uppdraget med den regiongemensamma enkäten är att jobba proaktivt med tillsyn? I dagsläget skiljer sig inte frågorna fundamentalt åt, men om de skulle göra det och frågorna i stället skulle ändras till att helt att bara handla om elevernas upplevelser kring exempelvis skolmaten och skolans toaletter skulle ett bredare perspektiv kunna ges på målgruppen. I sådant fall mäts något helt annat än det Skolinspektionen gör, vilket kan innebära en större differentiering och ett oberoende för regionen. 7

8 Oavsett huruvida frågor och målgrupp byts eller inte nu, kommer enkäten i framtiden att behöva justeras för att följa samhällsutvecklingen. Reflektioner från Kvalitetsnätverket Det är viktigt att användbarheten syftar till skolutveckling. Det märks av i kommunerna nu när Skolinspektionen intensifierat med mer återkommande enkätundersökningar. Det finns fördelar med båda alternativen gällande frågor, och om det blir så att frågorna behålls är ett lockande alternativ att göra en ordentlig översyn av frågorna, exempelvis att dra lärdomar av Göteborgs modell för enkäter till vårdnadshavare. Valet är inte mellan pest eller kolera i allmänhet två ganska lockande alternativ vad gäller frågeinnehållet. För de små kommunerna är det enkelhelheten att administrera och samordna som väger tyngst, mindre administration och samordning frigör mer tid för att arbeta med resultaten. Den nationella jämförelsen blir allt viktigare, då fler samarbeten och utvecklingsprocessen sker nationellt eller med andra kommuner utanför Göteborgsregionen. Om enkätfrågorna behålls i nuvarande form finns möjlighet att ändra frågor så att de i högre grad liknar Skolinspektionens frågor, om vissa anses bättre än våra tidigare frågor. Det finns ingen garanti att Skolinspektionen kommer att finnas för alltid. Diskussionen handlar därför om vilka frågor som anses bäst GR:s eller Skolinspektionens. Enkäten kommer oavsett fortsatt genomföras i GR:s regi. Det är viktigt att vara varsam med tilltron till Skolinspektionen eller deras betydande inflytande för lokala organisationers skolutveckling. Arbetsgruppen som genomfört konsekvensanalysen Sara Stark, Stenungsund Jonas Askne, Göteborg Jonatan Bengtsson, Kungälv Jenny Sjöstrand, GR Karin Johansson, GR Göteborg 6 april 2016 Bengt Randén /Arbetsgruppen Karin Johansson Jenny Sjöstrand 8