Revisionsrapport Elevernas måluppfyllelse Hans-Lennart Stenqvist Revisorerna i Vara kommun
Innehållsförteckning 1.1. Bakgrund och revisionsfråga... 1 1.2. Metod och genomförande... 1 3.1. Fastställda rutiner för att dokumentera och rapportera måluppfyllelsen... 4 3.1.1. Granskningsmålet bedöms... 4 3.2. Fastställda rutiner tillämpas av skolorna... 4 3.2.1. Granskningsmålet bedöms... 5 3.3. Bildningsnämnden tar regelbundet del av rapporterna... 5 3.3.1. Granskningsmålet bedöms... 8 3.4. Bildningsnämnden följer utvecklingen över tid... 8 3.4.1. Granskningsmålet bedöms... 8 3.5. Bildningsnämnden diskuterar och kommunicerar resultaten med skolorna 8 3.5.1. 2.4.1. Granskningsmålet bedöms... 8 3.6. Revisionsfrågan besvaras... 9 3.7. Revisionell bedömning... 9 Revisorerna i Vara kommun
1. Uppdraget har på uppdrag av revisorerna i Vara kommun granskat bildningsnämndens arbete med elevernas måluppfyllelse. 1.1. Bakgrund och revisionsfråga Elevernas måluppfyllelse har lyfts fram i olika jämförelser. Nämnden är ytterst ansvarig, men har inte mandat att gå in i skolornas inre arbete. Det måste således finnas en tydlig gräns mellan det politiska ansvaret och de professionellas. Berörd nämnd måste därför ha utvecklade rutiner för att följa upp och värdera utvecklingen av måluppfyllelsen, och mot bakgrund av resultaten säkerställa att de professionella har goda förutsättningar att lyckas med sitt uppdrag. Exempel på detta är lokaler, behöriga lärare, riktad resursstyrning med mera. Revisionsfråga Har Bildningsnämnden utvecklade och ändamålsenliga rutiner för att följa elevernas måluppfyllelse? Revisionskriterier Skolorna har fastställda rutiner för att dokumentera och rapportera måluppfyllelsen Fastställda rutiner tillämpas av skolorna Bildningsnämnden tar regelbundet del av rapporterna Bildningsnämnden följer resultatutvecklingen över tid Bildningsnämnden diskuterar och kommunicerar resultaten med skolorna Bildningsnämnden beaktar resultaten i sin styrning av verksamheten 1.2. Metod och genomförande Intervjuer/samtal har förts med utbildningsnämndens ordförande, förvaltningschef och utvecklingsledare. Skolbesök har genomförts på Vedums skola samt Nästegårdsskolan. I samband med skolbesöken har intervjuer/samtal genomförts med representanter för skolledning, elevhälsa och pedagoger. Följande dokument har granskats: Utredning och pedagogisk bedömning av en elevs behov av särskilt stöd, Beslut om att inte utarbeta ett åtgärdsprogram, Beslut om åtgärdsprogram för en elev i behov av särskilt stöd, Beslut om åtgärdsprogram för en elev i behov av särskilt stöd, Nytt beslut om åtgärdsprogram, Beslut om att avsluta åtgärdsprogram, Arbetsplan för Kvänums Barnomsorg/skola Jungs förskola 2013, Arbetsplan för Vedums förskola och skola, OH-material - Skolporten; Göteborg 20 mars 2013. Bedömning för Lärande och Likvärdighet Gudrun Erickson Göteborgs universitet Inst. för pedagogik och specialpedagogik, OH-material Betyg läsåret 11/12 redovisning Bildningsnämnden, Delårsrapport 2013 Bildningsnämnd, Bildningsnämndens uppföljning 2013 (BIN 90 AU 135), Information/ uppföljning(bin 86), Skriftliga omdömen och betygssättning i praktiken Hur ser vägen från kursplaner till skriftliga omdömen och betyg ut i praktiken? IUP vt 2013, Blankett för den framåtsyftande planeringen, LPP-mall, Plan för Revisorerna i Vara kommun 1 av 10
uppföljning av läs- och skrivutveckling, Läs-och skrivutveckling TRAS för förskolan, Nya språket lyfter - Läsutveckling åk f 6, Nya språket lyfter Muntligt åk f 6, Nya språket lyfter Skrivutveckling åk f 6, Om Elevhälsoteamet, Rutiner vid upprättande av åtgärdsprogram, Samtalsblankett - Anteckningar gjorda vid samtal gällande diskriminering och/eller kränkande behandling, Skolverkets allmänna råd - Arbete med åtgärdsprogram för elever i behov av särskilt stöd, Omdömesblankett för grundskolans årskurs 1 3, Social kartläggnig Vedums skola, Nya Språket lyfter - observationsschema för min språkutveckling årskurs 1 6, Vedums skolas trygghetsteam Läsåret 2013/2014, Uppföljning av kvalitetsarbetet Fritidshem Vedum, Uppföljning av kvalitetsarbetet - Grundskola Åk 7 9 - Grundskola Allé, Uppföljning av kvalitetsarbetet - Grundskolan Åk 1 6 - Grundskola Vedum, Uppföljning av kvalitetsarbetet - Grundskolan Åk 1 6 - Grundskola Arentorp, Likabehandlingsplan Vedums skola - Grundskola åk 1-6 läsåret 2012/2013, Verksamhetsplan Bildningsnämnden 2012 2015, Systematiskt - kvalitetsarbete Kompenserande verksamheter lå 13/14. Revisorerna i Vara kommun 2 av 10
2. Begreppet måluppfyllelse Inledningsvis kan det finnas anledning att fundera något över begreppet måluppfyllelse. I en renodlad redovisning av måluppfyllelse analyseras inte vilka händelser, eller icke händelser, som har orsakat det uppmätta resultatet. Redovisningen begränsas till en jämförelse mellan det satta måltalet och beskrivningen av det uppmätta resultatet. Måluppfyllelseanalys och effektanalys bör kombineras. Man talar då om beskrivande måluppfyllelseanalys (utan effektanalys) och förklarande måluppfyllelseanalys (med effektanalys). Den beskrivande måluppfyllelseanalysen är, av förklarliga skäl, generellt sett enklare att genomföra än effektanalysen. För information som anger i vilken utsträckning ett mål är uppnått behöver i princip två villkor vara uppfyllda. Det ena är att någon aspekt av målet är identifierad och kvantifierbar. Det andra villkoret är att den kvantifierbara aspekten är jämförbar med de faktiska data som finns tillgängliga eller går att samla in. Såväl mål som empiriska data måste kunna beskrivas enligt samma skala, vilket är en förutsättning för att bestämma var någonstans ett uppnått tillstånd befinner sig relativt målet. En svårighet med måluppfyllelseanalys är att målformuleringar kan rymma mer än vad som är möjligt att kvantifiera och mäta, och/eller i relation till arbetsinsatsen motiverat. Ofta går det bara att samla in relevanta data om ett måls kvantifierbara aspekter medan de viktigaste aspekterna i målet kanske är omöjliga att mäta. Vidare kanske mängden mätbara aspekter i ett mål är så stora, och svåra att överblicka att det, oavsett hur många indikatorer som mäts, alltid kommer att finnas en rest som inte blir beaktad. Alla svagheter, svårigheter och osäkerheter som uppstår vid försök att mäta måluppfyllelse ger trots allt utrymme för utveckling och ständiga förbättringar. Revisorerna i Vara kommun 3 av 10
3. Granskningsresultat 3.1. Fastställda rutiner för att dokumentera och rapportera måluppfyllelsen Skolorna har utvecklade system och rutiner för att dokumentera elevernas betygsresultat och uppnådda resultat på nationella prov. Vidare finns rutiner för att följa och dokumentera olika elevprestationer, exempel på detta är: Läsutveckling åk F-6, Muntligt F-klass- åk 6 samt skrivutveckling F-klass-åk 6. Av den dokumentation som granskats framgår att skolorna redovisar uppföljning av kvalitetsarbetet på ett likvärdigt sätt, vilket innebär att de för detta arbete följer givna rutiner. Uppföljningen baseras på de mål som bildningsnämnden i sin verksamhetsplan anger som nämndspecifik måluppfyllelse. Att bildningsnämnden fastställt de så kallade nämndspecifika målen för grundskolan framgår av Verksamhetsplan Bildningsnämnden 2012-2015. 3.1.1. Granskningsmålet bedöms Bildningsnämnden har säkerställt att skolorna har fastställda rutiner för att dokumentera och rapportera måluppfyllelsen. 3.2. Fastställda rutiner tillämpas av skolorna Som framgått av ovanstående har bildningsnämnden fastställt hur uppföljningen skall ske och vilka indikatorer som skall användas. Samtliga skolor dokumenterar och rapporterar måluppfyllse kopplad till de nämndspecifika målen på ett likvärdigt sätt. Nedanstående innehållsförteckning är hämtad från Uppföljning av kvalitetetsarbetet vid Vedums skola åk. 1-6. Revisorerna i Vara kommun 4 av 10
Innehållsförteckning Alla verksamheter ska stimulera sina kunder att nå sin fulla potential 3 Grund för det livslånga lärandet/god utbildning 3 Kunderna ska i alla verksamheter uppleva trygghet 10 Likabehandlingsarbetet 10 Kunderna i alla verksamheter ska ges inflytande och delaktighet 11 Elevernas inflytande 11 Verksamheterna ska sträva mot ständiga förbättringar av process och resultat och främja entreprenöriella förmågor 13 Rektor 13 Personal 14 3.2.1. Granskningsmålet bedöms Bildningsnämnden har säkerställt att fastställda rutiner för att dokumentera och rapportera måluppfyllelsen tillämpas av skolorna. 3.3. Bildningsnämnden tar regelbundet del av rapporterna Av bildningsnämndens kalendarium för uppföljning 2013 framgår att nämnde reserverat tid för information/diskussion om måluppfyllelsen. BIN 90 AU 135 Bildningsnämndens uppföljning 2013 Beslut Bildningsnämnden fastställer uppföljningsplan för 2013. Bakgrund Följande förslag till uppföljning av verksamheter för 2013 föreligger: Nämnd Uppföljning/anmälan Uppföljning delegeringsbeslut tis. 29 jan. Barnomsorg, Arbetsmiljö Kvalitetsredovisning Likabehandlingsplan tis. 5 nov. Hot- våldsplan Nationella prov, betyg o öppna jämförelser Revisorerna i Vara kommun 5 av 10
Vidare framgår av protokoll BIN 86 att Bildningsnämnden tar del av informationen: Nationella prov och betyg Utredare Ingela Näslund och utvecklingsledare Maria Mjörnestrand redovisar siffermaterial över betyg och uppnådda mål i år 9. Åtgärder för att förbättra måluppfyllelsen för elever i Vara kommun redovisas. Nedanstående är hämtat från ett OH-material som redovisar uppnådda betygsresultat i Vara kommun. De nämndspecifika målen redovisas i bildningsnämndens delårsrapport. Nedanstående exempel är hämtat från Delårsrapport augusti 2013. Revisorerna i Vara kommun 6 av 10
Alla verksamheter ska stimulera sina kunder att nå sin fulla potential. 2012 2013 Indikatorer Utfall 2012 Utfall 2013 Mål 2013 Kriterierna kännetecknar förskolan (andel F i BRUK) språk i förskolan Kriterierna kännetecknar förskolan (andel F i BRUK) matematik, natur/miljö i förskolan Andel elever som i slutet av åk 1 knäckt läskoden 4% 100% 1% 100% 97% 97% 100% Meritvärde åk 9 202,4 204,1 210 Andel elever som är behöriga till gymnasiet 88% 100% Andel kunder/elever/studenter som uppger att de får hjälp och stöd vid behov Andel elever i grundskolan som har sjukfrånvaro mer än 10 dagar/termin Andel elever i gymnasiet med fullständiga slutbetyg 89% 89% 100% 9,6% 9,6% 8% 84% 77% 100% Som framgår redovisas uppmätta resultat i förhållande till målbilden. Vidare används den så kallade trafikljusmodellen där grönt innebär att målet uppnåtts, gult innebär att det krävs ytterligare insatser för att nå önskade effekter. Rött signalerar att det krävs omedelbara och kraftfulla insatser. Skolorna använder i sin uppföljning av kvalitetetarbetet/måluppfyllelsen Skolverkets verktyg BRUK. I uppföljningarna av kvalitetsarbetet/måluppfyllelsen hänvisas till Skolverkets hemsida och den information som finns kring verktyget BRUK. Anvisning Kartläggning genom BRUK (Bedömning - Reflektion - Utveckling - Kvalitet) Vad har lett till resultatet? Våga värdera! http://www.skolverket.se/polopoly_fs/1.59991!menu/article/attachment/160176_gr _A1.4.doc Revisorerna i Vara kommun 7 av 10
Ett väsentligt inslag i arbetet är, som framgår, uppmaningen: Vad har lett till resultatet? Våga värdera! Vid genomgång av dokumenten konstateras att den beskrivande måluppfyllelseanalysen dominerar, medan den förklarande måluppfyllelseanalysen är ett mycket begränsat inslag och för fleralet mål helt saknas. I de fall ansatsen finns hänvisas till olika omständigheter och sällan eller aldrig till reflektion och analys av det egna förhållningssättet och/eller valet av metod och pedagogik. 3.3.1. Granskningsmålet bedöms Bildningsnämnden har säkerställt rutiner för att regelbundet få del av hur måluppfyllelsen utvecklas. Det redovisade materialet är en så kallad beskrivande måluppfyllelseanalys. Även om det bevisligen är mycket svårare kan det finnas anledning för nämnden att successivt i högre grad orientera uppföljningen mot en kompletterande, förklarande måluppfyllelseanalys (effektanalys). 3.4. Bildningsnämnden följer utvecklingen över tid De nämndspecifika målen anger utfall för 2012 och uppmätta resultat/utfall för 2013, vilket indikerar att uppföljning relativt de fastställda indikatorerna sker över tid. Det framgår inte av materialet om det finns resultat som är äldre än 2012. Relevans och värde avseende fastställda mål och indikatorer är en politisk fråga och därmed inte grund för revisionell bedömning. 3.4.1. Granskningsmålet bedöms Bildningsnämnden har säkerställt att det finns system och rutiner för att följa måluppfyllelsen över tid. 3.5. Bildningsnämnden diskuterar och kommunicerar resultaten med skolorna Dokumentation som styrker att bildningsnämnden diskuterar och kommunicerar måluppfyllelsen med skolorna har inte redovisats. Vid de samtal/intervjuer som genomförts framkommer inte heller något som tyder på att en sådan dialog förekommer. För att Bildningsnämnden skall förstå verksamhetens förutsättningar och på ett aktivt sätt använda uppföljningen av måluppfyllelsen/kvalitetsarbetet i sin styrning behöver, som tidigare påtalats, nämnden successivt i högre grad orientera uppföljningen mot förklarande måluppfyllelseanalys (effektanalys) samt utveckla formerna för en kontinuerlig dialog med skolorna. En framkomlig väg kan vara att i dialog med skolorna utarbeta en för varje skola individuell skolutvecklingsplan. 3.5.1. 2.4.1. Granskningsmålet bedöms Bildningsnämnden har inte säkerställt fungerande system och rutiner för att kommunicera måluppfyllese och resultat med skolorna. Revisorerna i Vara kommun 8 av 10
3.6. Revisionsfrågan besvaras Bildningsnämnden har utvecklade och ändamålsenliga rutiner för att följa elevernas måluppfyllelse. Bildningsnämnden har genom etablerade system och fastställda rutiner skapat grundläggande förutsättningar att bedriva systematisk uppföljning av måluppfyllelse och kvalitetsarbete. De brister som framkommer avser: Behovet att i högre grad orientera uppföljningen mot förklarande måluppfyllelseanalys (effektanalys). Förankring och delaktighet längst ut i organisationen avseende fastställda mål och indikatorer. Rutiner/former för att kommunicera resultat och måluppfyllese med skolorna. 3.7. Revisionell bedömning Påtalade brister till trots är granskningen i sin helhet inte underlag för revisionell kritik av bildningsnämnden. Det finns anledning för kommunens revisorer att genomföra en uppföljande granskning av bildningsnämndens arbete med system och rutiner för uppföljning av elevernas måluppfyllelse. -05 Hans-Lennart Stenqvist Projektledare Staffan Löfving Uppdragsledare Revisorerna i Vara kommun 9 av 10
Revisorerna i Vara kommun 10 av 10