Arbetsseminarium: Från utvärdering till utveckling Utvecklande av kvalitetsledningssystem på basen av utvärderingsresultat Undervisningsrådet Leena Koski www.oph.fi leena.koski@oph.fi
Basuppgifter Arbetsseminarium: Från utvärdering till utveckling 189 anordnare av yrkesutbildning fick en länk till Survetteenkät. p.g.a. att läget hade förändrats, besvarade inte 5 enkäten. Ministeriet fastställde att beträffande undervisning i huslig ekonomi behöver man inte besvara enkäten. Enkäten besvarades av 168 utbildningsanordnare. Basen för utvärderingen var utbildningsanordnarnas självvärderingar, bakgrundsuppgifter och externa utvärderingsbesök och en på basen av dessa uppgjord kvantitativ och kvalitativ analys. Basen för grupparbetena utgörs förutom av de nationella resultaten, också av utbildningsanordnarnas resultat från evenemanget i Vasa.
Arbetsseminarium: Från utvärdering till utveckling alue 4.8 alue 5 alue 6 alue 1 50 40 30 20 10 0-10 -20-30 -40-50 alue 2 alue 3 alue 4.1 alue 4.7 alue 4.2 alue 4.6 alue 4.3 alue 4.5 alue 4.4 kaikki järjestäjät hyväksytty raja
Arbetsseminarium: Från utvärdering till utveckling Godkänd gräns OKM:s kvalitetsarbetsgrupp ställde för respektive utvärderings punkt ett minimikrav. Den fastställda gränsen som kvalitetsarbetsgruppen godkänt, varierade inom respektive utvärderingsområde och utvärderingspunkt. Inom utvärderingsområdena kvalitetskulturens och kvalitetskontrollens helhet, strategisk styrning och verksamhetens styrning, utvärdering, feedback, resultatinformation och förbättrande, hade den godkända gränsen ställts på en lägre nivå än för övriga utvärderingsområden.
Arbetsseminarium: Från utvärdering till utveckling Temaspecifika kriteriemedeltal gentemot målnivå
De temaspecifika kriteriernas relativa underskridande/överskridande (%)
Överskridande och underskridande av den godkända gränsen 100% Arbetsseminarium: Från utvärdering till utveckling 90% 80% 70% 71% 60% 50% 40% 30% 29% 20% 10% 0% hyväksytty raja alitettu (N=49) hyväksytty raja ylitetty (N=119)
Centrala resultat En stor del anordnare av yrkesutbildning har ett fungerande kvalitetsledningssystem som uppfyller kvalitetskraven (71 %) har ett fungerande kvalitetsledningssystem med beaktande av de kriterier som använts i utvärderingen och de krav som ställts på ett fungerande kvalitetsledningssystem. En del utbildningsanordnare var enligt sin egen utvärdering, rätt nära den i utvärderingen fastställda godkända gränsen (ca = 33). De väsentligaste starka sidorna: Arbetsseminarium: Från utvärdering till utveckling Starka sidor för strategisk styrning och verksamhetsstyrningens utvärderingsområde avser behärskande av strategiprocessen och personalens medverkan i den, samt integrering av kvalitetsstyrning som en del av strategisk styrning och styrning av verksamheten. Betydelsen av att ledningen förbinder sig till ett långvarigt arbete som främjar kvalitetsstyrning betonas. Starka sidor för det utvärderingsområde som ska förbättras, är bl.a. att utnyttja uppföljnings-, utvärderings- och resultatinformation, samt att tillämpa funktionerna i planerings- och projektverksamhet och nätverkssamarbete samt metoden lärande av andra. Kvalitetssäkringens starka sidor gällande specialundervisningens utvecklings-, handlednings- och serviceuppgifter är kundinriktning och att utnyttja mångsidig information gällande ett fortgående förbättrande av verksamheten.
Fördelningen av utbildningsanordnare enligt andelen arrangörsenliga utvärderingspunkter som översteg den godkända gränsen 100% Arbetsseminarium: Från utvärdering tillutveckling 90% 80% 70% 71% 60% 50% 40% 30% 20% 21% 10% 8% 0% alle 60%:ssa kohteista hyväksytty raja ylittynyt 61-80 %:ssa kohteista hyväksytty raja ylittynyt yli 80 %:ssa kohteista hyväksytty raja ylittynyt
Arbetsseminarium: Från utvärdering till utvecklingv Temaenliga kriteriemedeltal gentemot nationella godkända gränser
Arbetsseminarium från utvärderingsresultat till utveckling Profilerna för de utbildningsanordnare som överskridit och underskridit godkänd gräns enligt respektive utvärderingsområde 50 40 30 20 10 0-10 -20-30 alue 1 alue 2 alue 3 alue 4.1 alue 4.2 alue 4.3 alue 4.4 alue 4.5 alue 4.6 alue 4.7 alue 4.8 alue 5 alue 6 hyväksytty raja alitettu (N=49) hyväksytty raja ylitetty (N=119)
Arbetsseminarium: Från utvärdering till utveckling Centrala resultat Bland utbildningsanordnarna finns olikheter i kvalitetsledningssystemen i genomsnittet var de branschövergripande och till studerandeantalet stora samkommunernas kvalitetsledningssystem funktionsdugligare än övriga utbildningsanordnare, vid granskning enligt läroanstaltstyp, finns i genomsnitt de funktionsdugligaste kvalitetsledningssystemen, förutom vid yrkesläroanstalterna, också vid specialläroanstalterna, utvecklingsbehoven betonas hos de till studerandeantalet små utbildningsanordnarna, fastän litenheten enligt resultaten inte betyder att ett kvalitetsledningssystem saknas, överskridning av godkänd gräns tycktes minska skillnaderna mellan de grupper utbildningsanordnare som överskridit gränsen, Skillnaderna mellan de som underskridit godkänd gräns var större än de som överskridit den, skillnaderna mellan de utbildningsanordnare som använt sig av referensram ISO-, CAF- och/eller EFQM- (ca =123) är mindre än mellan utbildningsanordnare som använt sig av andra kvalitetsstyrningsmässiga referensramar eller metoder, statistikmässigt signifikanta skillnader fanns bara gällande längden på det systematiska arbetet i kvalitetsstyrningen.
Osuus järjestäjistä (%) Arbetsseminarium: Från utvärdering till utveckling Relativa andelar för anordnare av utbildning som överskridit och underskridit godkänd gräns Vasa 2015 35% 30% 30% 25% 24% 20% 20% 15% 10% 10% 7% 5% 1% 2% 4% 2% 0% -40 - -31-30 - -21-20 - -11-10 - -1 0-10 11-20 21-30 31-40 41-50 Poikkeama hyväksytystä rajasta (%)
Centrala resultat Arbetsseminarium: Från utvärdering till utveckling Långsiktigt utvecklande och utvärdering av kvalitetsstyrning har stor betydelse enligt bakgrundsvariabel-analysen har de enda skillnaderna mellan utbildningsanordnarna samband med den statistikmässigt förklarande faktorn som hänför sig till längden på utveckling av kvalitetsstyrning, betoning på betydelsen av en systematisk kvalitetsstyrning (bl.a. utvecklingsplanen, KESU ) kriteriernas process för utarbetning var interaktiv och de piloterades stödande av nätverkande bl.a. genom att finansiera regionala nätverk för de anordnare som utvecklat kvalitetsstyrning i mer än 6 år, var ifrågavarande system statistikmässigt bättre än de som utvecklat sitt system under kortare tid, Ett mångårigt, målmedvetet arbete krävs för att utveckla kvalitetsstyrning och föra den till en god nivå.
Arbetsseminarium frånutvärderingsresultat tillutveckling Överskridning av godkänd gräns enligt längden på ett systematiskt kvalitetssystem 100% 90% 89% 88% 80% 70% 60% 63% 50% 40% 37% 30% 20% 10% 0% alle 3 vuotta (N=41) 3-5 vuotta (N=32) 6-10 vuotta (N=28) yli 10 vuotta (N=67)
Strategisk styrning och ledande av verksamhet Arbetsseminarium: Från utvärdering till utveckling 2.11 Hållbar utveckling som en del av ett kvalitetsledningssystem har utvärderats i genomsnitt sämre i ifrågavarande utvärderingsområden (av kriterierna 9) kriteeri 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 Kokonaisarvio 2.1-2.13 ka 3,06 3,27 2,89 2,83 2,80 2,99 3,38 3,13 3,25 2,89 2,76 3,10 3,08 3,02 Leena Koski
Arbetsseminarium: Från utvärdering till utveckling Hållbar utveckling enligt längden på systematiskt kvalitetsstyrningsarbete Systematiskt kvalitetsstyrningsarbete (mt innehåller helhetsbedömning) 2.10 mt 2.11 mt under 6 år 2,61 2,42 6 år eller mer än 3,10 3,02
Arbetsseminarium: Från utvärdering till utveckling Centrala resultat/ Utvecklingsutmaningar En relativt stor del av utbildningsanordnarna har inga fungerande utvärderingstillämpningar för sin egna verksamhet. Inom utvärderingsområdet utvärderings-, respons och resultatinformation, betonas olika nöjdhetsenkäter och uppföljningsuppgifter, men tillämpningarna gällande utvärderingar och auditeringar samt kommunikation i anslutning till utvärderingsresultat, är inte systematiska i någon större omfattning. Utvecklingsbehoven inom delområdena utvärderings-, respons- och resultatinformation betonas mer än andra enligt respektive bakgrundsvariabel vid olika enheter. Kvalitetskulturens och kvalitetsstyrningens helhetsmässiga utvecklingspunkter utgår från kvalitetsledningssystemets dokumentering och systemets elektronisering och informationssystem, förenhetligande av tillvägagångssätt hos olika verksamhetsenheter samt olika aktörers, såsom personal, studerande, partner och intressenters deltagande i kvalitetsstyrning och det fortgående förbättrandet av den. Också säkerställandet av kvalitetsstyrnings- och utvärderingskompetens inom olika sektäorer är en väsentlig utvecklingspunkt.
Centrala resultat/utvecklingspunkter Enligt kvalitetsanalysen i anknytning till basuppgifterna och funktionerna som stöder dem, är kvalitetsstyrningens utvecklingsbehov beträffande de som överskridit och underskridit den godkända gränsen bl.a. följande: beaktande av kundernas behov i planer som berör de pedagogiska linjedragningarna i tillvägagångssätten, utarbetande av läroplaner och individualisering. fastställande av mål för processerna, beskrivning av processer, dokumentering och skapande av enhetliga tillvägagångssätt för kvalitetsstyrning av olika processer, ingjutande av enhetliga tillvägagångssätt för processerna vid verksamhetsenheterna och för alla utbildningar, förenhetligande av kvalitetsstyrningens tillvägagångssätt och verksamhetsprinciper gällande alla basuppgifter och försäkrande av att de verkställs vid alla verksamhetsenheter och funktioner, analys av utvärderings-, respons- och resultatinformationens omfattning och resultat, utvärderings-, respons- och resultatinformation och övrig viktig information samt utnyttjande av projektverksamhet som bas för fortgående förbättrings- och utvecklingsmetoder och befrämjande av innovativa lösningar. Arbetsseminarium: Från utvärdering till utveckling
Arbetsseminarium: Från utvärdering tillutveckling Samtliga anordnare av yrkesutbildning 3. Personal och övriga utbildningsaktörer Anordnare av grund- och tillägssutbildning 4 3,5 3 2,5 2 1,5 1 Hela materialets mt 0,5 0 Helhetsbedömningarnas mt
Utvecklingsförslag till utbildningsanordnare Anordnare av yrkesutbildning ställer mål för att utveckla sitt kvalitetsledningssystem utgående från sin utvärdering och andra resultat Undervisnings- och kulturministeriets rekommendation var att utarbeta en utvecklingsplan Uppföljningsförfarande Beaktande av förändringar i verksamhetsmiljön Arbetsseminarium: Från utvärdering tillutveckling säkerställer en fortgående utveckling av kvalitetsstyrning och kvalitetskultur säkerställer att kvalitetsledningssystemet täcker alla funktioner och som en del av sin kvalitetskulturen utvecklar tillvägagångssätt med vilka man säkerställer funktionernas likriktning för olika processer och verksamhetsenheter, säkerställer ledningens, personalens och de studerandes kvalitetsstyrningskunskaper, såsom de studerandes, arbetslivets, kompanjonernas och andra intressenters deltagande i kvalitetsstyrning och utvecklandet av den, samt befäster den verksamhetskultur som stöder hela organisationens inlärning och kutym och lärande av andra organisationer,
EQAVET- kvalitetscirkel Definiera mål och destination Mål och planering Kontroll Feedback, göra förändringar Metoder Verkställande Koherent med målen Utvärdering Insamling och behandling av data och diskussion kring resultaten
Arbetsseminarium: Från utvärdering tillutveckling Utvecklingsförslag till utbildningsanordnare Anordnare av yrkesutbildning (fortsätter) utvecklar ett utvärderingssystem och utarbetar en utvärderingsplan utgående från egna mål, utvecklar utvärderingskompetens och utvärderingsmetoder samt försäkrar sig om att utvärderingsplanen verkställs i praktiken och tryggar en fortgående utveckling av utvärdering och försäkrar sig om att ha en övergripande uppfattning om förbättringsoch utvecklingsbehov och tillvägagångssätt för ett fortgående förbättrande och utveckling och uppföljning för hur dessa förverkligas.
Arbetsseminarium: Från utvärdering till utveckling Verkställande och anslutningspunkt för kvalitetsstrategin (UBS) Från nationellt stöd av utveckling till utnyttjande av utvärderingsresultat Stöd för kvalitetsstrategi för år 2015 syftet för statsunderstöden är att stöda utvecklandet av den kvalitetsstyrning som sker i utbildningsanordnarnas nätverk. Utvärderingsresultaten presenteras för undervisnings- och kulturministeriets kvalitetsgrupp, som förbereder en framställan på basen av resultaten, med beaktande av de nya utbildningspolitiska linjedragningarna. Kvalitetsgruppen förbereder en framställan om ett system med vilket utbildningsanordnarna stöds och uppmuntras till ett fortgående utvecklande av kvalitetsstyrning i en föränderlig verksamhetsmiljö.
Aktuellt om kvalitetsstyrning Arbetsseminarium: Från utvärdering till utveckling Till stöd för kvalitetsstrategin 2014 avslutningsevenemanget för statsunderstöden ägde rum 7.-8.12.2015 (UBS och LARKnätverket), MERCURIA, Kauppiaitten Kauppaoppilaitoksessa (vid Handelsinstitutet för köpmän) Materialet finns på UBS sida, till stöd för kvalitetsstyrningen.