Arbetsseminarium i Vasa Kompetens i självvärdering av kvalitetssystemen Vasa 15.1.2015 kl. 9.15-10.45 Linjedragningar för UKM:s kvalitetsgrupp Verkställande av självvärdering av kvalitetssystemen och presentation av kriterierna Undervisningsrådet Leena.Koski@oph.fi www.oph.fi
Seminariets syften Stöda verkställandet av självvärderingarna och främja självvärderingarnas pålitlighet. Öka deltagarnas gemensamma syn gällande tolkningen av kriterierna. Dela med sig av sina erfarenheter gällande verkställande av självvärdering, speciellt gällande användning av kriterier. Informera om de centrala priciperna i och genomförandet av den externa valideringen. Informera om publicering av resultaten av självvärdering samt rapportering av bedömning. Introduktionstillfället genomförs i form av ett statligt stött projekt. Möjligt att följa med och kommentera via fjärruppkoppling.
Utvärdering och tidtabell för kvalitetssystemen Utvärdering 7.1.-30.8.2015. UKM:s brev 18.12.2014, 13/591/2014 till utbildningsanordnarna, Utbildningsstyrelsen och Karvi Resultaten används i utvecklingen av yrkesutbildningens kvalitetssystem på den nationella och lokala/utbildningsanordnarens nivå. Resultaten av utvärderingarna används också som ett av bakgrunds materialen i reformprocesserna för yrkesutbildningens tillstånd att anordna utbildning. Har inverkat på tidtabellen. Självvärdering i form av kriterier 7.1.-13.3. klo 16.15 Resultaten förs till Survette-systemet. Den externa valideringen m.a.o.utvärderingsbesöken under tiden 8.4.-22.5. Publicering av resultaten av självvärderingen samt de preliminära resultaten av utvärderingen 6/2015 kommer på utbildningsstyrelsens sidor. Utarbetande av utvärderingsrapport senast 30.8..
Aktörer Utbildnings- och kulturministeriet Kvalitetsgruppen fungerar som ledningsgrupp. Utbildningsstyrelsen Karvi Utbildningsanordnarna samt representanter för personal, studerande och externa intressenter som deltar i deras självvärderingar Externa utvärderare som deltar i validering. Karvi och Utbildningsstyrelsen väljer tillsammans. Val av utvärderare12/2014-1/2015. Introduktionsdag för utvärderare 9.2. Förberedande dag för huvudutvärderare ordnas i slutet av mars.
Självvärdering Utbildningsstyrelsen svarar för självvärderingen. Introduktionstillfällen gällande kvalitetssystem arrangerades för ledningen och självvärderingens ansvarspersoner 10-11/2014 (6 st.). Introduktionstillfälle gällande kriterier 13.1.2015 Uleåborg, 15.1.2015 Vasa och HDO 16.1.2015. Stödprojekt för kvalitetsstrategin och regionala nätverk stöder också självvärderingen år 2015. En guide gällande självvärdering av yrkesutbildningens kvalitetssystem består av stödmaterial för självvärdering. Kriterier för utvärdering av kvalitetssystem. Båda finns på både finska och svenska. www.oph.fi/laadunhallinnan tuki.
Självvärdering Resultaten av självvärdering rapporteras med en Survette förfrågan i vilken alla utbildningsanordnare deltar. Lösenord för Survette-förfrågan har sänts till alla utbildningsanordnare för grundläggande yrkesutbildning och är senast 13.1. på väg till fortbildningsanordnarna Utbildningsanordnaren kan dela ut lösenord enligt eget tycke och föra in resultaten Survette-systemet i olika skeden. (Noggrannare anvisningar finns i början av förfrågan). Utbildningaanordnaren kan skriva ut sina svar i pdf-form (anvisningar finns i förfrågan). Varje utbildningsanordnare fyller endast i en Survette-förfrågan. Information ges av: Frågor gällande innehållet leena.koski@oph.fi Tekniskt stöd noora.lehtonen@oph.fi
Deltagande i självvärdering I utvärdering av olika utvärderingspunkter bör representanter för centrala aktörer delta i respektive utvärderingspunkt på ett ändamålsenligt sätt. Utvärderingspunkterna (4.2.-4.8.) utvärderas först och resultaten från dem utgör basen för utvärdering av punkt 4.1. I utvärdering av punkt 4.1. borde ledningen för utbildningsanordnaren och representanter för respektive utbildningsform, arrangemangsform och verksamhet delta. Representanter för de studerande bör åtminstone delta i utvärderingsområdet 4, punkterna 4.2.-4.7. Åsikterna hjälper också de övriga utvärderingsområdena vid definieringen av nivån enligt respektive utvärderingskriterium. Arbetslivets representanters deltagande i utvärdering av basuppgifter och i övrigt beaktande av en åsikt på motsvarande sätt som de studerandes åsikter. Övriga centrala intressenters och partners åsikter bör tas i beaktande på ett ändamålsenligt sätt.
Innehållet i självvärderingen Bakgrundsuppgifter Information om de grupper som deltagit i utvärdering En allmän beskrivning av utbildningsanordnarens kvalitetsstyrning och utvärdering Om utbildningsanordnarens verksamhet inte täcker all verksamhet som förfrågan innefattar, lämnas den obesvarad i detta avseende. Vid punkten för varje kriterium utvärderas utbildningsanordnarens situation på skala: 1= saknas 2= har påbörjats 3= under utveckling 4= väl utvecklat I slutet av förfrågan antecknas namn och ställning på alla som deltagit (listan kan kopieras) För varje utvärderingspunkt beskrivs en uppskattning av situationen för utbildningsanordnaren och ett bevis som stöder den.
Extern validering Karvi och utbildningsstyrelsen genomför tillsammans. Till extern validering väljs ca15 % av utbildningsaordnarna (35 st.) på basen av resultaten av självvärderingarna. På basen av självvärderingarna grupperas utbildningsanordnarna och ca var femte utbildningsanordnare tas till extern utvärdeting så att 35 utbildningsanordnare kommer med. Utbildningsanordnarna får information om uttagning till extern utvärdering senast 22.3. Utvärderingsbesöken pågår alltifrån en dag till 1,5 2 dagar. Utvärderingsgruppens storlek är 3-4 utvärderare, större kan bestå av 6. Extern utvärdering grundar sig på det material som man fått fram via självvärderingarna och som urvalsuppgifter i form av information som erhållits under utvärderingsbesöken. En muntlig feedback som avslutning på besöket och en kort skriftlig rapport.
Publicerande av självvärderingens resultat Resultaten av självvärderingen publiceras enligt respektive utbildningsanordnare och enligt respektive utvärderingspunkt (1-3) och (5-6). I utvärderingspunkt 4 publiceras också resultaten från underpunkterna (4.1.-4.8.) samt den totala utvärderingen av självvärderingen i punkt 4 som utbildningsanordnaren gett. Om utbildningsanordnaren inte gör någon självvärdering, publiceras också det resultatet. Resultaten av självvärderingen publiceras på Utbildningsstyrelsens nätsidor. Resultaten används i utvecklande av kvalitetsstyrning på nationell nivå.
Utbildningsanordnarnas åtgärder efter utvärdering Feedbacksförfrågan (Survette-förfrågan) ställs till utbildningsanordnarna efter hela processen. Utbildningsanordnaren publicerar utvärderingarnas centrala resultat. Utbildningsanordnaren gör eventuellt de korrigerande åtgärderna som krävs i kvalitetssystemet eller åtgärder som inriktar sig på funktionsdugligheten Utbildningsanordnaren utarbetar på basen av resultaten av självvärderingen en utvecklingsplan för kvalitetssystemet och besluter om ett tillvägagångssätt för uppföljning av planens genomförande Utbildningsanordnaren bedömer utvecklingsåtgärdernas prestanda och informerar om resultaten.
Principer för utarbetande och användande av kriterier Användarinriktning Kriterierna får inte begränsa utbildningsanordnarnas möjlighet att välja ett system som lämpar sig bäst för verksamhetsmiljön. En markering av basuppgifterna i kriterierna hjälper utbildningsanordnaren att inrikta sig på utvecklingsåtgärderna. Förtroende Prov på en verksamhet enligt kriterier ansvarar utbildningsanordnaren för. Verksamhetens öppenhet och transparens Resultaten och processen är offentliga och lättillgängliga. Strävan efter en jämn kvalitet och förträfflighet Kriterierna är utarbetade i fyra nivåer. Innovation, förmågan att förnya sig och lärande av andra Kriterierna består också av krav på systemets innovation, förmåga att förnya sig och lärande av andra.
Kriterierna för självvärdering av yrkesutbildningens kvalitetssystem Utvärderingspunkter: 1. Kvalitetskultur och kvalitetsstyrningens helhet 2. Uppskattning enligt kriterier (saknas, har påbörjats, under utveckling, väl utvecklat) Helhetsbedömning (saknas, har påbörjats, under utveckling, väl utvecklat) Utvärdering av egen situation enligt utvärderingspunkter Yrkesprov som stöder utvärdering 2. Strategiskt ledarskap och verksamhetsstyrning 3. Personal och övriga utbildningsaktörer 4. Kvalitetsstyrning av basuppgifter och funktioner som stöder dem 5.Utvärdering och användning av resultat 6. Förbättring
Kriterierna för självvärdering av yrkesutbildningens kvalitetssystem Utvärderingspunkt 4 underpunkter: 4.1 Basuppgifternas kvalitetsstyrning som helhet Utvärdering enligt kriterier (saknas, har påbörjats, underutveckling, väl utvecklat) Helhetsbedömning (saknas,inledande,utvecklande, avancerad) Utvärdering av egen situation enligt respektive bransch Yrkesprov som stöder utvärdering 4.2 Utbildning som arrangeras som yrkesutbildning i läroanstaltsform 4.3 Arrangerande av yrkesprovsexamen och förberedande utbildning för den (ge, ye, sye) 4.4 Läroavtalsutbildning 4.5 Övrig utbildning (förberedande och orienterande, övrig inte examensinriktad utbildning, verkstadsverksamhet) 4.6 Avgiftsbelagd serviceverksamhet 4.7 Stödtjänster som erbjuds studerande 4.8 Yrkesinriktade specialläroanstalters utvecklings- väglednings- och stödtjänster i specialundervisningen
Allmänt om kriterier Kriteriernas olika nivåer är kumulativa och således inte alltid på en lägre nivå än framförda krav vid förflyttning till följande nivå. Yrkesprov: Ett yrkesprov är utbildningsanordnarens presenterade evidens för att utbildningsanordnarens verksamhet uppfyller de kännetecken som förutsätts i kriterierna på den nivå som utvärderas. Endast ett centralt bevis och ett eventuellt externt utvärderingsbesök av utbildningsanordnaren Bevis för systemets funktionsduglighet och kontinuerliga förbättring förutsätts i allmänhet under minst tre års i det avancerade skedet. Kvalitetssystemet bör också täcka garanterandet av kvaliteten för inlärning som sker på arbetsplatsen. Då kriterierna består av flera komponenter, är uppskattningen inte något medeltal, utan en uppskattning som utformats på basen av en gemensam diskussion. Kriterierna innefattar principen för fortgående förbättring (EQAVETreferensram) samt övergripande på utbildningsanordnarens nivå och också på respektive nivå för utvärderingsobjekten och också på avancerad nivå.
Inledande nivå Kvalitetsstyrningens tillvägagångssätt täcker en del av organisationensfunktionerna. Kvalitetsstyrningen är endast till en del kopplad till styrningssystemet. Kvalitetsstyrningens mål och ansvar är oklara. Det finns brister i systematik, omfattning och dokumentering. De studerandes och intressenternas deltagande är sporadiskt eller individuellt skiftande. Man samlar systematiskt enstaka utvärderings-, feedbacks- och resultatuppgifter på vilka man reagerar. Det finns i någon mån prov på utvecklande av tillvägagångssätt.
Utvecklande nivå Kvalitetsstyrningens tillvägagångssätt bildar ett funktionerande system. Kvalitetssystemet täcker till väsentliga delar utbildningsanordnarens basuppgifter och på ett ändamålsenligt sätt utvecklandet av verksamheten Ledningen styr kvalitetskontroll och kvalitetsutveckling och kvalitetsstyrningen hör rätt väl ihop med en del av ledarsystemet. Intressenter och partner deltar i kvalitetskontroll och utveckling. Bildande av kvalitetskultur stöds med systematiskt utvecklande av kvalitetsstyrnings- och utvärderingskompetens. Organisationen har en gemensam syn på hur utbildningens kvalitet kontrolleras och förbättras och utvecklandet av verksamheten baserar sig på en befintlig kvalitetskultur. På basen av självvärdering, nationell och övrig utvärdering samt resultats- och feedbacksinformation har utvecklingsåtgärder inletts. Bevis för kvalitetssystemets effekt i utvecklingen av verksamheten finns i någon mån.
Avancerad nivå Kvalitetsstyrning är en väsentlig del av ledarskapssystemet. Kvalitetsstyrningens tillvägagångssätt bildar ett övergripande och dynamiskt system. Kvalitetssystemet täcker alla utbildningsanordnarens funktioner och nivåer och stöder på ett utomordentligt sätt uppnåendet av målen på basen av utbildningsanordnarens utbildningspolitiska syften. Det finns prov på tillämpning av tillvägagångssätt på gemensamt överenskomna sätt gällande olika funktioner, enheter och nivåer. Bildande av kvalitetskultur stöds genom ett systematiskt utvecklande av kvalitetsstyrnings- och utvärderingskompetens och om dess effekt finns klara och kontinuerliga tecken. En etablerad kvalitetskultur stöder på ett utomordentligt sätt utbildningsanordnarens verksamhet och utvecklandet av den.
Avancerad nivå Personal, studerande och övriga intressenter och partner deltar i utarbetandet och genomförandet av kvalitetssystemet på ändamålsenliga sätt för att stöda uppnåendet av målen. Kvalitetssystemet täcker tillvägagångssätten och deras tillämpning av utvärdering och förbättring. Det finns klara och kontinuerliga bevis för kvalitetssystemets effekt i utvecklingen av verksamheten.
Exempel på användning av kriterier Kunder: Utbildningsanordnaren besluter vilka som är de väsentligaste kunderna och hurudana tjänster eller produkter som erbjuds dem. Ledningen, samarbetspartner på det sätt som utbildningsanordnaren besluter Dokumentering: Dokumenteringen av kvalitetssystemet och informationen som det producerat borde göras systematiskt och på ett ändamålsenligt sätt. På ändamålsenliga sätt: I kriterierna granskas ändamålsenlighet i förhållande till ställda mål, m.a.o. exempelvis på hur tillvägagångssättet som valts, främjar uppnåendet av målen. Tillvägagångssättens enhetlighet: Utbildningsanordnaren definierar hur enhetlig organisationens verksamhet bör vara, t.ex. vid olika enheter eller utbildningsbranscher med beaktande av normerna.