Fördjupningsmaterial till rapporten Kvalitetsarbetet och utvecklingen av verksamheten inom folkbildningen Inledning.

Transkript

1 Fördjupningsmaterial till rapporten Kvalitetsarbetet och utvecklingen av verksamheten inom folkbildningen 2011 Inledning I samband med framtagandet av rapporten Kvalitetsarbete och utveckling av verksamhet inom folkbildningen genomfördes ett antal fokusgruppsamtal med representanter från folkhögskolor och studieförbund. Fokusgruppsamtalen genererade ett rikt material som utgjorde ett värdefullt underlag till den rapport som togs fram. I detta fördjupningsmaterial kompletteras den text som finns i rapporten med citat från fokusgrupper och konkreta exempel på utveckling av systematik och lärande processer inom ramen för studieförbunds och folkhögskolors kvalitetsarbete. Vi vill tillgängliggöra och sprida detta fördjupningsmaterial därför att vi tror att det kan bidra till igenkänning, inspiration och lärande som främjar folkhögskolors och studieförbunds fortsatta arbete med att stärka uppföljning, utvärderande och lärande inom egen organisation och verksamhet. Utgångspunkt Utgångspunkten för 2011 års kvalitetsuppföljning har varit Utvärdering och lärande. Folkbildningsrådet valde denna fokus utifrån slutsatsen att 1 Folkbildningsrådets rapport, inlämnad till Regeringen i februari 2012

2 2/20 folkhögskolor och studieförbund har ett fortsatt behov av att stärka formerna för utvärdering och hur dess resultat och lärdomar kan tas tillvara i verksamheten. Ett sätt att synliggöra systematiken i kvalitetsarbetet är att utgå från en verksamhetscykel som omfattar processerna för planering, genomförande, utvärdering (uppföljning, reflektion, analys) och lärande (slutsatser, åtgärder). Ett väl fungerande systematiskt kvalitetsarbete, som inkluderar alla delar i verksamhetscykeln, skapar förutsättningar för medvetna och väl underbyggda beslut och åtgärder i syfte att upprätthålla och stärka kvalitet liksom att utveckla verksamheten vidare. Denna modell har använts som utgångspunkt för resonemang och analys i detta fördjupningsmaterial. I materialet refereras ofta till utvärdering och lärande, vilket avser former för att följa upp, reflektera, analysera och utvärdera i syfte att dra lärdomar och vidta åtgärder för planering och genomförande av fortsatt verksamhet. Fokusgruppsamtalen har handlat om förutsättningarna för att stärka dessa delar av verksamhetscykeln. Fokusgruppsamtal som metod Fokusgruppsamtal är en form av systematiserad gruppintervju där deltagarna möts för att diskutera ett givet ämne. Metoden bygger på dialog och delaktighet. Samtalet utgår från en på förhand definierad samtalsmall, leds av en moderator, och dokumenteras av en dokumentatör. Detta fördjupningsmaterial bygger på fyra dokumenterade fokusgruppsamtal 2 med representanter från studieförbund och folkhögskolor 3. Deltagare har varit 2 Fyra fokusgrupper enligt följande: Grupp 1: Kvalitetsansvariga inom studieförbund samtal om förutsättningar för och resultat av kvalitetsarbete med fokus på lärandeprocesser. Grupp 2: Kvalitetsansvariga inom folkhögskolor samtal om förutsättningar för och resultat av kvalitetsarbete med fokus på lärandeprocesser. Grupp 3: Praktiker från studieförbund med erfarenhet av utvecklingsverksamhet inom tema miljö, hållbarhet och/eller global rättvisa samtal om förutsättningar för och resultat av utvecklingsverksamhet med fokus på lärandeprocesser.

3 3/20 kvalitetsansvariga och praktiker med erfarenhet av utvecklingsverksamhet inom tema miljö, hållbarhet och/eller global rättvisa. Samtal med kvalitetsansvariga har haft betoning på lärande inom ramen för kvalitetsarbetet. I dessa grupper har även frågan om utvecklingsverksamhet i stort och dess koppling till kvalitetsarbetet berörts. Fokusgruppsamtalen med praktiker har haft betoning på förutsättningar för försöks- och utvecklingsarbete inom det aktuella verksamhetsområdet. I dessa grupper diskuterades även kopplingen till kvalitetsarbete och hur uppföljning och lärande stödjer verksamhetsutveckling. 4 Sammansättningen av deltagare till fokusgrupperna bygger på bredd i representation av olika studieförbund och folkhögskolor samt specifika erfarenheter inom de teman som samtalen rörde. Folkbildningsrådet gjorde ett första urval av folkhögskolor och studieförbund baserat på kännedom från tidigare uppföljning. Dessa folkhögskolor och studieförbund utsåg sedan sina representanter. Folkbildningsrådet har provat fokusgruppsamtal som metod i olika sammanhang, men detta var första gången som vi använde oss av metoden i uppföljning av folkhögskolors och studieförbunds systematiska kvalitetsarbete. Erfarenheterna är mycket positiva. Fokusgruppsamtalen gav fördjupade beskrivningar av erfarenheter, processer och sammanhang som på ett mycket bra sätt kompletterar skriftligt underlag i form av exempelvis verksamhetsberättelser och kvalitetsredovisningar. Samtalen i sig genererar dessutom något mer. I och med att synpunkter och erfarenheter från olika håll byts och bryts mot varandra avancerar både analys och gemensamt lärande. De flesta deltagarna upplevde samtalen som värdefulla. Man framhöll att fokusgruppsamtalets otvungna och prestigelösa form främjar öppenhet och vilja att dela med sig och lära av varandra. I flera fall uppstod idéer till möjliga utvecklings- och samverkansinitiativ i samtalen. Några deltagare uttryckte också att det kändes som en lyx att få avsätta flera timmar till att prata, fundera och analysera kring kvalitetsarbetet. Folkbildningsrådets erfarenhet är att goda förberedelser är avgörande för ett bra fokusgruppsamtal. Det behövs en tydlig struktur för samtalen (samtalsmanual), och en tydlig grund för urval av deltagare. På samma sätt utgör efterarbetet en stor del av metoden och det är viktigt att beräkna tillräckligt med tid och resurser för dokumentation, bearbetning och systematisering av materialet. Litteraturtips: Fokusgrupper Om fokuserade gruppintervjuer som undersökningsmetod, av Victoria Wibeck (Studentlitteratur 2000) Grupp 4: Praktiker från folkhögskolor med erfarenhet av utvecklingsverksamhet inom tema miljö, hållbarhet och/eller global rättvisa samtal om förutsättningar för och resultat av utvecklingsverksamhet med fokus på lärandeprocesser. 3 Representanter: Se bilaga Deltagarförteckning fokusgruppsamtal 4 Frågeställningar: Se bilaga Manual för fokusgruppsamtal

4 4/20 Studieförbunds och folkhögskolors systematiska kvalitetsarbete med fokus på utvärdering och lärande Utveckling av systematiskt kvalitetsarbete var befinner man sig i dag? I Folkbildningsrådets nationella kvalitetsredovisning 2010 drogs slutsatsen att studieförbunds och folkhögskolors kvalitetsredovisningar visar en tydlig utveckling från idé till genomförande i kvalitetsarbetet. Majoriteten har utvecklat och tillämpar system och modeller för planering och uppföljning. Det finns i dag en rad utvecklade rutiner och verktyg som skapar en god grund för att kunna följa verksamheten och uppmärksamma avvikelser i tid i förhållande till planering och regelverk. Samtidigt är det viktigt att notera att det finns en stor spridning. Hur långt man har kommit i såväl utveckling som tillämpning av ett systematiskt kvalitetsarbete skiljer sig mellan olika folkhögskolor, studieförbund och studieförbundsavdelningar. Under den första utvecklingsfasen av det systematiska kvalitetsarbetet har fokus främst legat på de första delarna i verksamhetscykeln (planering och genomförande). Mycket kraft och energi har lagts på att formulera målsättningar, utveckla system för planering och administrativa rutiner samt utveckling av verktyg för löpande uppföljning. Olika folkhögskolor och studieförbund har kommit olika långt. Några studieförbund och folkhögskolor har fått backa och börja om på nytt i sökandet efter fungerande system, verktyg och rutiner. Därmed finns ett antal folkhögskolor, studieförbund och studieförbundsavdelningar som fortfarande befinner sig i denna första fas. När system och verktyg finns på plats och dessa börjar förankras och användas inom hela organisationen, skapas förutsättningar för att kunna gå vidare och börja fördjupa de delar som har med utvärdering och lärande att göra. Det handlar om att stärka förutsättningarna för att reflektion och analys sker på olika nivåer i verksamheten, så att löpande uppföljning kan omsättas till ett lärande som tas tillvara i den fortsatta planeringen. Ett stort antal studieförbund och folkhögskolor befinner sig nu i denna fas. Det finns en insikt om att detta är ett utvecklingsområde och studieförbund och folkhögskolor bedriver ett ambitiöst arbete för att stärka dessa delar. De erfarenheter, utmaningar och framgångsfaktorer som beskrivs i denna fas är liknande för folkhögskolor och studieförbund. Dokumentation Ett resultat av uppbyggnadsfasen av det systematiska kvalitetsarbetet är att studieförbund och folkhögskolor har blivit bättre på att dokumentera sin verksamhet. Dokumentation beskrivs av flera som en förutsättning för att kunna börja bygga upp det systematiska kvalitetsarbetet. Och det systematiska kvalitetsarbetet i sig kräver löpande dokumentation.

5 5/20 Vi började vårt kvalitetsarbete med att dokumentera vår verksamhet, då fanns det motstånd. Så grymt mycket landar tillbaka på varför det är så viktigt att dokumentera. Några viktiga aspekter med dokumentation är att synliggöra kunskap genom att klä dem i ord, då synliggör vi de för andra. Att minska glappet mellan vad man tänker och vad man gör. Man sätter ord på tyst kunskap. Man systematiserar och sorterar sitt tänkande. Muntliga överenskommelser är lättare komma förbi än skriftliga. (Folkhögskola) Trots att dokumentationen har stärkts betydligt de senaste åren, så är detta ett område som studieförbund och folkhögskolor ser behov av att stärka ytterligare. Synliggörandet av kunskap om folkbildningsverksamhet, vad den leder till och hur den utvecklas, framhålls som mycket viktigt för transparens, legitimitet och lärande, både för egen del och gentemot omvärlden. När vi sedan har beskrivit för oss själva vad vi gör, kan beskriva att detta är en progressiv verksamhet som går framåt, då skapar vi också en tranparens och legitimitet i verksamheten, utåt och inåt, då får det en helt annan funktion. (Folkhögskola) Resultat, effekter och mätbarhet De flesta studieförbund och folkhögskolor är inne i processer som handlar om att utveckla och stärka metoder för att följa upp resultat och effekter i verksamheten. Detta är en naturlig konsekvens av utvecklingen av ett systematiskt kvalitetsarbete. Man ser värdet av att kunna synliggöra, lära av och påvisa vad verksamheten leder till. Samtidigt som det finns en skepticism mot en alltför snäv syn på resultatstyrning och mätbarhet utifrån termer som produktivitet och effektivitet. En viktig princip i diskussionen om resultat och effekter i folkbildningen är att staten fastställer syften med bidragsgivningen men att det är folkbildningsorganisationerna själva som formulerar målsättningar och kvalitetskriterier för sin verksamhet. Uppföljning av resultat och effekter görs därmed utifrån studieförbunds och folkhögskolors egna formulerade målsättningar. En förutsättning för den statsbidragsfinansierade verksamheten är dock att dess målsättningar är relevanta i förhållande till statens syften. Folkbildningsrådets tidigare kvalitetsredovisningar visar, utifrån folkhögskolors och studieförbunds egen självvärdering, att statens syften speglas i organisationernas målformuleringar, och att såväl syften som prioriterade verksamhetsområden i allt större utsträckning inkluderas på ett systematiskt sätt i kvalitetsarbetet. Det sker bl.a. genom att det allt tydligare genomsyrar strategi- och styrdokument, att det lyfts i utvärderingsenkäter, i samtal med medarbetare och deltagare, och i uppföljning av verksamhetsstatistik. Metoder för att stärka kopplingen till övergripande syften ser olika ut. Som exempel kan nämnas folkhögskolors temadagar kring samhällsnyttan med folkbildning för att diskutera vad det betyder och hur man hittar sätt att mäta samhällsnytta i den egna verksamheten. Flera studieförbund och folkhögskolor uppger att man arbetar med att formulera kvalitativa och mätbara mål för sin verksamhet. Frågan om mätbarhet upplevs dock som en utmaning.

6 6/20 Jag kan också känna en frustration, vi gör mycket gott och fokus ligger i vår verksamhet, där ska det ligga primärt, men samtidigt kan man känna en frustration att vi inte når ut med resultaten och synliggör det. Och så frågan om vad är det vi mäter - En person som kommer till oss och kanske gör en fantastisk resa, men kanske inte får ett jobb som direkt konsekvens men hur mäter man en sådan resa. Det är oerhört komplext. Samtidigt kommer andra deltagare till oss med helt andra förutsättningar, och sett utifrån kanske har lyckats, blivit konstnärer etc. Vad är att lyckas, vad är kvalitet?(folkhögskola) Exempel på hur man arbetar med att utveckla metoder för uppföljning av resultat och effekter är den effektstudie som Region Värmland låtit genomföra under 2011, med utgångspunkt i de fem folkhögskolor som man är huvudman för. Genom studien har man undersökt hur deltagarna uppfattar folkhögskolestudiernas betydelse ett antal år efter att de lämnat folkhögskolan, i relation till statens och huvudmannens mål med verksamheten. Man vill även undersöka om de målbeskrivningar som staten och Region Värmland har för folkhögskolorna är möjliga att utvärdera i en efterhandsmätning, om det går att finna indikatorer på effekter av folkhögskolestudier för individen och samhället som är möjliga att påvisa, samt kartlägga möjligheter och svårigheter med utvärdering av en verksamhet vars mål är politiskt ideologiskt utformade (se vidare under rubriken Exempel på utveckling av lärande processer inom ramen för kvalitetsarbetet, sidan 13). Generellt kan man konstatera att det inom folkhögskolor och studieförbund förs en kontinuerlig mål- och innehållsdiskussion i relation till verksamhet. Som en konsekvens av det systematiska kvalitetsarbetet utvecklas formerna för när och hur detta görs. Hittills har den utgjort en naturlig del i förhållande till verksamhetsplanering. En utmaning som de flesta folkhögskolor och studieförbund nu står inför är att stärka förutsättningarna för att denna mål- och innehållsdiskussion förs på ett ändamålsenligt sätt grundat i utvärdering och lärande. Samverkan Studieförbund och folkhögskolor lyfter fram samverkan som en positiv kraft för att utveckla och stärka det systematiska kvalitetsarbetet. Att det finns ett positivt samband mellan samverkan/utbyte och utveckling av kvalitetsarbete tycks också bekräftas i möten med organisationer som inte kommit så långt i sitt systematiska kvalitetsarbete, som tenderar att arbeta relativt isolerat utan intresse eller upplevd möjlighet till utbyte med andra eller öppenhet att lära av modeller och erfarenheter som kommer från andra håll. Det tas en mängd initiativ till erfarenhetsutbyten och gemensamma satsningar för att lära av varandra och gemensamt. Folkhögskolor har sedan 2006 haft flera gemensamma metodutvecklingsprojekt igång, också i samverkan med andra organisationer, med kvalitetsarbete som huvudsyfte. Utbyte och samverkan fortsätter också efter det att projekten avslutas, vilket tyder på att folkhögskolor ser en mening i att arbeta tillsammans om kvalitetsarbetet. Det finns också flera nya initiativ till samverkan, exempelvis kring större gemensamma kompetensutvecklingsprojekt där flera folkhögskolor ingår. Den andra delen ( ) är att ha ett utbyte med en annan folkhögskola där vi tittar på varandra, och bjuder in och har ett utbyte där vi tittar på vissa frågor,

7 7/20 det ska vi göra med en annan folkhögskola nästa vecka. Att någon annan kommer in och rotar till det för oss, det kan bli nyttigt. Nya glasögon. (Folkhögskola) Vi har ett starkt samarbete mellan de skånska folkhögskolorna, får insyn i varandras verksamheter, på alla nivåer, styrelse, rektorer, personal, det upplever vi som mycket givande. Nu har vi ett pågående kompetensutvecklingsprojekt under temat entreprenörskap, kommunikation och hållbar utveckling. Där ligger fokus nu under två års tid för anställda inom alla folkhögskolor. Det innebär en styrka och enorm möjlighet. (Folkhögskola) Inom ramen för Nätverket för folkhögskolornas kvalitetssamordnare diskuteras och utbytes erfarenheter. Dessutom finns det en rad nätverk för samverkan utifrån geografisk, tematisk eller annan utgångspunkt. Inom Folkbildningsförbundet sker utbyte och samverkan mellan studieförbunden, bl.a. inom ramen för kvalitetsgrupp, etikdelegation och rektorsnätverk. Studieförbunden samverkar också inom flera tematiska nätverk. Såväl folkhögskolor som studieförbund uttrycker i fokusgruppsamtalen intresse och idéer kring att utveckla samverkan ytterligare. Exempel som nämnts är möjligheten att benchmarka gentemot varandra och att utveckla former för kollegial utvärdering mellan skolor och studieförbund. 5 Jag skulle fortfarande vilja att vi hjälper varandra med internkontroll, lika som vi skulle kunna hjälpa varandra att intervjua deltagare eller dylikt. Jag tror att vi skulle lära mycket, och få ett enormt driv, och det bygger på att vi vågar göra det. Jag skulle gärna bidra från mitt studieförbunds håll med att arbeta i den riktningen. (Studieförbund) Exempel på utveckling av systematiskt kvalitetsarbete Hållands folkhögskolas berättelse Kvalitetsarbetet började 1997 och starten blev att dokumentera verksamheten som man höll på med. Det finns många värden i att dokumentera, man tänker igenom, tar ställning, tvingas sätta ord, minskar glappet mellan vad man tänker och vad man gör, möjliggör att följa upp/analysera, man ändrar och förbättrar, synliggör för andra, lättare att jobba systematiskt och man blir tryggare. Man delade in dokumentationsarbetet i tre delar - ledning/organisation, administration, och utbildning. Att hela verksamheten på så sätt fanns med i processen redan från början beskrivs som en viktig förutsättning. De senaste årens ökade krav på att beskriva kvalitetsarbetet, bl.a. genom kvalitetsredovisningar till Folkbildningsrådet, har lett till att kvalitetsarbetet tydliggjorts ännu mer. 5 Benchmarking: att jämföra med andra organisationer i branschen, studera hur man löst olika problem, och lära av detta på ett sätt som kan bidra till utveckling av den egna organisationen

8 8/20 Men ända sedan 1997 har det funnits med som en naturlig del i folkhögskolans verksamhetsprocesser. Det är inget konstigt med kvalitetsprocess utifrån hur vi jobbar med det, vi utgår från modellen att planera, genomföra, följa upp och implementera det nya, cirkeln är grunden och det genomsyrar vårt sätt att tänka och arbeta på vår skola. Det är otroligt viktigt att alla arbetsenheter är med, att alla är jämbördiga. Processen Hela, Hålland, Hållbart har lett till större delaktighet, förståelse och större insyn i varandras arbetsområden och verksamhetens olika delar. Varje individ tar sitt personliga ansvar för det egna men också alltmer för det gemensamma. Inspirerade, engagerade, motiverade och kunniga medarbetare är en förutsättning. Det finns framförallt fyra saker som varit viktiga för oss i processen. 1) Att vi beskrev, dokumenterade och vilade tryggt i detta, 2) Att vi redde ut vad vi menar med utvärdering. Vi ser inte på utvärdering som kontroll utan vi har vänt på det och ser det utifrån ett lärande perspektiv, mer med fokus på kvalitet än på kvantitet för såväl deltagare som personal. Och när vi kände att vi var lite mera trygga med det då gick vi vidare och tittade på 3) Vad är det vi utvärderar egentligen. Per automatik började vi med den pedagogiska verksamheten, vi gjorde en modell över vilka utvärderingar vi gör inom utbildning och så försökte vi renodla det med fokus mot lärande och utveckling. Vi har kvar den fjärde utvärderingsbiten i modellen den som handlar om de delar som har med deltagarnas perspektiv och utveckling att göra. Självvärdering utifrån utveckling och lärande. När vår modell vuxit fram och tagit sin nuvarande form kände vi inom utbildningsdelen att nu vet vi vad vi utvärderar för något. Övriga arbetsenheter håller på att utveckla sina utvärderingar i likhet med utbildningsverksamheten Man beskriver att man nu står i nästa fas som handlar om Vad gör vi av all utvärderingsinformation? Nu är man inne i en process att ta fram en ny bild som man kallar VIS (verksamhetsinformationssystem). Processen är den att var och en från de olika arbetsenheterna tar med underlag från sina egna utvärderingar som man har konkretiserat ner i tydliga punkter. På gemensamma arbetsdagar/mötestillfällen samlas materialet i VIS. Materialet systematiseras, sorteras och bearbetas tillsammans. Detta blir en grund för varje arbetsenhets prioritering och det kommande årets kvalitetsmål samt för kompetensutveckling under kommande år. Att lyckas arbeta på ett sätt som genomlyser hela verksamheten beskrivs som en utmaning, och samtidigt som en förutsättning för att kvalitetsarbetet ska fungera riktigt bra. Att kunna se ett sammanhang oavsett var man jobbar någonstans i organisationen är viktigt, då blir det gripbart och ger en mening för alla. Det är vår garanti för att hålla ihop processen och att skapa kvalitet och utveckling

9 9/20 Utvärdering hur arbetar man med detta i dag? Folkbildningsrådet konstaterar att studieförbund och folkhögskolor går i riktning mot att stärka, inte bara metoder för uppföljning utan också metoder och rutiner för hur man systematiskt arbetar med utvärdering. Interna utvärderingar görs löpande. Man beskriver hur man arbetar med det material som genereras genom uppföljningen, och strävar efter att i allt större utsträckning använda dessa material som underlag för reflektion och analys på ett systematiskt sätt. Det kan exempelvis handla om hur man jobbar med deltagarenkäter. När vi får in enkätsvar så går jag runt till de anställda på skolan och berättar om resultaten från enkäterna och frågar hur ska vi ta till oss detta nu, vad vill ni veta, vilka frågor vill ni ställa till detta material, hur ska vi tolka detta, vad ska vi göra av det? Det är aldrig ett resultat vi får in från en enkät, utan vi får ett utfall som vi sedan måste tolka och göra någonting av. (Folkhögskola) Internkontrollen som studieförbund gör årligen är ett annat exempel på hur ett uppföljningsverktyg utvecklas över tid till att också bli ett verktyg för lärande. Sedan den infördes som ett krav från Folkbildningsrådet syns en tydlig utveckling i hur studieförbunden arbetar med internkontrollen, där analys, reflexion och spridning för ett bredare lärande inom organisationen blivit allt viktigare. Man utvecklar metoder för att sprida lärdomar som internkontrollen genererar inom organisationen. Utgångspunkten är att resultat från genomförd internkontroll är av intresse inte enbart för den avdelning som granskats utan för alla avdelningar. Resultat sprids genom rapporter, arbetsmaterial, gemensamma diskussionsforum, och genom personalutbildningar. Allt fler aktörer involveras också aktivt i internkontrollen. Studieförbunden pekar samfällt på att arbetet med internkontrollen har utvecklat lärandet i organisationen och påverkat att organisationerna idag ser positivt på kvalitetsarbetet som helhet. Vi lägger mycket krafter på internkontrollen, där började vi för att få ordning och reda på administrativa kvalitén ( ) Ju fler möten vi har, ju fler samtal kopplade till internkontrollen, ju vassare blir frågeställningarna också. Om man pratar utvärdering, där har internkontrollen varit bra för oss för att skapa lärande inom vår organisation. ( )Från att tidigare ha jobbat envägs, från förbund ut till region, till att nu träffas vi alla och utvärderar tillsammans. (Studieförbund) Varje gång vi ser att vi gör rätt, och internkontrollen visar detta, så ökar det stoltheten inåt i organisationen, de administratörer som jobbar med detta ( ) att de får veta att vi tänker och gör faktiskt rätt. Det är häftigt att se att en kontroll kan stärka en stolthetskänsla. För så var det inte när det startade har jag förstått. (Studieförbund) Vi har gjort en sammanställning av alla internkontroller som gjorts sedan 2003, och det har hänt jättemycket. Det är mycket färre formella fel som upptäcks.

10 10/20 Det som jag tror är väldigt bra är att det satts igång samtal på enheterna.( ) Det som händer sedan är det spännande, hur vi från centralt håll följer upp detta. De får skriva en rapport och så kommer jag ut, och sedan kommer jag ut en gång till efter ett halvår för att prata om vad man gjort, och där sker lärandet. Och nu tar man emot mig med vad kul att du ska komma, och det har jag förstått att så var det inte för några år sedan.(...) Internkontrollen har gjort att kvalitetsarbetet kommit i fokus ute på enheterna. Det är den stora vinsten. (Studieförbund) Jag tror att fel som uppstår beror på tre saker 1) man hade inte koll på bestämmelserna, 2) man tolkar bestämmelserna olika 3) man är stressad. Utifrån den attityden kan man bidra till att skapa kulturen som främjar kvalitetstänkande. Och även om det är mycket fokus på bläck och streck, även försöka få in de här andra aspekterna med verksamhetskvalitet också. Ex. det här strider inte mot reglerna, men tycker ni att det är bra? Håller det den kvalitet som ni tycker att vi ska stå för? Lyfta den typ av diskussioner också. (Studieförbund) Externa utvärderingar görs inom studieförbund och folkhögskolor men än så länge i relativt liten omfattning. Det finns generellt en öppenhet och ett intresse för att utveckla detta vidare. En begränsande faktor som nämns är resurser. Men folkhögskolor och studieförbund menar också att det handlar om att man inte har arbetat upp någon vana av att göra externa utvärderingar. Bland externa utvärderingar som varit aktuella under 2011 kan nämnas Folkuniversitetet som 2010 påbörjade arbetet med en så kallad Peer Review av sin språkverksamhet. Erfarenheterna är mycket goda, utvärderingen har resulterat i en rad påbörjade utvecklingsprocesser, och Folkuniversitetet har för avsikt att fortsätta med återkommande utvärderingar av denna typ för andra verksamhetsområden (se vidare under rubriken Exempel på utveckling av lärande processer inom ramen för kvalitetsarbetet, sidan 13). ABF har tagit initiativ till att prova på följeforskning i delar av sin verksamhet, vilket kommer att påbörjas under Flera folkhögskolor har under året tagit initiativ till effektstudier som syftar till att utvärdera effekter av den verksamhet man bedriver. Att stärka utvärdering och lärande I uppföljningen av hur studieförbund och folkhögskolor arbetar med utvärdering och lärande inom ramen för sitt kvalitetsarbete framkommer ett antal nyckelfaktorer. Det handlar om sådant som studieförbund och folkhögskolor identifierar som utmaningar eller framgångsfaktorer och som man därmed på olika sätt arbetar för att stärka. Ledningens roll Ledningens roll och ansvar beskrivs som avgörande för att skapa de förutsättningar som krävs för att stärka utvärdering och lärande. Ledningen behöver ta ansvar för att detta sker och på olika sätt visa att de delar som ingår uppföljning, analys och reflektion - är prioriterade. Om inte ledningen säger att det är viktigt så faller det ( ) ledningen kan inte säga att det är viktigt och sedan inte gå på mötena. Man måste visa, inte bara säga. (Folkhögskola)

11 11/20 Ledningen behöver se till att det planeras in tid och resurser för lärande, att det finns tydliga former för när, var och hur detta sker samt tydlighet i delegation och ansvar. Ledningen har också ett ansvar att verka för att det ska finnas en förståelse för syfte, roll och ansvar hos de som är inblandade. Tid och resurser Reflektion och analys är en förutsättning för lärande. För att detta ska ske krävs tid och resurser. I fokusgruppsamtal beskrivs att det saknas vana inom folkhögskolor och studieförbund att planera in tid och resurser för detta. Organisationerna beskrivs som slimmade och vardagen inrutad och fylld av aktiviteter och möten. Uppföljning av verksamhet sker löpande, men att ta sig tid till reflektion och analys är mer sällsynt. Ett exempel på hur man försöker förändra denna situation är att konkret lägga in det i arbetsbeskrivning och arbetstidsplanering. Förståelse för syfte och process Erfarenheter från uppbyggnadsfasen av det systematiska kvalitetsarbetet visar att förståelse för syfte och process är en grundförutsättning för genomslag. De som berörs av och ska arbeta med det systematiska kvalitetsarbetet behöver ha en tydlig förståelse för vad det syftar till och på vilket sätt det är relevant för det egna arbetet. Som tidigare beskrivits har fokus under uppbyggnadsfasen framförallt legat på planering och genomförande. När studieförbund och folkhögskolor nu går vidare in i nästa fas, behöver motsvarande förankringsprocess av arbetssätt och metoder kring de delar som har med utvärdering och lärande att göra. Att tydliggöra och förankra vad som är vad, och vad som sker när och hur, i utvärderings- och lärandedelen av verksamhetscykeln, beskrivs som viktigt. Det är så väldigt olika saker, uppföljning och utvärdering. Vi har varit väldigt noga med att det är två saker med helt olika syften. Uppföljning gör vi i förhållande till planen - gör vi det vi sa att vi skulle göra, håller vi oss på spåret, håller vi budgeten etc. Det är till för att justera litegrann i planerna. Utvärdering handlar mer om att reflektera vi sa så här i planen, vi gjorde så här, vad kan vi lära från det. De är till för att vi ska bli klokare nästa gång. Det är viktigt att hålla isär dessa, det flöt ihop tidigare och det blev lite oklart vad vi höll på med, men nu är det tydligare, och det sker vid olika tillfällen. (Folkhögskola) Delaktighet Under uppbyggnadsfasen av det systematiska kvalitetsarbetet har delaktighet identifierats som en nyckelfaktor för framgång. Och folkhögskolor och studieförbund fortsätter att lyfta detta som en grundförutsättning i det fortsatta arbetet med att stärka uppföljning och lärande. Man talar om aktivt deltagande från personal, deltagare och styrelse som en grund för kvalitetsarbetet. För att detta ska kunna ske krävs, som redan nämnts, förankring av syfte och process. Förståelse för såväl helhet som den egna rollen och ansvaret i detta är avgörande för att skapa motivation och kapacitet att delta. Det är en ständig utveckling att få ihop många att jobba tillsammans mot samma mål. Det tar ju tid. Första åren var det ganska bra med planeringsdelen, men sämre med uppföljning och analys. Men nu börjar detta komma ( )Det är

12 12/20 ett sätt att bli stark internt, alla jobbar lika. Ett sätt som för den enskilda medarbetaren gör att man ser att man finns med i ett sammanhang. (Studieförbund) Deltagarenkäter är ett flitigt använt verktyg inom såväl folkhögskolor som studieförbund där svarsfrekvens utgör ett uttryck för delaktighet. I många fall har man en låg svarsfrekvens, och det finns flera exempel på åtgärder i syfte att öka denna. Det kan handla om att bearbeta enkäten språkmässigt så att den blir mer förståelig för alla, att utveckla former för att motivera deltagare att fylla i enkäten, öka tillgängligheten av datorer där enkäten kan fyllas i etc. Erfarenheten visar att återkoppling är en viktig förutsättning för att stärka motivationen att delta samt för att reflektera, analysera och dra lärdomar på ett meningsfullt sätt. Studieförbund och folkhögskolor arbetar aktivt med att stärka uppföljning och lärande. Deltagande metoder blir i sig ett verktyg i detta arbete. En viktig form för deltagande är reflekterande samtal med koppling till mål och syften som förs på olika nivåer och i olika sammanhang. För folkhögskolor är återkoppling och samtal utifrån deltagarenkäter, kollegial utvärdering, lärande samtal, och utvärderings-/planeringsdagar exempel på forum för reflekterande samtal. Inom studieförbund sker det i cirkelledarutbildning, cirkel/arrangemangsutvärderingar, studiekonsulenters samtal med medarbetare etc. Styrelse/förtroendevaldas roll Att stärka styrelsens/förtroendevaldas roll och funktion framträder som ett område för utveckling. Styrelsen följer upp genom att ta del av verksamhetsrapporter, statistik och budgetuppföljning. Däremot saknas ofta rutiner och former för analys och reflektion utifrån de underlag som presenteras. Här finns möjligheter att i större utsträckning använda sig av systematisk utvärdering och lärande som grund för beslut om verksamhet och prioriteringar framåt. Styrelsens viktigaste jobb är att ställa frågor blir det bättre? Varför blir det inte bättre? Hur gå vidare? etc. Och att begära in proffsiga underlag som grund för beslutsfattande, att vi är duktiga på att beskriva varför har vi lyckats där, varför har vi inte lyckats där. I vår verksamhetsplaneringsprocess har vi varit bra på uppföljning, men vi har inte varit bra på att få det att leda vidare till en bra utmaning förbundsstyrelsen behöver ställa följdfrågor, bli skarpa, kräva svar. Det kräver ett synsätt från förbundsstyrelsen, att bli duktig i retorik och tänka och ställa frågor på rätt sätt. Det tror jag är en utmaning. (Studieförbund) Flera folkhögskolor och studieförbund arbetar aktivt med att stärka styrelsens roll och funktion, bl.a. genom satsningar på styrelseutbildning. Det finns också ett stort antal styrelser som hittills inte prioriterar kompetensutveckling i denna riktning, och det kan finnas anledning att tydligare synliggöra förtroendevaldas roll och ansvar i relation till ett systematiskt kvalitetsarbete.

13 13/20 Exempel på utveckling av lärande processer inom ramen för kvalitetsarbetet Folkuniversitetet Peer Review utvärdering av språkverksamheten Under 2010 genomförde Folkuniversitetet en fördjupad utvärdering av sin språkverksamhet. Syftet var att belysa språkverksamheten, lyfta fram vad som är bra och vad som behöver förbättras. Utvärderingen utformades mot bakgrund av Folkuniversitetets folkbildningsuppdrag och verksamhetsidé. Metoden som valdes, s.k. Peer Review, innebar ett arbete i flera steg och det genomfördes med hjälp av tre utomstående experter med erfarenheter från forskning, utvärderingsverksamhet inom universitet och högskola samt med mångårig erfarenhet av folkbildningsverksamhet. Det första steget var en självvärdering som genomfördes av medarbetarna i berörda avdelningar. Självvärderingarna granskades av expertgruppen som följde upp dessa med besök i avdelningarna och dialog med ansvariga och medarbetare. En enkät skickades till 500 deltagare i språkverksamheten. Arbetet resulterade i en rapport med bedömningar för varje stiftelse relaterade till ett antal områden och efter fastställda kriterier samt övergripande bedömningar. I rapporten framhölls att Folkuniversitetets styrka är den kommunikativa språkträningen, de kompetenta lärarna samt den deltagarstyrda inlärningen. Flera förbättringsområden identifierades också, exempelvis att Folkuniversitetet behöver utveckla användningen av modern teknik inom språkverksamheten. Rapporten används som underlag i fortsatt utvecklingsarbete. Dels inom ramen för den nationella språkpedagogiska gruppen, där man under 2011 bl.a. tagit fram en plan för hur man ska vidareutveckla användningen av modern teknik i språkverksamheten. Dels på stiftelsenivå där det är varje stiftelses ansvar att arbeta vidare med de förbättringsåtgärder som identifierats för just deras del kommer det att göras en uppföljning av utvärderingen, på såväl central som stiftelsenivå. Folkuniversitetet beskriver utvärderingen som en positiv erfarenhet. Ett viktigt inslag i utvärderingsarbetet var den kreativa process som skapades bland medarbetarna där arbetet med självvärderingarna resulterade i en rad uppslag, idéer och tankar om såväl små som stora förbättringsåtgärder. Man planerar att regelbundet fortsätta genomföra liknande utvärderingar på andra verksamhetsområden. Region Värmlands folkhögskolor Effektstudie Under 2011 genomförde Region Värmland ett kvalitetsutvecklingsprojekt med fokus på kunskapsutveckling i syfte att söka förbättrade metoder för utvärdering och uppföljning av folkhögskolornas verksamhet. Målsättningen med projektet var att utforma och testa ett verktyg för fortlöpande utvärdering av effekter av folkhögskolestudier på individ- och samhällsnivå.

14 14/20 Studien bygger på en omfattande enkätundersökning. Genom denna har man undersökt hur deltagarna uppfattar folkhögskolestudiernas betydelse ett antal år efter att de lämnat folkhögskolan, i relation till statens och huvudmannens mål med verksamheten. Man vill även undersöka om de målbeskrivningar som staten och Region Värmland har för folkhögskolorna är möjliga att utvärdera i en efterhandsmätning, om det går att finna indikatorer på effekter av folkhögskolestudier för individen och samhället som är möjliga att påvisa, samt kartlägga möjligheter och svårigheter med utvärdering av en verksamhet vars mål är politiskt ideologiskt utformade. Projektet har resulterat i en rapport som återger erfarenheter som kan komma väl till användning för att genomföra mer riktade och träffsäkra undersökningar i framtiden. En av rapportens slutsatser är att det behövs en mångfald av metoder för att följa upp och skaffa underlag för en djupare förståelse av folkhögskolans roll för deltagare och samhälle. Det konstateras att exempelvis de enkätverktyg för uppföljning som många folkhögskolor har är mycket användbara, men att de behöver kompletteras med mer kvalitativt inriktade uppföljningar. Genom att granska och skatta sin verksamhet får man faktabaserade underlag för den pedagogiska utvecklingen, som ett värdefullt komplement till magkänslan och den beprövade erfarenheten. (citat från rapporten) Rapporten används som underlag för diskussion och fortsatt utvecklingsarbete. Under hösten 2011 har återkoppling och förankring av metoden på skolorna och i arbetslagen gjorts. Bl.a. har man haft gemensamma diskussionsdagar som samlat folkhögskolornas rektorer, ledningsgrupper och kursledare där resultaten från projektet diskuterats. Vi börjar få hyfsad struktur på uppföljningsarbetet med att ha processutvärderingar (olika former och verktyg under kurstiden) resultatutvärderingar (FB-kvalitet) och nu även effektutvärdering. Men vi behöver nog bli bättre på att använda detta mer systematiskt som underlag till verksamhetsplanering och utvecklingsinsatser, säger Elisabeth Ernholm som är projektsamordnare på Region Värmland. Vid årets slut fanns beslut om former och ansvar för fortsatt kontinuerligt effektutvärdering.

15 Bilagor; - Bilaga 1: Förteckning av deltagare i fokusgrupper - Bilaga 2: Frågemanual Fokusgrupp med kvalitetsansvariga - Bilaga 3: Frågemanual Fokusgrupp med praktiker inom verksamhetsutveckling kring hållbar utveckling och global rättvisa 15/20

16 16/20 Bilaga 1 Förteckning av deltagare i Fokusgruppsamtal Grupp 1: Fokusgrupp med kvalitetsansvariga inom studieförbund samtal om förutsättningar för och resultat av kvalitetsarbete med fokus på lärandeprocesser (4 oktober 2011) Annika Dolk Folkuniversitetet/Stiftelsen Kursverksamhet vid Lunds universitet Ewa Lantz ABF Kent Bengtsson Studieförbundet Vuxenskolan Kjell-Åke Waldner Sensus Krister Lergård Studiefrämjandet Torvald Åkesson Bilda Grupp 2: Fokusgrupp med kvalitetsansvariga inom folkhögskolor samtal om förutsättningar för och resultat av kvalitetsarbete med fokus på lärandeprocesser (18 oktober 2011) Cici Wennberg - Hållands folkhögskola Cristoph Jeanjour - Forsa folkhögskola Emelie Clemedsson - Östra Grevie folkhögskola Elisabeth Ernholm - Region Värmland Lotta Jansson - Göteborg Folkhögskola Per-Erik Kaj - Fornby folkhögskola Grupp 3: Fokusgruppsamtal med praktiker från studieförbund med erfarenhet av utvecklingsverksamhet inom verksamhetsområdet folkhälsa, hållbar utveckling och global rättvisa samtal om förutsättningar för och resultat av utvecklingsverksamhet med fokus på lärandeprocesser (26 oktober 2011) Carl-Martin Johborg - Studiefrämjandet Cecilia Willman - Bilda Gudrun Norrfjärd - Sensus Magnus Johansson - ABF Peter Wiborn Studieförbundet Vuxenskolan Ulla Lingsjö - NBV Grupp 4: Fokusgruppsamtal med praktiker från folkhögskolor med erfarenhet av utvecklingsverksamhet inom verksamhetsområdet folkhälsa, hållbar utveckling och global rättvisa samtal om förutsättningar för och resultat av utvecklingsverksamhet med fokus på lärandeprocesser (19 oktober 2011) Anna-Karin Björnberg - Färnebo folkhögskola Annkristin Holmberg - Birka folkhögskola Benton Wolgers - Röda Korsets folkhögskola Liv Zetterling - Glokala folkhögskolan Monika Sundström - Hola folkhögskola

17 17/20 Susanne Holmgren - Åsa folkhögskola Bilaga 2 Frågemanual; Fokusgrupp med Kvalitetsansvariga Öppning och introduktion; Presentation & vad man jobbar med i relation till det aktuella området 1. Uppföljning och utvärdering utgör en viktig del i ett systematiskt kvalitetsarbete. Vad är viktigt att följa upp, varför och hur? - Uppföljnings- och utvärderingsplaner Hur formuleras dessa, när, av vem? - Skillnad mellan uppföljning och utvärdering vad och hur? - Vilka verktyg finns för uppföljning? - Internkontrollens roll? - Vad styr när/hur man väljer att göra en utvärdering? (Obs! Koppla till kartläggningen) - Intern eller extern utvärdering synpunkter och perspektiv? Delaktighet? - Hur hanteras resultat? - Dokumentation? - Framgångsfaktorer i uppföljning och utvärdering? - Hinder och utmaningar i uppföljning och utvärdering? - Förutsättningar för att kvalitetsuppfölja gentemot formulerade målsättningar (statens + egna)? 2. Kvalitetsarbete handlar om att skapa förutsättningar för att kunna vara en lärande organisation. Vad är en lärande organisation? Vad är viktigt att lära, varför och hur? - Är lärande prioriterat? Varför? Hur tar det sig uttryck? - Vem behöver lära, av vad och för vad? - När, var hur sker det? Delaktighet? - Hur hanteras resultat av lärande att dra slutsatser och vidta åtgärder? - På vilket sätt får det konsekvenser för kvalitet? - Hur dokumenteras det? Förutsättningar för att beskriva? 3. I ett systematiskt kvalitetsarbete utgör uppföljning, utvärdering och lärande ett stöd för försöks- och utvecklingsverksamhet. Hur får man det att hänga ihop? - Verksamhetsutveckling vad lägger vi i detta begrepp? - Vad styr satsningar? Systematik? - Vilka verktyg finns för att prioritera? - Vad främjar/hämmar nytänk och innovation? - Hur lär man sig av verksamhetsutvecklingen? - Delaktighet? - Dokumentation? 4. Slutsatser; a. Förutsättningar för att uppföljning, utvärdering och lärande ska kunna ske? Hinder från att det sker?

18 18/20 b. Förutsättningar för att kvalitetsuppfölja gentemot formulerade målsättningar (statens + egna)? c. Resultat och effekter av uppföljning, utvärdering och lärande? d. Hur fungerar uppföljning, utvärdering och lärande som stöd för verksamhetsutveckling? Avslut; Är det något vi har missat?

19 19/20 Bilaga 3: Frågemanual; Fokusgrupp med praktiker inom verksamhetsutveckling kring hållbar utveckling och global rättvisa Öppning och introduktion; Presentation & vad man jobbar med inom det aktuella området 1. Hållbar utveckling och global rättvisa är prioriterade verksamhetsområden för folkbildningen. Vilka verksamheter/insatser är prioriterade att utveckla/stärka för folkbildningen inom detta område? - Synpunkter på vad som är viktigt utifrån folkbildningens roll och den egna rollen inom folkbildningen? - Prioriterade områden att stärka (ex. egen kunskap, material, förmåga att nå ut, vara ett föredöme.) - Vad styr vilka satsningar som görs? 2. Utifrån era erfarenheter av försöks- och utvecklingsverksamhet inom området hållbar utveckling och global rättvisa Vad leder det till? Går det att se resultat och effekter? Hur/Vad? - Konkreta exempel på satsningar? - Hur formuleras mål? - Hur sker uppföljning? - Exempel på resultat och effekter som ni har sett? - Koppling till kvalitet? - Dokumentation? 3. Utveckling och vidareutveckling av verksamhet förutsätter att det sker ett lärande. Hur fungerar uppföljning, utvärdering och lärande inom er organisation som stöd för försöks- och utvecklingsverksamhet inom området hållbar utveckling och global rättvisa? - Koppling mellan uppföljning/lärande generellt inom organisationen och satsningar p försöks- och utvecklingsverksamhet? - Hur sker lärande inom ramen för de försöks- och utvecklingssatsningar som görs? - Synpunkter på styrkor och svagheter, möjligheter och utmaningar i hur detta fungerar? 4. Slutsatser/Nyckelfrågor; a. Viktiga förutsättningar för att försöks- och utvecklingsverksamhet ska ske? Hinder från att det sker? b. Systematik i försöks- och utvecklingsverksamhet kopplat till kvalitet? c. Resultat och effekter av verksamhetsutveckling inom verksamhetsområdet hållbar utveckling och global rättvisa?

20 20/20 Förutsättningar för att följa upp gentemot formulerade målsättningar (egna + statens)? Avslut; Är det något vi har missat?