KOLLEGIALA UTVÄRDERINGAR

Transkript

1 Vägvisare till KOLLEGIALA UTVÄRDERINGAR Jan Byström Gert Classon

2 2 Kollegiala utvärderingar ger kraft och engagemang SISU Idrottsutbildarna är ett kunskapsföretag i den bemärkelsen att SISU Idrottsutbildarna är helt beroende av samtliga medarbetares samlade kunnande och engagemang för en fortsatt kvalitativ och kvantitativ utveckling av studie- och utbildningsarbetet inom idrottsrörelsen. För att ytterligare stärka SISU Idrottsutbildarna som en lärande organisation är det angeläget att vidareutveckla ett fortlöpande erfarenhetsutbyte för kompetenshöjning. SISU-distrikten har mycket att ge (och få) av varandra! Även om SISU Idrottsutbildarna inte är en folkrörelse i sig själv, är det en folkrörelseorganisation i den bemärkelsen att den har en demokratisk uppbyggnad med starkt inflytande från förtroendevalda på olika nivåer men också andra inslag av ideella insatser. För en verksamhetsutveckling i en dynamisk folkrörelse idrottsrörelsen måste SISU Idrottsutbildarna kontinuerligt ta vara på lärdomar, pröva och ompröva. På så sätt kommer arbetet att präglas av Vi är där när idrotten lär! Det är i detta perspektiv man ska se kollegial utvärdering! Varifrån kom kollegiala utvärderingar? Det började med Umeå-modellen. Folkbildningsreformen 1991 syftade till att stimulera till utveckling inom studieförbund och folkhögskolor genom att lyfta fram folkbildningens särart och kvalitetsfrågor bland annat med hjälp av en övergång till planeringsmodellen målstyrning utvärdering. Men hur ska då utvärdering av folkbildning gå till? Med fokus på kvalitet och insatt i ett utvecklingsperspektiv? Ett uppmärksammat initiativ togs (i början av 90-talet) av Sigbrit Franke-Wikberg med flera, som lanserade den så kallade Umeå-modellen en form av utvärdering för lokal utveckling av skola/utbildning. Modellen innehåller (tagna i kronologisk ordning) tre huvudinslag: självvärdering, kollegors utvärdering samt uppföljning. Kick-off för kollegial utvärdering Studieförbund/folkhögskolor reagerade positivt på dessa tankar och i SISU Idrottsutbildarnas fall lyftes frågan fram vid en gemensam Kick-off-konferens i Sunne Samtliga närvarande från förbundskansliet samt utbildningschefer och utbildningskonsulenter från de 22 SISU-distrikten ägnade under tre dagar betydande tid att pröva modellen (i en modifierad/koncentrerad form) i distriktsvisa utvärderingar. Under Kick-offen genomfördes arbetet i grupper om tre distrikt, där alla distrikt i gruppen i förväg fått varandras verksamhetsberättelser. Gruppmötena ( cirkelträffar ) följde sedan mönstret:

3 3 1. Självvärdering. Distrikt 1 redogör (kritiskt) för sina mål, verksamhet och resultat med verksamhetsplan/verksamhetsberättelse som grund. 2. Kollegial utvärdering. Distrikt 2 och 3 är som kollegor väl insatta i verksamheten och eftersom man har respekt och förtroende för varandra, kan man ha en informell men kritisk diskussion om verksamheten i distrikt Distrikt 1 gör en förnyad kvalitetsanalys som presenteras för kollegorna. (Sedan utvärderas distrikt 2 resp 3 på motsvarande sätt) Som underlag för arbetet fanns en enkel studieplan med tips om arbetet samt stödfrågor. Erfarenheterna var goda och många distrikt blev inspirerade att fortsätta med egna kollegiala utvärderingar. Modellen har varierat ibland har två väldigt lika distrikt mötts, ibland har olikheterna sökt varandra. Ett naturligt inslag i verksamhetsutveckling SISU Idrottsutbildarnas förbundsstyrelse såg redan från början värdefulla möjligligheter i kollegiala utvärderingar och från och med Utvärderingsprogram har man tydligt redovisat sin inställning: Erfarenheterna från genomförda kollegiala utvärderingar är mycket goda och det är ytterst angeläget (= ett krav) att samtliga SISU-distrikt engagerar sig i denna verksamhet. Hur mötena sedan förbereds och genomförs får avgöras av berörda distrikt utifrån behov och syfte. Detta följdes sedan upp i Utvärderingsprogram : Kollegiala utvärderingar knyts i andra sammanhang ofta till frågan om kvalitetssäkring medan det i SISU Idrottsutbildarna ses som en viktig del i en lärande organisation. De erfarenheter vi har av kollegiala utvärderingar mellan olika distrikt av SISU Idrottsutbildarna är mycket positiva och ska vara något som samtliga distrikt involveras i. Under perioden torde kanske frågan om studiestora föreningar vara ett lämpligt område för kollegiala utvärderingar. Hur metoderna sedan förbereds/genomförs samt det slutliga valet av ämne/tema avgörs av berörda distrikt utifrån deras behov och syfte. (Samtidigt ska noteras att kollegiala utvärderingar inte nödvändigtvis är något som ska genomföras varje år).

4 4 Och i Utvärderingsprogram slås det fast: De kollegiala utvärderingarna fortsätter och ska ses som ett naturligt inslag i distriktens verksamhet. Det är värt att notera att frågan om kollegiala utvärdeingar inte enbart knyts till folkbildningsverksamheten utan metoden kan vara lika användbar inom andra delar av SISU Idrottsutbildarnas verksamhet. De utvärderingar som genomförs ska fylla en viktigt funktion och upplevas meningsfulla. Samtidigt ger metoden stora möjligheter till flexibilitet och anpassning. Exemplet SISU Idrottsutbildarna Värmland SISU Idrottsutbildarna Värmland är ett distrikt som målmedvetet arbetat med kollegial utvärdering och även prövat olika former/upplägg. Med deras erfarenheter som utgångspunkt kan vi ge följande exempel och presentation av en utvärdering tillsammans med SISU Idrottsutbildarna Västernorrland: Upplägget följer grovt sett följande tidsaxel (SISU Idrottsutbildarna Värmland) jan sommar sept dec/jan mars (1) (2) (3) (4) (5) (6) (7) (8) 1 Man kommer överens med ett annat SISU-distrikt (här: SISU Idrottsutbildarna Västernorrland) om kollegial utvärdering. Självvärdering! Distriktens personal (ev. representanter) träffas för ett ömsesidigt erfarenhetsutbyte ( en bred beskrivning av respektive distrikt ) där både starka och svaga sidor presenteras. 3 SISU Värmlands personal ger förslag till sin distriktsstyrelse på områden Vad vi vill ha utvärderat i vår verksamhet.

5 5 4 Styrelsen beslutar om ett utvärderingsuppdrag till SISU Idrottsutbildarna Västernorrland, som i sin tur ger SISU Idrottsutbildarna Värmland sitt uppdrag. 5 Genomförandefas. 6 Avrapportering och genomgång med respektive styrelse/personal. Gemensam överläggning mellan båda distrikten. 7 Uppföljning/slutsatser/åtgärder inom respektive distrikt. 8 Resultatet redovisas i SISU Idrottsutbildarna Värmlands verksamhetsberättelse och därmed också till årsstämman. Låt oss hålla oss kvar i SISU Idrottsutbildarna Värmland och på några punkter se hur det kan se ut i praktiken: 2 Personal från de två distrikten träffas under två dagar. 4 Utvärderingsuppdraget som lagts fast av SISU Idrottsutbildarna Värmlands styrelse är: (återges här något förkortat): Framgångsnycklar? Varför lyckas SISU Värmland bra med folkbildningsarbetet i vissa föreningar medan det är omöjligt i andra? Går det att hitta medkrafterna respektive motkrafterna? Effekter av folkbildningsarbetet. Vilka effekter kan föreningen se av ett någorlunda omfattande folkbildningsarbete? 5 SISU Idrottsutbildarna Västernorrland väljer att tackla uppdraget genom att komplettera tidigare dokumenterat och redovisat material med föreningsbesök i sex olika idrottsföreningar i Värmland. Intervjuer görs med olika nyckelpersoner i respektive förening utifrån ett förberett omfattande frågebatteri. 6 SISU Idrottsutbildarna Västernorrland lämnar en skriftlig rapport/dokumentation i form av dels föreningsbeskrivningar dels Kollegial utvärdering framgångsfaktorer. I den senare sammanställningen besvaras ett tiotal frågor av typ Hur hög tillgänglighet upplever ni att SISU Idrottsutbildarna Värmland och dess personal har? Resultatet markeras dels längs en skala, dels med citat/exempel/kommentarer. Ur den avslutande sammanfattningen kan vi sedan som exempel hämta: Vi tycker oss se områden som rimligen borde ägnas stort intresse det/de närmaste år(en): Informationsfrågorna/Samspelsformer SISU-idrotten/Förnyelse av SISU:s utbud/ personalens kompetens som processledare-startare, inspiratör och att även fortsättningsvis upplevas som en positiv resurs för föreningarna.

6 6 Ytterligare några SISU-exempel Vi lyfter här ytterligare tre exempel och beskriver i första hand upplägget. SISU Idrottsutbildarna Jämtland/Härjedalen och SISU Idrottsutbildarna Västernorrland, år , i kollegiala utvärderingar Uppdraget från SISU Idrottsutbildarna Västernorrland: Utreda kvaliteten på folkbildningsverksamheten i Västernorrlands volymmässigt största samarbetsföreningar. Se över cirkeladministrationen samt för och nackdelar med ett centralt kansli. SISU Idrottsutbildarna Jämtland/Härjedalen valde ut fyra föreningar som hade mer än studietimmar år 2000, samt formulerade kvalitetskriterier för olika målgrupper i föreningen för jämförelser. Intervjuer och besök genom fördes med ordförande/utbildningsledare. Telefonintervjuer med cirkeledare samt ett urval deltagare. (Datainsamlingen genomfördes av utbildningskonsulenter.) Centralt SISU-kansli och cirkeladministration? Datainsamling genom samtal med medarbetare sammanställning (för- och nackdelar) och analys. En utförlig rapport från den kollegiala utvärderingen, med underlagsmaterial och slutsatser, sammanställdes och överlämnades. Uppdraget från SISU Idrottsutbildarna Jämtland/Härjedalen: Tre områden aktualiserades: Administration: Hur mycket tid tar det att administrera en studiecirkel? Verksamhet: Hur kommer det sig att vi inte når Bräcke och Ragunda kommuns föreningar, när vi når Härjedalens, som ligger längre bort? Varför når vi inte friidrott och golf? Organisation: Styrelsens delegationsordning till utbildningschefen. För och nackdelar? Administration. Intervjuer med såväl administratörer och konsulenter, ombud från olika SDF samt ett urval av föreningar. Verksamhet. Svårigheten att nå ut? Föreningsbesök och intervjuer bland annat några telefonintervjuer av nyckelpersoner i berörda föreningar. Dessutom träffar och intervjuer med ett antal SDF och SISU-konsulenterna i Jämtland. Organisation. Intervjuer med personer i och kring SISU Jämtland. Även här har en omfattande rapport sammanställts med underlagsmaterial, insamlade data, slutsatser och en lång rad råd och synpunkter. (Värt att citera ur rappor-

7 7 ten: Vi från SISU Västernorrland vill tacka SISU J/H och framför allt era föreningar som på ett fantastiskt och tillmötesgående sätt ställde upp på dag och kvällstid för dessa intervjuer.) Bland de positiva reaktionerna hos de som genomfört dessa kollegiala utvärderingar fanns också en eftertanke att man kanske hade hamnat på en allt för hög ambitionsnivå. Kollegiegranskning mellan NBV, Medborgarskolan och SISU Idrottsutbildarna (inom Kronobergs Läns Bildningsförbund) år 2003 (Övriga studieförbund genomförde i två grupper också kollegiegranskning ) Så här var denna kollegiegranskning upplagd: Vi arbetar tre eller fyra studieförbund tillsammans och granskar varandra. Vi arbetar med den lokala verksamheten från senast genomförda verksamhetsår. Vi utgår ifrån vad vi faktiskt gör. Dokument som mål, policys, deltagarlistor och rapporter etcetera är en del av underlaget. Återföring är en viktig del av arbetet och sker först till de direkt berörda, därefter till Lbf och så vidare. Uppdraget utgår ifrån ett antal frågeställningar som är viktiga att belysa i alla granskningarna för att senare kunna dra gemensamma slutsatser. Frågeställningarna utgår från studiecirkeln, annan gruppverksamhet, kulturprogram, uppdragsverksamhet, cirkelledaren och interna diskussioner. Syftet med vår kollegiegranskning är att lära mer om varandra för att öka förståelsen för varandras verksamheter. Genom en större gemensam insikt om våra verksamheter och en stärkt uppfattning om folkbildningens innehåll och tradition ska vi kunna möta nya behov och ny utveckling. (Ur Underlag, ) En rapport från det kollegiala utvärderingsarbetet finns. NBV, SISU Idrottsutbildarna och Medborgarskolan uttalar gemensamt: Vi vill säga att detta arbete har varit mycket givande och lärande i processen mellan våra tre studieförbund.

8 8 SISU Idrottsutbildarna i Norrbotten och Västerbotten möts i kollegiala utvärderingsdagar, maj Utifrån en jämförelse mellan AC och BD-län, som visar stora likheter i befolkning och struktur konstateras stora skillnader i verksamhet mellan SISU-distrikten. Uppdraget: Vad kan detta bero på? Vilka förklaringar kan finnas? Bearbetning och analys genomfördes i form av grupparbeten inom respektive styrelse och personalgrupp med utgångspunkten att särskilja starka och svaga sidor i verksamhet och organisation utifrån: AC-styrelsen om Västerbotten, AC-styrelsen om Norrbotten, BD-styrelsen om Västerbotten, BD-styrelsen om Norrbotten, AC-personalen om Västerbotten, Ac-personalen om Norrbotten, BD-personalen om Västerbotten samt BD-personalen om Norrbotten. Ett omfattande material kunde på detta sätt arbetas fram. De kollegiala utvärderingsdagar uppfattades mycket positivt, men även här var nog uppfattningen att man inte riktigt kom från erfarenhetsutbyte till utvärdering.

9 9 Funderingar och rekommendationer Vi avslutar presentationen av Kollegial utvärdering med några medskick ur SISU Idrottsutbildarnas samlade erfarenheter av att arbeta med metoden: Var klar över syftet med den kollegiala utvärderingen: Utveckla verksamheten! Utveckla medarbetare! Engagera/involvera förtroendevalda! Urval av distrikt? Lika eller olika (behovet kan variera)? 2! (möjligen 3) Viktigt att det blir en öppen dialog och en gemensam vilja att utvärdera. Metoder förutsätter tid och resurser för att leda till ett framgångsrikt resultat. Avväg en insats av detta slag mot andra planerade möten under den aktuella perioden. Ge goda förutsättningar det är inte möjligt att göra allt! Val av utvärderingsområde? Välj sådant som ni själva sätter låga betyg på där ni behöver utvecklas... och där ni vill ha hjälp att komma vidare! Prioritera och var väl förberedda. Välj rätt och rimlig ambitionsnivå. Var noga med formuleringen av uppdraget. I den kritiska självvärderingen ska både gott och ont diskuteras. Här ingår också att beskriva och analysera om och hur man avser kunna hantera och lösa de identifierade problemen inom den närmaste framtiden. Byt material i förväg (i god tid). Använd olika informationskällor. Risk att det stannar vid ett erfarenhetsutbyte (eller allmän verksamhetsuppföljning) att man inte vågar göra det till en utvärdering (kritisk granskning). Svårighet att vara tydlig, vara kritisk. Svårt att ge och ta kritik det krävs en del träning för att våga vara ärlig. Diskutera verksamhet inte person(er). För lite tid till processen kan medföra att ni inte hinner längre än till erfarenhetsutbyte. Självkänslan stärks när man gemensamt får bearbeta varandras verksamhet. Dessutom är det viktigt i en växande organisation att man lära känna varandra. Även om det finns en gemensam värdegrund kan det vara genom den praktiska verksamheten man når samsyn.

10 10 Kollegial utvärdering behöver inte (och ska inte) utföras varje år men det ska finnas med som ett naturligt och återkommande inslag i den långsiktiga planeringen. Involvera styrelsen ökar de förtroendevaldas engagemang! Dessutom blir det då svårare att glömma bort resultatet. Avrapporteringen våga vara ärlig(a). Dra ut det generella undvik detaljer, skala bort gnäll. Se det konstruktivt. Om personfrågor trots allt aktualiserats följ upp det öga mot öga och med omdöme. Viktigt med dokumentationen, med rapporter och avrapportering! Självklart till den närmaste kretsen gärna en avrapporteringskonferens(-möte). Glöm inte att ert arbete och slutsatser också kan ha stor betydelse för hela SISU-organisationen! Obs! Verksamhetsberättelsen! Tänk på att utvärderingsprocessen ska sammanfalla med den årliga planeringen så att resultaten kan tas om hand och integreras i verksamheten på ett naturligt sätt! Omsätt slutsatser och resultat i en handlingsplan. Vad har den kollegiala utvärderingen givit på lite längre sikt, vad skulle vara bra att det genomfördes någon form av fördjupad utvärdering inom? Utvärdera också utvärderingen. Hur upplevdes arbetet med kollegial utvärdering? Vad är viktigt att särskilt tänka på nästa gång.

11 11 Avslutande reflexioner För oss i SISU Idrottsutbildarna Värmland har kollegiala utvärderingar ett mycket stort värde. Vi har hela tiden sett över oss själva! Alltid haft en etik/moraldiskussion. Hur vi använt pengarna. Samspelet kontroll utveckling. Att ifrågasätta ger kvalitetsmedvetenhet! Men ha hela tiden i minnet att KOLLEGIAL UTVÄRDERING är en modell med många olika ansikten! Välj och pröva vad som kan passa er! För varje gång vi genomför en kollegial utvärdering blir det mer och mer utvärdering! Kollegiala utvärderingar är inte bara något för studie/utbildningsorganisationer det kan bli/vara en kraft i olika slags organisationer, företag, föreningar och då självfallet inom idrotten/idrottsrörelsen!

12