Utvärdering av samverkansdialogerna inom kulturområdet Anteckningar från möte 23 november i Tändstickspalatset, Stockholm Inledning. Alla hälsades välkomna, deltagarna presenterade sig och berättade om sina förväntningar inför dagen. Processutvärdering. Dagens inbjudna föreläsare var Christina Johannesson, processledare och utvärderare på Kontigo AB. Hon har i 20 års tid arbetat med lärande utvärdering, men det är först på senare tid som kulturområdet har blivit aktuellt. Hennes föreläsningsbilder återfinns på Reglabs webbsida http://www.reglab.se/larprojekt/kulturdialog/23-nov under namnet C Johannesson om processutvärdering. Enligt Christina Johannesson är vitsen med att utvärdera processer att man lär sig något av det man gjorde. Processutvärdering handlar om faktisk handling i förhållande till indikatorer, Road maps (strategier, vägvalet) och Back-casting (mitt i processen; funkade det?) Kriterier och kritiska faktorer Lärande syfte I processutvärdering dokumenterar och diskuterar man det man gör i förhållande till uppsatta mål. Det är påverkande och ger möjlighet till förändringar under projektets gång. Efter ett tag kan man identifiera vilka kritiska faktorer som är viktiga för lärandet; det som hindrar eller främjar processen. Vilka kan då de kritiska faktorer vara som hindrar processer? Tiden, aktörernas motivation, otydliga mål i regionerna, olika aktörers förväntningar, pengar, mod samt diversiteten kan vara kritiska faktorer. Genom att sortera dessa handlar det om aktörerna eller något annat? kan man ta reda på vilka hindren är och försöka åtgärda dessa inför nästa kulturplan. Christina Johannesson menade, liksom Evert Vedung vid det föregående mötet, att utvärdering måste följas av konkret handling. Det finns inget lärande om man inte implementerar processen. Som processledare måste man våga vara modig för att våga vara transparent. Genom att plocka fram de kritiska faktorerna och diskutera hur man ska förändra dessa sker en ständig processutvärdering. Christina presenterade olika modeller för analys, där grundmodell 1 ställer frågan Hur? medan grundmodell 2 tar med Varför? (input), Process (vem, när, hur) och Resultat (vad). När både process och mål är otydliga befinner sig utvärderaren i en 1
svår situation. Man måste klara ut input- och outputsidorna, varför man sätter igång en process och vad man ska uppnå. Grundmodell 3 tar upp ett tredelat resultat, nämligen omedelbara prestationer, effekter och nytta (samhälls-). Översatt till arbetet med de regionala kulturplanerna blir de olika leden: Input = kulturpolitik, kulturanalys Process = dialog Resultat = kulturplan Effekt = kulturpolitisk måluppfyllelse. Östsam nämnde att under arbetet med kulturplanen har samverkansmodellen kommit att bli allt viktigare. Västmanland berättade att ett resultat är att man vill ha kommunala kulturplaner. Lokala politiker har gett kommunala tjänstemän i uppdrag att sätta igång lokala samverkansprocesser. Ytterligare en output från arbetet är nya mötesstrukturer; det har skett ett demokratiskt bygge. Någon påtalade att andra regionala områden intresserat sig för samverkansmodellen, som t ex hälsa och sjukvård. Christina Johannesson nämnde att det inte längre handlar om fördelningspolitik utan utvecklingspolitik. Triple Helix kom i slutet av 1990- talet, dvs betydelsen av samverkan mellan näringsliv, offentligt och akademi för innovationer och tillväxt. Det som därefter har utvecklats är mötena och processerna. Processen är en förutsättning för att det ska hända något. Men den måste också kunna utvärderas. Det är en betydande skillnad mellan om man betraktar kulturplanen som en resursfördelningsmodell eller en retning av systemet. Hur har den kulturdialog som har förts tagit hand om resultaten? Fanns det någon analys av vilka aktörer som var viktigast att ha med för att få den outcome man ville ha? Man måste analysera intressenterna - vilka intressenter har störst anledning att stoppa eller hindra processen? Aktörerna måste kartläggas. Frågan är vilken nivå man lägger sig på eftersom det inte kan finnas med personnummer? Det är viktigt att inte bli inriktad på konkreta mål för tidigt, innan man har fått fram indikatorer. Kriterierna bör vara klara innan prioriteringar görs. Om vi klarar av att formulera kriterier blir det mer transparent. Det står i många kulturplaner att man ska göra prioriteringar, men hur då? Vad betyder det att prioritera barn och unga? Ekonomiskt? Ska de vara med i beslutsprocessen? osv. För att våga ta obekväma beslut måste man ha kriterier. Kriterier vägleder en i arbetet med att göra förändringar. Att mäta det omätbara. Mikael Palo, Lena Adem och Anna Lindqvist gav en sammanfattande presentation av Andrew McIntyre s föreläsning vid SKL:s kulturkonferens på Gotland. Föreläsningsbilderna återfinns under länken Andrew McIntyre, Measuring the un-measurable på Reglabs webbsida. 2
Frågan är: Vilken kunskap har vi om våra kulturbesökare och om dem som inte tar del av kulturutbudet? McIntyre visade i sin föreläsning att vi snävar in perspektivet; vi arbetar mot dem som är våra besökare men missar de potentiella besökarna vilket är många fler. Han visade också att det finns för lite kunskap om varför man besöker kulturinstitutioner. Alla delades in i grupper om fyra för att diskutera följande frågor: - Ser vi något behov av att veta hur våra kulturbesökare ser ut, deras potential, vad som styr deras preferenser och behov? - Kan vi använda kunskaperna i vårt arbete med kultursamverkansmodellen? I diskussionen framkom att det är självklart att man måste veta mer om besökarna för att kunna föra en utveckling. Genom att undersöka vilka som är kulturbesökare ser man också vilka som inte var där. Det är också stor skillnad mellan en besökare och en användare. En besökare kan gå in på museet för att enbart använda toaletten. Så fort man tar fram siffror måste man veta varför man gör det. Hur ska man förhålla sig till resultatet? Leder det till att man förändrar något? Om man gör en enkät är det viktigaste den öppna frågan i slutet av enkäten, den kan ge mycket mer viktig information än de bundna svarsalternativen. Alla kulturplaner innehåller skrivningar om ökad delaktighet, men frågan är hur pass mycket delaktighet man vill ha? Region Skåne. Jan Stenfell presenterade utvärderingsarbetet i Region Skåne. Dialogerna har utvärderats med en enkel enkät, dvs hur de som deltagit har uppfattat mötesformen, lokalen etc. Civilsamhällets organisationer visade sig mer kritiska till hur regionen har skött samverkansdialogerna, än kommunernas representanter. Jan och hans kolleger gör en del av analyserna själva, men lämnar annat till experterna. De samarbetar t ex med Lunds universitet. En svårighet är att hitta riktiga definitioner. Kulturrådets resultat har inte alltid stämt p g a att människor uppgett olika saker. Det handlar om att fånga rätt saker. Inte för mycket, men rätt. Långa tidsserier kräver någorlunda permanens. Arbetet med kulturplanen är indelat i tre olika tidsperioder. I feb-maj fångar man upp och analyserar, i juni-okt sker utveckling och samråd samt i okt-jan revidering och finansiering. 3
Region Skåne håller på att köra igång en regional databas för sin statistikhantering och har fått i uppdrag av Kulturrådet att göra en förstudie kring hur det ska kunna användas av andra regioner. Förstudien ska redovisas den 2 dec. I anslutning till nästa lärprocessmöte, i slutet av januari, kommer region Skåne att presentera hur databasen är uppbyggd samt vad det skulle kosta för övriga regioner att delta. Det kommer att gå ut en separat inbjudan till detta möte. Gruppövning utifrån kulturplanerna. De regionala kulturplanerna innehåller alla avsnitt som rör möten/mötesplatser och metoder för utvärdering. Skrivningarna är ambitiösa men frågan är vad som ska följas upp och utvärderas? En sammanställning av dessa avsnitt finns i bilagorna Klipp ur kulturplanerna 2012-2014: Möten samt Klipp ur kulturplanerna 2012-2014: Utvärdering på Reglabs webbsida. Med utgångspunkt från dessa avsnitt fick grupperna i uppgift att välja ut en konkret aktivitet/process och arbeta igenom den enligt Christina Johannessons grundmodell 3. Vid redovisningen hade en grupp funderingar om tidsaspekten. Samhällsförändringar tar lång tid för att få genomslag, 10-15 år, men det måste ändå gå att plocka bort en del onyttiga saker efter kortare tid, som ett år. Vad är det man ska utvärdera? Ska man utvärdera de små sakerna? Om resultatet är en förstudie behöver man kanske inte utvärdera denna. En annan grupp nämnde att de regioner som samarbetar kring en gemensam aktivitet måste få in denna i kultursamverkansmodellen. Ett kulturting genomförs i mars i samarbete mellan tre län och Mälardalsrådet. Dess fokus är barn och unga och syftet är att det ska ge inspiration och leda till fler mötesplatser. En effekt kan bli en mer en aktiv kulturpolitik. Kritiska faktorer är: för många kockar och olika styrsystem i olika organisationer. Den tredje gruppen nämnde att i fråga om ungdomsdialoger är det viktigt att syftet att skapa ett större inflytande för ungdomar blir synligt i den reviderade kulturplanen. Det måste vara utvärderingsbart från start. Ett problem är tidsaspekten: det tar tid innan man ser effekter på kulturplanen. Den fjärde gruppen diskuterade internationella nätverk och nätverksträffar samt hur dessa kan utvärderas. Ett nätverk är en aktivitet där träffar, gemensamma ansökningar m m kan utvärderas, dvs i små mätbara snitt. Reglabs nya webbsida. Deltagarna fick se Reglabs nya webbsida och hur det är tänkt att deltagare i denna lärprocess ska kunna få glädje av den. Ni kommer alla 4
att få inloggningsuppgifter från Eva Moe. Du bestämmer själv vilka uppgifter du vill lägga ut som titel, kontaktuppgifter osv. Exempelsidan är ett forum för diskussion av egnas och andras exempel. Nästa gång. Vid mötet den 31 januari föreläser Ove Karlsson Vestman, prof emeritus i pedagogik och erfaren utvärderare. I somras gav han ut boken Utvärderandets konst. Efter mötet kommer Region Skåne att presentera databasen. Skicka ett mejl till Pernilla om du inte kan komma nästa gång. Vid datorn Christina Rådelius Kommande möten. Tisdag 31 jan kl 10-16.30, med kaffe från 9.30, på SKL i Stockholm. De avslutande dagarna 29 feb-1 mars hålls på Vår Gård i Saltsjöbaden. 5