Utvärdering av samverkansdialogerna inom kulturområdet Anteckningar från möte 31 januari 2012, SKL, Stockholm Inledning. Alla hälsades välkomna, deltagarna presenterade sig och sade något om vad de tänkt eller gjort sen sist. Tre nya deltagare hade tillkommit och vi var cirka 35 personer. Utvärderandets konst. Ove Karlsson Vestman hade bjudits in som extern föreläsare. Han är professor i pedagogik vid Mälardalens högskola och har lång erfarenhet av utvärderingar, främst inom utbildningsområdet. Han har också skrivit en bok med samma tema som dagens föreläsning. Föreläsningsbilderna återfinns på Reglabs webbsida http://www.reglab.se/larprojekt/kulturdialog/31- jan under namnet Utvärderandets konst av O K Vestman (PDF). Att utvärdera är något man måste förhålla sig till. Var någonstans under resan kommer utvärderingen in, och på vilket sätt?. Detta handlade Karlsson Vestmans föreläsning om. Han pratade om förändringar inom branschen, dvs förändrad syn på utvärdering, när utvärderingar kommer in i processer samt vad som har påverkat det. EU:s krav har varit viktiga i detta förlopp. Frågor: Vilket syfte har ni med att göra en utvärdering? Är det lärande, kontrollerande, främjande eller forskande? Vilka kunskaper söker ni? Kulturplaner, ja, men varför? Metodfrågan. Hur går ni tillväga? Värderingsfrågan. Hur bedömer man? Legitimitetsfrågan avgörs mycket av vilka intentioner man hade när man bestämde sig för att göra en utvärdering. Utvärdering handlar om att systematiskt beskriva och bedöma någonting och att redovisa resultatet. Det måste finnas en explicit plan, dvs utvärdering är att vara systematisk. Hur man beskriver något på ett korrekt sätt kallas empirisk analys, till skillnad från hur man bedömer något, dvs normativ analys. Hur kommunicerar man sina resultat? Där anser Karlsson Vestman att det finns en stor fantasilöshet inom utvärderingsområdet. Trots utvecklingen av video och sociala medier. 1
Urvalet av data kan ge olika beskrivningar. Man kan också använda sig av opponent-respondent metoden för att på ett någorlunda objektivt sätt beskriva situationen. Det här har jag uppfattat att författaren har gjort, är det rätt uppfattat? Respondenten: I stora drag har du förstått vad det har gått ut på, men du har missat osv. Så att parterna är överens om beskrivningen. När det gäller datainsamling, kontrollera först om andra har samlat in data. Befintliga data kan kompletteras med exempelvis frågestudier eller observation. Det finns enligt föreläsaren tre olika sätt att bedöma: 1. Mål Resultat, jämför mot ett ideal. 2. Relativ bedömning/betygsättning. Benchmarking - tar fram ett gott exempel. Den goda kulturplanen. Sätter upp ett ideal och utvärderar utifrån det målet. Studiebesök. 3. Utvecklingsbedömning. Vad har du gjort för förändringar sedan sist? Jämförelse över tid. Det är svårt att i praktiken bedöma vad som har påverkat resultatet. Det handlar ofta om flera samtidiga insatser och processer med många resultat och ett brus av olika effekter. Hur ska vi då kunna avgöra vad vår insats har haft för inverkan? Där finns det behov av en programteori. Programteori är på svenska detsamma som verksamhetsutvärdering. Insats process resultat effekt. Man försöker hitta en teori för att orientera sig i vågskvalpet. För att kunna skriva en programteori måste du veta syftet. Någonstans finns ett ursprungligt skäl till de regionala kulturplanerna. Skälet finns på samhällsnivå. Det kan vara behovet av en ny kulturpolitik och policy. Via planering, genomförande och till slutresultat strävar man efter att få mer delaktiga och aktiva medborgare och ett rikare kulturliv. Var i effektkedjan befinner vi oss? Är antagandena rimliga, dvs att insatsen ska leda till mer delaktiga och aktiva medborgare? Vi placerar in utvärderingstänket på de olika skedena i programteorin och det blir då en utvärderingsteori. Den kan svara på: Har vi tänkt rätt? Behövs den här insatsen? Vad får oss att tro att vi med det här löser problemet? Är jag intresserade av nästa steg i genomförandet, då är det den process- och deltagarinriktade utvärderingen jag är intresserad av. Frågor: Gör vi rätt insats? Två fallgropar: teorimisslyckandet och genomförandemisslyckandet. 2
Försök inte göra om ett genomförandemisslyckande till ett teorimisslyckande. Mission impossible, det var fel tänkt från början. Observera att när man gör en utvärdering på det förväntade kan man missa det som är orsaken. Se Vedungs bieffekter och historien om mannen som letar efter nycklarna på marken i skenet från gatlyktan. Ove Karlsson Vestman rekommenderar oss att läsa en ny avhandling av Marion Johansson, Linnéuniversitetet, nr 73/2011, med namnet I dialogens namn, Idén om en överenskommelse mellan regeringen och de ideella organisationerna. I en dialog är man ute efter lyssnande och ömsesidig förståelse. Dialogen ska föras på ett maktfritt sätt. Allas synpunkter ska vara lika mycket värda. Dialog är något som försiggår här och nu. Buber 1979: Det är i dialogen jag blir till. Dialog som ett möte här och nu ansikte mot ansikte Det finns också en dialog över tid och kulturer. Bakhtin 1981. Sokrates kritiska dialog som syftar till att skapa en djupare förståelse. Resultaten kan redovisas på många olika sätt, varav två nämndes tidigare: video och sociala medier. Men man kan också använda effektiva beprövade metoder som spindeldiagrammet eller SWOT-analys. I avslutande frågestund diskuterades bl a hur situationen blir när den som ställer frågan också är den som fördelar pengar, dvs är den som har makten. Uno Karlsson Vestmans lösning var: Försök få någon annan som frågar än du själv! Undersök tankarna och idéerna genom någon annan. Carl-Uno Frykholm, MYKAS, fyllde på med att de bedömer utifrån den nationella kulturpolitiken och dess mål. -Då handlar det om någon form av idealtanke, dvs om man strävar mot något eller om man ska uppfylla något. Vi måste också tas hänsyn till de regionala olikheterna, sa Frykholm. Vi ska eftersträva de nationella målen, men är medvetna om att man måste hitta olika lösningar i olika regioner. En diskussion om kvantitativt-kvalitativt tog vid. Karlsson Vestman visade på en undersökning där man studerade förfining av gruppens arbetsmetoder. Hur mäter man det? Det handlar om lärande utvärdering, där man använder sig av 3
lärande genom utvärdering på tre nivåer: reproduktivt (singel loop), utvecklingsinriktat (double loop) och/eller kreativt lärande (triple loop). Om det bland politiker inte finns intresse för något annat än det som är kvantitativt mätbart då har man problem, t ex när det handlar om förändring av attityder. Kvalitativa data kan ofta kvantifieras. Det ligger på ett kvalificerat plan att förstå vad som orsakar förändring. På Gotland införde man för ca 5 år sen metoden Balanserat styrkort. Jag tycker att det har varit ett bra sätt att arbeta med de mjukare värdena sa Helena Wangefelt Ström. Jag tror att framtiden kommer att bestå mycket av dialogutvärdering, sa Jörgen Lindvall, från Jönköpings Läns Landsting. Ove Karlsson Vestman sa att man från EU sätter in så mycket kraft på utvärdering under projektets gång beror på kritiken från tidigare projekt, att man inte har någon nytta av de utvärderingar som har gjorts. Ska man ha nytta av utvärdering får det bli i det projekt som det berör. Frykholm nämnde att dialogutvärdering liknar mycket intressentutvärdering, dvs hur betraktar olika grupper den här verksamheten? Det belyses från olika perspektiv. För att få svar kan man triangulera, dvs försöker hitta någon sanning i mitten. Några exempel från regionerna och tankar från ett seminarium Kronobergs län. Sunny Sandström från Regionförbundet södra Småland visade sin presentation från konferensen i Luleå där man diskuterat effekter av samverkansmodellen. Frågan var: Hur har processerna/dialogerna påverkat kulturområdet och kulturpolitiken? Vad har uppnåtts som troligen inte skulle ha inträffat utan modellen? Sunny använde sig av Christina Johannessons bilder från föregående träff för sin presentation. Det har gått kort tid sedan modellen infördes i Kronobergs län, men likafullt tycker sig Sunny och Helene se en del resultat. Det har t ex blivit en ökad närvaro av kulturfrågor på den politiska agendan. Crowd Culture lanseras i dagarna, man har fått effektivare beslutsprocesser, kultur är för första gången med i budgetprocessen i Kronoberg. Det har blivit en stärkt samverkan med andra aktörer och samhällsområden. Det har också blivit stärkt samverkan mellan aktörer. Se www.kulturplankronoberg.se. 4
Västerbotten. Petra Rantatalo, Region Västerbotten berättar om den studie som har gjorts av Richard Ström, student på kulturanalysutbildningen vid Umeå universitet, i samverkan med Cerum. Metoden har varit deltagande observation. Han har deltagit i alla dialogmöten i Västerbotten. Rapporten ligger nu på tryck och det han diskuterar är bl a: tillgänglighet, barn och unga, samverkan och region Västerbottens roll i arbetet. Kulturpolitiken utmanas av kulturfältets dynamik. Hur gör man så att människor på en plats känner sig inkluderade? Vikten att skapa strukturer så att nyinflyttade kommer in på platsen. Rapporten kommer att hittas på Cerum rapport 38. Det kommer att finnas en länk till rapporten både på Västerbottens och Reglabs webbsida. Seminarium om kulturpolitiken och civilsamhällets roll. Jörgen Lindvall, Landstinget i Jönköpings län, berättade om det seminarium som varit dagen innan Reglabmötet. Ungefär hälften av de regionala tjänstemännen deltog i detta, på Södra Teatern. Vid seminariet presenterades en rapport som var resultatet av ett samarbete mellan Kulturrådet, Riksantikvarieämbetet och Riksteatern. Kulturministern deltog också. Moderator var Gunilla Kindstrand. (http://www.kulturradet.se/nyheter/civila-samhallet-nyhet) En av Jörgens slutsatser var att kulturpolitiken utmanas av kulturpolitikens dynamik. Vem äger i framtiden kultur ur ett medborgarperspektiv? Var kommer människan in bland alla dessa strategier och planer? Någon nämnde att det var som att rummet bestod av två demokratisystem, varav det ena utgick från vårt parlamentariska, politiska system och det andra från civilsamhället. Stad och Land-problematiken diskuterades. I små kommuner är föreningar det enda klistret och oftast de enda kulturarrangörerna. Många städer är också avfolkningsbygder. De regionala skillnaderna är stora i fråga om kvalitet. Gruppövning om lärandet i lärprojektet. Var är vi nu? Pernilla kommenterade svårigheten att få in konkreta exempel från deltagarna, på Reglabs webbsida finns det endast ett från Anna i Gävleborgs län. Pernilla testade en reflektion från sin genomläsning av kulturplanerna. Om man tillämpar den modell som Christina Johannesson presenterade förra gången, där Aktiviteten är alla dialogerna och Resultatet är kulturplanerna, så kan man fundera över var analysen sker. Borde det inte finnas en, eller flera, rutor mellan Aktivitet och Resultat där det framgår vem/vilka och hur analysen görs? Deltagarna fick dela in sig i reflekterande team om fyra personer. Varje person fick presentera ett exempel från den egna verksamheten och sina tankar om hur teorierna vi lärt oss kan tillämpas på detta exempel. Ju mer avgränsat exempel, 5
desto lättare är det att undersöka. Därefter fick de tre andra i teamet ställa utvecklande frågor och ge feedback. Axplock från redovisningen i storgrupp: - Vi hade strukturerad samverkan på tjänstemanna- och politikernivå, lokalt och regionalt. Under processens gång kände man att kommunerna blev mer engagerade. Men hur behåller man detta till nästa år? Kommunerna undrar också: När ska vi genomföra de aktiviteter som finns i planen? - Organisationsutveckling. Vikten av att också de organisationer som deltar utvecklas. - Vi ser att vi i framtiden kommer att projektanställa, för att kunna ta in olika kompetenser. - Vi har förändrat hur vi tjänstemän jobbar med avstämningar. Förut var det några fasta tider, nu stämmer vi av med varandra kontinuerligt. - Gränssnittet till andra politikområden. Förankringsprocessen påverkar resultatet, dvs hur väl man förankrat vad som ska göras. - Vi kommer nu att ersätta samrådsmötena med att ta upp frågorna i redan existerande mötesforum, som en del av deras dagordning. - Man kan ju också bjuda in sig till, eller bli inbjuden till möten som arrangeras av civilsamhället. Självskattning. Vid den första träffen i september på Vår Gård fick följande två målbilder flest röster: 1) Att lära mig mer om (och bli duktig på) utvärdering av process och dialogarbetet så att det blir ett erkänt och viktigt och nödvändigt verktyg i utvecklingsarbetet. 2) Att hitta vägar att utvärdera sådant som hittills har varit omöjligt att utvärdera det som går utöver det kvantitativa. I den här övningen fick deltagarna placera sig i rummet på en skala mellan 1 och 10 i fråga om hur väl de ansåg att de infriat målbilden. Resultatet blev generellt högre för 1:an och lägre för 2:an. Svarta böckerna. Deltagarna fick tre minuter på sig att skriva ned vad de lärt sig fram till nu och under dagen. Vid den avslutande självskattningsövningen hamnade genomsnittet på 6,24, till skillnad från den första träffen när snittet var 3,9. Gruppövning om lärandet och kommunikation. I denna övning fick deltagarna dela in sig i nya grupper och diskutera tre frågor. Resultatet kommer att utgöra ett underlag för planeringen av nästa träff. - Vad har ni lärt er hittills? (Sammanfatta diskussionen på ett A4) 6
- Vad återstår att lära, vad vill ni lära mer om? (Ge förslag till input/innehåll till nästa gång) - Hur vill ni kommunicera det ni lärt er? (Ge konkreta förslag på en A4) Gruppernas sammanställningar finns i bilaga Gruppövningen om upplägget av sista träffen (PDF). Nästa gång. De avslutande dagarna hålls på Vår Gård i Saltsjöbaden 29 feb-1 mars, lunchlunch. En dagordning skickas ut i mitten av februari. Om ni har frågor om boendet kan ni kontakta Ulla Franzén Ulla.Franzen@skl.se Välkomna! Vid datorn Christina Rådelius 7