Utvärdering i politiken och politiken i utvärdering

Transkript

1 Utvärdering i politiken och politiken i utvärdering Enkät efter konferens, besvarad av 55% av deltagarna. Flertalet kommentarer är borttagna, svar som är representativa finns med 1. Vilken sektor arbetar du inom? Statliga förvaltningen 83 Kommuner och landsting 15 Privat företag eller organisation 28 Ideell sektor (Social ekonomi) 1 2. Var du medlem i SVUF före konferensen 2013? Ja 72 Nej Vilka av följande SVUF-konferenser har du deltagit i? Hur fick du kännedom om årets konferens? Via mejl/nyhetsbrev från SVUF 52 Via SVUF:s hemsida 19 Via arbetskamrater/bekanta 58 Via annons i tidning 0 Annat: Eftersom jag varit med tidigare kunde jag läsa fram trenden att det borde vara konferens 2013, och att nästa blir 2015 Kännde til sedan tidigare Känner till SVUF sedan föreningen bildades. Medlem i styrelsen Personligt utskick tror jag sitter i styrelsen Som styrelseledamot Svårt att veta hur jag fick kännedom om konferensen, vi håller koll på SVUF

2 vet att den går vartannat år Vi utbildning för Lärande utvärdering och följeforskning på Mälardalens högskola. Via chef Via min chef Via min lärare vid mitt universitet 5. I vilken omfattning deltog du i själva konferensen? (FLERVAL) Försession 45 Båda dagarna 113 Bara dag 1 2 Bara dag 2 2 Enstaka session både dag 1 och Vad tyckte du om försession: 1. Komplexitet i utvärdering ,5 2. Utvärderingens elementa ,5 3. Programteori ,08 4. Effektanalys ,65 5. Mångkulturalitet och genus i utvärdering ,5 7. Vill du framföra någon kommentar om försessionerna? 8. Har du förslag på försessioner till nästa SVUF-konferens? Anm; samtliga kommentarer finns med - Ekonometri och makroperpektiv - Mesoperpektivet, hur en kontors/företagskultur påverkar attityder - Förankring och förhandlingsspel "Att studera utvärdering" - teoretiska perspektiv och vetenskaplig skolbildning - hur kan vi studera utvärdering? Då en stor del av utvärderingslitteraturen är inriktad på att utveckla utvärderingskunskaperna och göra utvärdering mer användarvänlig osv, och ofta detta som diskuteras behöver denna typ av frågor, som gäller samhällsvetenskaperna i stort också lyftas fram. och frågor som: konsten att utvärdera och samtidigt vara en utvärderingskritisk forskare. En sådan session hade jag verkligen sett fram emot! Användbarhet. Developmental evaluation och participatorisk utvärdering

3 Diffrentierade nivåer för mer eller mindre erfarna utvärderare, så att inte alla sessioner blir för basic. ekomomisk analyser Evaluering 2.0 Impact! Ett tydligt tema från flera. Impact faktor på vilken nivå (internationell, nationell, lokal - vad räknas?), på vilka aktörer (beslutsfattare, tjänstemän...)? Hur ser kraven ut i Sverige? Vilka problem har visat sig (i hur det styr vad vi studerar, mäter osv.)? kanske kan man ta upp frågor som fanns i open space? Open space och liknande metoder med utvärderande och deliberativa inslag Realist utvärdering Bidragsanalys (Contribution Analysis) Utilisation-focused utvärdering SROI Tycker ni hade fått till en bra spridning, då jag gärna hade gått på fler försessioner. Utmaning när det gäller utvärdering av tvärsektoriella frågor Varför inte börja med Bhaskar, och utröna hur ett alternativ till enkel biljardkausalitet kan se ut? 9. Vad tyckte du om plenarsessionerna: 1. Utvärderingen i politiken och politiken i utvärdering ,91 2. Förekommer det en icke-amerikansk utvärderingstradition? ,84 3. Politik och effektutvärdering i Storbritannien ,7 4. Vad vill EU med utvärdering? , Har du förslag på plenarföreläsare till nästa SVUF-konferens? Anm: samtliga kommentarer finns med Andra kommentarer: var var kvinnorna? Det var olyckligt att den nordiska panelen talade danska/norska eftersom det gjorde att det var mycket svårt att förstå två av de fyra i panelen. Det är ok att erkänna att vi nordbor kan ha svårt att förstå varandras språk. Användarperspektiv av utvärderingar Hur kan utvärderingar komma mer till nytta Vad är det som gör att utvärderingarna inte används Bino Catasus, Stockholms universitet. Han är mycket inspirerande som talare och hans profil passar fint på en utvärderingskonferens. Bradley Cousins, Ottawa university, som arbetar med participatory evaluation and capacity building Det vore mer pedgogiskt att visa några bilder att tala till och sedan diskutera kring detta Gärna ngn från politisk ledning eller analyssekretariat i offentlig förvaltning för att öka förståelsen för hur utvärderingarna faktiskt används eller ibland förkastas.

4 Inga konkreta förslag, men det måste ju finnas flera intressanta kvinnliga föreläsare än de som fick ta plats som årets plenarföreläsare. Ganska gubbigt. Inte just nu, men spänningen som uppstår vid belysning ur olika perspektiv är en intressant ingång. Jag vill gärna att de privata företagen som arbetar med utvärderingar lyfts. Jenny Ozga & Martin Lawn Jane Green (om accountability) kanske kan man ta upp frågor som fanns i open space? Kerstin Sahlin-Andersson el annan från SCORE Michael Patton Nej, men problemet med panelen var att de var FÖR förberedda. Att läsa innantill är ingen bra idé, heller inte att ha så långa monologer. Hade varit roligare med dialog och spontanitet. Nils Herting Patricia Rogers, Jane Davidson, Debra Rog Patricia Rogers. Peter Sommerfeld. Haluk Soydan. Morten Balle Hansen. Manzoor Kazi. Peter Dahler-Larsen, Christina Segerholm Ray Pawson John Mayne Michael Patton 11. Vad tyckte du om? Open space om utvärdering och politik Mycket bra 26 Bra 57 Dåligt 6 Mycket dåligt 1 Vet ej Var det något du tyckte var särskilt bra eller dåligt med open space-inslaget på konferensen? Jag är skeptisk till idén och har hört en hel del kritik från missnöjda deltagare, både 2011 och Den session jag bevistade i år var ointressant. Det är ett rent lotteri om en open space-session blir bra eller inte. PÅ det hela taget slöseri med konferensdeltagarnas avgifter och tid. Idén är fantastisk, ni bör verkligen köra vidare med det. Det var dock lite svårt att hitta rätt bord. Dessutom visade det sig för mig i två fall att ämnena som diskuterades inte riktigt motsvarade beskrivningen.

5 Särskilt bra är open space som form. En sak som gör SVUF till ett intressant forum är att olika funktioner knutna till utvärdering möts: de som upphandlar, de som använder, de som genomför och de som analyserar eler forskar på fenomenet. Presentationerna tenderer att vara mindre intressanta än open space eftersom de sällan leder till utbyte mellan grupperna. Mer open space helt enkelt! 13. Vad tyckte du om parallella sessioner: 1.1 Utvärdering i politiken och politiken i utvärdering , Vetenskap, utvärdering och politik , Utvärdering för beslut eller lärande , Utvärdering och politik , Att utvärdera politik i krigszoner ,6 1.6 Objektivitet och evidens i utvärdering , Förekommer det en icke-amerikansk utvärderingstradition? , Leder utvärdering av forskning till högre kvalitet? , Teori vid utvärdering (programteori) Session 1 av , Makt och kunskap ,4 2.5 Lärande utvärdering , Metaanalys Evaluation and audit trails , Att arbeta evidensbaserat Uppdrag offentlig granskning , Teori vid utvärdering (programteori) Session 2 av , Utvärderingens metoder Kan samspel mellan beställare och utvärderare bidra till vara , Vad vill EU med utvärdering? ,7 4.2 Riksdagsutskottens arbete med utvärderingar , Öppna jämförelser , Metautvärdering och kunskapsanvändning ,5 4.5 Politikens användning av utvärdering , Var det något du tyckte var särskilt bra eller dåligt med de parallella sessionerna under konferensen?

6 15. Har du några synpunkter på upplägget vad gäller sessioner och open space? Det måste gå att hitta fler kvinnor som kan hålla presentationer. Ibland får man en känsla av klubben för inbördes beundran när de äldre herrarna i styrelsen och fd styrelsen hänvisar till varandra hela tiden. Jag upplevde att alla plenarsessioner, utom Michael Powers, var för långa och utdragna. Den om EU kom att handla mycket om EU i sig och mindre om vad EU vill med utvärdering. Det var ett bra upplägg med bra balans. kanske kan man dubblera endel sessioner Längre tid för Open Space och färre, men återkommande parallella sessioner. mycket bra med open space efter plenarsessionerna - alla blir så engagerade, hamnar man i fel grupp är det bara att byta Mycket bra med uppföljning på keynote föreläsningarna! Många bra sessioner, svårt att välja vilket är bra, 16. Ta ställning till följande påståenden: Konferensen fungerade som en mötesplats för dialog ,5 Blandningen mellan forskning och praktik på konferensen var bra ,24 Jag har fått nya lärdomar ,18 Blandningen mellan beställare och utförare var bra ,91 Jag har fått fler kontakter i mitt nätverk ,65 Erfarenhetsutbytet är en viktig del i konferensen , Ta ställning till följande påståenden: Konferenslokalerna fungerade bra ,63 Kaffepauserna var tillräckliga ,92 Luncherna var bra ,31 Middagen var bra ,02 Minglet på fredagseftermiddagen var bra ,73 Konferensadministrationen fungerade bra ,99 Den fysiska tillgängligheten i lokalen var bra ,8 18. Allmänt sett, vad är ditt omdöme om konferensen?

7 Alltid bra och givande att känna sig en del av ett comunity.. Jag är nöjd! Besvikelse - pga av att innehåll inte stämde med förväntning. Bra att få möjlighet att det finns möjlighet att lyfta dessa frågor och träffa likasinnade under en såpass lång tid. Bra konferens, men det vetenskapliga inslaget får gärna vara större Väldigt trevligt! god stämning! Välorganiserad, varierad, inspirerande och givande. Önskar högre kvalitet i presentationer, och mer avancerade diskussionenr, det var för mycket grundkurs-nivå i många fall. Några presentationer var dock bra, och diskussioner under kaffepauser med andra var givande. 19. Har du förslag på innehåll/tema till nästa SVUF-konferens: Anm: samtliga kommentar finns med * Tidskomponentens betydelse för utvärderingskvalitet. * Beställarkompetens inom utvärdering. * Att säga ifrån som utvärderare. * Utvärderingens roll för en evidensbaserad praktik. * Utvärderingens gränser och begränsningar. Användarperspektiv av utvärderingar Hur kan utvärderingar komma mer till nytta. Vad gör en utvärdering riktigt bra. Vad är det som gör att utvärderingarna inte används eller används reflektion från kommun, esf, stat, riksdag mm Att arbeta som utvärderare, dvs själva professionen/yrkesrollen. Vad är det egentligen som vi kan/bör kunna? Vilken typ av kompetensutveckling är relevant? Vilka utmaningar står vi inför? Eftersom jag arbetar i en kommun och arbetar praktiskt med utvärdering skulle jag gärna vilja ha in mer av praktiska frågor - vid sidan av de övergripande om var vi är på väg. Lite av frågorna som fanns i open space. Hur gör vi när folk inte vill svara på enkäter längre, hur redovisar vi resultat på ett sätt som gör att vi får effekt? En fråga dröjde sig kvar i huvudet: Vilket vetenskapligt perspektiv står utvärderingsforskningen för? Jag har själv ingen bakgrund i utvärderingsforskningen, men är disputerad och skulle gärna vilja veta mer om det. De papers jag tagit del av är påfallande tunna vad gäller teoretisk förankring och metodologisk diskussion. Ser gärna en längre paneldiskussion om vetenskaplig teori och metodologi (dvs teoretiskt om metod) på nästa konferens. Passar nog inte som plenardiskussion dock. Fråga ett Vilken sektor saknar ruta för universitet-högskola. Illa. Rutor för Vet ej saknas Hur man säkerställer LÄRANDE genom utvärdering, lärande som omsätts i praktiken. Inget specifikt just nu. Intresseområden mot lärande utvärderingar, sk brukarutvärderingar, deltagande och demokrati. Gillade årets tema med politik och utvärdering! Inte just nu

8 Inte just nu- behöver smälta denna först! Jag tyckte om årets tema. Tror också att utvärderingen som styrmedel och "monster" är viktigt att diskutera. Även kanske "vem utvärderar utvärderarna?" som är en viktig fråga.. kanske kan spilla på metodfrågor också exempelvis hur ställer man frågor? eller Hur utvärderar man på ett så smidigt sätt som möjligt för alla inblandade? Jag vill gärna att de privata företagen som arbetar med utvärderingar lyfts. Mer exempel på hur man kan arbeta mer praktiskt. Problem, möjligheter och utveckling av utvärdering. Mer koppling till EU. Mitt förslag till SVUF ligger utanför den nationella konferensen. Jag skulle önska att SVUF en eller ett par gånger per år anordnade mindre seminarier kring ett specifikt ämne (såsom metod, företeelse i politiken, ny forskning etc.) för specifika målgrupper. Till exempel skulle det vara intressant att i ett sammanhang tillsammans med medarbetare från olika statliga myndigheter få diskutera olika aspekter av utvärderingsarbete i relation till politiken och den statliga förvaltningen. Mycket lik denna Nej Policyrelevans i utvärderingar - hur används utvärderingar i offentlig förvaltning/ ska offentlig förvaltning utvärdera sig själv Realist utvärdering (teori och praktik), bidragsanalys, ett rundbord samtal med beställare/användare från kommunnivå, ESF-projekt, län och statliga myndigheter. 'Samhällsvetenskaplig utvärdering' kanske? Tillförlitligheten i medborgarundersökningar som bygger på korrekta urvalsprinciper. vad kan man dra för slutsatser när bortfallen ligger över 50 procent. Finns alternativ på design. Hur ser SCB och andra seriösa undersökare på problemet? Tillämpning av utvärderingsresultat. Utvärdering för verksamhetsutveckling. Utvärdering av fristående utförare som är egna huvudmän (grundskolan) utvärdering för mål/resultatstyrning respekive för lärande. Kan de förenas. Mer om metautvärdering, men ej inom medicin Utvärderingars strategiska användning för att förbättra den ofentliga sektorns förmåga att leverera värde till medborgarna och företagen. Utvärderingsmonster kontra intuitionens betydelse Varför inte ha som tema nästa gång "Multikulturalism och genus i utvärdering" Vilken plats har utvärdering och vilka ansatser ger mervärde för organisationer som arbetar utifrån ett LEAN-koncept? Jag tycker att det är programteori :) Jag förvånas över att "snacket" är helt olika inom utvärderingsfältet och inom "kvalitetsarbete" i kommuner, det kanske är något att spinna vidare på? Snitt: 4,3