Utvärdering: Filosofi och hantverk

INBJUDAN TILL KONFERENS OCH FÖRSESSIONER Utvärdering: Filosofi och hantverk LÄMNA DITT FÖRSLAG TILL KONFERENSBIDRAG SENAST DEN 15 JUNI! SVUFs försessioner 21 oktober 2009 SVUFs konferens 22 23 oktober 2009 www.svuf.nu

Välkommen till SVUFs fjärde konferens! Nu är det snart dags för SVUFs fjärde konferens! Det är med glädje jag kan hälsa dig välkommen till vad som ser ut att bli en mycket intressant konferens i slutet av oktober. Temat Utvärdering: Filosofi och hantverk indikerar att vi vill söka oss tillbaka till grunderna för vad utvärdering är och t.ex. diskutera hur värde fastställs, kvalitativt och kvantitativt. Men samtidigt vill vi uppmärksamma att det är ett praktiskt hantverk, ett jobb att göra. Huvudet i himlen och fötterna dansande på moder jord således, som Peps Persson sjunger om i låten För Livet. SVUFs tidigare konferenser har varit mycket uppskattade och har lockat många aktörer från det svenska utvärderingssamhället. Deltagarna kommer från universitet och andra forskningsmiljöer, konsultföretag, kommuner, myndigheter, revisionsorgan med flera. Här möts en skön blandning av utvärderingsintresserade personer med olika bakgrund. Somliga med lång, andra med kortare erfarenhet som undrar vad utvärdering egentligen är. Här hittar man också studenter, forskare och praktiker som arbetar med utvärdering. Konferensen är med andra ord en unik mötesplats som skapats för att vi alla har ett behov av att stanna upp, reflektera, samtala och lära av varandra. Vi vill att konferensen ska vara som ett smörgåsbord, som du kan plocka godbitar ur, och som uppmuntrar till delaktighet. Många sessioner kommer att lämna stort utrymme för deltagarnas egen medverkan. För att underlätta detta kommer vi att lägga ut papers och annat material i förväg på vår webbplats www.svuf.nu. Under själva konferensen kommer det att finnas gott om utrymme för diskussioner. Vi hoppas på ett aktivt deltagande från dig! Dina frågor, erfarenheter och synpunkter kommer i högsta grad att påverka innehållet i konferensen. Därför vill jag uppmana alla att förbereda sig! I denna inbjudan får du en beskrivning av försessionerna dagen innan konferensen, konferensprogrammet i korthet med huvudtalare, en presentation av teman samt lite allmän praktisk information. Det fullständiga programmet kommer att skickas ut några veckor innan konferensens början. Varmt välkommen till SVUFs fjärde konferens! Lena Lindgren Ordförande i SVUF Utvärdering: Filosofi och hantverk P.S. Du kan fortfarande lämna in förslag på konferensbidrag läs mer på sidan 4! Sista inlämningsdatum är 15 juni. D.S.

Program 21 okt Försessioner Onsdag den 21 oktober 09.00 17.00 Försession 1 09.00 12.00 Försession 2 13.00 17.00 Försessioner 3 4 22 okt Konferens: Utvärdering: Filosofi och hantverk Torsdag den 22 oktober 08.00 Registrering öppnar 09.30 09.45 Konferensens öppnande 09.45 10.15 Plenarsession. Utvärdering: Filosofi och hantverk. Lena Lindgren 11.00 12.00 Plenarsession. Evaluation: The battle between philosophy and practice. Michael Scriven 12.00 13.00 Lunch 13.00 14.30 Parallella sessioner 15.00 17.30 Parallella sessioner 17.30 Mingel 18.00 Konferensmiddag 23 okt Utvärdering: Filosofi och hantverk Fredag den 23 oktober 09.00 11.00 Parallella sessioner 11.30 12.30 Lunch 12.30 13.45 Plenarsession. Evaluation futures challenges, opportunities and directions. Elliot Stern 14.15 15.45 Parallella sessioner 15.45 Konferensen avslutas 16.00 Mingel

Välj bland många intressanta sessioner! Fyra försessioner Dagen före konferensens egentliga öppnande genomför vi fyra försessioner. En är heldagssession och de övriga tre är halvdagssessioner. Här har du chansen att höra, lära och diskutera om utvärderingens grunder, om nya synsätt på utvärdering, vad programteori är och hur det kan användas. Du kan också delta i en mini-verkstad i utvärdering där du under ledning får chans att jobba med ett eget projekt. Tre plenarsessioner I de tre plenarsessionerna möter du dels två av utvärderingssamhällets nestorer från USA och Storbritannien som ger sina perspektiv på vad som rör sig i det internationella utvärderingsringssamfundet just nu, dels SVUFs ordförande Lena Lindgren som reflekterar över konferensens tema. Michael Scriven är professor i filosofi, ledare vid The Evaluation Centre, Western Michigan University, och tidigare ordförande i American Evaluation Association. Scriven är förmodligen en av de allra mest citerade författarna inom området, och han kommer att tala om de konflikter som kan uppstå mellan utvärderandets filosofi och praktik. Elliott Stern är professor i Evaluation Research vid University of Lancaster och även redaktör för tidskriften Evaluation, tillika med många års praktisk erfarenhet av utvärderingsarbete. Han kommer att tala om utmaningar inför framtiden, vart utvärdering är på väg som bransch och ämne, och hur vi kan förhålla oss till det. Parallella sessioner kring fem aktuella teman I år har SVUF valt att arrangera konferensen kring fem teman eller spår. Om du vill har du möjlighet att följa samma tema under hela konferensen och möta fler som är engagerade i just din fråga. Inom varje tema kommer det att finnas både föredrag, paneldiskussioner, seminarier och traditionella papersessioner. Vi välkomnar bidrag till konferensen av olika slag, inte bara traditionella papers. Alla former av konferensbidrag som innebär ett kunskapsutbyte kring utvärdering är välkomna. Skriv en kort sammanfattning på max 300 ord, helst med anknytning till något av konferensens fem teman. Vi vill ha ditt bidrag senast den 15 juni. Skicka det till lena.lindgren@spa.gu.se samt till kim.forss@mailbox.swipnet.se TEMA 1 Social välfärd Inom detta tema diskuteras olika frågor för utvärdering inom och av den sociala välfärden. En aktuell diskussion för utveckling av det sociala arbetet handlar om att åstadkomma en evidensbaserad praktik. I detta ligger att hänsyn ska tas till bästa möjliga forskning, professionens kunskap samt brukares synpunkter och erfarenheter. Men hur kommer brukares intressen in i det sociala arbetet? Hur kan man skapa för utsättningar och former för utveckling av den sociala välfärden genom brukarorienterad utvärdering? På vems villkor görs en utvärdering med denna inriktning? Och vad händer om intressen krockar? Konkreta exempel på brukarorienterad utvärdering och brukarrevision presenteras bland annat. Utvärderingar riskerar ofta att bli hyllvärmare som endast läses av ett fåtal. Det är en utmaning att hitta nya och varierande former för återkoppling så att utvärderingar blir något som aktivt används och förankras i den utvärderade verksamheten. I denna interaktiva session presenteras hur en återkoppling kan ske med stöd av dramapedagogiska metoder. TEMA 2 Utvärderingars användning och nytta inom skola och utbildning Skola och utbildning är områden där institutionaliseringen av utvärdering är som allra starkast. Här finns en rad olika utvärderingsinstrument som på olika sätt syftar till att granska vad som sker och hur det sker. På konferensen kommer flera sådana instrument att dryftas, bl a internetbaserade resultatoch kvalitetssystem, inspektion och individuella utvecklingsplaner som används inom skolan samt Runö-enkäten som brukas av många studieförbund och folkhögskolor för att mäta och redovisa kvalitet. Vi kommer också att diskutera hur utvärderingar används som underlag för politiska beslut inom utbildningsområdet, bland annat den statliga utredning som ska kartlägga och lägga förslag om policyinriktad utvärdering inom utbildningsområdet. Syftet är att problematisera dessa och andra utvärderingsinstruments användning och nytta för verksamhetsutveckling och styrning inom skola, förskola, vuxenutbildning och högskola. Hur används de utvärderingar som görs? Vilka faktorer

främjar och hämmar användningen? Leder användningen till ökad effektivitet och kvalitet? Hur vet vi att så är fallet? Hur förhåller sig utvärdering till frågor om ansvar och ansvarsutkrävande. Se där några frågor som du kommer att kunna vara med och diskutera inom detta tema. TEMA 3 Forskning och innovation Utvärdering har blivit en högaktuell fråga inom forskningsoch innovationsområdena, inte minst genom diskussionen om att styra delar av den offentliga medelstilldelningen efter utvärderingsresultat. Samtidigt väcker utvärdering inom områdena forskning och innovation spännande frågor om samhällseffekter och andra långsiktiga effekter. Orsakssambanden är komplexa och komplicerade, och det tar lång tid innan effekter uppstår. Hur kan man då jobba med utvärdering? Temat kommer bland annat att ta upp frågor om hur vi kan värdera forskningens samhällsnytta: Vi kommer att diskutera hur vi egentligen kan mäta och värdera forskningens samhällsnytta, och om det alls är meningsfullt att värdera forskningens nytta. Temat kommer även att ta upp frågor om hur vi hur vi kan utvärdera effekter av olika stödformer inom forsknings- och innovationsområdena. Hur kan vi använda utvärdering för att få ökad kunskap om hur man kan utforma stödformer för att uppnå de effekter som man avser? Temat kommer att avslutas med en paneldebatt om utvärderingens roll inom forsknings- och innovationsfälten i ett framtidsperspektiv. Vilken roll kommer utvärderingar att spela och hur påverkar utvärderingar utvecklingen inom forsknings- och innovationsområdena? TEMA 4 Globala utmaningar En del politikområden ställer särskilda krav på utvärdering eftersom de till stor del genomförs i samarbete med andra länder och aktörer på den internationella arenan. Det gäller till exempel utrikespolitik, säkerhet och försvar, bistånd, migration och handelspolitik. Därmed ökar såväl komplexiteten i utvärdering som antalet intressenter i processen. Inom detta tema diskuteras behovet av och efterfrågan på information och beslutsunderlag i detta slags miljöer, värdegrunder för bedömning av resultat, och praktiska erfarenheter av metoder och angreppssätt. Trots många likheter mellan nämnda politikområden finns det mycket olika utvärderingstraditioner. Vad händer när dessa traditioner möts och vad kan man lära av varandra? I många sammanhang sker arbetet i internationella organisationer, inte minst olika FN organ. Hur utvärderas det arbetet, hur samarbetar man med dessa organisationer och hur kan deras arbete bli föremål för kritiska studier och granskning? Här finns många praktiska utmaningar som i sig förutsätter klarhet i grundläggande frågor och ställ-ningstagande till värdefrågor som t.ex. vad som är mätbart. Det kan gälla utvärdering av demokratibistånd, komplexa organisatoriska fenomen som Parisdeklarationen, eller liknande. Inom temat kommer det att finnas möjlighet att gå från de mest filosofiska diskussionerna till konkreta och handfasta samtal om erfarenheter av särskilda utvärderingsuppdrag. TEMA 5 Utvärdering och den ekologiska dimensionen Det här temat handlar om innebörden av den ekologiska utmaningen för såväl utvärderingsfilosofi som utvärderingshantverk. Hur tacklar vi miljöförstöring och klimatförändringar teoretiskt och praktiskt i våra utvärderingar? Temats första session ägnas åt mer övergripande frågor. Det svenska miljömålssystemet är under översyn. Hur har det hittillsvarande systemet fungerat? Vad behöver rättas till för att få en bättre koppling mellan mål, utvärdering och politik? Den andra sessionen handlar om utvärderingskriterier. Utifrån aktuella, nationella miljöutvärderingar diskuteras bedömningsgrunder, skillnader och likheter mellan utvärderingsområden samt för- och nackdelar med olika metoder. Den tredje sessionen kommer att handla om utvärdering och hur traditionella regionala tillväxtprogram lyckats integrera målen för hållbar utveckling i programmen, hur man på regional/länsnivå omtolkat och integrerat specifika nationella miljömål. Temat avslutas med ett seminarium där företrädare för eko-, klimat- och andra kommuner redogör för utvärdering av lokal Agenda 21 och best practice exempel på hållbar utveckling på kommunal nivå.

Försessioner Dagen innan konferensen 21 oktober genomförs fem olika försessioner. De har karaktär av minikurser och är avsedda för dig som vill ha lite djupare kunskaper inom ett område, alternativt få en översikt och inblick över hela utvärderingslandskapet. FS 1 Utvärderingens elementa Onsdag 21 oktober 09.00 17.00 Lunch: 12.00 13.00, ingår i avgiften. Presentatör: Evert Vedung, Professor emeritus, Uppsala universitet. Försessionen vänder sig till dig som vill få en allmän orientering i vad utvärdering är och vilka frågor som ställs och belyses i utvärdering. Försessionens styrka ligger i helhetsbilden och systematiken. Sessionen inleds med en bestämning av vad ordet utvärdering med olika för- eller efterled står för. Fyra vågor av utvärdering har svept in över Sverige och västvärlden sedan 1960. Särskild vikt fästes vid den tredje, nyliberala vågen med förvaltningsförnyelse genom målstyrning, myndighetssamverkan, utkontraktering, beställare-utförare och brukarorientering och vid den fjärde, evidensbaserade vågen med förnyat intresse för experiment och kvasiexperiment. Användning av interventionsteorier (programteorier) anses vara en uppfinning gjord i utvärderingsbranschen. Den kan läggas till grund för utvärderingsmodeller som måluppfyllelseutvärdering, bieffektsutvärdering, brukarorienterad utvärdering, intressentmodellen, ekonomiska modeller samt självvärdering och kollegiebedömning. Allt detta kommer att täckas översiktligt i sessionen. Effektfrågan inklusive uppläggningar för att belysa den kommer att beröras. I mån av tid kommer sessionen också att beröra typer av användning av utvärdering instrumentell, konceptuell, legitimerande, interaktiv och rituell användning. FS 2 New Conceptions in Evaluation Onsdag 21 oktober 9.00 12.00 Presentatör: Michael Scriven, The Evaluation Centre, Western Michigan University, USA. I ll will begin by mapping the geography and topography of the whole domain of evaluation in a three-dimensional space, with axes representing: (i) the sub-domain (program eval, personnel eval, product eval, etc.); (ii) the application field (education, health, social services, business, etc.); and (iii) approach/ school/model (theory-driven, empowerment, appreciative, applied social science, etc.). I ll suggest some meta-evaluative conclusions about the nature and utility of the present models/theories, and then begin to outline some more fundamental models and theories of or about evaluation, in particular: (i) a model of the essential logic of evaluation in logical space, that sharply distinguishes it from explanation, recommendation, prediction, etc.; (ii) the trans-disciplinary model that locates its special role in academic space i.e., amongst the disciplines; (iii) as a key cognitive-adaptive-learning process, both conscious and unconscious (still overlooked in AI system design); (iv) as a macro survival skill in the evolution of our species; (v) as a micro survival mechanism for the brain, required in order to avoid drowning in the sea of information pouring in along the sensory channels; (vi) as an element in the psychology of power/dominance/threat and the sociology of class/management/competition, one that elicits fear/hostility/aggression responses in those not taught about its value. These accounts or conceptions generate both practical and methodological consequences, some of which will be explored, e.g., the need to include evaluation in the core general education curriculum, both in K-12 and higher education.

FS 3 Programteori i praktiken Onsdag 21 oktober 13.00 17.00 Presentatörer: Karin Alexandersson, Dalarnas forskningsråd och Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet. All utvärdering förutsätter ett objekt och begreppet programteori står för en beskrivning av naturen och logiken hos detta objekt. Utgångspunkten för varje programteori är ett samhälleligt problem som behöver lösas eller en situation som behöver förbättras. Själva programteorin utgörs av en uppsättning antaganden om orsak och verkan som förklarar hur problemet ifråga kan lösas eller situationen förbättras. Utvärderare använder programteori på en rad olika sätt, i ett av kapitlen i The Sage Evaluation Handbook (2006) beskrivs programteori som standard procedure in evaluation. Den vanligaste användningen är som grund för planering av utvärdering, t ex för att bestämma vilka frågor som ska besvaras. En programteori kan också prövas empiriskt för att därmed bidra till den samlade kunskapsmassan inom ett område. Vidare är programteori ett utmärkt sätt att skapa överblick över en verksamhet och ge underlag för samsyn och verksamhetsutveckling. I denna försession får du en introduktion till begreppet programteori och dess olika tillämpningsmöjligheter, och dessutom möjlighet att i grupp pröva på att använda programteori som grund för planering av en utvärdering. FS 4 Miniverkstad i utvärdering Onsdag 21 oktober kl 13.00 17.00 Presentatörer: Elisabeth Beijer, FoU-Väst, Göteborgsregionens kommunalförbund, och Per-Åke Karlsson, FoU-Sjuhärad Välfärd, Högskolan i Borås. Är du nyfiken på hur man kan leda utvärderingsarbete framåt med stöd av gruppdynamik och sociala processer tillsammans med kunskap om utvärdering? I så fall är du välkommen till den här Mini-Utvärderings-Verkstaden. I försessionen deltar du själv i en minimiversion av en utvärderingsverkstad utifrån ett verkligt eller fiktivt utvärderingsuppdrag som du förutsätts ha med dig. Du får syn på de viktiga momenten i en utvärderingsverkstad och du kan också få stöd i de första stegen för att genomföra en utvärdering. Frågor om utvärderingsverkstadens möjligheter och begränsningar diskuteras, bland annat utifrån en nyligen genomförd studie. Vilka kan delta i en utvärderingsverkstad? Vilka är de bärande delarna i processen? Vilket är ett tänkbart resultat och för vem blir resultatet märkbart?

Allmän information Tid och plats Konferensen äger rum 22 23 oktober på Norra Latin, Drottninggatan 71B i centrala Stockholm (www.stoccc.se). Den 21 oktober hålls parallella försessioner på Norra Latin. Närmaste tunnelbanestation är Hötorget, uppgång Olof Palmes gata. Onsdagen den 21 oktober öppnar registreringen kl 08.30. Försessioner startar kl 09.00 respektive 13.00. Torsdagen den 22 oktober öppnar registreringen kl 08.00. Konferensen startar kl 09.30. Medlemskap i SVUF Tidigare medlemmar i SVUF kan passa på att förnya sitt medlemskap i samband med konferensanmälan genom att på anmälningsblanketten ange att fakturan också ska omfatta medlemsavgiften på 600 kronor. Även icke-medlemmar kan komma i åtnjutande av konferensens medlemspris genom att ange att de vill bli medlemmar och önskar att fakturan också ska omfatta medlemsavgiften. Institutionella medlemmar har rätt att sända fem deltagare till medlemspris. Anmälan Anmälan och hotellbokning görs on-line på www.svuf.nu. Om inte tillgång till Internet finns, vänligen kontakta konferenssekretariatet MCI Stockholm Office för anmälningsblankett, se kontaktuppgifter nedan. Bekräftelse Bekräftelse på anmälan tillsammans med faktura skickas till dig i god tid före konferensen. Deltagaravgift Konferensavgiften är 2 900 kronor för medlem i Svenska utvärderingsföreningen. För icke-medlem är avgiften 3 900 kronor. För studenter är avgiften 1 500 kronor. I avgiften ingår kaffe, två luncher samt konferensmiddag och mingel den 22 oktober. Avgiften för försessioner onsdag 21 oktober är 2 000 för heldag respektive 1 000 kronor för halvdag. I heldagspriset ingår lunch. Avgiften för försessioner är densamma för medlemmar och icke-medlemmar. Moms om 25 procent tillkommer. Betalningen sker mot faktura. Anmälan är bindande. Vid avbokning fram till den 1 oktober debiteras en avbokningsavgift om 300 kronor. Efter detta datum debiteras en avbokningsavgift motsvarande deltagaravgiften. Hotellrum on-line MCI Stockholm Office erbjuder rum på ett stort antal hotell i olika prisklasser och lägen i och utanför Stockholm. Bokningen gör du på SVUFs hemsida www.svuf.nu. Över 75 direktanslutna hotell Attraktiva dagsaktuella priser Kostnadsfri bokning Ingen förskottsbetalning Fri avbokning fram till kl 18.00 dagen före ankomst All logibetalning sker direkt till hotellet vid ankomst eller avresa. Om faktura önskas meddelas detta skriftligen direkt till hotellet. Frågor Frågor gällande programmets innehåll, kontakta styrelsens ledamöter, se kontaktinfo på www.svuf.nu Frågor gällande anmälan: MCI Stockholm Office tel: 08-5465 1500, fax: 08-5465 1599 e-post: confirmation-sweden@mci-group.com