SVUF konferens 2013 Utvärdering i politiken och politiken i utvärdering PROGRAM

Transkript

1 SVUF konferens 2013 Utvärdering i politiken och politiken i utvärdering PROGRAM

2 Försessioner 13 nov Försession 1 Kim Forss Försession 2 Evert Vedung Försession 3 Lena Lindgren Försession 4 Sten Antilla Rolf Sandahl Gustav Petersson Försession 5 Anders Hanberger Mehdi Ghazinour Margareta Hydén Lokal Förmiddag Komplexitet i utvärderingen Utvärderingens elementa Programteori Effektanalys A. Mångkulturell medvetenhet i utvärdering Eftermiddag LUNCH LUNCH LUNCH LUNCH LUNCH Fortsättning Fortsättning Fortsättning Fortsättning B. Har utvärderingar ett kön?

3 Utvärdering och politik - Dag 1 Abstract och fullständiga papers finns på Registrering och kaffe, Marmorvalvet 14 nov Inledning och välkommen, SVUFs ordförande Verner Denvall Parallella sessioner Session 1:1 Utvärdering i politiken och politiken i utvärdering. Uppföljning key-note Lokal: Pelarsalen Session 1:2 Vetenskap, utvärdering och politik Lokal: 351 Utvärdering i politiken och politiken i utvärdering Carl-Uno Frykholm och Olof Åslund Session 1:3 Utvärdering för beslut eller lärande. Lokal: 353 Session 1:4 Utvärdering och politik Lokal: 357 Mingellunch i Marmorvalvet Session 1:5 Att utvärdera politik i krigszoner Lokal: 352 Session 1:6 Objektivitet och evidens i utvärdering Lokal: 361 Förekommer det en icke-amerikansk utvärderingstradition? Panel av nordiska utvärderare; Jan-Eric Furubo, Sverige & Hanne Foss-Hansen, Danmark & Harlad Furre, Norge & Per Mickwitz, Finland Kaffe - bokbord Open Space Parallella sessioner Session 2:1 Förekommer det en ickeamerikansk utvärderingstradition? Uppföljning med panel Lokal: Pelarsalen Session 2:2 Leder utvärdering av forskning till högre kvalitet? Lokal: 351 Session 2:3 Teori vid utvärdering Lokal: 353 Paus Paus Session 2:4 Makt och kunskap Lokal: 357 Session 2:5 Lärande utvärdering Lokal: 361 Session 2:6 Metaanalys Lokal: Festligheter med anledning av SVUF 10-ÅRSJUBILEUM Norra Latin, Ljusgården KONFERENSMIDDAG - Norra Latin

4 Utvärdering och politik - Dag 2 Abstract och fullständiga papers finns på 15 nov Politik och effektutvärdering i Storbritannien Michael Power Kaffe - bokbord Parallella sessioner Session 3:1 Evaluation and audit trails. Uppföljning keynote Lokal: Pelarsalen Session 3:2 Att arbeta evidensbaserat Lokal: 351 Session 3:2 Uppdrag offentlig granskning Lokal: 353 Session 3:4 Teori vid utvärdering Lokal: Mingellunch med posterpresentationer i Marmorvalvet Session 3:5 Utvärderingens metoder Lokal: 357 Session 3:6 Kan samspel mellan beställare och utvärderare bidra till varaktig förändring? Lokal: Vad vill EU med utvärdering? Veronica Gaffey, Marita Ulvskog Kaffe - bokbord Parallella sessioner Session 4:1 Vad vill EU med utvärdering? Uppföljning keynote Lokal: Pelarsalen Session 4:2 Riksdagsutskottens arbete med utvärderingar Lokal: 351 Session 4:3 Öppna jämförelser Lokal: 353 Session 4:4 Metautvärdering och kunskapsanvändning Lokal: 357 Session 4:5 Politikens användning av utvärdering Lokal: AVSLUTNING med next generation Malin Bennerdal, Verner Denvall, Andreas Lundstedt och Rolf Sandahl After-konferens Norra Latin, Ljusgården

5 Försessioner Onsdag 13 november Komplexitet i utvärdering. Kim Forss På senare tid har det talats mycket om komplexitet i utvärderingssammanhang och om komplexa utvärderingar. Syftet med försessionen är att reda ut begreppet och att diskutera hur utvärderare kan hantera komplexa utvärderingsprocesser. En del av tiden kommer ägnas åt teori och begrepp, men huvudinriktningen är på utvärderingens praktik. Genom att undersöka ett praktikfall av en komplex utvärdering kommer deltagarna att ta ställning till ett antal frågor om hur utvärderingen kan genomföras, t.ex. utvärderingsdesign, hur utvärderingsprocessen kan utformas och hur man kommer till slutsatser om effekter och kausalitet. De som deltar i försessionen kommer att få förberedelsematerial via mail som förutsätts vara inläst i förväg, främst information om det utvärderade objektet och uppdragsbeskrivning för utvärdering. Försessionen kommer att ledas av Kim Forss, som var en av redaktörerna för Evaluating the Complex - Attribution, Contribution and Beyond (Transaction, 2012). Utvärderingens elementa. Evert Vedung Försessionen vänder sig till dig som vill få en enkelt framställd, elementär orientering i vad utvärdering är och vilka frågor som ställs och belyses i utvärdering. Åhörarkopior delas ut för att deltagarna ska kunna följa med. Sessionen inleds med en definition av begreppet utvärdering (evaluering, evaluation) bl a i förhållande till begreppet uppföljning (monitoring). Uttryck som utvärdering ex ante, ex durante och ex post samt formativ och summativ utvärdering gås igenom. Andra teman i försessionen: Utvärderingens grundläggande ändamål: utveckling, kontroll, grundkun- skap. Potemkinkulisser. Hur utvärderaren bygger upp interventionsteorier (programteorier) samt på vilket sätt dessa kan användas i utvärderande. Utvärderingsmodeller: måluppfyllelseutvärdering, bieffektsutvärdering, brukarorienterad utvärdering, intressentmodellen, ekonomiska modeller samt självvärdering och kollegebedömning och EU-modellen. Effektlärans terminologi med avsedda-oavsedda och förutsedda-oförutsedda effekter samt huvudeffekter, nolleffekter, perversa effekter och bieffekter gås igenom. Effektfrågans grundläggande logik klarläggs (evidensrörelsens slagord what works? vad är det som funkar?). Metodiska upplägg för att kasta ljus över effekter dryftas inklusive experiment och kvasiexperiment men särskilt generisk kontroll, skuggkontroll och fallstudier med processpårning (process tracing). Evert Vedung, professor emeritus i statsvetenskap vid Uppsala Universitet, var en av initiativtagarna till SVUF. Programteori. Lena Lindgren I utvärderingslitteraturen är programteori numera en standard evaluation procedure. Metoden bygger på tanken att alla åtgärder (program, policys, metoder etc) vilar på en viss logik om hur det förväntas lösa det underliggande problem som är anledningen till åtgärdens existens. En rekonstruerad programteori kan användas på flera olika sätt, vanligast som stöd i samband med planering av en utvärdering men även som underlag för ett strukturerat resonemang och/eller analys av en åtgärds logik. Under den här försessionen presenteras programteorins utgångspunkter och förutsättningar och deltagarna får också praktisk övning i några av metodens tillämpningsmöjlighet. Lena Lindgren är verksam vid Förvaltningshögskolan, Göteborgs universitet och har mångårig erfarenhet av undervisning och forskning om utvärdering och praktiskt utvärderingsarbete. Hon har också varit ordförande i SVUF. Effektanalys. Sten Anttila, Rolf Sandahl, Gustav Petersson Efterfrågan på effektmätningar har ökat starkt i den offentliga sektorn och inom många samhällsområden. Lika starkt har trycket varit på att resultaten ska vara så tillförlitliga som möjligt, dvs. det som brukar kallas för evidens. Den så kallade evidensrörelsen har handlat mycket om metoddesign och förknippats med den experimentella metoden. Men effektmätning handlar om så mycket mer än val av metod. Hur ska vi förstå begrepp som exempelvis effekt, kausalitet, signifikans och effektstorlek? Kan man lägga ihop olika studiers resultat till ett resultat, en så kallad metaanalys? Och hur gör man en sådan analys? Men effektanalys handlar också om att diskutera vad som är lämpligt respektive möjligt att mäta. Vilka förutsättningar krävs? Vad ska mätas (effektkedja)? Vad ska resultatet användas till (programteori)? Den här försessionen handlar såväl om själva tänkandet kring effektanalys (regulatory theory, kontrafakticitet och sannolikhet), som praktiska exempel hämtade från olika samhällsområden som ska belysa de frågor som brukar diskuteras när det gäller effektanalys. Sten Anttila är forskare och projektledare på SBU, och Rolf Sandahl, ESV, var en av SVUFs grundare och sitter nu i dess styrelse. Gustav Petersson är undervisningsråd på Skolverket.

6 Försessioner Onsdag 13 november Mångkulturalitet och genus i utvärdering. A ( ) Mångkulturell medvetenhet i utvärdering. Anders Hanberger och Mehdi Ghazinour Denna försession ger kunskap om kulturell och mångkulturell medvetenhet i utvärdering, hur man kan utvärdera och bedöma ett programs mångkulturella medvetenhet, samt hur man praktiskt hanterar frågor som rör etnicitet, kulturell bakgrund, interpersonella relationer och mångkulturalism i utvärdering. Två utvärderingar som försessionsledarna medverkat(r) i kommer att användas som fall för att undersöka och diskutera hur man kan arbeta med kulturell och mångkulturell medvetenhet i praktiken: en nationell utvärdering av regeringens insatser mot hedersrelaterat våld och en lokal utvärdering av samhällets insatser för ensamkommande flyktingungdomar i Umeå. Under försessionen kommer deltagarna att få en orientering i forskning om kulturell och mångkulturell medvetenhet i utvärdering, samt etnicitet och interpersonella relationer och därefter få arbeta med övningsuppgifter där de diskuterar utmaningar som en mångkulturellt medveten utvärderare ställs inför. Utvärderingarna och utvärderarnas utmaningar kommer först att presenteras. Därefter får deltagarna i mindre grupper diskutera hur man kan skapa förtroende, visa respekt, hantera språket, ge rättvisa åt olika målgruppers erfarenhe- ter etc. De idéer och förslag som deltagarna kommer fram till kommer att jämföras och diskuteras med hur vi hanterade dessa frågor i utvärderingen. Avslutningsvis sammanfattas vad man kan lära av de två fallen och vad det innebär att tänka, ha beredskap för och agera som en mångkulturellt medveten utvärderare. Mehdi Ghazinour är docent i socialt arbete vid Umeå Universitet, och Anders Hanberger är professor i utvärdering och forskningsledare vid Centrum för utvärderingsforskning (UCER). Anders har också varit ordförande i SVUF. B ( ) Har utvärderingar ett kön? Margareta Hydén Försessionen tar sin utgångspunkt i det självklara: Det finns inga utvärderingar utan människor. Alla utvärderingar är utvärderingar av mänsklig verksamhet, vare sig det handlar om brett upplagda insatser för att lösa sociala problem eller insatser i syfte att stödja en familj eller en individ till en positiv utveckling. Evidensparadigmets ambition att presentera systematisk och vetenskaplig kunskap kan få som konsekvens att människan elimineras från den kunskap som finns att vinna ur utvärderingsforskning och reduceras till ett resultat eller till ett mätbart mått. Detta problematiseras mot bakgrund av genusmedveten utvärderingsforskning. Genusmedveten utvärderingsforskning tar fasta på kön som grundläggande kategori när det gäller att välja metod och design för en utvärderingsstudie. The Harvard Analytical Framework, utvecklad på uppdrag av Världsbanken, utgör ett exempel. Modellen kommer att presenteras under försessionen. Några av de överväganden och utmaningar en genusmedveten utvärderare ställs inför kommer att presenteras. Deltagarna kommer att få tillfälle att i mindre grupper diskutera hur dessa kan hanteras. Särskilt intresse kommer att ägnas diskussionen om utvärderingsforskning som maktutövning: Att ha makt innebär att ha ansvar. Kan utvärderingsforskningen bära detta ansvar? Margareta Hydén är professor i socialt arbete vid Linköpings universitet.

7 Plenarsessioner 14 och 15 november Plenarsession 1: Utvärdering i politiken och politiken i utvärdering. Clas-Uno Frykholm och Olof Åslund Det har länge diskuterats om eller vilken roll utvärderingar har i politiska beslut. Används de och i så fall för vilken typ av beslut? Vilken roll ska en utvärderare ha? Är utvärderaren en objektiv förmedlare eller en ytterligare beslutsfattare? I vilken grad ska politiken styra utvärderingen? Ska den styra val av utvärderingsfrågor och metod eller? Clas-Uno Frykholm är direktör vid Myndigheten för kulturanalys. Clas-Uno är fil. dr i pedagogik med inriktning mot utvärdering. Han har bland annat varit chef för utvärderingsavdelningen på Högskolverket, direktör och utvärderings- och kvalitetsansvarig på MISTRA (Stiftelsen för miljöstrategisk forskning). Olof Åslund är generaldirektör vid Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU). Olof är adjungerad professor i nationalekonomi vid Uppsala universitet och har bland annat varit forskningsledare vid SNS (Studieförbundet Näringsliv och Samhälle). Plenarsession 2: Förekommer det en ickeamerikansk utvärderingstradition? Panel av nordiska utvärderare; Jan-Eric Furubo, Sverige & Hanne Foss Hansen, Danmark & Harald Furre, Norge & Per Mickwitz, Finland Trots att vi har tämligen annorlunda politiska och administrativa förhållanden i Europa förefaller vår kontinent dominerad av de amerikanska utvärderingstraditionerna. Inflödet av utvärderingsteori och metod från USA tycks aldrig sina. I denna nordiska session ska vi undersöka om det finns nationella, nordiska och kanske även europeiska utvärderingstraditioner. Finns det överhuvudtaget fog att tala om en icke-amerikansk utvärderingstradition? Plenarsession 3: Politik och effektutvärdering i Storbritannien. Michael Power Denna session kommer att beskriva utvecklingen av kraven att brittiska lärosäten ska påvisa positiva effekter av sin forskning. Presentationen tar upp utvecklingen av politik som syftar till att öka kunskaperna om effekter och dess konsekvenser för akademisk praxis. Utbyggnaden av effektutvärdering utgör en del av granskningssamhällets expansion och kommer att leda universiteten i riktning mot nya former av bedömningsgrunder och krav på att de ska kunna bevisa sitt värde. Michael Power är professor i redovisning vid London School of Economics. Han intresserar sig bl.a. för granskning, ansvarsutkrävande, riskhantering, reglering och standardisering. Mest känd är han som författare till boken The Audit Society: Rituals of Verification. Han talar bl.a. om politik kopplat till utvärdering av forskningens effekter i Storbritannien. Plenarsession 4: Vad vill EU med utvärdering? Veronica Gaffey och Marita Ulvskog I politiken används utvärderingar för att styra och övervaka politiska beslut. Utvärderingar är självklara inte minst inom EU. Men utvärderingens roll i politiken väcker frågor om hur de organiseras, deras faktiska inverkan på politik och hur politiken påverkar utvärderingar. Dessa frågor diskuteras ur ett EU-perspektiv med två inledare; Veronica Gaffey, utvärderingschef inom EU samt Marita Ulvskog, EU-parlamentiker. Veronica Gaffey är chef för utvärderingsenheten vid Directorate General for Regional and Urban Policy inom Europeiska kommissionen sedan Dels arbetar hon med faktiska utvärderingar av politik, dels med att stödja uppbyggnaden av medlemsstaternas kapacitet att utvärdera effekter och konsekvenser av politik. Marita Ulvskog är en av Sveriges mest kända och erfarna politiker. Hon har varit partisekreterare, civilminister och kulturminister, och innan dess chefredaktör för Dala-Demokraten. Sedan 2009 är hon ledamot i Europaparlamentet, vilket bland innebär att hon arbetar i det utskott som bereder frågor om forskning inom EU. Hon kommer att diskutera EU:s utvärderingar ur ett politiskt perspektiv.

8 Parallella sessioner 14 nov kl 11:15-12:15 Session Utvärdering i politiken och politiken i utvärdering Uppföljning och fortsatt diskussion om temat från plenarsessionen med Clas Uno Frykholm och Olof Åslund. Deltagare: Clas Uno Frykholm, Olof Åslund. Moderator: Rolf Sandahl Session Vetenskap, utvärdering och politik: Ett vetenskapsteoretiskt perspektiv Av universitetsforskningen önskas idag användbar, helst evidensbaserad, kunskap som kan omvandlas till utvärderingsbara interventioner. En sådan pragmatisk orientering kan förväntas förbättra många professionella praktiker. På sikt kan emellertid en sådan strategi också undergräva den plattform på vilken vetenskap och praktik integreras. Genom att dela vetenskapen i kunskapstyper ökas förståelsen av dess relation till olika praktiker, och evidensbaserad kunskap sätts i ett större kognitivt sammanhang, vilket är av betydelse för utvärderingars samhällspolitiska roll. Inledaren, Thomas Brante är professor vid Lunds Universitet. Deltagare: Thomas Brante, Lunds Universitet Moderator: Evert Vedung Session Utvärdering för beslut eller lärande Det är allt vanligare att omdefiniera frågan om användning av utvärdering från att handla om ett underlag för beslut till att beskrivas som en insats för lärande. Vad innebär detta för utvärderingens roll i den politiska beslutsprocessen? Blir utvärdering mer utvecklingsarbete än en kritiskt granskande verksamhet? Frågor av detta slag aktualiseras genom presentationerna i denna session. Deltagare: Erik Jakobsson, APeL FOU, Mats Fred, Malmö högskola, Kettil Nordensjö Linnéuniversitetet Moderator: Stig Linde Session Utvärdering och politik Utvärderingens roll inom skolpolitiken har ökat i betydelse under det senaste decenniet med såväl internationella som nationella mätningar av resultat. Även inom socialpolitik och arbetsmarknadspolitik har utvärdering blivit ett allt starkare styrinstrument. Vilka erfarenheter finns av denna ökade användning av utvärdering i politiken och vad ger utvärdering för kunskapsunderlag för politikens utformning och legitimitet. Deltagare: Anders Hanberger Umeå universitet, Andreas Lundstedt, Göteborgs universitet Moderator: Ove Karlsson Vestman Session Att utvärdera politik i krigszoner erfarenheter från utvärdering av Natos genderarbete i Afghanistan och Kosovo Resolutionen UNSCR 1325 om Kvinnor, fred och säkerhet antogs av FN:s säkerhetsråd Implementeringen har särskilt försökt beakta kvinnors roll och utsatthet i konflikter, genom att fokusera på frågor om skydd, deltagande och konfliktförebyggande åtgärder. År 2013 fick Sverige och Totalförsvarets forskningsinstitut (FOI) uppdraget att utvärdera hur Nato har arbetat med UNSCR 1325 i sina insatser i Kosovo och Afghanistan. Vid denna session berättar Helénè Lackenbauer och Jan Frelin från FOI om erfarenheterna från sitt uppdrag bl a om utmaningarna med att arbeta med utvärdering i komplexa konfliktmiljöer liksom i en hög internationell, politisk miljö. Deltagare: Helénè Lackenbauer och Jan Frelin från FOI Moderator: Kim Forss Session Objektivitet och evidens i utvärdering En vanlig föreställning är att genomförande och användning av utvärdering sker tämligen objektivt och rationellt. Men hur objektiva är utvärderingar, och vilken roll spelar politisk övertygelse och känslor vid beslut på basis av utvärderingsresultat? Här diskuteras hur känslor och politiska övertygelser kan påverka utvärderare, utvärderingar och beslutsfattare. Deltagare: Pär Hagander, Joakim Östlund, Göteborgs universitet Moderator: Carina Abrahamson Löfström;

9 Parallella sessioner 14 nov kl 16:15-17:30 Session Förekommer det en icke-amerikansk utvärderingstradition? Uppföljning och fortsatt diskussion om temat från plenarsessionen med panelen. Detagare: Jan-Eric Furubo, Hanne Foss-Hansen, Harald Furre, Per Mickwitz Moderator: Verner Denvall Session Leder utvärdering av forskning till högre kvalitet? Att utvärdera forskning med syfte att främja kvalitet och prestation har blivit allt vanligare både på central nationell nivå och lokal lärosätesnivå. Under denna session presenteras och diskuteras erfarenheter från nationella och internationella utvärderingar av forskningskvalitet. Särskilt fokus kommer att ligga på möjligheter och svårigheter att bedöma och utvärdera forskningsresultatens samhällsrelevans och nytta. Ytterst gäller frågan vilka effekter utvärderingarna har. Deltagare: Gunnar Sivertsen NIFU (Nordisk institutt for studier av innovasjon, forskning og utdanning), Norge, Ilkka Turunen, Utbildningsministeriet, Finland Moderator: Maud Kvist Session 2.3 Teori vid utvärdering (Session 1 av 2) Att formulera en teori om vad som utvärderas men också om hur utvärdering kan se ut är frågor som aktualiserats genom begrepp som programteori, teoriinriktad och teoribaserad utvärdering. Här diskuteras hur analyser av kvali- tetsarbete i skolan och sociala företag kan bidra till en mer teoretisk förståelse av det som utvärderas och samband mellan mål, processer och resultat. Deltagare: Ulf Lundström Umeå universitet, Lena Lernå LoBAB Moderator: Björn Blom Session Makt och kunskap Makt och kunskap är ständiga följeslagare, inte minst vid utvärdering. Bidragen i detta pass diskuterar makt och kunskap i relation till tre olika roller: beställare, utvärderare och brukare av offentliga insatser. Vem är det egentligen som ska bestämma över en utvärdering och hur den ska genomföras? Kan kritik ställa till problem för någon av dessa intressenter? Deltagare: Evert Vedung, Uppsala universitet, Russel Turner, FoU Väst, Josefine Hjort Moderator: Stig Linde Session Lärande utvärdering Begreppet lärande utvärdering kan förefalla paradoxalt, innebär inte all utvärdering någon typ av lärande? Eftersom svaret på den frågan vanligtvis är ja, är det intressant att diskutera vad det speciella är med just lärande utvärdering. I detta pass diskuteras bl.a. vad lärande innebär, vem som lär och hur kritisk man kan vara som följeforskare. Deltagare: Kerstin Arnesson & Gunilla Albinson, Blekinge tekniska högskola, Olle Palm OP utvärdering Moderator: Carina Abrahamson Löfström Session Metaanalys Metodsession. Metaanalys är en statistisk metod för att sammanväga resultat från enskilda studier (vanligtvis effekter) till ett enda genomsnittligt resultat. I denna session ges en praktisk demonstration av hur man går tillväga för att göra en sådan analys. Sten Anttila från SBU medverkar. Deltagare: Sten Anttila SBU Moderator: Kari Jess

10 Parallella sessioner 15 nov kl 10:00-11:30 Session Evaluation and audit trails Uppföljning och fortsatt diskussion om temat från plenarsessionen med Michael Power. Deltagare: Michel Power Moderator: Lennart Nygren Session Att arbeta evidensbaserat erfarenhet, praktik och vetenskap. Inom psykiatri och socialtjänst finns sedan några år tillbaka växande och återkommande krav på att de insatser som erbjuds brukare ska vara evidensbaserade. I sin enklaste form betyder evidensbaserade insatser att dessa insatser ska vara till hjälp för brukarna och de problem som de brottas med. I detta perspektiv verkar strävan efter evidensbaserade insatser vara både självklara och svåra att säga emot. Ändå har det uppstått en del turbulens i denna fråga. Deltagare: Alain Topor, docent, Institutionen för socialt arbete, Stockholms Universitet och Hanne Foss Hansen, professor i offentlig förvaltning vid Köpenhamns Universitet. Moderator: Verner Denvall Session Uppdrag offentlig granskning Lena Lindgren och Vicki Johansson berättar om den nya boken Uppdrag offentlig granskning. Granskning används i boken som ett paraplybegrepp för utvärdering, revision tillsyn, kvalitets- och rankingsystem samt ackreditering och certifiering. Dessa olika granskningsformer jämförs och analyseras med avseende på gemensamma kännetecken och specifika särdrag, samt deras problem och möjligheter i förhållande till ansvarsutkrävande, verksamhetsutveckling och förtroende för det demokratiska systemet. Lena och Vicki är verksamma vid Förvaltningshögskolan, Göteborgs Universitet. Deltagare: Lena Lindgren, Vicki Johansson Göteborgs universitet Moderator: Mona Pütsep Session Teori vid utvärdering (programteori) (Session 2 av 2) Teorier kan fylla många olika funktioner vid utvärdering. I detta pass illustreras att teorier bl.a. kan användas för att granska hur olika delar i offentliga organisationer interagerar, dels hur teorier kan vara användbara vid utvärdering av implementering. Deltagare: Björn Blom, Stefan Morén, Marek Perlinski Umeå universitet, Matilda Ardenfors, Marcus Holmström, Ingrid Rydell Ramböll, Göran Brulin, Tillväxtverket, Moderator: Tommy Jansson Session Utvärderingens metoder Att utvärdering innebär någon form av granskning och bedömning med hjälp av metoder för datainsamling och analys, det är nog de flesta utvärderare överens om. Däremot råder ingen enighet om var gränserna går mellan olika typer av granskningar, vad som skall betraktas som utvärdering och vilken roll olika metoder och intressentgruppers perspektiv spelar. I det här passet presenteras bidrag som på olika sätt belyser dessa frågor. Bl.a. dryftas likheter och skillnader mellan utvärdering och revision. Dessutom argumenteras för brukarinflytande som en motvikt till experimentellt upplagd utvärdering. Deltagare: Kaj Oldrup, Malmö stad, Anna Petersen, Örebro universitet Moderator: Jan-Eric Furubo Session 3:6 - Kan samspel mellan beställare och utvärderare bidra till varaktig förändring? Svenska elevers matematikkunskaper sjunker. Skolverket har därför fått i uppdrag att utveckla matematikundervisningen. Med utgångspunkt i utvärdering av satsningen Matematiklyftet diskuteras om och hur ett samspel mellan beställare och utvärderare kan bidra till utveckling och varaktig förändring genom en enskild insats. Deltagare: Sandra Mardones Larsson Skolverket, Tove Stenman och Olov Wolf-Watz Ramböll Moderator: Anders Hanberger

11 Parallella sessioner 15 nov kl 14:45-16:00 Session Vad vill EU med utvärdering? Uppföljning och fortsatt diskussion om temat från plenarsessionen med Veronica Gaffey och Marita Ulvskog. Deltagare: Veronica Gaffey och Marita Ulvskog. Moderator: Daniel Tarschys. Session Riksdagsutskottens arbete med utvärderingar Utskotten ska enligt regeringsformen följa upp och utvärdera de beslut som riksdagen har fattat. Tanken är att det utskott som förberett ett beslut senare ska utvärdera vad som blivit resultatet av beslutet. Uppföljningsarbetet består dels av fördjupade uppföljningar och utvärderingar, dels av löpande uppföljningar. Bland andra kommer riksdagsledamoten Iréne Oskarsson från Miljö- och jordbruksutskottet att beskriva hur utskottet arbetar med dessa uppföljningar och utvärderingar. Deltagare: Iréne Oskarsson, riksdagsledamot, Christer Åström, chef för Utvärderings- och forskningssekretariatet vid Riksdagsförvaltningen Moderator: Rolf Sandahl Session Öppna jämförelser Öppna jämförelser är ett nationellt, svenskt uppföljningssystem vars resultat årligen redovisas offentligt. Systemet, som baseras på en uppsättning fastlagda indikatorer som beskriver verksamheters kvalitet, finns inom hälso- och sjukvård, socialtjänst, skola, folkhälsa samt risk och säkerhet. Vid seminariet presenteras två aktuella studier av öppna jämförelsers användning inom hälso- och sjukvård och äldreomsorg. Lena Lindgren, Förvaltningshögskolan, Göteborgs universitet och Joakim Ramsberg, Myndigheten för vårdanalys. Deltagare: Lena Lindgren, Göteborgs Universitet, Joakim Ramsberg, Myndigheten för Vårdanalys Moderator: Sten Söderberg Session Metautvärdering och kunskapsanvändning För att bedöma utvärderingars kvalitet och nytta är det viktigt att även utvärdera utvärderingars mål, metoder och resultat. Att utforma kriterier för sådana bedömningar är en viktig uppgift vid metautvärdering. Hur kan sådana kriterier se ut och hur kan kvaliteten i utvärdering ökas för att främja kunskapsanvändning? Deltagare: Magnus Larsson, Malin Benerdal Umeå universitet, David Pålsson Stockholms universitet Moderator: Tobias Fridholm Session Politikens användning av utvärdering Att utvärderingar inte används i den politiska beslutsprocessen brukar hävdas ofta som en sanning och ett stort problem inom utvärdering. Hur stämmer detta med praktiken? Finns det en användning av utvärdering som vi inte har uppmärksammat och hur ser i så fall användningen ut? Deltagare: Åsa Sohlman, Petter Kockum, Peter Ehn, Statskontoret Moderator: Ove Karlsson Vestman