Inbjudan till konferensen: Utvärderingars värde värden i utvärderingar

Transkript

1 Inbjudan till konferensen: Utvärderingars värde värden i utvärderingar SVUFs försessioner 7 oktober 2015 SVUFs konferens 8-9 oktober 2015

2 2015 års nationella utvärderingskonferens Utvärderingars värde värden i utvärderingar 8-9 oktober med försessioner den 7 oktober, Hilton Slussen Stockholm Välkommen till 2015 års konferens om utvärdering arrangerad av Svenska utvärderingsföreningen (SVUF). Detta är vår sjunde utvärderingskonferens sedan starten Ett av föreningens syften är att diskutera utvärderingens men också utvärderarens roll i samhället. Årets tema anknyter väl till detta syfte; både dess användning/värde och vilka val som utvärderaren gör i utvärderingens olika moment. Alla moment i en utvärdering styrs av värderingar av något slag. Val av frågeställningar påverkas av vad vi är intresserade av. Val av metod påverkas ofta av vår disciplinära bakgrund. Att välja bedömningskriterier är i allra högsta grad en värdefråga. Om rekommendationer ska ges och hur tät relationen mellan utvärderare och utvärderingsobjekt ska vara råder det också delade meningar om. Hur organiseringen av utvärderingsverksamheten ser ut kan också påverka val av frågor och ansats. Ställer exempelvis en extern oberoende utvärderingsmyndighet andra frågor och kommer till andra slutsatser än en intern utvärderingsfunktion inom en myndighet? Vi ställer också frågan vad är en oberoende utvärderingsmyndighet oberoende av? Varje år genomförs en enorm mängd utvärderingar inom alla områden i Sverige liksom i övriga världen. Frågan är vilken kunskap får vi genom alla dessa utvärderingar? Evidensdebatten, som till stora delar handlat om vilka metoder som ger den mest tillförlitliga kunskapen, har nog inte undgått någon. Men bygger vi kunskap genom dessa utvärderingar, dvs. får vi ett lärande för framtida insatser eller utgör utvärderingarna endast en samling studier anpassade till den enskilde beställarens önskemål? Årets konferens kretsar således kring kunskapsfrågan och värdefrågan. Dessa frågor kommer att beröras i plenaranföranden, i sessioner etc. Men också andra frågor kommer att diskuteras på konferensen. Open space, exempelvis, baseras på diskussioner efter förslag av deltagarna själva och några av de papers som skickats in till föreningen tar upp andra intressanta utvärderingsfrågor. Liksom tidigare konferensår har vi en dag med försessioner. Alla fem försessioner pågår under en hel dag och vi har i år lagt fokus på metod och praktik. Ta chansen att delta i någon av dessa sessioner! Våra konferenser brukar vara välbesökta där deltagare från myndigheter, Regeringskansli, riksdag, kommuner, lärosäten, konsultföretag m.fl. möts. I den här inbjudan presenteras programmet för konferensen, försessionerna och de praktiska delarna. Programmet hittar ni också på Vi i styrelsen hälsar Dig varmt välkommen!

3 Programmet i korthet Försessioner 7 okt Onsdag den 7 oktober Försession 1: What are Better Quasi-Experimental Designs for Evaluation Practice and what is the Evidence for claiming they are Better? Thomas Cook Försession 2: Att skapa värde och tillförlitlighet med kvantitativa undersökningar - att tänka efter före. Kvantitativa undersökningar - när och varför? Mats Nyfjäll och Johan Bring Försession 3: Att skapa värde och tillförlitlighet i kvalitativa intervjuer - perspektiv, förförståelse och tolkning. Mats Alvesson Försession 4: Programteori. Lena Lindgren och Maria Bergström Försession 5: Utvärderingens elementa. Evert Vedung Utvärderingskonferens 8 okt Torsdag den 8 oktober Registreringen öppnar Inledning och välkommen, SVUFs ordf Rolf Sandahl Plenarsession 1: Utvärderingarnas värde eller felfinnande och ångestdrivna organisationer: granskningsbarhet och välfungerande offentlig sektor. Mats Alvesson Parallella sessioner Lunch Plenarsession 2: How are evaluations used in the EU? How to make them more usable? Veronica Gaffey Kaffe och bokbord Open space Parallella sessioner Konferensmiddag 9 okt Fredag den 9 oktober Plenarsession 3: Evaluation theory and its relationships with evaluation practice. Thomas Cook Parallella sessioner Lunch Plenarsession 4: Maktordningars betydelse i val och upplägg av utvärderingar. Maria Eriksson Parallella sessioner Kaffe och bokbord Paneldiskussion. Utvärderingars värde - värden i utvärderingar. Inga- Britt Ahlenius, Margareta Hallberg och Ingvar Mattson Avslutning följt av mingel

4 Försessioner 1. (kl. 9-16) What are Better Quasi-Experimental Designs for Evaluation Practice and what is the Evidence for claiming they are Better? Thomas Cook. This presession will discuss the following issues: A description and discussion of within-study comparisons or design experiments. These are attempts to learn how closely the results from randomized experiments and quasi-experiments correspond to each other when the same treatment group is shared across the two designs. A description of the correspondence of causal results when the randomized experiment is compared to the results from two forms of regression-discontinuity (RD) basic RD and comparative RD (CRD). This gets us into analyses of how CRD helps mitigate the problems of basic RD with respect to reduced statistical power, unsupported functional form, extrapolation and minimal causal generation around the cutoff that determines treatment assignment. A description and discussion of the empirical correspondence achieved to date between estimates from randomized experiments and two kinds of interrupted time series (ITS) the simple ITS with a single treatment group measured at multiple points before and after treatment, and the comparative ITS (CITS) where there is also an untreated group measured at the same time intervals. Simpler non-equivalent control group designs (NECGDs) where the literature on the correspondence between results from randomized experiments and various forms of NECGD is more complex. Summarizing the whole pattern of results about better quasi-experimental practices and worse ones too, of course and exploring their implications for better quasi-experimental research for situations where it is impossible or impractical to assign at random. Thomas Cook är professor i sociologi, psykologi, utbildning och socialpolitik vid Northwestern University, USA. Han har ett stort intresse för utvärderingsforskning och är en av portalfigurerna när det gäller utvärdering. Hans metodintresse är också stort och han har bland annat skrivit Quasi-Experimentation Design and Analysis Issues for Field Settings, Qualitative and Quantitative Methods in Evaluation Research, och The Foundations of Program Evaluation. 2. (kl ). Att skapa värde och tillförlitlighet med kvantitativa undersökningar - att tänka efter före. Kvantitativa undersökningar - när och varför? Mats Nyfjäll och Johan Bring I vissa fall är det uppenbart att kvantitativa undersökningar är motiverade. I samband med kvantitativa undersökningar finns dock ofta en risk att myggor silas och kameler sväljs. Lika metodmässigt elegant som det är att använda vedertagen urvalsteori med känd statistisk osäkerhet, lika svårt kan det vara att försöka kvantifiera annan osäkerhet - t.ex. ett bortfalls potentiellt snedvridande effekt. Inom detta område letar för närvarande urvalsstatistiker efter sätt att möta bortfallsproblemet. Vid utvärderingar finns ofta önskan att härleda samband mellan t.ex. insatser och utfall. Att i efterhand försöka reda ut vad som faktiskt har föranlett ett visst utfall är dock ofta komplicerat. Ett sätt att på förhand försöka eliminera detta problem är att genomföra experimentella studier. Ur innehållet: Fråga alla eller ett urval - att definiera undersökningspopulation och hitta urvalsramar Statistisk och annan osäkerhet - urvalsstorlek och andra felkällor Bortfallets betydelse - att förebygga och hantera bortfall Frågekonstruktion - att avgränsa sina frågor i tid och rum Experimentell undersökningsdesign - kvantitativ effektutvärdering Mats Nyfjäll är fil.lic i statistik och Johan Bring är adj. professor i statistik, båda från Statisticon

5 Försessioner 3. (kl ) Att skapa värde och tillförlitlighet i kvalitativa intervjuer - perspektiv, förförståelse och tolkning. Mats Alvesson Intervjun är en av de mest grundläggande metoderna för att få fram kunskap om individer, grupper och organisationer. Det kan tyckas vara enkelt och självklart sätt att få fram bra kunskap. Men intervjuer är ofta komplexa och svårtolkade sociala interaktioner. Någon patentlösning för att genomföra och tolka intervjuer på bästa sätt finns inte. Dagen kommer att innehålla en kritisk diskussion om traditionella intervjumetoder. Ett ramverk kommer att ges för tänkande kring frågor om vad som händer i intervjuer och vad man kan få ut av dessa. På så sätt stöds utvecklandet av en reflexiv intervjupraktik. Under dagen kommer olika metaforer att presenteras som lyfter fram hur avgörande tolkningsprocessen och de teoretiska grundantagandena är för såväl intervjupraktik som den kunskap som man kan ta fram genom intervjun. Ur innehållet: Styrka och svagheter med kvalitativa intervjuer Traditionella intervjumetoder Reflexiv intervjupraktik Makt och balans i intervjusituationen Tolkningsprocessen och grundantaganden Mats Alvesson är professor vid Företagsekonomiska institutionen Lunds universitet Litteratur: Intervjuer- genomförande, tolkning och reflexivitet; Mats Alvesson, Liber 4. (kl. 9-16) Programteori. Lena Lindgren och Maria Bergström I utvärderingslitteraturen är programteori numera en standard evaluation procedure. Metoden bygger på tanken att alla åtgärder (program, policys, metoder etc) vilar på en viss logik om hur det förväntas lösa det underliggande problem som är anledningen till åtgärdens existens. En rekonstruerad programteori kan användas på flera olika sätt, vanligast som stöd i samband med planering av en utvärdering men även som underlag för ett strukturerat resonemang och/eller analys av en åtgärds logik. Under den här försessionen presenteras programteorins utgångspunkter och förutsättningar och deltagarna får också praktisk övning i några av metodens tillämpningsmöjligheter. Lena Lindgren är docent verksam vid Förvaltningshögskolan, Göteborgs universitet och har mångårig erfarenhet av undervisning och forskning om utvärdering och praktiskt utvärderingsarbete. Hon har också varit ordförande i SVUF. Maria Bergström har arbetat med utvärderingsfrågor i statsförvaltningen i många år och har också arbetat med att försöka integrera programteori som en utgångspunkt för resultatanalys. Maria arbetar nu på Vetenskapsrådet som analytiker. 5. (kl. 9-16) Utvärderingens elementa. Evert Vedung Försessionen vänder sig till dem som vill få en enkelt framställd, elementär orientering i vad utvärdering är och vilka frågor som ställs och belyses i utvärdering. Sessionen inleds med en definition av begreppet utvärdering bl.a. i förhållande till begreppet uppföljning. Ur innehållet: Hur utvärderaren bygger upp interventionsteorier (programteorier) samt på vilket sätt dessa kan användas i utvärderande. Utvärderingens grundläggande ändamål. Utvärderingsmodeller som exempelvis måluppfyllelseutvärdering, intressentmodellen, EU-modellen m.m. Effektlärans terminologi som exempelvis huvudeffekter, nolleffekter m.m. Effektfrågans grundläggande logik. Evert Vedung, professor emeritus i statsvetenskap vid Uppsala Universitet, var en av initiativtagarna till SVUF. Han har under en lång rad av SVUF:s konferenser gett en elementär kurs i utvärdering.

6 Plenarsessioner Plenarsession 1: Utvärderingarnas värde eller felfinnande och ångestdrivna organisationer: granskningsbarhet och välfungerande offentlig sektor. Mats Alvesson Hur värderar offentlig verksamhet utvärderingar? Leder de till bättre verksamhet för medborgarna eller att man ser över sina rutiner och ser till att inga formella fel görs? Mats Alvesson är professor och organisations- och ledningsforskare vid Lunds universitet. Han har bland annat utgivit Tomhetens triumf, Bokförlaget Atlas (2011). Plenarsession 2: How are evaluations used in the EU? How to make them more usable? Veronica Gaffey Inom EU görs en mängd utvärderingar som ses som en naturlig del av EUs arbete. Men används utvärderingarna och i så fall på vilket sätt? Under senare tid har inriktningen på utvärderingsverksamheten ändrats något genom ett ökat krav på att förklara hur insatserna bidrar till förändring. Varför denna nya inriktning? Veronica Gaffey är chef för utvärderingsenheten vid Directorate General for Regional and Urban Policy inom Europeiska kommissionen sedan Dels arbetar hon med faktiska utvärderingar av politik, dels med att stödja uppbyggnaden av medlemsstaternas kapacitet att utvärdera effekter och konsekvenser av politik. Plenarsession 3: Evaluation theory and its relationships with evaluation practice. Thomas Cook I varje moment av en utvärdering finns teorier att ta ställning till. Förutom de mer sakorienterade teorierna finns metodologiska överväganden, teorier om användning, värdefrågor, kunskapsteoretiska överväganden etc. De olika teoretiska valen får implikationer av olika slag. Thomas Cook kommer att diskutera dessa implikationer men ställer också frågan om utvärdering i sig är något unikt, dvs. finns det specifika utvärderingsteorier? Thomas Cook, Northwestern University, USA, är professor i sociologi, psykologi, utbildning och socialpolitik. Han är en av portalfigurerna när det gäller utvärdering och bland annat utgivit Quasi-Experimentation Design and Analysis Issues for Field Settings, Qualitative and Quantitative Methods in Evaluation Research och The Foundations of Program Evaluation. Plenarsession 4: Maktordningars betydelse i val och upplägg av utvärderingar. Maria Eriksson Ett flertal exempel ges på hur utvärdering kan bedrivas utifrån ett intersektionellt perspektiv, från beställning via genomförande till bedömning och slutligen användning. Särskilt beaktas hur olika intersektioner har betydelse för maktutövning. Maria Eriksson är professor i socialt arbete vid Mälardalens högskola och hennes forskning är framför allt inriktad på vad olika former av ojämlikhet betyder för den politiska och praktiska hanteringen av föräldraskap och barns rättigheter.

7 Parallella sessioner Session 1.1 Hur kritisk får man vara? Exemplet polisen. År 2009 krävde regeringen att polisen skulle utvärdera sin verksamhet både i egen regi och via externa aktörer. Som svar inrättades en utvärderingsenhet vid Rikspolisstyrelsen (numera Polismyndigheten). Men bara efter en kort tid bröt polisen mot sina utfästelser till regeringen. Det var viktigare för polisen att ha totalkontroll över utvärderingsverksamheten än att ha en sådan värd namnet. Hur långt är polisen beredda att gå för att ha kontroll över granskning av polisen och vad får det för konsekvenser för dem som vill utvärdera polisen? Johannes Knutsson är professor i polisforskning vid Politihøgskolen i Norge, men har bedrivit en stor del av sin forsknings- och utvärderingsverksamhet med anknytning till det svenska polisväsendet. Stefan Holgersson är lektor vid Linköpings universitet och polis i Stockholm. Session 1.2 Utvärderarrollen (I) I denna papersession belyses två perspektiv på utvärderarrollen. Att utvärdera känsliga ämnen väcker känslor kan det bidra till utvärderingens kvalitet? När välfärdsverksamheter granskas är frågan vad utvärderarna (inspektörerna) gör; konstateras redan kända brister eller görs sammanvägningar av mer komplex karaktär? Paper: Sanja Magdalenić, forskare och Eva Hämberg, Högskolan Dalarna Session 1.4 Utvärderingens paradoxer. Kunskap och etik i utvärdering En utvärdering av 36 Arvsfondsprojekt inriktade mot unga och kriminalitet Denna session kommer att handla om de olika relationer man som utvärderare skapar med frivilligorganisationerna och de offentliga och på vilket sätt kunskap kommer till och tas emot i de olika fälten. Thomas Öhlund, lektor, Stockholms universitet. Annica Thomas, utvärderingsansvarig, Arvsfonden, Solveig Hollari, utredare, BRÅ och Kari Jess, lektor, Högskolan Dalarna. Session 1.5 Vems värden styr när icke-offentliga organ ska utföra och utvärdera offentligt finanserad politik? Det är inte ovanligt att staten via andra icke offentliga aktörer, som intresseorganisationer eller privata aktörer, genomför den statliga politiken. Det är aktörer som också har att ta hänsyn till de egna organisationernas värderingar. Samma sak kan nog sägas om EU:s on-going evaluation som innebär en mer intressentinvolverande utvärdering. I den här sessionen diskuteras hur värdefrågor hanteras med exempel från Nya Zeeland, Sverige och EU:s on-going evaluation. Paper: Sarah Johnstone och Josefine Massie, Förvaltningshögskolan Göteborg och Kettil Nordesjö, Linnéuniversitetet. Session 1.3 Utvärderingars användning i politiken Här kommer resultat och reflektioner att presenteras från ett urval av fallstudier inom det forskningspolitiska området samt resultat från utvärderingarnas värde för regeringen. Kan en icke använd utvärdering vara en utvärdering? Vad menas med användning av en utvärdering? Är alltid rigorös utvärderingsmetodik grunden för användning? Vad avslöjar regeringens hänvisningar till utvärderingar om värdet de sätter till utvärderingar? I vilka sammanhang hänvisar regeringen till utvärderingar i budgetpropositionen, finansplanen och arbetsmarknadspolitiken? Paper: Åsa Sohlman, seniorforskare och Sten Söderberg, Vetenskapsrådet

8 Parallella sessioner Session 2.1 Hur skapar man oberoende utvärderingsmyndigheter? Vi har ett antal oberoende utvärderings- och granskningsmyndigheter i Sverige IFAU, Tillväxtanalys, ISF, IVO med flera. Syftet med dessa är att policyn på olika områden ska utvecklas på ett så allsidigt underlag som möjligt. Men vad ska man mena med oberoende, och hur ska man säkerställa att de aktuella myndigheterna blir oberoende i denna mening? Per Molander, generaldirektör för Inspektionen för socialförsäkringen (ISF). Session 2.2 Värdet av tillsyn och öppna jämförelser som utvärdering - exemplet äldreomsorgen Äldreomsorg har genom olika former av utvärdering fått avsevärt ökad uppmärksamhet i media och politisk debatt. I denna session diskuteras vilka konsekvenser som två dominerande former av utvärdering tillsyn och öppna jämförelser har för äldreomsorgens styrning, ansvarsutkrävande och verksamhetsutveckling. Sessionen utgår från resultat från ett Forte-finansierat forskningsprojekt om användning av utvärdering i äldreomsorgen. Session 2.4 Praktik som evidens Vad är det som gör skillnad? För att utvärdera detta i arbetslivsrehabiliterande verksamhet gäller inga armlängders avstånd. En utvärderingsmodell för involvering presenteras här: praktikbaserad evidens. Ett annat begrepp när det gäller att använda kunskap från praktiken att göra skillnad i praktiken är inspirerat av Aristoteles: Fronetisk utvärdering. Paper: Anna Petersén, Örebro Universitet och Evert Vedung, Uppsala Universitet. Session 2.5 Utvärderarrollen (II) Utvärdering genom följeforskning ställer utvärderaren inför en rad problem. Verksamhetens beredskap att bli granskad är ett exempel. Utvärderarrollen blir också olika beroende om det utvärderade objektet handlar om implementering eller innovation. Olika institutionella miljöer skapar olika utvärderarroller. Paper: Anders Lindström och Ove Grape, Umeå universitet och Karl Kjäll och Marcus Wåhlstedt, Ramböll. Anders Hanberger, professor, Umeå universitet, Lennart Nygren, professor, Umeå universitet och Katarina Andersson, lektor Umeå universitet, och Lena Lindgren, docent, Göteborgs universitet. Session 2.3 Bortom NPM: Hur kan vi organisera en systematiskt lärande stat? Bengt Jacobsson kommer att diskutera det förvaltningspolitiska reformerandet i staten, framförallt hur idéer och reformer när det gäller styrningen har utformats. Försöken att reformera styrningen visar på de svårigheter som finns i att använda sig av utvärderingar. Erfarenheter från praktiken står sig ofta slätt mot den trosvisshet som kommer av att veta sig vara på rätt väg. Hur kan styrningen i staten utformas? Hur skulle man kunna öka förmågan att på ett systematiskt sätt lära av egna erfarenheter. Bengt Jacobsson, professor, Södertörns högskola.

9 Parallella sessioner Session 3.1 Hur utvärderar man när flera nivåer är inblandade? Är teoribaserad utvärdering i flernivåprogram något att utgå från vid design, empiriinsamling och analys? Vad kan det ge för bidrag på kort och lång sikt? Vad krävs för att öka utvärderingarnas användbarhet i flernivåprojekt? Leder flernivåprojekt till att säkrare indikatorer utformas? Paper: Kajsa Rosén, Ingrid Rydell, Olov Wolf Wats, Strategirådet samt Ann Öhman Sandberg, Christina Ehneström, Niga Hamasor, Karin Sjöberg, Veta Advisor AB. Session 3.2 Vad och hur lär vi oss av naturliga experiment? Lärdomar från förbättringsarbete i hälso- och sjukvården. Förbättringskunskap används sedan mer än ett decennium som ett begrepp inom hälso- och sjukvården. Ett forskningsområde improvement science, förbättringsvetenskap, är under utveckling internationellt liksom nationellt och utmärks av att vara utpräglat tvärvetenskapligt och aktions/ interaktionsinriktat. Med tanke på att det kontinuerligt pågår många naturliga experiment i vårdens verksamheter med olika interventioner för förbättring i processer och resultat finns ett stort behov av att utveckla dynamiska utvärderings- följeforskningsmetoder för att fånga det lärande som ständigt pågår i dessa aktiviteter. Det kan finnas både en övertro och ibland en ogrundad skepsis till dessa interventioner varför skarpa utvärderingsmetoder är angelägna för att bättre förstå vad som fungerar för vem i vilka sammanhang. Boel Andersson Gäre, professor, Jönköping Academy for improvement of health and welfare, Högskolan Jönköping och Futurum centrum för forskning och utbildning, Region Jönköpings län. Session 3.3 Vad lär vi oss av alla utvärderingar? Vi föreställer oss att de utvärderingar vi gör är nyttiga och att de kommer till användning på något sätt. Men vad är det för kunskap som förmedlas via dessa utvärderingar? Är varje enskild utvärdering specifik och anpassad till en specifik kontext eller finns det något som vi kan vi ta med oss framöver? Och vad krävs det i så fall för inriktning på framtida utvärderingar? I denna session diskuteras erfarenheter från arbetsmarknads- och skolområdet. Session 3.4 Evidens - Tillförlitlig, tillräcklig, motstridig kunskap? I början av 1990-talet lanserades ett nytt koncept inom vården evidensbaserad medicin. Dess grundläggande ambition var att alla behandlingsåtgärder skulle bygga på bästa tillgängliga kunskap, på evidens. Konceptet har sedan spridit sig som en löpeld över världen och fått fäste inom allt fler välfärdsområden och i olika yrkesgrupper: rehabilitering, omsorg och socialtjänst och även inom skolan. Men att förverkliga visionen om en evidensbaserad praktik har visat sig vara mycket mer komplicerat än förväntat. Hur tillförlitliga är metoderna för att frambringa evidens? Hur kan resultat från vetenskapliga studier överföras till meningsfulla underlag för beslut i praktisk verksamhet? Kan evidens ersätta praktiskt omdöme? Morten Sager, lektor, Göteborgs universitet. Session 3.5 Är experiment tillämpbart inom alla sakområden? Inom vissa sakområden förekommer experimentella eller kvasiexperimentella upplägg men inte inom andra. Många menar att dessa designer borde tillämpas även inom vård, omsorg och skola. I denna session presenteras en framgångsrik kvasiexperimentell studie från det socialpsykiatriska området där man följde personer med allvarliga psykiska problem där den ena gruppen fick ett aktivitetsstöd men inte den andra. I sessionen presenteras även en studie som gjorts av svensk biståndsverksamhet där det visar sig att exempelvis experimentella upplägg lyser med sin frånvaro. I studien ges förslag på hur experimentella upplägg skulle kunna användas mer frekvent. Utifrån de två studierna diskuteras varför experimentella upplägg används inom vissa områden men inte inom andra? Finns det praktiska, etiska eller andra hinder? Alain Topor, docent, Inst. för Socialt Arbete, Stockholms Universitet och professor, Universitetet i Agder (Norge) och Anders Olofsgård, docent, Handelshögskolan. Anders Forslund, professor, Institutet för arbetsmarknadsoch utbildningspolitisk utvärdering (IFAU) och Staffan Lundh, tidigare avdelningschef, Skolverket.

10 Parallella sessioner Session 4.1 Utvärderingsverkstäder. Att bygga kunskap och kompetens för utvärdering Under en 15-årsperiod har utvärderingsverkstäder bedrivits med personer verksamma inom välfärdssektorn runt om i Sverige. Deltagarna i verkstäderna ska ha ett utvärderingsuppdrag och utvecklar sina kunskaper för utvärdering samtidigt som utvärderingen genomförs. Fram till idag har ca 300 personer deltagit dessa verkstäder. Vilka är verkstädernas bärande idéer? Hur är de upplagda? Vad är värdet med verkstäderna? Bidrar det till att utveckla professionell kunskap och kompetens för utvärdering? Finns det en gemensam utvärderingskompetens? Vad innebär det rent praktiskt att ha deltagit i en utvärderingsverkstad? Kari Jess, lektor, Högskolan Dalarna och Per-Åke Karlsson, forskningsledare, FoU Sjuhärad Välfärd och lektor, Högskolan i Borås. Session 4.2 Att välja upplägg det svåra valet Att välja upplägg för en utvärdering kan i många fall vara ett svårt val. När katastrofer - ej planerade händelser inträffar; vilken måttstock ska då användas? Ibland måste flera typer av upplägg kombineras. I andra fall är insatserna inflätade i en komplicerad kontext där vanliga utvärderingsupplägg har svårt att fungera. I denna papersession diskuteras val av upplägg utifrån konkreta exempel. Session 4.4 Att organisera utvärdering vad bör en regering tänka på? Hur bör den offentliga utvärderingsverksamheten organiseras? Finns det nya infallsvinklar på de klassiska frågorna om avståndet/oberoendet mellan praktisk politik/förvaltning och utvärderingen av dess processer och resultat? Finns efterföljansvärda exempel idag med avseende på praktisk organisering av utvärdering och hur allmängiltiga är dessa? Jan-Eric Furubo, revisionsråd, Riksrevisionen och Rune Premfors, affilierad professor, Södertörns Högskola. Session 4.5 Skakiga underlag? Det är problem med data både till kvantitet och kvalitet. Hur kan vi främja kvaliteten på kvantitativa undersökningar? Performance management-system förlitar sig på giltiga data, men kritiker påpekar att motstridiga syften hos professioner och ledning kan undergräva kvaliteten på de uppgifter som registreras. Vi får också sämre underlag p.g.a. enkättrötthet. Vad blir konsekvenserna? Paper: Andreas Nilsson, Norstat; Verner Denvall, Linnéuniversitetet; Marek Perlinski, Umeå universitet. Paper: Mats Alentun och Ingrid Tengberg, Myndigheten för samhällsskydd och beredskap; Agne Sandberg, Konsumentverket, Göran Hallin/Peter Bjerkesjö, Kontigo AB och Jürgen Degner, Örebro universitet. Session 4.3 Utvärdering som stödjande verktyg Hur kan utvärderingar bidra till att utveckla en praktik? Det räcker inte med att utvärdera. I denna session diskuteras erfarenheter av utvärderingars process och resultat inom biblioteksverksamhet och utbildning inom äldreomsorg. Vilka verksamhetsnära faktorer har betydelse och hur påverkar det institutionella ramverket? Paper: Maria Wolmesjö, Linköpings universitet; Annika Claesson, Örebro universitet; Margareta Lundberg Rodin, Karen Nowé Hedvall, Gullvor Elf, Cecilia Gärdén, Högskolan i Borås.

11 Paneldiskussion Utvärderingars värde värden i utvärderingar. Inga-Britt Ahlenius, tidigare generaldirektör för Riksrevisionsverket och undergeneralsekreterare för FN:s internrevision, Margareta Hallberg, professor i vetenskapsteori, Göteborgs universitet och Ingvar Mattson, generaldirektör, Statskontoret Open Space Mellan kl. 15 och 16 på torsdagen har vi reserverat tid för Open space. Ett Open space-samtal innebär ett möte mellan intresserade av en viss fråga/tematik, och ett tillfälle till erfarenhetsutbyte där alla kan bidra. Ämnena är föreslagna av konferensens deltagare (förslag kan lämnas vid web-anmälan). Var och en går till det samtal man är intresserad av. Förslagsställarna är beredda att ta ansvar för diskussionen genom att inleda ett samtal om sitt ämne (man behöver inte ha tidigare erfarenhet av att leda samtalsgrupper utan ska helt enkelt starta samtalet). Gruppdeltagarna tar gemensamt ansvar för att de som är där kommer till tals. Bokbord På konferensen kommer det att finnas bokbord. Vi uppmanar medlemmar att passa på att ta med sig intressanta rapporter eller utvärderingar som övriga konferensdeltagare kan ta del av.

12 Allmän information Tid och plats Konferensen äger rum på Hilton Stockholm Slussen den 7-9 oktober med försessioner den 7 oktober Onsdagen den 7 oktober öppnar registreringen Torsdagen den 8 oktober öppnar registreringen Konferensen startar Anmälan Anmälan och hotellbokning görs on-line på Om inte tillgång till internet finns, vänligen kontakta Meetagain Konferens (tel ). Deltagaravgift konferens 8-9 oktober Medlem Icke medlem Student (med accepterat bidrag) Anmälan t o m 1 sept kr kr kr Anmälan efter 1 sept kr kr kr Deltagaravgift en dag kr kr kr Försessioner 7 okt kr kr kr Moms tillkommer. I konferenspriset ingår lunch, kaffepauser och konferensmiddag. För de som önskar övernattning har vi förbokat rum på hotellet där konferensen äger rum. Logi bokas i samband med anmälan till konferensen. Betalningen sker med kreditkort eller mot faktura. Anmälan är bindande. Vid avbokning fram till och med den 1 september debiteras en avbokningsavgift om 300 kr. Efter detta datum debiteras avbokningsavgift motsvarande deltagaravgiften. Det är möjligt att överlåta betald plats till annan deltagare men Meetagain måste informeras. Frågor Frågor gällande programmets innehåll, vänligen kontakta styrelsens ledamöter, se kontaktinformation på Epost: info@svuf.nu Frågor gällande anmälan och hotellrum: Meetagain Konferens Tel E-post: svuf@meetagain.se