Verksamhetsberättelse 2002

Verksamhetsberättelse 2002 Umeå Centre for Evaluation Research

Under det gångna året har fyra av centrets utvärderingsprojekt avslutats på ett framgångsrikt sätt. Samtidigt har fyra nya projekt påbörjats under året. En inledande förstudie och utvärdering av ett hållbarhetsprojekt i Robertsfors kommun har inletts, likaså har en utvärdering av LIP och lokalt miljöarbete, en utvärdering av Svenska kommunförbundets FoU-råds verksamhet samt en utvärdering av ett Internetbaserat kursutvecklingsprojekt påbörjats. Vidare har ett treårigt forskningsprojekt De kommungranskande aktörernas betydelse, finansierat av Svenska Kommunförbundet, startats upp under verksamhetsåret. Allt sedan centret inrättades av dåvarande rektor Sig-Brit Franke har UCER organisatoriskt sett sorterat under rektor. Efter önskemål från nuvarande rektor ska alla enheter och centrumbildningar som inte redan har en lämplig värdfakultet söka och inordnas under en sådan. I december 2002 beslutade den samhällsvetenskapliga fakultetsnämnden att välkomna UCER som en arbetsenhet inom fakulteten under förutsättning att verksamheten inte medför några ekonomiska åtaganden för fakulteten. Numera utgör UCER en fri arbetsenhet under den samhällsvetenskapliga fakulteten samtidigt som centret fortsätter att arbeta tvärvetenskapligt och fakultetsövergripande. UCERs styrelse har under året ställt sig bakom initiativet att utveckla en distanskurs på halvfart i utvärdering för målgrupperna yrkesverksamma personer med akademisk grundutbildning och studenter. Ett betydande arbete har under året lagts ner på att finna en institutionell samarbetspartner för att utveckla och genomföra en sådan kurs. Institutionen för Socialt arbete kommer att vara värdinstitution för en D-kurs på 10 poäng som genomförs under läsåret 2003/2004 i samverkan med UCER. UCERs externa seminarieserie och den interna fortbildningsserien har fortsatt under året. Istället för seminarier med en inbjuden gästföreläsare har två större arrangemang genomförts. Centrets medarbetare har därutöver deltagit i nationella och internationella konferenser med föredrag och papers. Det vetenskapliga arbetet i form av konferenspaper och artiklar till internationella tidskrifter har varit produktivt i förhållande till verksamhetens omfattning. UCERs internationella referensgrupp (Scientific Advisory Group) har under året samlats för att diskutera UCERs nuvarande verksamhet och ge stöd till centrets fortsatta utveckling. Den ekonomiska redovisningen indikerar ett gott ekonomiskt resultat. Resultaträkningen visar ett plus på 209 tkr. Tillgångarna var vid året slut 1 291 tkr. Sammantaget visar årets verksamhetsberättelse och bokslut att det gångna året givit en fortsatt positiv utveckling för UCER och Umeå universitet. Vidare har UCERs forskningsprogram och anslaget från Svenska Kommunförbundet lagt en god grund för att förverkliga UCERs forskningsprogram under kommande år. Med den planerade kursen i utvärdering kommer UCERs verksamhet att fortsättningsvis vila på tre ben: externa utvärderingsuppdrag, egen forskning om utvärdering/granskningsverksamhet samt utbildning i utvärdering. Umeå, maj 2003 Anders Hanberger, Tf föreståndare 2

Avslutade utvärderingsprojekt Utvärdering av Kunskapslyftet i Umeå kommun Den treåriga utvärderingen av Kunskapslyftet avslutades som planerat under året och en slutrapport lämnades till uppdragsgivaren i början av året. Utvärderingen har framförallt inriktats på att granska utbildning och undervisning i ett deltagarperspektiv, men även andra intressenter har hörts. Ansatsen var förklaringsinriktad med ett flertal ingående delstudier. Var och en av delstudierna har avrapporterats eftersom. Christina Segerholm författade slutrapporten som avlämnades till uppdragsgivarens representant i januari 2002. Resultaten har även presenterats på den årliga internationella konferensen European Conference for Educational Research i Lille. En muntlig redovisning av utvärderingsresultat presenterades för utbildningsanordnare i kommunens vuxenutbildning och Kunskapslyftet. Försöksverksamheten för utveckling av lokal vård, omsorg och service ( Bassjukvårdsförsöket ) Försöksverksamheten har under perioden 1999-2001 bedrivits i samarbete mellan Kommunförbundet och landstinget i Västerbotten. I fem kommuner - Lycksele, Norsjö, Skellefteå (Heimdall), Umeå (Ersboda) samt Vännäs - har projekt startats för att utveckla samverkan mellan primärkommun och landsting. Syftet har varit att finna nya former för bassjukvård som bättre stämmer överens med befolkningens behov och som innebär mer effektivt utnyttjande av samhällets totala resurser. Genom kontinuerliga kontakter mellan utvärderarna och de lokala projektledarna på försöksorterna samt kontakter med styr- och ledningsgrupper har UCERs utvärderare följt och deltagit i en dialog om de aktiviteter som startats. Det gäller såväl samverkan mellan organisationer och brukarmedverkan där detta varit aktuellt. I slutrapporten görs en sammanfattande tolkning av försöksverksamheten och en komparativ analys av hur liknande problem hanterats på de olika försöksorterna samt en analys av försöksverksamhetens konsekvenser i termer av kostnadseffektivitet. I samband med ett avslutningsseminarium i januari 2002 arrangerat av Västerbottens läns landsting presenterade UCERs utvärderare slutrapporten. De två forskarna som genomfört utvärderingen, Rafael Lindqvist och Ulrika Nylén, medverkade också i UCER-seminariet vad kan man lära av utvärderingar på hälso- och sjukvårdsområdet?. Förstudie om lokala investeringsprogram (LIP) UCER har på uppdrag av miljödepartementet genomfört en förstudie inför utvärderingen av lokala investeringsprogram (LIP). Förutom projektledaren Anders Hanberger har professor Runar Brännlund, nationalekonomiska institutionen, professor Katarina Eckerberg, Dr. Susan Baker, Cardiff University, forskningsassistent Anna Nordström och miljöpol.mag. stud. Annika Nordenstam medverkat i förstudien. Till gruppen har också en referensgrupp av forskare och representanter för Miljödepartementet, IEH och Naturvårdsverket varit knuten. Förstudiearbetet har genomförts i dialog med Miljödepartementet och referensgruppen. Ett utkast till förstudierapport presenterades vid ett referensgruppsmöte i november. Den slutliga rapporten överlämnades i februari 2002 till Miljödepartementet. Därefter har diskussioner förts med Miljödepartementet och Naturvårdsverket om att påbörja delstudier inom ramen för 3

den samlade utvärderingen av LIP. Detta har resulterat ett uppdrag att genomföra en delstudie om LIP och lokalt miljöarbete (se nedan). Utvärdering av försök med arbetstidsförkortning och ökad sysselsättningsgrad Försöket med arbetstidsförkortning och ökad sysselsättningsgrad vid en sjukhemsavdelning inom äldreomsorgen i Umeå kommun syftar bland annat till att förbättra personalens arbetsvillkor, utan att medföra ökade kostnader eller försämrad vårdkvalitet. Utvärderingen sker med inriktning på resultat av arbetstidförändringarna för verksamheten, för personalens arbetsmiljö och sociala konsekvenser av arbetstidsförkortningen. En rapport med preliminära utvärderingsresultat presenterades för kommunen i oktober 2001. I början av 2002 presenterades slutrapporten vid ett välbesökt möte där olika intressenter till utvärderingen deltog. Forskarna Leif Wågman och Bo Strangert, som genomfört utvärderingen, redogjorde för utvärderingens resultat och en livaktig diskussion fördes om erfarenheterna av försöket. Pågående utvärderingar Utvärdering av utvecklingsprojektet 'Hållbara Robertsfors' Robertsfors kommun i Västerbotten startade i augusti 2001 projektet Robertsfors kommun pilotkommun för hållbar utveckling. Projektet är tänkt att pågå till och med årsskiftet 2006/2007. Huvudfinansiärer är EU mål 1, länsstyrelsen i Västerbottens län, landstinget i Västerbottens län samt Robertsfors kommun. Syftet med projektet är att utveckla och pröva arbetsformer för omställningen till ett hållbart samhälle. Projektet inriktas mot att engagera kommuninvånare och företag, ge kunskap om hållbar utveckling, anlägga ett helhetsperspektiv på miljön och att försöka komma åt orsakerna till miljöproblemen. Syftet med den inledande utvärderingen, som till en del är en förstudie, är att beskriva förutsättningarna och utgångsläget för projektet Hållbara Robertsfors. Fokus ligger på medborgarnas och näringslivets attityder, kunskaper och behov när det gäller hållbarhetsfrågorna. Vidare är syftet att utvärdera hur genomförda projektinsatser uppfattas av robertsforsbor och företagare, samt att utarbeta en plan för den fortsatta utvärderingen. Under året har en kunskapsöversikt om lokal hållbar utveckling arbetats fram och presenterats. Intervjuer har genomförts med beslutsfattare, projektledning, medborgare och företagare. Vidare har en befolknings- och en företagsenkät skickats ut under hösten 2002. Två referensgruppsmöten har hållits med forskare, projektledare/deltagare, politiker och intressenter. Vid referensgruppsmötet i december presenterade utvärderarna ett utkast till årsrapport där resultatet av kartläggningen av utgångsläget för projektet redovisades och diskuterades. Vidare diskuterades resultatet av utvärderingen av hittills genomförda projektinsatser, samt den utvärderingsplan som UCER arbetat fram för utvärderingen av hela projektet. En årsrapport kommer att presenteras i början av 2003. Utvärdering av LIP och lokalt miljöarbete Under perioden 1998-2002 har riksdagen beviljat svenska kommuner 6,2 miljarder i stöd till lokala investeringsprogram (LIP) för att stimulera en utveckling mot ett ekologiskt hållbart 4

samhälle. Alla kommuner har haft möjlighet att söka LIP-stöd. Många kommuner har sökt stöd flera gånger och också fått stöd mer än en gång. Sett över hela perioden har 55 procent av kommunerna fått och 45 procent inte fått LIP-stöd. Syftet med utvärderingen/delstudien är dels att belysa LIP ur ett kommunalt fördelnings- och rättviseperspektiv (vilka kommuner som fått respektive inte fått LIP-stöd), dels att undersöka LIPs betydelse för lokalt miljöarbete. Under året har intervjuer genomförts med lokala miljösamordnare i kommuner som inte fått stöd. Vidare har en elektronisk enkät genomförts med miljösamordnare i kommuner som fått LIP-stöd sent (2001 och 2002) respektive kommuner som inte fått stöd. En databas med registerdata på kommunnivå och miljösamordnarnas enkätsvar har byggts upp. En utvärderingsrapport kommer att presenteras under våren 2003. Utvärdering av Svenska Kommunförbundets FoU-råds verksamhet På Svenska Kommunförbundets uppdrag genomför UCER en utvärdering av FoU-rådets verksamhet. Utvärderingen fokuserar Kommunförbundets stöd till kommunforskning och kunskapsöversikter. Exempel på frågor som utvärderingen söker svar på är: Känner kommunerna till FoU-verksamheten (kommunforskningen och kunskapsöversikterna)? Vem är mottagare av FoU-insatserna i olika kommuner? Hur fungerar forskningsförmedlingen? Uppfattas forskningsteman, forskningsresultat och kunskapsöversikter som kommunalt relevanta? Hur kan måluppfyllelsen och användningen, beskrivas, förstås och förklaras? Under året har intervjuer med målgrupperna, inklusive personer som direkt medverkat i forskningsprojekt genomförts. Vidare har en elektronisk enkät skickats ut till 400 kommunala beslutsfattare i 100 kommuner. Fallstudier av enskilda forskningsprojekt har också genomförts där värdet och nyttan av forskningen utvärderats ur olika aktörsperspektiv. Utvärderingen inriktas mot att avläsa kommunala avtryck, relevans och nytta av FoUverksamheten för olika intressenter. En referensgrupp har bildats bestående av forskare och praktiker med omfattande erfarenhet av FoU-frågor på kommunal och regional nivå. Referensgruppen har hittills träffats en gång för att diskutera och ge synpunkter på den föreslagna uppläggningen av utvärderingen. Ett nytt referensgruppsmöte och ett möte med FoU-rådet kommer att genomföras i mars 2003. I anslutning till detta kommer preliminära resultat av utvärderingen att presenteras. Projektet beräknas vara avslutat före sommaren 2003. Utvärdering av ett IT-baserat kursutvecklingsprojekt Institutionen för omvårdnad vid Umeå universitet och University College of Health Studies, University of Ljubljana, har inlett ett samarbete om att utveckla en Internetbaserad 5- poängskurs i palliativ vård. Kursutvecklingsprojektet innehåller två faser, dels en utvecklingsfas där studenter och lärare tillsammans medverkar i utvecklingen av kursen, dels en försöksfas där kursen genomförs på försök i form av kursträffar i Umeå och Ljubljana samt över Internet. Utvärderingens syfte är att kortfattat utvärdera den första fasen och mer ingående den andra fasen av projektet. I utvärderingen undersöks måluppfyllelsen och olika studentgruppers och lärares erfarenheter av kursen. Av speciellt intresse är att finna ut om en kurs på ett så pass känsligt område som vård i livets slutskede kan fungera som Internetkurs. 5

Intervjuer har genomförts med lärare och studenter och en elektronisk enkät har utarbetats och skickats ut till samtliga studenter och lärare. Vidare har en expert på området lämnat en bedömning över kursens uppläggning och inriktning. Elda Bonora, som genomför utvärderingen har också deltagit i några av de kursträffar som genomförts i Umeå. En utvärderingsrapport kommer att presenteras i början av 2003. Forskningsprojekt De kommungranskande aktörernas betydelse Under året har ett treårigt forskningsprojekt kallat De kommungranskande aktörernas betydelse påbörjats. Svenska Kommunförbundet finansierar forskningsprojektet med 900 000 kronor. Fyra forskare (Christina Segerholm, Anders Hanberger, Abdul Khakee och Lennart Nygren), samtliga knutna till UCER, genomför projektet. Syftet är att beskriva, förstå och förklara de kommungranskande aktörernas (medias, kommunala revisorers, utvärderares, statens och medborgares/intresseorganisationers) betydelse för lokalpolitik och demokratin. Den övergripande frågeställningen som söks svar på är: Hur och varför fungerar de kommungranskande aktörerna som de gör? En systematisk undersökning av de kommungranskande aktörernas sätt att fungera och deras betydelse för politik, förvaltning och demokrati motiveras bland annat av att maktmissbruk kunnat pågå under längre tid i vissa kommuner, att en fungerande granskningsmakt behövs för rättssäkerheten, att kommunerna har ett betydande ansvar för välfärdsstatens serviceproduktion och att medborgare och beslutsfattare bör få bättre kunskap om vad olika kommunala verksamheter, satsningar och program leder till. Under året har arbetet med en kunskapsöversikt om kommungranskningen påbörjats. Inläsning av litteratur och arbete med att utveckla en gemensam analysram för projektet har också inletts. Kontakter har etablerats med fallstudiekommunerna och information om projektet har skickats ut. Vidare har arbetet med intervjufrågor till granskade och granskare påbörjats. Den planerade kunskapsöversikten beräknas vara klar under första halvåret 2003. Seminarie- och Friday Fun serien Under året har en medveten satsning gjorts på större seminariearrangemang eftersom det har varit svårt att väcka intresse för seminarier med en inbjuden gästföreläsare. Ett halvdagsseminarium har arrangerats på temat vad kan man lära av utvärderingar på hälsooch sjukvårdsområdet?. Seminariet organiserades i samarbete med sex utvärderingsforskare vid Umeå universitet och praktiker från Västerbottens läns landsting och några Västerbottens kommuner. Ett heldagsseminarium genomfördes också på temat Reflections on Contemporary Evaluations i samband med den internationella referensgruppens möte i Umeå. I seminariet medverkade Ernest House, Elliot Stern and Barbara Czarniawska från UCERs referensgrupp. Båda seminarierna var välbesökta och mycket uppskattade. Seminarierna lockade förutom studenter och forskare från universitetet, verksamma inom landstinget och näraliggande kommuner också deltagare från övriga Norrland och Mellansverige. 6

Nationella- och internationella konferenser Centrets personal deltog under året i följande nationell och internationella konferenser med egna papers: Nordiska statsvetenskapskongressen (NOPSA), Evaluation in public sector, 15-17 August 2002. Fifth EES (European Evaluation Society) Conference in Seville, Spain October 10-12, 2002. Sixteenth Conference of the American Evaluation Association, Washington, DC November 6-9, 2002. ECER-conference in Lisbon, 11-14 September, 2002. Arbetsrapporter Forsberg, Björn (2002) I hållbar terräng? - En kunskapsöversikt om lokalt hållbarhetsarbete inom projektet Hållbara Robertsfors. Umeå: Umeå universitet, Centrum för utvärderingsforskning. Hanberger, Anders och Forsberg, Björn (2003) Utvärdering av Hållbara Robertsfors. Årsrapport 2002. Umeå: Umeå universitet, Centrum för utvärderingsforskning. Utvärderingsrapporter Lindqvist, Rafael & Nylén, Ulrica (2002) Bassjukvårdsförsöket. Slutrapport från utvärdering av försöksverksamhet med lokal vård, omsorg och social service i fem Västerbottenskommuner. Umeå Centre for Evaluation Research: Evaluation Reports No 8. Segerholm, Christina (2002) Kunskapslyft och vuxenutbildning. Slutrapport av en treårig utvärdering i Umeå kommun. Evaluation Reports No 9. Umeå: Umeå universitet, Centrum för utvärderingsforskning. Hanberger Anders, Eckerberg Katarina, Brännlund Runar, Baker Susan, Nordström Anna, Nordenstam Annika (2002) Local Investment Programme a pre-study prior to Evaluation [Lokala investeringsprogram en förstudie inför utvärderingen.] Evaluation Report No 10, Umeå Centre for Evaluation Research. Wågman, Leif & Strangert, Bo (2002) Evaluation of an Effort with Reduced Working Hours and with Increased Level of Employment [Utvärdering av försök med arbetstidsförkortning och ökad sysselsättningsgrad.]evaluation Report No 11, Umeå Centre for Evaluation Research. 7

Konferenspapers Hanberger, Anders (2002) Democratic implications of public organizations - A Weberian methodology to assess organizational implications for democracy and legitimacy. Paper presented at Nordiska statsvetenskapskongressen (NOPSA), workshop 10 evaluation in public sector, 15-17 August 2002. Hanberger, Anders (2002) The Significance of local Auditors/Evaluators. Paper Presented at the Fifth EES (European Evaluation Society) Conference in Seville, Spain October 10-12, 2002. Hanberger, Anders (2002) Systemic Implications of Evaluation Paper presented at the Sixteenth Conference of the American Evaluation Association, Washington, DC November 6-9, 2002. Segerholm, Christina (2002) The Perils of Procurement in Evaluation. Paper presented at the NOPSA conference in Aalborg, August 15-17, 2002. Segerholm, Christina (2002) Educating democratic citizens in the Swedish school. Paper presented at the ECER-conference in Lisbon, 11-14 September, 2002. Thomas A. Schwandt, Tineke Abma, Jennifer C. Greene and Christina Segerholm (2002). Evaluation as Education. Dialogue in a group with Thomas A. Schwandt, Jennifer C. Greene, Tineke Abma and Christina Segerholm, organized by Thomas A. Schwandt. Presentation at the EES-conference in Seville, October 10-12, 2002. Short papers prepared by all participants are available. Segerholm, Christina (2002) Researching evaluation in national (state) politics and administration). Paper presented in the pre-planned papersession 'Theory on evaluation - a path towards self-understanding" at the EES-conference in Seville, October 10-12, 2002. Segerholm, Christina and Eva Åström (2002) National Evaluations as Decentralized Governing: the institutionalization of evaluations in the Swedish higher education system. Paper presented at the AEA-conference in Washington, 6-10 November, 2002. Publicerade artiklar Khakee, Abdul (2002) Assessing institutional capital building in local agenda 21 process in Göteborg, Planning Theory and Practice. Vol. 3, No 1, 53-68. Nygren, L. & Blom, B. (2002) 'Qualitative Inquiry and Evaluation in the Beginning of a Third Decade: a Response to Michael Quinn Patton'. In: Qualitative Social Work Vol. 1, no 3, 285-289. Segerholm, Christina (2002) Evaluation as Responsibility, Conscience and Conviction. In Evaluation and Society. Greenwich: Information Age Publishing. 8

Ekonomisk redovisning: UCER har avslutat 2002 med ett gott ekonomiskt resultat. Resultaträkningen visar ett plus på 209 tkr. Vid året slut var tillgångarna 1 291 tkr. 2001 2002 Resultaträkning Intäkter Anslag 262 0 Årets externa bidrag 6 184 Årets uppdrag mm 2 349 1 993 Övriga intäkter 31 Periodiserade inkomster 515 14 Summa intäkter 3 132 2 222 Kostnader Löner 1 571 1 168 Lokaler 145 119 Omkostnader 1 185 722 Avskrivningar 21 4 Summa kostnader 2 922 2 013 Årets resultat 210 209 Balansräkning Tillgångar Kassa 953 527 Kundfordringar 0 744 Årets anskaffning anl tillg 23 Anskaffningsvärde tidigare års anskaffning 120 103 Ackumulerade avskrivningar -118-106 Summa tillgångar 955 1 291 Skulder Erhållna förskott 587 713 Leverantörsskulder 1 Balanserat kapital 158 368 Årets kapitalförändring 209 209 Summa skulder 955 1 291 9