Centrum för utvärderingsforskning UCER. Verksamhetsberättelse 2005

Transkript

1 Centrum för utvärderingsforskning UCER Verksamhetsberättelse 2005

2 UCERs verksamhet har minskat något jämfört med 2004 om man mäter verksamheten i ekonomiska termer. Samtidigt har verksamheten, som i huvudsak omfattar tre verksamhetsgrenar, stärkts under det gångna året. Uppdragsforskning i form av externa utvärderingsprojekt, den första grenen, har i likhet med tidigare år utgjort ryggraden i centrets verksamhet. Centrets egen forskning på utvärderingsområdet, den andra verksamhetsgrenen, har efter att centrets treåriga forskningsprojekt avslutades 2004 ännu inte fått någon direkt efterföljare. Dock har ett av centrets utvärderingsuppdrag, utvärderingen av Sidas management response system, legat väldigt nära centrets egen forskning. Centrets egen utvärderingsforskning är främst inriktad mot forskning om utvärdering och samhällsförändring, där bland annat kunskap söks om utvärderingars och utvärderingssystems konsekvenser. Beträffande centrets tredje verksamhetsgren, utbildning i utvärdering, har 10- poängskursen i utvärdering genomförts för andra gången i samarbete med Institutionen för socialt arbete. Kursen har varit mycket uppskattad. Kursträffarna har också fungerat som mötesplats för erfarenhetsutbyte kring utvärdering. Under året har fyra delstudier inom UCERs 3-åriga utvärderingsprojekt Nätuniversitetets studentnytta slutförts. En delstudie om IT-säkerhet har genomförts av Institutionen för Hälso- och beteendevetenskap, Högskolan i Kalmar, på UCERs uppdrag. Utvärderingen av lärarerfarenheter av programutbildningar inom Nätuniversitetet, som UCER har haft ett särskilt uppdrag att granska, har liksom Sida utvärderingen avslutats under året. Under 2005 har tre nya utvärderingsprojekt startats upp: En utvärdering av en näridrottsplats på Tegs Centralskola i Umeå, en utvärdering av ett arbetsmiljöprojekt finansierat av Bliwa Stiftelsen och en förstudie och utvärdering av kommunernas miljömålsarbete finansierat av Naturvårdsverket. Under det gångna året har också ett nytt forskningsprojekt med titeln Näridrottsplatser och spontanidrott påbörjats. Projektet är ett av 22 projekt som tilldelats medel från Riksidrottsförbundets Handslagssatsning där Centrum för Idrottsforskning har handlagt forskningsansökningarna på sedvanligt sätt. UCERs seminarieserie, som under några år arrangerats i samverkan med Institutionen för socialt arbete, har genomförts i form av några seminarier under En seminarieserie för enbart centrets personal har också arrangerats under året. UCERs medarbetare har därutöver deltagit i nationella och internationella konferenser med föredrag och papper. UCER har också medverkat aktivt i Svenska utvärderingsföreningens (SVUFs) styrelsearbete och likaså i genomförandet av den andra nationella utvärderingskonferensen i Sverige. Publikationer i form av arbetsrapporter, utvärderingsrapporter, konferenspapper och artiklar har producerats i ungefär samma omfattning som under tidigare år (se publikationslista). Centret har fortsatt utveckla samarbete med framförallt institutionerna för socialt arbete, statsvetenskap och pedagogik vid Umeå universitetet och likaså Mälardalens utvärderingsakademi (MEA), Mälardalens högskola och Institutionen för ekonomi, statistik och informatik (ESI), Örebro universitet. UCER har också stärkt samarbetet med Myndigheten för Sveriges nätuniversitet, Naturvårdsverket, Institutet för ekologisk hållbarhet (IEH), Sida, Riksidrottsförbundet och Bliwa stiftelsen. Bokslutet visar att verksamhetens volym har minskat något och att ekonomin likaså försämrats något jämfört med Samtidigt var kassatillgångarna cirka 2 miljoner kronor vid årsskiftet. Detta belopp ska täcka kostnader under första halvåret Bokslutet visar samtidigt att det finns ett reservkapital som kan användas vid nedgångar. Jag vill rikta ett stort tack till alla som har medverkat i UCERs verksamhet under det gångna året. Umeå, mars 2006 Anders Hanberger, föreståndare

3 Avslutade utvärderingsprojekt Utvärdering av lärarerfarenheter av programutbildningar inom Nätuniversitetet På uppdrag av Myndigheten för Sveriges nätuniversitet genomfördes en utvärdering av lärarerfarenheter av programutbildningar inom Nätuniversitetet. Syftet med utvärderingen var att undersöka transformeringen av campusbaserade utbildningar/kurser till IT-stödda programutbildningar, samt konsekvenserna av denna transformering från ett lärarperspektiv. Framförallt undersöktes lärarnas erfarenheter av transformeringen från campus- till IT-stödda distansutbildningar, pedagogik och lärande i IT-stödda distansmiljöer, arbetssituationen i ITstödda distansmiljöer och kvalitetsfrågor i IT-stödda distansmiljöer. 158 lärare på 25 programutbildningar ingick i utvärderingen. En rapport blev färdig i september. Utvärderingen presenterades och diskuterades för olika lärare vid ett webbseminarium som Myndigheten för Sveriges nätuniversitet arrangerade i december. Utvärdering av Sidas Management Response System Sida införde 1999 ett så kallat Management Response System som innebär att den Sida avdelning som berörs av en utvärdering skall ta ställning till utvärderingens slutsatser och rekommendationer och tydligt motivera Sidas svar till dessa (management response). Därefter ska en handlingsplan tas fram för de insatser som berörd avdelningschef bedömer behöver vidtas för att lösa de problem som identifierats i utvärderingen. Syftet med UCERs utvärdering har varit att granska systemets interventionslogik (antaganden om hur intentionerna med systemet ska uppnås) och praktiska tillämpning med avseende på effekter och relevans, samt att vid behov föreslå förändringar i systemet. Utvärderingen visar bland annat att nuvarande response system inte främjar organisatoriskt lärande och att systemet inte är anpassat till Sidas övergripande mål om partnerskap, dialog och delat ägarskap. I utvärderingen lämnas också rekommendationer om hur response systemet ska kunna utvecklas. Under året har preliminära resultat från utvärderingen diskuterats i referensgruppen. En slutrapport färdigställdes i december. Rapporten har därefter publicerats i två versioner, en Sida version med tre bilagor och en UCER version med samtliga bilagor. UCER rapporten har distribuerats till alla som medverkat i utvärderingen, samt till personer som bedömts kunna ha ett särskilt intresse av den. Delstudie om IT-säkerhet i Nätuniversitetets distansutbildningar En delstudie av IT-säkerhetsfrågor inom Nätuniversitets distansutbildningar har på UCERs uppdrag genomförts av forskarna Päivi Jokela och Peter Karlsudd, Högskolan i Kalmar. Detta är den första studie som undersöker IT-säkerhetsfrågor inom Nätuniversitetet ur studenters, lärares och IT-pedagogers perspektiv. Den utgör därmed ett viktigt bidrag till att ringa in och beskriva IT-säkerhetsproblematiken. Framförallt uppmärksammas kännedomen om regler och riktlinjer för IT-säkerhet, hur reglerna uppfattas och tillämpas, samt mer allmänt hur studenter och lärare tänker och agerar på IT-säkerhetsområdet. Författarna lämnar också förslag på vad som kan göras för att öka IT-säkerheten. Studien har baserats på tre enkäter som distribuerats via e-post. Enkäterna har skickats ut till drygt 700 studenter och drygt 100 kursansvariga,

4 samt cirka 50 IT-pedagoger. På grund av låg svarsfrekvens (39-65 %) kan den bild som framkommer i materialet vara något positivare än den generella bilden, vilket också påpekas av författarna. Studien aktualiserar en rad viktiga frågor. Bland annat uppmärksammas en del brister i ITsäkerheten, t.ex. att möjligheten till fusk är större jämfört med campusstudier, likaså framkommer brister i såväl kunskap om, som hantering av, personuppgifter och publicering på nätet. Samtidigt tycker studenter och lärare att IT-säkerheten i allmänhet är god. Studien tyder på att IT-säkerheten på flera sätt kan vara otillräcklig. Delstudie om examination över nätet I denna explorativa studie har kvalitativa data använts för att undersöka examination inom Nätuniversitetet. Studien utgör ett komplement till tidigare genomförda enkät- och intervjustudier som UCER genomfört där uppgifter om examination ingår som en del. Syftet med studien har varit att belysa examination inom Nätuniversitetets helt nätbaserade kurser. Analyser har gjorts av examinationsdokument från ett antal kurser och likaså har lärare och studenter intervjuats om examination och lärande. Ett 20-tal kurser, från teknik och naturvetenskap respektive juridik och samhällskunskap och medicin och vård har undersökts. Sammanlagt har 12 lärare och studenter intervjuats. Studien har efter att den avslutats lett till ett fortsatt och utökat uppdrag för den forskare som gjort delstudien. Delstudie om studenters upplevelser av distansutbildning Denna delstudie har undersökt studenters upplevelser av distansutbildning inom Nätuniversitetet med hjälp av metoden fokusgruppintervju på Internet. Syftet med studien var att få en djupare förståelse för studenters upplevelser och erfarenheter av IT-stödd distansutbildning inom Nätuniversitetet. Syftet var även att utvärdera metoden, och se huruvida den lämpar sig för målgruppen. I rapporten, som färdigställts under året, förs också en metoddiskussion kring att genomföra fokusgrupper via Internet. Delstudie om Nätuniversitets studenter 2003 I denna delstudie undersöks studentpopulationen inom Nätuniversitetets utbildningar Rapporten är en del i UCERs uppdrag att genomföra kartläggningar som Myndigheten för Sveriges nätuniversitet i samverkan med utvärderingens referensgrupp bedömmer som angelägna. Denna rapport kommer också att användas som underlag i slutrapporten från nätuniversitetsuppdraget där målet att nå ut till nya studerandegrupper undersökts på olika sätt. Studien bygger på statistik som SCB ställt samman. Avslutade forskningsprojekt De kommungranskande aktörernas betydelse Under 2004 avslutades centrets treåriga forskningsprojekt De kommungranskande aktörernas betydelse. Slutrapporten publicerades i UCERs forskningsrapportserie i januari I en artikel i tidskriften Kommunal Ekonomi sammanfattas och diskuteras projektets huvudresultat. Under 2005 har forskarna också medverkat i konferenser med föredrag och paper som bygger på detta forskningsprojekt (se medverkan i konferenser och publikationer).

5 Pågående utvärderingar Utvärdering av studentnyttan av Nätuniversitetet Detta projekt har organiserats i form av delstudier som har avrapporterats löpande. Under året har som redan nämnts fyra delstudierapporter presenterats (se också publikationslista). Tre nya delstudier har påbörjats under året, en avbrottsstudie, en studie om förstagångsstudenters erfarenhet av att läsa kurs/utbildning på Nätuniversitetet, en delstudie om studentnyttan av Nätuniversitetet inom Juridik och samhällsvetenskap. Utvärderingens referensgrupp har träffats två gånger under året och diskuterat rapportutkast samt lämnat konstruktiva förslag på det fortsatta arbetet. I projektet samverkar UCER bland annat med forskare från Institutionen för ekonomi, statistik och informatik, Örebro universitet. Tre utvärderare och en projektledare vid UCER, samt forskare från Pedagogiska institutionen, Umeå universitet, Högskolan i Kalmar och Örebro universitet har under året varit involverade i utvärderingen. Utvärdering av Näridrottsplats i Umeå Vid en högstadieskola i Umeå kommun har en så kallad Qulan anläggning som är en typ av näridrottsplats byggts under året i syfte att skapa goda förutsättningar för barn och ungdomars spontanidrott. Liknande anläggningar finns i Norge och byggs nu runt om i Sverige. Bakgrunden till UCERs uppdrag är att det saknas kunskap om huruvida spontanidrottandet ökar och om näridrottskonceptet är en bra väg att främja barn och ungdomars hälsa. Utvärderingen är upplagd som en före efter studie och den etapp i utvärderingen som har genomförts under våren och hösten 2005 har gällt förhållandena före byggandet av anläggningen. Under året har en enkät skickats ut till alla högstadieelever, samt till elever i årskurs 6. Vidare har intervjuer gjorts med elever och de mest aktiva i projektet. Utvärdering av Jobba Friskt Detta arbetsmiljöprojekt handlar om att utbilda tre olika handledare: hälsoambassadörer, dialogcoacher och mentorer för långtidssjukskrivna. Projektet som pågår under två år syftar till är att förbättra hälsan hos ST-medlemmar och bidra till ett långsiktigt hållbart arbetsliv med bättre livskvalitet, ökad produktivitet och effektivitet. Bliwa Stiftelsen har som uppdragsgivare tillsatt en ledningsgrupp för Jobba Friskt och utvärderingen har inrättat en referensgrupp. Syftet med utvärderingen är att undersöka handledarutbildningarnas relevans och effekter. Under senare delen av hösten påbörjades utvärderingen genom förberedelser och planering av utvärderingen. Ett första referensgruppsmöte för att förankra upplägget genomfördes i början av december. Magisterkursen i utvärdering 10-poängskursen i utvärdering genomfördes på ett framgångsrikt sätt för andra gången i samverkan med Institutionen för socialt arbete. 18 studenter från hela landet påbörjade kursen höstterminen Sex studenter har slutfört kursen inom utsatt tid och ytterligare tre studenter har meddelat att de har för avsikt att slutföra kursen under våren. Kursen har varit mycket uppskattad, men många studenter påpekar i kursutvärderingen att den har varit krävande och att det har varit svårt att kombinera den med ordinarie arbete.

6 UCERs hemsida Efter en genomgripande översyn och förbättring av UCERs hemsida under 2004 har den under detta år kontinuerligt utvecklats och uppdaterats. Bland annat finns det möjlighet att ladda ner alla de senaste rapporterna i pdf. Nationella och internationella konferenser Seminarium arrangerat av nätuniversitetsgruppen vid Umeå universitet, 21 januari. Agenda 21 - Vad hände sen? Föreläsning på Edbergseminariet En ny tid randas, Karlstads universitet 1 feb 2005 Universitetspedagogiska konferensen, Umeå universitet, 2-3 mars Webbseminarium för lärare inom högre utbildning, arrangerat av Myndigheten för Sveriges nätuniversitet, 9 december Dansk Evaluarings Selskab konferens den 8-10 september i Horsens Svenska utvärderingsföreningens (SVUF) andra konferens oktober i Stockholm AEA-CES Konferens i Toronto, Kanada oktober Kvalitetsmässan, 9 november i Göteborg Friskare framtid eller bortkastade pengar? LIP-konferens arrangerad av Naturvårdsverket om erfarenheter och lärdomar av förekommande utvärderingar av LIP, 14 november, Norra Latin Stockholm. 6th International Workshop on Evaluation in Planning, 9-10 december KTH i Stockholm Utvärderingsrapporter Forsberg, Björn (2005) I skuggan av lokala investeringsprogrammet - kommunerna som inte beviljades stöd samt synen på staten i LIP:s efterföljd. Evaluation Reports No 16. Umeå: Centrum för utvärderingsforskning, Umeå universitet. Hanberger, Anders och Gisselberg, Kjell (2006) Sida s Managment Response System. Evaluation Reports No 17. Jan 2006: Umeå: Centrum för utvärderingsforskning, Umeå universitet. Forskningsrapporter Hanberger, A., Khakee, A., Nygren L. & Segerholm, C. (2005) De kommungranskande aktörernas betydelse. Slutrapport från ett forskningsprojekt. Umeå: Centrum för utvärderingsforskning, Umeå universitet. Arbetsrapporter Almqvist, Lisa & Westerberg, Pernilla (2005) Studenters upplevelser av distansutbildning inom Nätuniversitetet en fördjupad studie med fokusgrupper på Internet Hult, Agneta (2005) Examination över nätet en studie av 10 nätuniversitetskurser

7 Jokela, Päivi & Karlsudd Peter (2005) Att lära säkert IT-säkerhet i Nätuniversitetets distansutbildningar Mårald, Gunilla & Westerberg Pernilla (2005) Vilka var de? Nätuniversitetets studenter höstterminen 2003 Söderström, Tor & Westerberg, Pernilla (2005) Lärarerfarenheter av IT-stödd distansutbildning Konferenspapper/-föredrag Almqvist, Lisa & Westerberg, Pernilla (2005) Fokusgruppsmetoden i nätmiljö. Uppsats presenterad vid svenska utvärderingsföreningens andra konferens oktober, 2005, Stockolm. Forsberg, Björn, (2005) Municipal Capacity for Governing Sustainable Development - On governance and state level influence at the Swedish local level. Paper presenterat vid 7:e NESS konferensen i Göteborg, juni Hanberger, Anders (2005) Utvärdering i demokratins tjänst. Keynote vid Dansk Evaluarings Sellskabs konferens den 8-10 september i Horsens. Hanberger, Anders (2005) Programteori och utvärdering. Försession vid Svufs andra konferens 19 oktober, 2005, Stockholm. Hanberger, Anders, Lindgren, Lena och Öqvist, Oscar (2005) Rutinisering kommer utvärdering till användning? Paneldiskussion vid Svenska Utvärderingsföreningens andra konferens oktober, 2005, Stockolm. Hanberger, Anders och Segerholm, Christina (2005) Presentation av resultat från forskningsprojektet De kommungranskande aktörernas betydelse vid seminarium 60 Det granskande samhället, 9 november 2005, Kvalitetsmässan, Göteborg. Hanberger, Anders (2005) Evaluation of democratic governance. Paper presenterat vid AEA- CES konferens i Toronto, Kanada oktober, Hanberger, Anders (2005) Presentation av UCERs tre delstudier om LIP och lokalt miljöarbete vid konferensen Friskare framtid eller bortkastade pengar? samt medverkan i paneldiskussion, 14 november på Norra Latin i Stockholm. Khakee, Abdul & Hanberger, Anders (2005) Evaluation for Accountability: Democratic concern in Swedish Local Governments Environmental Policy. Paper presenterat vid 6:e International Workshop on Evaluation in Planning, den 9-10 dec KTH i Stockholm.

8 Forskningsrapporter Hanberger, Anders, Khakee, Abdul, Nygren, Lennart & Segerholm, Christina. (2005) De kommungranskande aktörernas betydelse - slutrapport från ett forskningsprojekt. Research Reports No 1. Publicerade artiklar Hanberger, Anders (2005) Omfattande kommungranskning men ändå inte tillräckligt i Kommunal Ekonomi 2005(3):28-32.

9 UCER Resultaträkning Intäkter Anslag Årets externa bidrag Årets uppdrag mm Övriga intäkter Periodiserade inkomster Summa intäkter Kostnader Löner Lokaler Omkostnader Avskrivningar Summa kostnader Årets resultat Balansräkning Tillgångar Kassa Kundfordringar Årets anskaffning anl tillg Anskaffningsvärde tidigare års anskaffning Ackumulerade avskrivningar Summa tillgångar Skulder Erhållna förskott Leverantörsskulder Balanserat kapital Årets kapitalförändring Summa skulder