Lärande utvärdering i praktiken



Relevanta dokument
Hur blir LAG ständigt bättre? Uppföljning och lärande i LAG Jacob Käll och Roger Gustafsson, Astrid Lindgrens hembygd

Riktlinjer för styrning (tillstyrkta av RAR:s beredningsgrupp )

HELIX LINKÖPINGS UNIVERSITET apel-fou.se

Handledning till projektorganisation

-lärande utvärdering av projektet Sociala entreprenörshuset

Vad gör vissa socialfondsprojekt mer framgångsrika än andra?

Projekt: Unga i JOBB Bjuvs kommun. En sammanfattning av den externa utvärderingen Fokus: Individens perspektiv på sitt deltagande.

Projektplan med kommunikationsplan

Utvärderingsrapport Ungdomskraft

Ledarutveckling över gränserna

Ansökan Kulturprojektmedel

Projektstyrningspolicy för Strängnäs kommun

Sydostleden ett projekt för näringslivsutveckling

Sammanställning och resultat av popup-undersökningen Hittar du det du söker?

Utvärdering av projekt Tillsynsutveckling i Väst PM nr 3 Datum:

Att göra ett bra jobb

Mål och programområden

Utvärdering några grundbegrepp

Samverkan och metodutveckling för förbättrat stöd till unga som utsatts för sexuella övergrepp

Anvisning till slutrapport för projektstöd

Presentation Utvärdering av Örebro kommuns Kompetensutvecklingsprojekt finansierat av ESF

Riktlinjer Projektmodell fo r Kungä lvs kommun

Professionens medverkan i kunskapsprocessen

Kvalitetssäkring genom lärande utvärdering och följeforskning. Utmaningar inför framtiden

Halmstad Arena utvärdering av projektet

Partnerskapssatsning i Fyrbodal inom ramen för sociala investeringsmedel 1 mars 2017 i Vänersborg

Att äga, driva och utveckla Socialfondsprojekt. Malmö den 18 augusti 2011 Kl

TILLVÄXTPROGRAM FYRBODAL HANDLEDNING/DISKUSSIONSUNDERLAG

Hur vi arbetat med jämställdhet under den aktuella perioden

Guide till slutrapport

Kartlägg mångfalden. Att skapa en enkät

FÖRTYDLIGANDEN. Stockholm, Ola Odebäck Vd, Ramböll Management

Rapport Ekoökningar i skola och omsorg Diarienummer: Projektnummer: 385

REVISIONSRAPPORT. Landstinget Halland. Granskning av projektredovisning. styrning och uppföljning Leif Johansson

BRA information till alla ledare/anställda i KSS

Projekt med extern finansiering styrning och kontroll

Projekt L4U Lean Life Long Learning Ungdom Enköping Kommun

Projektnamn: AcadEMic POWER Diarienummer: Redovisningsperiod (samma som blanketten Ansökan om utbetalning): april 2013 och maj 2013

Lär dig mer om hur man söker EU- bidrag och driver EU- projekt. Utbildningskatalog från poten3al12

Projekten Inclusive Europe och Networking Europe

En delutvärdering av integrationsprojektet. Mitt nya land. Christin Holmberg

Introduktion till argumentationsanalys

1. Verksamheten i projektet

Kvalitetsredovisning Förskolan Slottet läsåret

PRELIMINÄRA RESULTAT SLUTUTVÄRDERING VAD SÄGER UTVÄRDERAREN? MILSA:S RESULTAT OCH HÄLSANS VÄRDE FÖR EN EFFEKTIV ETABLERING RAMBÖLL MANAGMENT

Arbetsförmedlingens Återrapportering2011

Granskning av ändrad organisation avseende nämndernas ekonomfunktion Nynäshamns kommun Revisionsrapport

Vård och omsorg, Staffanstorps kommun

Deltagande i Partnerskapet för barnets rättigheter i praktiken

Utvärdering av ESF-projektet Kompetenstid

UTVÄRDERING AV STEGEN

POLISENS LEDARKRITERIER

Rapport om ungdomsinflytande

Uppdragsavtal angående Inflytandeprojekt inom Föreningarnas Hus i Skellefteå

SGU som huvudman i saneringsprojekt. Enkätundersökning december 2016

Slutrapport Digitala signeringslistor

Hur sprids information om åtagande samt beslutade åtgärder som arbetet lett fram till? Ange också vem som är ansvarig för detta?

Projektplan. Team Psykiatrisamverkan på Vuxenpsykiatrin i Trelleborg

Slutrapport för projekt

Kontaktsjuksköterska i cancersjukvården

Ladok3 på GU. Rollbeskrivning i projektorganisationen

Minnesanteckningar nätverk chefer för biståndshandläggare 17 okt 2014.

Vad menar vi med social hållbarhet i samhällsplanering inom GR?

Att skapa projektgruppen

Hälsa och kränkningar

RIKTLINJER VID TILLÄMPNING AV PROJEKTPOLICY

Sandåkerskolans plan för elevernas utveckling av den metakognitiva förmågan

Föräldrastödjare. MOSAIK en blandning av människor och erfarenheter

Utvärdering av SPeL turnén i Småland & Öarna

Standard, handläggare

Rapport från följeforskningen 1/4 30/ Monica Rönnlund

Att göra en studieplan

Vilken ort? Medlemmar i föreningen

Nasruddin gick och kastade brödsmulor runt sitt hus.

GRC Morgondagens internrevision. Presentation av Trafikverkets Projektvärderingsmodell. Trafikverkets internrevision - Niklas Berggren

Projekthantering uppföljning

Uppdragsavtal angående SPIRA-projektet i Skellefteå

Granskning av hur väl stödet av ekonomitjänster fungerar

Forskningsprojektet Egenorganiserade föreningar bland personer med intellektuell funktionsnedsättning

Projekt Läkemedelsgenomgångar

Västergårdarnas Förskolas plan mot diskriminering och kränkande behandling. Verksamhetsformer som omfattas av planen: Förskoleverksamheten

Slutrapport Nytag ägarskifte genom generationsväxling

Offertförfrågan avseende utvärdering av projektet Nyckeln i Låset

Svinö Fiber. Vi har dokumenterat alla fastigheter som är intresserade av bredband och skapat grunden för nästkommande omgång.

Projektbeskrivning. Projektets namn. Sammanfattande projektbeskrivning. Bakgrundsbeskrivning. Lokala servicepunkter på skånska landsbygden

Lyckad utbildning ger fler sociala företag i Värmland

Den kommunala vuxenutbildningen

Handlingsplan Tillgänglighet

Motioner och motionssvar. Stadgar

Projekt i hierarki. Tieto PPS AH135, 2.2.0, Sida 1

Slutrapport för projekt

Vad säger utvärderingen av Leader ? Preliminära resultat. Cecilia Waldenström

Utfärdat av: Utf datum: Dokument nr: Utgåva - Issue: Ange för och efternamn Ange Dokumentnummer 001

Miljösamverkan Västra Götaland - 49 gånger bättre tillsyn - Lasse Lind & Cecilia Lunder, projektledare

Sammanställning av utvärdering av projekt Utsikten, mars juni 2011

Evidensbaserad praktik inom socialtjänsten till nytta för brukaren (SOU 2008:18)

Innehåll. Material Ordförandeguide Uppdaterad: Sida 2 av 7

Inledning Bakgrund Kompetensstegen i Bollnäs Beskrivning av utvecklingsprojektet Syfte och förväntade effekter Projektets organisation och arbetsgång

Lägesrapport genomförande. 1. Verksamhet i projektet. Projektnamn: HP2 genomförande Diarienummer: Period: April

➊ Nu börjar cirkeln! Presentationsrunda

Transkript:

Lärande utvärdering i praktiken

De flesta anser att de känner till begreppet lärande utvärdering Känner aktörerna till begreppet lärande utvärdering? Vad är lärande utvärdering enligt de intervjuade? Tillvarata projektets erfarenheter Återföring av kunskap till projektet Gemensamt lärande Att utvärderingen startar tidigt i projektet Rapportering av styrkor och svagheter inom projektet Att utvärdera processen Att man använder en extern utvärderare Lärande men också kontroll Det är processutvärdering Osäker på begreppet Att följa upp hur deltagarna tagit till sig kunskaper inom projektet Kommentar: Många kommentarer är återkommande, men det verkar vara oklart om begreppets innebörd förankrats i projektets hela organisation.

men aktörerna inom projektorganisationerna är inte överens kring innebörden Är aktörerna överrens om begreppets innebörd? Några röster från intervjuerna Har stor tilltro till projektledningen avseende lärande utvärdering Jag vet inte, det finns ingen entydig definition Att det ska göras en utvärdering är alla överrens om, men inte hur ska ha en gemensam konferens där vi diskuterar och följer upp vad vi lärt oss Vi har inte använt termen Vi arbetar på att förankra begreppet Vi som driver projektet är överrens Majoriteten av projektorganisationen har deltagit i ESFs utbildningsdag kring lärande utvärdering Vi har inte diskuterat detta, men är övertygad om att vi är överrens Ja det finns inga frågetecken Kommentar: Intervjuerna vittnar om att det råder oklarheter kring en gemensam syn på lärande utvärdering inom projekten. Detta kan få konsekvenser om dessa frågor inte diskuteras.

De flesta tycker att det finns skillnader mellan lärande utvärdering och mer traditionella utvärderingsformer Finns skillnader mellan lärande utvärdering och tidigare utvärderingsformer? Några röster från intervjuerna Lärandet är skillnaden, tidigare var det mer av en kontrollfråga Jag vet inte, men det borde vara det Ja, tidigare har vi exempelvis inte lärt av projektet vi haft under genomförandet Tidigare gjordes endast en slututvärdering Kan inte säga konkret vad de främsta skillnaderna är För oss är det ingen skillnad då vi alltid arbetet på detta sätt med utvärdering Det blir ett större djup med en lärande utvärdering Begreppet lärande utvärdering är inte kristallklart, men det finns skillnader Det är nya metoder som används i en lärande utvärdering Stora skillnader, utvärderingen ger ett underlag som man kan bära med sig under hela projektperioden Kommentar: Många upplever skillnader, och de flesta pekar på saker som att utvärderingen kommer in i projektet tidigare, ökad delaktighet och lärande samt användbarhet som väsentliga skillnader mot tidigare utvärderingstyper.

Man är relativt överens om vem utvärderingen riktar sig till i projekten Enligt Deltagare Projektledning Styrgrupp ESF-rådet Partnerskap Andra Projektledare 8% 32% 25% 4% 11% 6% 14% Styrgrupp 9% 21% 26% 4% 18% 12% 10% ESFsamordnare ESFsamordnare 13% 24% 19% 8% 14% 6% 16% Utvärderare 7% 35% 26% 2% 9% 2% 19% Kommentar: Det är intressant att alla aktörer förutom styrgruppen anser att utvärderingen främst riktar sig till projektledningen. Övriga är exempelvis Länsstyrelser, Arbetsförmedling, Försäkringskassan och andra myndigheter, projektägare, företag, projektpartners och EU.

De flesta utvärderingar kom igång i tidigt skede av projekten När kom utvärderingen igång? Varför kom vissa igång sent? Strul i upphandlingen. Byte av utvärderare. Vaga krav på utvärdering från ESF vilket skapade fördröjningar. Började först med den interna utvärderingen för att efter ett år starta den externa utvärderingen. Ekonomiska problem med projektet vilket försenade många processer, även utvärderingen. Svårigheter att finna en lämplig utvärderare. Har inte funnits krav på utvärdering.

De flesta av utvärderingarna har enligt projektledare, styrgrupp och utvärderare, återförts till projektet i någon form Har utvärderingens resultat återförts till projektet? I 78% av de fall återföring skett, har det skett både muntligt och skriftligt I de allra flesta av fallen har återföring skett kontinuerligt till projektledning och styrgrupp

Lärande utvärdering leder i vissa fall till förändringar av projekt Har det skett några förändringar inom projektet på grund av lärande utvärdering? Vad har förändrats? Kommentar: Intervjuerna visar att det är svårt för respondenterna att särskilja vilka förändringar som härrör från utvärderingen och vilka förändringar som härrör från andra processer. Flera av de förändringar som dock skett på grund av utvärderingen verkar dock vara mindre justeringar.

Det är inte entydigt att det finns andra mervärden med en lärande utvärdering Har den lärande utvärderingen lett till några andra mervärden i projektet? Men vilka är dessa mervärden? Utvecklade möjligheter till samverkan Projektet får en ökad legitimitet Utvärderaren fungerar som en kontrollinstans Stimulerar till egenutvärdering Utvärderaren ser saker som projektorganisationen kan missa Fler lärande diskussioner inom projektet Större delaktighet mellan projektets aktörer Kostnadseffektivisering Utvecklandet av administrativa rutiner Att bättre kunna ta hand om projektresultaten

Utvärderingen verkar uppfattas som viktig i de flesta sammanhang och av de flesta aktörer Uppfattas utvärderingen som viktig av olika aktörer (projektägare, finansiärer, styrgrupp och projektledning)? Några slutsatser från intervjuerna Projektledningen är de som främst uppfattas tycka att utvärderingen är viktig, inte sällan tillsammans med styrgruppen. Projektägare tenderar tycka att det är mindre viktigt än ovanstående och finansiärerna är de som generellt sett uppfattas se utvärderingen som minst viktig. Kommentar: Ju längre bort från projektets kärna aktören kommer, desto mindre viktig verkar utvärderingen uppfattas

Utvärderingarnas fokus verkar vara på både process och resultat På vad ligger utvärderingens fokus? Kommentar I de allra flesta fall vittnar intervjuerna om att utvärderingen ändock har en tyngdpunkt på antingen process eller resultat. I få av intervjuerna framgår det att utvärderingen har en jämn fördelning av de båda fokusområdena.

Vilka lägger ned tid på att nyttiggöra utvärderingens resultat? Enligt styrgrupp Enligt projektledare Enligt ESF-samordnare Enligt utvärderare

I flera fall finns tidigare projektägare och utvärderare samarbetat Har det tidigare funnits samarbete mellan parterna? Kommentar Svaren är främst baserade på antaganden då intervjuerna tydligt visade att man ofta var osäker på om det funnits ett tidigare samarbete mellan projektägare och utvärderare.

Enligt projektledare har projektledningen haft störst inflytande på utformningen av utvärderingen medan utvärderaren tycker att denna har haft störst inflytande Vem har haft störst inflytande på utvärderingens utformning? Kommentar I många fall har flera aktörer utövat inflytande i utformningen av utvärderingen i olika skeden av processen. Styrgruppen har ofta haft inflytande i tidiga skeden. Projektledaren och utvärderaren har ofta tillsammans diskuterat hur upplägget kan se ut. Ofta har dock utvärderaren närmat sig med en ansats som diskuterats inom projektgruppen och sedan tillsammans med utvärderaren.

För vem tycker respektive aktör att utvärderaren primärt är ansvarig? Enligt Styrgrupp Projektledning ESFsamordnare Utvärderare Annan Projektledare 29% 50% 5% 2% 14% Styrgrupp 23% 44% 18% 5% 11% ESFsamordnare 21% 48% 2% 5% 14% Utvärderare 26% 42% 12% 2% 19%

Aktörerna är ense att utvärderaren lyckas skapa en bra balans mellan närhet och kritisk distans i utförandet Har utvärderaren en balans mellan närhet och kritisk distans? Några röster från intervjuerna Det är svårt att svara på Det vore inte fel om utvärderaren var mer kritisk och ifrågasättande Ja, men det tar ett tag för utvärderaren hittar denna roll Som utvärderare är det viktigt att klargöra rollerna i ett tidigt skede av projektet Kommentar: Det verkar vara svårt för aktörerna att med säkerhet svara på denna fråga. Detta kan ha att göra med att förväntningarna på utvärderaren och dennes roll är oklar

Det är i regel ingen risk att utvärderarna tar på sig rollen som ställföreträdande projektledare Risk för att utvärderare blir en ställföreträdande projektledare? Kommentarer Det råder inga tvivel om att projektorganisationerna och utvärderarna är tydliga i rollfördelningen gällande detta. De som främst ser detta som en risk är utvärderarna, och det verkar även vara dessa som i hög utsträckning försöker minska denna risk genom sitt agerande.

Några övriga kommentarer kring Lärande utvärdering Det borde vara ett krav från ESF att lärande utvärdering borde utföras av en extern aktör då detta möjliggör en kritisk granskning Det borde finnas en länk mellan projekt och ESF, en skprojektmentor. Dennes uppgift skulle kunna vara att hjälpa till att utveckla projektet samt stötta i lärande och spridning. Denne aktör borde också ha kunskapen att värdera eventuella förändringar, inte minst utifrån om de är korrekta utifrån regelverket. Projektägarna måste bli bättre på att ta del av utvärderingarnas resultat Det är av stor vikt att beställaren vet vad en lärande utvärdering innebär ESF borde ge en bättre bild av utvärdering, vid till exempel planeringsträffar, och uppmana projekt att avsätta resurser. Det måste finnas tydligare krav från ESF kring utvärderingen i projekt Det råder fortfarande begreppsförvirring hos projekt och inom ESF kring exempelvis skillnader mellan en lärande utvärdering och processutvärdering. Det är mycket svårt att handla upp en lärande utvärdering. Spridning av resultat sker ofta till de redan frälsta. Hur skapas en större växelverkan mellan projekt regionalt och nationellt? Utvärderarnas metoder måste kunna möta alla aktörer inom ett projekt och löpande förankras inom projektet.

www.spl.nu