Att utvärdera nyttan av FoU

Transkript

1 Att utvärdera nyttan av FoU Ove K. Vestman Presentation vid FoU-Välfärds konferens i Sundsvall augusti 2011 Utgår från boken Utvärderandets konst (2011) av Ove Karlsson Vestman, Studentlitteratur

2 UTVÄRDERING ÄR ATT SYSTEMATISKT BESKRIVA BEDÖMA ETT OBJEKT OCH REDOVISA RESULTATET Att hantera information enligt vissa principer En explicit metod eller procedur som visar hur man går tillväga i utvärderingen Att följa en arbetsplan med vissa steg i viss ordningsföljd Vilka aspekter, egenskaper hos objektet ska beskrivas? Med vilka metoder samlas data Empirisk analys Vilka förtjänster bedöms? -värde -kvalitet -nytta - effektivitet osv. Mot vilka kriterier / indikationer Normativ analys Policy / riktlinjer Program / verksamhet Process / praktik Produkt / resultat Person / arbetsgrupp Hur? Rapportera Rekommendera Diskutera Fotografera Filma Ställa ut osv.

3 Programteori för utvärdering (EU-modellen) European Commission, (2006): The New Programming Period , Indicative Guidelines on Evaluation Methods. Working Document No. 5, sid 7. EFFEKT 3 SAMHÄLLS- NIVÅ PROBLEM (problemområde) EFFEKT 2 EFFEKT 1 INTERVENTIONS - NIVÅ MÅL INSATS PROCESS RESULTAT UTVÄRDERINGS- NIVÅ MÅL RELEVANS PROBLEMET PROCESS UTVÄRDERING PRODUKTIVITET KOSTNADSEFFEKTIVITET KOSTNAD OCH NYTTA MÅLUPPFYLLELSE EFFEKTERNAS RELEVANS FÖR PROBLEMET

4 Samhällsnivå Organisationsnivå Programteori för FoU Uppdraget: Samhällsfrågor och problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal Verksamhetsnivå Idéer/mål Planering av insatser och åtgärder Genomförande Implementering av insatser Resultat Prestationer, produkter och tjänster Effekter På kort, medel och lång sikt

5 Utvärderingsteori Uppdraget: Samhällsfrågoroch problem att arbeta med i FoU Förutsättningar: Organisation, mål och medel, pengar, personal Idéer/mål Genomförande Resultat Effekter Samhällsnivå Organisationsnivå Verksamhetsnivå Utvärderingsnivå Inriktningar för utvärdering 1. Behovsinriktad och belysande 2. Process och deltagarinriktad 3. Resultat och effektinriktad 4. Teoriinriktad utvärdering (inklusive metautvärdering)

6 Delaktig Användbart Lärande Hälsosamt Lönande Utvecklande Förbättrande osv

7 Översikt - modell för analys av nytta PROCESSEN Produktion Presentation Användning Effekt Nyttogörande Slutanvändning En tjänst/ produkt produceras Tjänsten/ produkten levereras till målgruppen Mottagaren nyttjar tjänsten/ produkten Användningen har effekt gör nytta Målgruppen (t.ex. personal) har nyttiggjort sig effekten Slutanvändare har fått nytta av tjänsten /produkten NYTTA SOM 1. Delaktighet Inom projekt, nätverk utbildning, forskningsarbete, samordning 2. Tillgänglighet Via rapporter, information, konsultation, utbildning, handledning, nätverk 3. Användbarhet Genom att mottagaren kan tillämpa resultat i sin verksamhet 4. Lärande och utveckling Via förändringsprocesser, lärande, nya handlingsmönster, organisation 5. Reflektion Genom omprövning, inspiration, ökat gehör för målgruppens behov. 6. Förbättrad situation Genom att slutmottagaren fått service, stöd och hjälp som förbättrar situationen

8 FoU-verksamhetens domäner 1. Politiken och den administrativa ledningens domän Styrning och ledning 4. Andra domäner av betydelse för FoU, exempelvis forskning 5. FoU-miljöns domän Autonomi, samordning Se-Förstå-Handla- Utvärdera 2. Professionernas domän Praxis inom de yrkesområden FoU arbetar för och med 3. Brukarnas domän Deltagare i FoU: organisationer, grupper och enskilda

9 Att bedöma nytta Hur är FoU-miljöns förmåga att erbjuda: 1. Nytta som delaktighet. Att ge intressenter möjligheter till delaktighet genom medverkan i projekt, nätverk utbildning, forskningsarbete, samordning 2. Nytta som tillgänglighet. Att erbjuda intressenter tillgänglighet till kunskap via rapporter, information, konsultation, utbildning, handledning, nätverk 3. Nytta som användbarhet och kvalitet. Att försäkra sig om FoU-arbetes användbarhet och kvalitet genom att mottagaren tillämpar resultat i sin verksamhet 4. Nytta som lärande och förändring. Att stimulera till lärande och förändring genom förändringsprocesser med nya rutiner och handlingsmönster, organisation? 5. Nytta som reflektion. Att medverka till att ge deltagare möjligheter till nytänkande genom reflektion och kritisk granskning av sin verksamhet Bedömningsskala Låg Hög Medel värde

10 Att sammanställa resultat Resultatet på frågorna kan t.ex. sammanställas i ett spindeldiagram. Det ger en bild av FoUmiljöns styrkor och svagheter inom området, t ex nytta.

11 SWOT-analys för FoU-miljöer STYRKOR T.ex. Ett väl utbyggt nätverk, En väl fungerande seminarieverksamhet, Goda kontakter med forskare, Hög kompetensnivå hos den egna personalen. MÖJLIGHETER T.ex. Politiska beslut om regional eller nationell satsning på nya utbildningsinsatser eller forskningsprojekt/ områden som passar FoU-verksamheten. SVAGHETER T.ex. Osäker finansiering, Bristande kvalitet i den egna rapportproduktionen, Dåligt genomslag på informationsinsatser. HOT/HINDER T.ex. Ny konkurrent etablerar sig som erbjuder mer attraktiva tjänster på FoU-miljöns kompetensområde. Nedskärningar i den offentliga budgeten.