Utvärdering Göran Goldkuhl Forskningsgruppen VITS IEI Linköpings universitet Utvärdering? Några definitioner 1
Definition av utvärdering Noggrann efterhandsbedömning av genomförande, prestationer och utfall i [offentlig politik], vilken avses spela en roll i praktiska handlingssituationer. Evert Vedung Definition av utvärdering Evaluation is the systematic assessment of the operation and/or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy. Carol Weiss 2
Definition av utvärdering Evaluation involves assessing the strengths and weaknesses of programs, policies, personnel, products, and organizations to improve their effectiveness. American Evaluation Association Definition av utvärdering utvärdering, evaluering, sammanfattande term för metoder som syftar till en systematisk bedömning av resultaten och de mer långsiktiga effekterna av genomförda insatser. NE 3
Definition av utvärdering Evaluation 1:to determine or fix the value of 2:to determine the significance, worth, or condition of usually by careful appraisal and study Merriam-Webster's Online Dictionary Definition av utvärdering: Sammanfattning Process och/eller resultat Användning av bedömningsgrunder Explicita kriterier Implicita grunder Åsätta värden Svagheter Styrkor Systematisk studie Syfte: Förbättring 4
Utvärderingstyper Formativ utvärdering Påverka utvärderingsobjektet Summativ utvärdering Eftervärdera utvärderingsobjektet When the cook tastes the soup, that s formative evaluation; when the guests tastes it, that s summative evaluation. Michael Scriven Utvärderingstyper Formativ utvärdering Under systemutveckling för att ta ställning & förbättra förslag Summativ utvärdering Efter implementering för att följa upp resulterande system Många utvärderingsinsatser är både summativa & formativa Klargöra och ta ställning till genomfört arbete Vad har vi uppnått? Blev det som vi tänkt oss? Ge underlag till förbättring Hur kan vi göra bättre? 5
Utvärdering = bestämning av någots värde Utvärdering kan inte vara värdeneutral! Utvärdering är applicering av värden på världen! Grundläggande utvärderingfrågor Om vad? (objekt) För vad? (syfte, användning) För vem? (målgrupper) Av vem? (utvärderare, informanter) Av vad? (data) Med vad? (kriterier) 6
Om vad Av vad Med vad För vad Objekt Data Kriterier Syfte Hur Vem Hur Vem Utvärdera [Utvärderare] Av vem Utvärderingsresultat Använda [Mottagare] För vem Utvärderingsobjekt? IT-system som sådana Tänkt användning IT-system i användning Faktisk användning 7
Två utvärderingsstrategier (olika utvärderingsobjekt) IT-system som sådana IT-system i användning Tre utvärderingsstrategier (olika procedurer) Målbaserad utvärdering Målfri utvärdering Kriteriebaserad utvärdering 8
Målbaserad utvärdering Verksamhetsmål IT-användning Erfarenheter av bruk o effekter Verksamhetens egna mål = bedömningsmall Utvärdering Bedömning av måluppfyllelse Målfri utvärdering IT-användning Erfarenheter av bruk o effekter Utvärdering Öppen, induktiv datainsamling Målfri bedömning 9
Kriteriebaserad utvärdering IT-användning Erfarenheter av bruk o effekter Externa kriterier Styr urval, insamling och bedömning Utvärdering Kriteriebaserad bedömning Bedömningskriterier vid utvärdering När? Förbestämda Fastställs före utvärdering Framväxande Utvecklas under utvärderingen Kriterium = Det som något bedöms efter (måttstock) 10
Målfri utvärdering Inga explicita bedömningskriterier styr frågande Öppen problem- & styrkeanalys Identifiering av effekter Implicita bruksvärden styr svarande Möjligt att artikulera tillämpade bruksvärden som explicita bedömningsgrunder Växelverkan mellan konsekvensbedömning och kriterieartikulering Målfri utvärdering IT-användning Erfarenheter av bruk och effekter Utvärdering Målfri bedömning Artikulering av bruksvärden & bedömningsgrunder Bruksbaserade bedömningsgrunder 11
Målbaserad utvärdering Mål i verksamheten styr utvärdering Kontrollera om styrande verksamhetsmål har effekt på utvärderingsobjektet Officiella verksamhetsmål Kan vara andra (för verksamheten relevanta) mål Bedömningskriterier vid utvärdering Varifrån? Verksamheten (ledningen) Officiella mål Användare, andra berörda Bruksvärden Externa (sakkunniga) Teorier, professionskunskap 12
Situationella bedömningsgrunder (verksamhetsmål) Ledningens officiella mål Användares bruksvärden Producenters Klienters Normställare (regelmakare) Regelverk Generella bedömningsgrunder Externa kriterier Generellt giltiga Professionella standarder Yrkesgrupper Teoribaserade kriterier Forskarsamhället 13
Olika utvärderingstyper Målfri utvärdering Målbaserad utvärdering Kriteriebaserad utvärdering IT-system som sådana Typ 1 Typ 3 Typ 5 IT-system i användning Typ 2 Typ 4 Typ 6 Olika utvärderingstyper Fördelar Nackdelar Målfri utvärdering Målbaserad utvärdering Kriteriebaserad utvärdering Rik icke-målstyrd datainsamling (bruksrelevanta krav) Klarläggande av måluppfyllelse Utifrån-definierade kriterier (nya infallsvinklar på verksamhet & IT-system) Ingen värdering utifrån specificerade målkrav Ingen identifiering & värdering av icke-avsedda effekter Bristande koppling till situationella krav 14
Olika typer av effekter Avsedda Icke avsedda men förutsedda Varken avsedda eller förutsedda IT-systems funktionalitet Undersökt funktionalitet Befintlig funktionalitet Saknas (behövs) Använd Icke använd Gott stöd Krångligt Felaktigt Krångligt/ felaktigt Behövs ej Okänd Behövs Behövs ej 15
Utvärdering inbegriper Beskrivning urval, insamling av data Förklaring sambandsbestämning Bedömning ställningstagande Förslag (ibland) handlingsrekommendationer ÄR VARFÖR HUR BRA - DÅLIGT BÖR GÖRA Teori & metod Syfte Utvärderingsteman/frågor Avgränsning Funktion, struktur och logik Mål Problem Styrkor Förändringsbehov Förändringsåtgärder 16
Teori & metod Instrument Kriterier Varför? Syfte Utvärderingsteman/frågor Avgränsning Önskar veta? Hypoteser Vilket objekt? Hur fungerar det? Funktion, struktur och logik Mål Objektets mål Vad fungerar inte? Varför? Problem Styrkor Vad fungerar? Varför? Vad bör förbättras? Förändringsbehov Förändringsåtgärder Konkreta rekommendationer Kunskapskällor IT-systemet Användar-system interaktion (användning) Användare (utsagor) Andra berörda (beteende & utsagor) Systemdokumentation Andra verksamhetsdokument 17
Hur studera IT-systemet Som sådana Inspektera (granska) system och systemresultat Pröva (använda) Läsa systemdokumentation I användning Observera användning (användar-system interaktion) Utfråga användare Inledningsfas Fastställ förutsättningar 1-6 Beskriv IT-systemets funktionalitet samt användarroller 1-6 Beskriv användare Värderingsfas 1-6 1 2 Värdera problem och styrkor för ITsystem som sådana Avslutningsfas 3,4 5,6 Identifiera verksamhetsmål Välj kriterier 3 4 5 6 Målbaserad värdering av ITsystem som sådana Målbaserad värdering av ITsystem i användning Värdera problem och styrkor för ITsystem i användning Kriteriebaserad värdering av ITsystem som sådana 1 2 3 4 5 6 Kriteriebaserad värdering av ITsystem i användning Dra slutsatser 1. Målfri, IT-system som sådana 2. Målfri, IT-system i användning 3. Målbaserad, IT-system som sådana 4. Målbaserad, IT-system i användning 5. Kriteriebaserad, IT-system som sådana 6. Kriteriebaserad, IT-system i användning 18
Inledande fas Målfri utvärdering av IT-system som sådant Huvudperspektiv Kunskapsmål Datakällor Kunskapsgenerering Vilka medverkar Användning Öppet förhållningssätt, explorativt En inledande och förståelse av IT-systemet och des roll i verksamheten IT-systemet, dokumentation om IT-systemet Utifrån observationer (induktiv) Utvärderingsexpert, systemägare När en översiktlig kunskap önskas för att bli bekant med utvärderingskontexten. När det inte finns några användare tillgängliga 19
Målfri utvärdering av IT-system som sådana Värdera problem och styrkor för IT-system som sådana Härled verksamhetseffekter Målfri utvärdering av IT-system i användning Kunskapsgenerering Huvudperspektiv Kunskapsmål Datakällor Handlingsgraf Funktionsbeskrivning Användarbeskrivning Problemvärdering Styrkevärdering Problemvärdering Styrkevärdering Vilka medverkar Användning Öppet förhållningssätt, explorativt En djupare och bredare förståelse av IT-systemet i sig, dess roll i verksamheten och dess sociala och organisatoriska konsekvenser IT-systemet, dokumentation om IT-systemet, observation av interaktion, användares uppfattningar Utifrån observationer (induktiv) Utvärderingsexpert, systemägare, användare När rikare beskrivningar önskas, när det finns större resurser och när användare finns tillgängliga 20
Målfri utvärdering av IT-system i användning Observation + intervju Observationsprotokoll Handlingsgraf Funktionsbeskrivning Användarbeskrivning Värdera problem och styrkor för IT-system i användning Problemvärdering Styrkevärdering Härled verksamhetseffekter Målbaserad utvärdering av IT-system som sådant Huvudperspektiv Kunskapsmål Datakällor Problemvärdering Styrkevärdering Kunskapsgenerering Vilka medverkar Användning Beroende på målens karaktär Bidrar IT-systemet till att uppfylla verksamhetsmålen? ITsystemets potentiella positiva och negativa konsekvenser för verksamheten. Vad är det förmodade bidraget från ITsystemet? IT-systemet, dokumentation om IT-systemet, målbeskrivningar, kravspecifikationer Formulerade mål styr datainsamling (deduktiv) Utvärderingsexpert, systemägare När en målfokuserad utvärdering önskas. När det finns små resurser. När det inte finns några användare tillgängliga 21
Strategidokument Målbeskrivning Målbaserad utvärdering av IT-system som sådana Identifiera och analysera mål Mållista Målgraf Värdera mål Handlingsgraf Funktionsbeskrivning Användarbeskrivning Målvärderingstabell Härled verksamhetseffekter Målbaserad utvärdering av IT-system i användning Huvudperspektiv Kunskapsmål Datakällor Målvärderingstabell Kunskapsgenerering Vilka medverkar Användning Beroende på målens karaktär Bidrar IT-systemet till att uppfylla verksamhetsmålen? ITsystemets potentiella positiva och negativa konsekvenser för verksamheten. Vad är det förmodade bidraget från ITsystemet? IT-systemet, dokumentation om IT-systemet, målbeskrivningar, kravspecifikationer, interaktion mellan användare och IT-systemet och användares uppfattningar om IT-systemet Formulerade mål styr datainsamling (deduktiv) Utvärderingsexpert, verksamhetsföreträdare, användare När en djupare målfokuserad utvärdering önskas. När det finns större resurser. När användare finns tillgängliga. 22
Strategidokument Målbeskrivning Identifiera och analysera mål Målbaserad utvärdering av IT-system i användning Observera och intervjua Mållista Målgraf Observationsprotokoll Handlingsgraf Funktionsbeskrivning Användarbeskrivning Värdera mål Målvärderingstabell Härled verksamhetseffekter Målvärderingstabell Kriteriebaserad utvärdering av IT-system som sådant Huvudperspektiv Kunskapsmål Datakällor Kunskapsgenerering Vilka medverkar Användning Beror på kriteriernas karaktär Kunskap om IT-systemets egenskaper som motsvarar de valda kriterierna IT-systemet, dokumentation om IT-systemet, kriteriebeskrivningar Formulerade kriterier styr datainsamling (deduktiv) Utvärderingsexpert, systemägare När en kriteriefokuserad utvärdering önskas. När det finns små resurser. När det inte finns några användare tillgängliga 23
Handlingsbarhetskriterier Andra kriterier Välj kriterier Kriterielista Handlingsgraf Funktionsbeskrivning Användarbeskrivning Kriteriebaserad utvärdering av IT-system som sådana Värdera kriterieuppfyllelse Kriterievärderingstabell Härled verksamhetseffekter Kriteriebaserad utvärdering av IT-system i användning Huvudperspektiv Kunskapsmål Datakällor Kriterievärderingstabell Kunskapsgenerering Vilka medverkar Användning Beror på kriteriernas karaktär En djupare kunskap om IT-systemets egenskaper som motsvarar de valda kriterierna IT-systemet, dokumentation om IT-systemet, kriteriebeskrivningar, interaktion mellan användare och ITsystemet och användares uppfattningar om IT-systemet Formulerade kriterier styr datainsamling (deduktiv) Utvärderingsexpert, verksamhetsföreträdare, användare När en djupare kriteriefokuserad utvärdering önskas. När det finns större resurser. När användare finns tillgängliga. 24
Handlingsbarhetskriterier Ev andra kriterier Välj kriterier Kriterielista Handlingsgraf Funktionsbeskrivning Användarbeskrivning Kriteriebaserad utvärdering av IT-system i användning Observera och intervjua Värdera kriterieuppfyllelse Kriterievärderingstabell Härled verksamhetseffekter Avslutningsfas Problemanalys Styrkeanalys Sammanfatta centrala problem och styrkor Observationsprotokoll Kriterievärderingstabell Styrkegraf Problemgraf Värderingstabell Slutsatsdokument 25
Lämpliga kombinationer av utvärderingstyper Målfri utvärdering Målbaserad utvärdering Kriteriebaserad utvärdering IT-system som sådana IT-system i användning En utvärdering av IT-system kan ge (1) En god bild över befintlig systemfunktionalitet inför kommande utveckling En klarare bild över vad som används i IT-system och vad som inte används En samlad och strukturerad bild över användares erfarenheter av och synpunkter på ett IT-system En tydlig beskrivning av vilka verksamhetsnyttor som ett system bidrar till En diagnos av ett IT-systems styrkor och svagheter 26
En utvärdering av IT-system kan ge (2) Ett klargörande av hur processanpassat ett system är och hur det kan fungera vid en ökad processorientering av verksamheten Ett samlat underlag över vilka vidareutvecklingsbehov som finns för ett system En bedömning om de mål som satts upp inför en IT-investering har uppnåtts eller inte Ett underlag för beslut om man ska behålla ett visst IT-system eller satsa på något nytt Ett kravunderlag för eventuell redesign av system alternativt nyutveckling av system (modell för idealdesign av system) 27