2006-11-17 Förslag till FoU-samverkan för ökad kunskap Utvärdering av IT-system i kommuner FoU-samverkan mellan Sambruk och Forskningsnätverket VITS Sambruk har ett etablerat samarbete med Forskningsnätverket VITS genom det VINNOVAfinansierade projektet E-tjänster för Sambruk. I detta FoU-projekt bidar VITS med kunskap om arbetssätt för utveckling och utvärdering av e-tjänster samt kunskap om affärsmodeller för sambruk av e-tjänster. VITS-forskare deltar i olika sambruksaktiviteter som kunskapsstöd. I strategiska diskussioner mellan VITS och Sambruks ledning har vi identifierat behov av ytterligare aktiviteter som ligger vid sidan om dem som är avgränsade genom VINNOVAprojektet. Vi har identifierat behov av utvärderingsinsatser avseende kommuners interna ITsystem (verksamhetssystem). Nedan beskrivs förslag till utvärderingsprojekt inom ramen för Sambruk. Varför utvärdering av IT-system? Många kommuner använder idag olika standardsystem från externa IT-leverantörer som stöd i sina kärnverksamheter. Det kan vara stöd för verksamheter som t.ex omsorg, skola/bildning, samhällsbyggnad, teknisk förvaltning. Dessa standardsystem (verksamhetssystem) är ofta ganska stora och omfattande samt inte sällan komplexa att använda. Det finns förstås både positiva och negativa erfarenheter från användning av dessa system. En viktig del i Sambruks angreppssätt vid införande av e-tjänster är att basera dessa på ÖTP Öppen Teknisk Plattform. Detta innebär att e-tjänster inte skall totalintegreras med befintliga verksamhetssystem utan kommunikationen mellan e-tjänsteapplikationer och verksamhetssystem skall ske genom standardiserade gränssnitt (sk nyttomeddelanden). Att införa e- tjänster bör inte innebära att man bara klistrar på ett nytt elektroniskt gränssnitt på kommunen utan att man också ser över och effektiviserar verksamhetsprocesser. Detta innebär därmed också ett kunskapsbehov om befintliga interna IT-system och hur de stödjer verksamhetsprocesserna och medger eventuell förnyelse av dessa processer. Vissa erfarenheter tyder på svårigheter att processorientera och effektivisera verksamheten i samband med införande av e-tjänster. Verksamhetssystem kan bli ett hinder för förnyelse. Många verksamhetssystem har successivt utvecklats under lång tid. Man har kontinuerligt byggt på systemen med nya funktioner. Inte alla system är byggda utifrån ett modernt processtänkande utan kan vara begränsade till funktionella stuprör. För att processorientera 1
och effektivisera verksamheten är ökad kunskap om verksamhetssystemens möjligheter och begränsningar viktig att uppnå. Tjänsteorientering och processorientering går ofta hand i hand. Men de behöver inte göra det. Oberoende om man står i begrepp att utveckla e-tjänster eller inte kan det finnas behov att närmare granska befintliga IT-system, användningen av dem samt dess funktionalitet i verksamhetsprocesser. Många kommuner för kontinuerligt samtal med IT-leverantörer om förvaltning och vidareutveckling av dessa typer av system. Man kanske ingår i användargrupper där förbättringar diskuteras och värderas. Vi föreslår här utvärdering av IT-system som genomförs av forskare. En poäng är att utvärdering ska utföras forskare som är fristående från både kommuner och leverantörer. Genom att låta fräscha och oberoende ögon granska systemen och dess användning och funktionalitet i processer kan en djupare och mer opartisk kunskap skapas. En utvärdering av IT-system kan ge En god bild över befintlig systemfunktionalitet inför kommande utveckling av e-tjänster En klarare bild över vad som används i IT-system och vad som inte används En samlad och strukturerad bild över användares erfarenheter av och synpunkter på ett ITsystem En tydlig beskrivning av vilka verksamhetsnyttor som ett system bidrar till En diagnos av ett IT-systems styrkor och svagheter Ett klargörande av hur processanpassat ett system är och hur det kan fungera vid en ökad processorientering av verksamheten Ett samlat underlag över vilka vidareutvecklingsbehov som finns för ett system En bedömning om de mål som satts upp inför en IT-investering har uppnåtts eller inte Ett underlag för beslut om man ska behålla ett visst IT-system eller satsa på något nytt Ett kravunderlag för eventuell redesign av system alternativt nyutveckling av system (modell för idealdesign av system) Modeller och metoder för utvärdering av IT-system VITS har arbetat med utvärdering av IT-system i många år. Vi har utvecklat modeller, metoder och kriterier för utvärdering. Vi har en modell för utvärdering som innehåller sex typfall (tabell 1). Olika typfall kan kombineras i en och samma utvärdering. Målfri utvärdering Målbaserad utvärdering Kriteriebaserad utvärdering IT-system som sådana Målfri utvärdering av ITsystem som sådana Målbaserad utvärdering av IT-system som sådana Kriteriebaserad utvärdering av IT-system som sådana IT-system i användning Målfri utvärdering av ITsystem i användning Målbaserad utvärdering av ITsystem i användning Kriteriebaserad utvärdering av IT-system i användning Tabell 1 Olika typer av utvärderingar av IT-system 2
Vi skiljer först mellan två nivåer av utvärderingsobjekt. Det kan handla om 1) utvärdering av IT-systemet som sådant eller 2) utvärdering av IT-systemet i faktisk användning; se figur 1. Med utvärdering av IT-systemet som sådant menas en granskning av det som systemet kan göra ( tänkt användning ). Med utvärdering av systemet studeras hur olika användare faktiskt brukar systemet för sitt arbete. IT-system som sådana IT-system i användning Figur 1 Olika utvärderingsobjekt: IT-system som sådan vs IT-system i användning Vi skiljer också mellan olika tillvägagångssätt för utvärdering; vad som används som bedömningsmall för att utvärdera. Tre olika typer av tillvägagångssätt kan tillämpas: Målbaserad utvärdering Målfri utvärdering Kriteriebaserad utvärdering Vid målbaserad utvärdering används verksamhetsmål som mall för utvärdering. Mål från aktuella verksamheter behöver inventeras genom dokument och samtal för att nyttjas för bedömning. Målfri utvärdering innebär att man inte använder några uttryckliga verksamhetsmål. Snarare är det olika personers uppfattningar om IT-systemet som utnyttjas; t.ex olika användares upplevelser och erfarenheter. Kriteriebaserad utvärdering innebär att man hämtar kriterier för bedömning utifrån. Det kan vara olika professionella bedömningskriterier eller generella kvalitetsideal eller kriterier från olika teorier. Dessa tre typer av tillvägagångssätt bygger alltså på olika slags bedömningsgrunder, se tabell 2. Bedömningsgrund Varifrån Målbaserad Verksamhetsmål (officiella) Verksamheten (ledningen) utvärdering Målfri utvärdering Bruksvärden Användare Kriteriebaserad utvärdering Externa kriterier (professionskunskap, teorier) Externa (sakkunniga) Tabell 2 Bedömningsgrund vid olika tillvägagångssätt för utvärdering VITS har utvecklat ett antal kriterier baserat på konceptet handlingsbara IT-system som vi brukar applicera vid kriteriebaserad utvärdering. Några av dessa kriterier är: tydlig 3
handlingsrepertoar, tillgodosedda kommunikationsbehov, lättnavigerbart, handlingstransparent, tydlig feedback, tydligt och lättåtkomligt verksamhetsminne, känd och begriplig vokabulär, stöd för efterföljande handlingar, handlingsöversiktligt, relevanta kommunikationskrav, goda kommunikationsförutsättningar, adressatrelevant och adressatanpassad kommunikation. Dessa och andra kriterier används för att värdera IT-system; såväl deras användbarhet och användarvänlighet gentemot användare som dess funktionalitet och integration i verksamhetsprocesser. Handlingsbarhet innebär tre skikt av handlingskvaliteter: 1) interaktionskvalitet (som fokuserar på användarens interaktion med IT-systemet), 2) kommunikationskvalitet (som fokuserar på den kommunikation som sker mellan aktörskategorier via IT-systemet), 3) processkvalitet (som fokuserar hur IT-användningen ger funktionellt stöd i verksamhetsprocesser); se figur 2. Genom att fokusera på samtliga tre kvalitetsnivåer ges möjlighet till en bred förståelse av IT-systemets roll för användare och för verksamhet. Interaktionskvalitet Kommunikationskvalitet Processkvalitet Figur 2 Handlingsbarhet: Tre skikt av handlingskvaliteter Kriterier för utvärdering kan också hämtas från arkitekturkonceptet ÖTP (Öppen Teknisk Plattform). Man kan värdera i vilken grad som aktuellt verksamhetssystem möjliggör datautbyte med andra applikationer i enlighet med arkitekturkonceptet ÖTP. Samverkan genom multiklientstudie en sambruksansats För genomförande av utvärderingsprojekt föreslår vi sk multiklientstudie. Med detta menas att flera kommuner gemensamt står bakom som uppdragsgivare till projektet och mottagare (klienter) av utvärderingsresultat. Det innebär alltså flera kommuner som använder samma typ av system och som upplever ett kunskapsbehov kring användningen av detta system och dess funktion i aktuella verksamhetsprocesser. Dessa kommuner kan gå samman som uppdragsgivare till en utvärdering för att därigenom möjliggöra en mer omfattande utvärdering än vad som annars skulle kunna vara fallet. Genom att vara flera uppdragsgivare delar man på kostnader på sedvanligt sambruksvis. Tillvägagångssätt vid utvärderingsprojekt Ett utvärderingsprojekt kan indelas i tre faser: Initiering Genomförande Resultatspridning 4
Initieringen påbörjas när intresseanmälningar för projekt (och därmed system) inkommer. Diskussioner förs då med intresserade kommuner. En utvärderingsplan utarbetas av forskare och kommunrepresentanter under medverkan från Sambruk. Där specificeras utvärderingsmål och ambitionsnivå. Man överenskommer om uppläggning och vilken slags utvärdering som skall utföras; se tabell 1 ovan. Förmodligen kombineras några av dessa typer i ett utvärderingsprojekt. När en plan finns kan eventuellt ytterligare andra kommuner inbjudas att deltaga. Kostnadsnivå för projektet fastställs. Ett utvärderingsprojekt avser ett system som således används i flera kommuner. Ambitionsnivån bestäms av antal medverkande kommuner och överenskommen kostnadsnivå. Genomförande kan ske på olika sätt beroende av vald utvärderingsansats. Genomförandet kan bestå av följande aktiviteter: Granskningar av IT-system (provanvändning) Läsning av policydokument, systemdokumentation och andra relevanta dokument Intervjuer och enkäter med användare, systemansvariga och andra berörda Observation av användares interaktion med systemet Fokusgruppssamtal - seminarier Utvärderingen genomförs av en eller flera forskare i nära samverkan med kommunrepresentanter. Utvärderingen genomförs lämpligen under 2-4 månaders kalendertid. Studier genomförs lämpligen i flera kommuner som använder samma system. För att uppnå en kostnadseffektiv utvärdering kan emellertid inte samma djup uppnås i samtliga medverkande kommuner. Koncentration behöver ske till en eller några kommuner. Resultat från utvärderingen dokumenteras i en utvärderingsrapport med uppdragsgivande kommuner som primär målgrupp. Resultat från utvärderingen kommuniceras inte endast genom den skriftliga utvärderingsrapporten. Resultatspridning bör också ske genom seminarier där forskare och kommunala representanter diskuterar utfallet från utvärderingen. En viktig positiv bieffekt från utvärderingsprojekt bör vara en ökad kunskap hos medverkande kommunala aktörer om utvärdering, IT-användning, handlingsbarhet, processorientering mm. Intresserad? Detta förslag till samverkansprojekt har utarbetats av professor Göran Goldkuhl (VITS forskningsledare) baserat på diskussioner med Sambruks ledning. Om intresse finns för utvärdering av något kommunalt IT-system tag kontakt, för en förutsättningslös diskussion med Göran Goldkuhl, VITS, Linköpings universitet ggo@ida.liu.se, tel 070-552 98 15 eller Janne Dicander, Sambruk Janne.Dicander@stk.jonkoping.se, tel 070-623 53 06 En naturlig fråga är: Vad kostar nu detta? Det beror, som nämnts ovan, på antal medverkande kommuner i en och samma studie samt vald ambitionsnivå. För att säga några tal som utgångspunkt för diskussion så kan nämnas, med reservation, det ungefärliga spannet 20 000 5
50 000 SEK per kommun. Blir det många kommuner så blir insatsen per kommun förhållandevis låg. Vid färre antal kommuner så blir förstås insatsen högre. Litteratur Modeller och metoder för utvärdering av IT-system samt konceptet handlingsbarhet beskrivs bl.a i nedanstående litteratur. Samtliga dessa rapporter kan laddas hem från www.vits.org. Cronholm S, Goldkuhl G (2004) Strategies for Information Systems Evaluation Six Generic Types, Electronic Journal of Information Systems Evaluation, Vol, 6, No 2 Cronholm S, Goldkuhl G (2006) Handlingsbara IT-system design och utvärdering, VITS, Institutionen för datavetenskap, Linköpings universitet Cronholm S, Goldkuhl G, Hedström K, Pilemalm M-L (2003) Handlingsbart IT-system för kvalitetssäkring och individualisering av äldreomsorg, KvalitetsMässan, Göteborg 6