Det komplicerade och problematiska kvalitetsbegreppet Vad innebär r kvalitet? Lena Lindgren 2009-11 11-28 Välkommen! www.grkom.se/fouivast
Dagordning Kvalitet ett begrepp ur och tillbaks i tiden. En förvaltningspolitisk superstandard. Varför och varför inte kvalitetsmätning? and what the hell is quality? Går det att mäta kvalitet objektivt och säkert? Diskussion i grupper 10.30-11. Diskussion i plenum Projektet mått och mätande
För tydlighets skull. Utvärdering är att bestämma värdet av en verksamhet, genom att samla in information på ett systematiskt sätt och göra jämförelser. Uppföljning görs löpande enligt fasta rutiner för att övervaka hur en verksamhet utvecklas i något eller några på förhand bestämda avseenden. Använder huvudsakligen kvantitativ information (statistik, nyckeltal, indikatorer). Kvalitetsmätning, kvalitetssäkring etc. Revision, tillsyn. Utvärdering och granskning används ofta som familjenamn på alla granskande aktiviteter. Jfr granskningssamhället, the audit society.
Ett begrepp ur och tillbaks i tiden Hallstämpling under senmedeltiden som produktkontroll av hantverk och manufakturer. Omdömen om universitetsstudier 17-1800 talet. Laudatur = berömlig, Approbatur = godkänd. Japansk bilindustri 1960-70. Kaizen ständig förbättring. Kvalitetskoncept 1980-90. TQM, ISO-9000, Six Sigma. Avtagande popularitet under 1990-talet. Idag är kvalitetsbegreppet modernare än någonsin.
Förvaltningspolitisk superstandard Kvalitetsparagrafer har förts in i ramlagar. Föreskrifter och allmänna råd för kvalitetsarbete, kvalitetsledning, kvalitetsmätning etc Kvalitetsregister sedan länge inom hälso- och sjukvården. Från forskning och professionellt intresse till organisatorisk och offentlig transparens. Kvalitetsredovisningar där skolor kan jämföras har också funnits länge. Inom högskoleområdet är jämförelser, ranking, högst aktuellt. Aktörer på lokal, regional, nationell och internationell nivå utvecklar kvalitetsindikatorer. Obligatoriska och frivilliga system. Nationella kvalitetsindikatorer finns/håller på att utvecklas inom äldreomsorg, IFO, missbruksvård, insatser för psykiskt sjuka och funktionshindrade. På sikt ytterligare områden.
Kvalitet är en allt viktigare del av granskningssamhället Terminologiarbetarbete Terminologi- Systematisk Systematisk dokumentation, dokumentation, översyn/utveckling översyn/utveckling av av statistik statistik Indikatorer, Indikatorer, databaser databaser öppna öppna jämförelser jämförelser Mål- Mål- och och resultatstyrningstyrning, NPM NPM resultat- valfrihet valfrihet Utvärdering & uppföljning Myndigheter Myndigheter som som arbetar arbetar med med utvärdering utvärdering Evidens, Evidens, EBP EBP systematisk systematisk kunskapsöversikt kunskapsöversikt metautvärdering metautvärdering Tillsyn, Tillsyn, inspektion, inspektion, Revision Revision
Granskningsinstitutioner och aktörer Offentlighet och insyn, medborgarnas rätt att överklaga beslut Statliga kontrollorgan Riksdagens kontrollorgan: Riksrevisionen, JO, KU. Regeringens kontrollorgan: JK, Statskontoret, ESV. Centrala och regionala tillsynsmyndigheter. Myndigheter som arbetar med utvärdering. Föreskrifter/allmänna råd från ansvariga myndigheter. Kommunala kontrollorgan Kommunal revision. KL och lagen om kommunal redovisning om god ekonomisk hushållning. Kommunal tillsyn. Europeiska kommissionens förvaltningskontroll Myndigheternas internkontroll
Statliga myndigheter som har utvärdering som huvudsakligt uppdrag (15) med organisatorisk enhet (28) Brottsförebyggande rådet (BRÅ) Rättsmedicinalverket SADEV Totalförsvarets forskningsinstitut Statens beredning för medicinsk utvärdering (SBU) Folkhälsoinstitutet Läkemedelsverket Högskoleverket Granskningsnämnden för radio och TV Institutet för arbetsmarknadspolitisk utvärdering (IFAU) Tillväxtanalys Statens institut för kommunikationsanalys (SIKA) M fl SIDA MSB Kriminalvården Försäkringskassan Socialstyrelsen Skatteverket CSN Myndigheten för yrkeshögskolan Folkbildningsrådet Fiskeriverket Arbetsmarknadsstyrelsen Riksantikvarieämbete Glesbygdsverket Konkurrensverket Sjöfartsverket NUTEK VINOVA Boverket FORMAS Kemikalieinspektionen Naturvårdsverket Ungdomsstyrelsen M fl
Kommungranskande aktörer Kommunala revisorer Statliga granskare Kommun Media Externa utvärderare Medborgare/ intresseorganisationer
From studies to streams Internationell utvecklingstrend som innebär att hårda uppföljningssystem allt vanligare med föreskrivna indikatorer som definierar vad som är viktigt att mäta. Trendspaning på SVUF:s konferens: Likriktning, normering, rutinisering. Jfr ISO från grekiskans isos som betyder lika.
Granskningssamhällets drivkrafter Införande av mera marknad och valfrihet i offentliga sektorn. Konkurrens eftersträvas mellan privata och offentliga producenter och mellan olika offentliga producenter. Medborgare är kunder/brukare. För att vi ska kunna välja krävs information om kvalitet och resultat. Beslutsfattare/verksamhetsledare behöver information som underlag för styrning och utveckling, och jämförelser nationellt och även internationellt. Allmänt krav på mera granskning för att hantera misstroende, för att se om allt verkligen står rätt till i den offentliga sektorn. Standardiserad kvalitetsinformation i tillgängligt format (databaser) krävs för att möjliggöra jämförelser. Riktlinjer och terminologiarbete krävs för att baserna ska vara rättvisande.
Mysteriet med utvärderingsmonstret Utvärdering ett monster som aldrig får nog med mat. Information utan tydlig användning samlas in ritualmässigt. Hur utvärdering ska användas för utveckling och styrning, hur det faktiskt går till och vilken nytta den har förblir oklart. Utvärdering har inte bevisat sin affärsidé. Utvärdering är inte en evidensbaserad verksamhet. Utvärdering en helig diskurs. The performance paradox.
Kvalitetsmätandets ideala programteori Förutsättningar Mål och delmål formuleras i valida och mätbara termer. Indikatorer på måluppfyllelse definieras. Implementering Användning Effekter Kvalitet mäts, registreras och rapporteras. Verksamhetsutveckling, politisk kontroll och styrning. What gets measured gets done Ökad produktivitet/effektivitet Ökad transparens. Ansvarsutkrävande underlättas. Ökat förtroende från medborgare, legitimitet. Ökad välfärd, tillväxt, hållbar utveckling.. Saving the world
Kvalitetsmätandets problematiska programteori Förutsättningar Implementeringsoch användningsproblem Perversa bieffekter Främmande diskurs OSMARTA mål och målträngsel Indikatorer kräver måltolkning Bara det mätbara mäts Osäkra effektmått Skiftande tolkningar och kreativ bokföring Oklar användning Teaching to the test, Creaming, Tunnel vision What gets measured is all that gets done Måtten blir mål, målförskjutning Innovation motverkas Avprofessionalisering Panopticon Minskad total effektivitet Paving the road to hell
En programteori för öppna jämförelser i vården och omsorgen om äldre Förutsättningar Pengar, personal, välutvecklad statistik, nationella kvalitets- indikatorer, användare som kan, vill och förstår. Genomförande Årlig enkät till kommuner/enheter, brukarundersökning Resultat analyseras och presenteras på hemsida, rapporter Resultat används för styrning, verksamhetsutveckling, vårdval. Effekter - för beslutsfattare Lättare följa upp/utvärdera/jämföra, styrningen blir bättre. -för ledare Benchmarking, konkurrens främjar lärande och utveckling. -för brukare Ökad transparens, ansvarsutkrävande underlättas, ger underoch medborgare lag som behövs för fria vårdval.
Nyheter Debatt Ledare Krönikor Blogg Jämför Tidningen Tjänster Lediga jobb Festivaler Sysselsatta/arbetslösa Resistenta bakterier Stöd till solenergi Lokalpolitiker i Almedalen Personal Befolkning Ekonomi/näringsliv Kultur/fritid Sjukvård Skola/barnomsorg Socialtjänst/äldreomsorg/trygghet Så ser det ut i din kommun/landsting jämfört med andra:
Mera ur Dagens Samhälle Nyligen kom Socialstyrelsens landsomfattande undersökning där äldre fick svara på vad de tyckte om kvaliteten på hemtjänst och särskilda boenden. Sundbyberg fick lägst betyg, framför allt när det gäller mat, måltidsupplevelser och sociala aktiviteter på äldreboenden. Nu lämnar Pirjo Harkman, förvaltningschef för äldre- och omsorgsförvaltningen, sitt uppdrag. Hon har inte fått sparken utan går på egen begäran, säger Kajsa Adenbäck (s), ordförande för äldre- och omsorgsnämnden. - Hon har valt att själv gå. Hon kände väl att det var svårt att få förtroende igen. Det är naturligt i den här situationen. Lärande, verksamhetsutveckling, ansvarsutkrävande?
If you know that others are constantly watching your silhouette, then you are highly likely to spend your time watching your shadow (Roy Batterham 1994)
Det finns alltså anledning att vara skeptisk, men.. Hur kan vi försvara en verksamhet utan att ha tillförlitliga belägg för att den har förväntad kvalitet och leder till avsedda resultat? Hur kan vi fortsätta hävda att en verksamhet tillför brukarna, klienterna/patienterna/samhället någonting om vi inte kan visa att så sker och hur detta sker och helst också till vilken kostnad? Utvärderingsmonstret är här för att stanna. Det är ingen idé att hoppas det försvinner. Ta själv makten över utvärderandet och kvalitetsmåtten - annars gör någon annan det fortare än du tror.
Kvalitet som kan mätas standardiserat och i numerisk form är alltså viktigt. Men vad är kvalitet?
Emily Dickinson 1860 När jag läser en dikt och håret reser sig på mitt huvud, då vet jag att den dikten är bra. Finns det något annat sätt att veta det på?
Lena Lindgen 2009 När jag ser ett par skor och känner att de måste jag ha - genast - då vet jag att de skorna är bra.
Kvalitet Qualitas, latin) qualis, hurdan eller sådan. Quantitas, (latin) quantus, hur mycket eller så mycket. Cicero (105-43 f.v.t.). Ord i grekisk filosofi, poión, posón som gäller föremåls tillstånd, förmåga, sinneskvaliteter och yttre form. Aristoteles (384-322 f.v.t.). Någontings beskaffenhet eller egenskaper, goda egenskaper. Någonting kan vara vad som helst - en produkt, tjänst/verksamhet. Kan i teorin avse alla verksamhetsled, men svårt i praktiken. Vilka goda egenskaper som ska räknas som kvalitet är inte givet, måste definieras och bestämmas från fall till fall. Kvalitet kräver en värdegrund för att kunna definieras.
Indikatorer Observerbart indirekt tecken på förekomst och/eller tillståndet av en viss egenskap hos en verksamhet. Något smått som mäter något stort. Ex bemötande, rättssäker handläggning, demokrati. Kvantitativa indikatorer (antal, procent, andel av, frekvens etc) demonstrerar önskvärda egenskaper i siffror (mätbara fakta ), t ex antal inslag/cm i tyg. Kvalitativa indikatorer åskådliggör önskvärda egenskaper i ord (omätbara upplevelser), t ex tyget känns behagligt mot huden. Kvalitativa indikatorer svårt/omöjligt när syftet är att jämföra, t ex öppna jämförelser. Jfr kvantitativ analys som syftar till att beskriva ett fenomens utbredning. Kvalitativ analys som syftar till att upptäcka egenskaper hos ett fenomen.
Mått, nyckeltal, statistik Mått: Längd, vikt, avstånd etc. Skaltyper: Nominalskala, ordinalskala, intervallskala, kvotskala. Nyckeltal: Mått eller värde som ger komprimerad information i syfte att underlätta jämförande analyser. Ex styckkostnad, personalomsättning, men också kvalitet. Statistik: Uppgifter om omvärlden i numerisk form. Indikatorer i fht mått, nyckeltal, statistik? Äkta kvantiteter och pseudokvantiteter, pseudokalkyler.
Konstruktion av indikatorer i fyra steg Värdegrund (mål?) formuleras, eller en befintlig dito tas för given. De egenskaper i värdegrunden som ska mätas avgränsas. Nyckelbegreppen i egenskaperna definieras teoretiskt. För varje nyckelbegrepp anges vilka operationer som ska utföras för att avgöra egenskapernas förekomst och tillstånd.
En programteori i generella termer Förutsättningar Allt som går in i en verksamhet, främst pengar och personal. Kunskapsbas. Processer Vad som görs för att åtgärda ett givet problem (verksamhetens uppdrag).hur, vilka aktörer, när? R E Prestationer De direkta produkterna av processerna. Utfall 1, 2. S U L Effekter Den skillnad som processer/prestationer T gör för ett målobjekt (individ, organisation, A samhälle). T Effekter kan vara på kort och lång sikt; avse individ/organisation/samhälle;
Everyday example H U N G R Y Get food Get food Eat food Eat food Feel better Feel better University of Wisconsin-Extension, Program Development and Evaluation LL
Fully detailed logic model University of Wisconsin-Extension, Program Development and Evaluation LL
En programteori för skolinspektion Förutsättningar Inspektionen har rätt förutsätt ningar, t.ex. kompetens, tid etc. Bristerna finns dokumenterade, spridda, accep terade, angelägna, det finns resurser, kunskap om hur bristerna kan åtgärdas etc. Att vidtagna åtgärder är relevanta och tillräckliga för måluppfyllelsen Inspektion Ökad kunskap om kritik-/ förbättringsområden Brister åtgärdas Nationella mål uppfylls Prestation Slutmål LL
Schematiskt om programteori och indikatorkonstruktion Kvalitets- Kvalitets- Verksamhetsled egenskaper kriterier Data att insamla Förutsättningar 1 A? 2 B? Aktiviteter 3 C, D? 4 E? 5 F? Prestationer 6 G? 7 H? Effekter 8 I, J, K? 9 L, M? 10 N, O? LL
Empiriskt dataunderlag för att registera och (be-) visa förekomst/tillstånd av kvalitet Befintlig statistik, analysera vad som kan användas. Annan dokumentation, diarieförda uppgifter. Surveyundersökningar, ex brukarundersökningar. Intervjuer, fokusgrupper Systematisk dokumentation, uppföljning, utvärdering Observationer, t ex fotografering av gaturenhållning. Teknisk utrustning, t ex bullernivåer, vattenkvalitet men också hälsotillstånd hos patienter. Kax
Exempel: Kvalitet i Försäkringskassans ärendeproduktion Verksamhetsled Mål/kvalitet Indikatorer/dataunderlag Förutsättningar Resurser, krav Processer Rättssäker, effektiv hand- 1) Antal ärenden som granskats i läggning med hög kvalitet. Qben II med godkänt resultat; Fusk förekommer inte. 2) Andel beslut som inte ändrats i länsrätterna. Prestationer DF får den ersättning de har rätt till. Effekter Hög tilltro till FK och dess administration, bland kunder och medborgare i stort.
Att konstruera kvalitetsindikatorer är således en komplicerad process Kvalitet betyder egenskaper, men vilka egenskaper ska räknas som kvalitet? Vem ska bestämma det och på vilka grunder? Mål, brukares behov, etc. Hur kan de egenskaper som definieras som kvalitet mätas med indikatorer som är valida i förhållande till det de avser att mäta? Är de indikatorer som valts likvärdiga, eller finns det några som är viktigare än andra? Vilket värde på respektive indikator ska uppnås för att kvaliteten ska anses vara god eller tillräcklig? Varje steg i processen att formulera indikatorer innebär en värdering ett val att fokusera på vissa saker och bortse från andra. En indikator kan aldrig vara ett objektivt mått på kvalitet i en verksamhet. Trots det talar många som om kvalitet har en given definition som alla kan stämma in i.
och det finns politik i kvalitetsmätning Sociala program/policies/insatser är aldrig värdefria. De både rymmer och syftar till att lösa specifika policyproblem. Att formulera indikatorer innebär en värdering ett val att fokusera på vissa saker och bortse från andra. Kvalitetsmått används/är tänkt att användas i politiska sammanhang där beslut om värdefördelning fattas. Data kan aldrig stå för sig själva, de tolkas av människor på ett sätt som refererar till olika värden.
Exempel på kvalitetsindikatorer: Vilka egenskaper anser förvaltningschefer, utredare bör mätas för att beskriva kvalitet i vård och omsorg om äldre? Bemötande 45% Mat 38% Brukarnöjdhet 35% Delaktighet, inflytande 35% Trygghet 32% Trycksår, sår 25% Personalkompetens 24% Kontinuitet 18% Tillgänglighet, väntetider 17% Socialt stöd och stimulans 16% Klagomål 14% Individuell plan 13% Fall, risk för fall 12% Matkvalitet. Mäts genom brukarens bedömning (1-10) av: 1) Hur maten smakar; 2) Möjligheten få det slag av mat man vill ha; 3) Storleken på portionerna; 4) Hjälpen vid måltiderna.
Att diskutera Vem efterfrågar vilken kvalitetsinformation och varför? I vilka sammanhang har kvalitetsinformation beaktats av politiker/ verksamhetsledare?
Några viktiga saker som kom fram i dialogerna efter föreläsningen Vad är det vi mäter och hur kommer kval indikatorer till, vem skapar dem, hur är de granskade och hur tas de emot? Ambitionerna höga men indikationerna har ofta blivit ganska dåliga, ex fr Försvarsmakten. Vem frågar efter informationen, hoppades att det var politiker som frågade efter dem. Tjänstemän har talat om för dem vad de ska fråga efter. Effekter mäts kortsiktigt, det som inte går att mäta mäts inte. Olika vem som fråga efter - politiker, höga chefer och GP är olika. Oftast frågas det efter kvantitativa utvärderingar, kostnader/pengaanvändning, men hur kan vi föra fram det andra? Viktig uppgift att föra fram effekter, hur gör vi det? T ex att människor klarar sig utan våra insatser. Mått på nationell nivå. Vikten av att förstå vad indikatorerna betyder. Kommunikation viktig, sammanhanget, vi överskjöljda. Förankring i verksamheten viktig. Färdig tanke om hur de ska användas.
Vad händer om man inte mäter? Det behövs insyn och mätning också. Måluppfyllelse går före väsentliga värden? Vi gör det vi blir belönade för. Om ingen bryr sig gör vi inte det. Belöning; uppmärksamhet, ansvar Medias fokusering och vinkling på när indikatorernas mått presenteras, vi får inte chansen att diskutera dem, skrämmer politiker och chefer. Vi försöker bredda. Handling efterfrågas. Långsiktiga effekter om vi inte kan mäta dem så bryr vi oss inte ens om att försöka belysa det. Ex: om en person kommer tillbaka då har vi inte lyckats?? Förutsättningar: resurser är personal, men vi måste tänka att brukarna är resurser också! Målgruppen, kontexten. Nytta av mått: vissa personer kan flytta och välja, andra inte, vad har medborgare då för nytta av dem? LOV brukare ska kunna välja då blir syftet med brukarundersökningar att visa nöjdhetsgrad så att det blir ett underlag för verkliga val. Medborgaren viktig aktör för att få insyn i kvaliteten; som framtida brukare samt skattebetalare. Förväntningarna spelar in i hur upplevelsen av kvaliteten är. När är det bra nog?
Avsikten med kvalitetsmätningar är att de ska leda till förbättringar, då krävs tid att arbeta med det samt resurser för det. Kanske inte medger så täta mätningar. Mer mingel behövs i dessa frågor. Vad behövs för att vi ska kunna prata med varandra om detta (hälso- och sjukvård socialtjänst)? Inom HSL finns mycket kvantitativa data, men en hel del specialitet, avgränsningar. Enkla beskrivningar behövs för att medborgare ska förstå. Vad kan vi lära av varandra? Förenklingar leder till brister. Det till synes enkla är lurigt. Bloggen ett media att räkna med. Betygsättning sker oavsett vad vi vill eller tycker om det!
Projektet mått och mätande i GR-kommunerna Lisa: Något stort verkar vara på gång Lena: Det finns ett utvärderingsmonster i den offentliga sektorn. Rist & Stamme (2006): From studies to streams
Projektets frågor och syfte 1. Vilka system och projekt för kvalitetsmätning finns i GRkommunerna inom hälso- och sjukvård och socialtjänst? 2. Kvalitet betyder egenskaper. Vilka egenskaper i hälso- och sjukvård resp. socialtjänst mäts, och vilka mäts inte? 3. Hur använder politiker och tjänstemän kvalitetsinformation? Vilken nytta har den för verksamheterna? Vad händer med det som inte mäts? Syfte: Att bidra till ett mer kvalificerat och genomtänkt förhållningssätt till kvalitetsmätningar.
Projektets genomförande System/policykartläggning Policystatus Verksamhetslogik. Systemens substantiella innehåll. Nationell och kommunal nivå Internet (offentligt tryck, SoS, SKL, media, tidskrifter). Dokumentanalys (verksamhetslogik, innehåll, debatt) Intervjuer med systemutvecklare på Socialstyrelsen. Kommuner, hemsidor, analys av dokument som kan laddas ner. Användning och implementering lokalt (pilotstudie) Intervjuer med ett strategiskt urval av potentiella användare på olika nivåer i GR:s kommuner.
Hittills i projektet Policydokument (t ex SOU Socialtjänstdatautredningen) SoS:s verksamhetsberättelser, regeringsuppdrag, rapporter. SKL:s webbplats och rapporter. GR-kommunernas webbplatser. Vetenskaplig litteratur om kvalitet, kvalitetsmätning etc. Läkartidningen (36 artiklar 1990-2009); Socionomen (bara i tryck); Presstext, Mediearkivet. Intervjuer med a) socialtjänst- och äldreomsorgschefer i 4 kommuner; b) ansvariga på SoS och VGR.