Representativ utvärdering

Transkript

1 Representativ utvärdering Konferenspapper till SVUF 2013 av Josefine Hjort Student vid Förvaltningshögskolan, Göteborgs Universitet Problembakgrund. Utbildningsradion, UR anordnade en paneldebatt under namnet Inte samma chans inför sändningen av dokumentärserien En del av mig om unga döva och hörselskadade. I panelen sitter den då snart tillträdande nationella samordnaren vars uppgift är att stärka kvaliteten i utbildningen för elever med funktionsnedsättningar. Under två år framöver ska 91 miljoner kronor delas ut som stöd till kommunala, enskilda eller statliga skolor för att höja undervisningskvaliteten så att eleverna ska nå måluppfyllelsen. Deltagande i paneldebatten är dokumentärens deltagare, andra hörselskadade och döva som vill dela med sig av sina erfarenheter och frågor. Övriga deltagande är ansvariga tjänstemän och ledning från Specialpedagogiska Skolmyndigheten. Det verbala talet i programmet tolkas till teckenspråk och vice versa. Teckenspråket tar i och med tolkningen lite längre tid, vilket den nationella samordnaren inte uppmärksammar utan svarar verbalt innan den fråga som ställts till honom har hunnit bli teckentolkad till fullo. Den nationella samordnaren använder således inte teckenspråk för att uttrycka sig utan har hjälp av en tolk och visar ett oförstående inför teckenspråkstolkningen. Att varken den nationella samordnaren eller hans medhjälpare är döva ifrågasätts kritiskt i debatten. Flera av panelmedlemmarna och dokumentärdeltagarna ifrågasätter varför en döv person med en grundkompetens inte är del i utredningen? Samt hur utredningen då ska kunna få kompetens om och ha förståelse för döva eller hörselskadades behov? Den närvarande statssekreteraren från Utbildningsdepartementet svarar att det viktigaste vid valet av den nationella samordnaren var att personen var lämplig för uppgiften och kan lyssna på berörda (UR, 2013). Innehåll. Ovanstående resumé av UR programmet presenteras då det kommer att användas för att exemplifiera den tes som kommer att drivas om representativ utvärdering. Detta konferenspapper kommer lyfta frågan om utvärderaren eller utvärderingsgruppens sammansättning avseende dess roll i relation till utvärderingsobjektet. Vidare kommer den representativitet som efterfrågades i UR:s paneldebatt att diskuteras, under benämningen den representativa utvärderingen. När utvärderingars innehåll och resultat påverkar utformningen av offentliga verksamheter och den politiska processen bör utvärderaren eller 1

2 utvärderingsgruppen belysas. Bör en döv person arbeta tillsammans med den nationella samordnaren i frågor om kvalitetshöjande arbete i skolorna för elever med funktionsnedsättningar? Vore det eftersträvansvärt att arbeta för att utvärderingsgrupper ska innehålla ett visst mått av representativitet för den aktuella gruppen som ska utvärderas? Kan en representativ utvärdering öka legitimiteten för de förslag eller resultat som utvärderingsgruppen presenterar? För att slutligen kunna resonera kring dessa frågor kommer först brukares och intressenters i relation till utvärderaren, om den värdering av inblandade aktörer som sker i utvärderingsprocessen att diskuteras. Brukare omtalas idag oftast som kunder, men i detta papper avses en mottagare som tilldelats och använder den offentliga servicen, i vilken den kan nyttja voice-strategin 1. Således kommer brukarorienteringen tillsammans med teorin bakom den representativa byråkratin användas för att understödja idén om den representativa utvärderingen. Definitionen av utvärdering som används är följande, att det är en bedömning som innefattar en värdering, den genomförs på ett systematiskt sätt och slutligen används för att förbättra en verksamhet (Dahlberg och Vedung, 2001:37). Brukare, intressenter och utvärderaren alternativt utvärderingsgruppens roll. Med hänseende till UR-programmet som exemplifierar tesen kommer inte alla momenten i utvärderingsprocessen att behandlas enskilt utan utvärderingsprocessen kommer behandlas mer generellt. Den nationella samordnaren ska på Regeringens uppdrag genomföra åtgärder utifrån den skolsituation som råder, vilken har utretts tidigare 2. Situationen med en svag måluppfyllelse för eleverna med funktionsnedsättningar påvisar att det finns behov av att åtgärder vidtas. I följande avsnitt kommer brukare och intressenter att diskuteras i relation till utvärdering samt utvärderaren eller utvärderingsgruppen. Brukarorientering Brukarnas inflytande över verksamheten bestäms av de ramar som ställs upp av politikerna. Dessa ramar påverkas i sin tur av de övergripande beslut som fattas av politikerna i det representativa systemet, riksdagen och fullmäktige. Det är således i relationen mellan förvaltningen och folket som brukarinflytandet formas (Dahlberg och Vedung, 2001:16-17). Fördelar med brukarutvärderingar är att andra perspektiv än de styrandes och beslutande politikerna tillåts komma fram och till tals samt bryta det tolkningsföreträde som experter har. Genom en involvering av brukare kan således problematiken kring trovärdigheten minskas 1 Definition hämtat från Dahlberg och Vedung, brukare 3 (2001). 2 Två statliga utredningar har genomförts, SOU 2011:30 och SOU 2012:24. 2

3 (Sandberg och Faugert, 2012:83). Att brukare får komma till tals är inte givet då de behov som den offentliga verksamheten ska fylla är bestämda av politiker som representerar folkviljan och av tjänstemän. För politikerna finns en avvägning som behöver göras mellan att lyssna till brukarutvärderingar och de utvärderingar som berör de politiska bestämda målen. Att brukare av den offentliga servicen skulle ha mer att säga till om än andra medborgare kan inte heller tas för givet (Dahlberg och Vedung, 2001:18,43). Dock kan brukarinflytandet antas vara ett komplement till den representativa demokratin genom närheten till verksamheten. I detta papper kommer tre av Dahlberg och Vedungs sex idealtypiska argument som motiverar brukarorientering, att lyftas fram. Det är legitimitets-, serviceanpassnings- och effektivitetsargumentet. Dessa tre argument har valts ut dels i relation till temat för pappret - utvärdering i politiken och politiken i utvärdering, dels i relation till papprets innehåll och tesen om representativ utvärdering. Legitimitetsargumentet bygger på att politikerna vill att den offentliga verksamheten ska vara förankrad hos medborgarna och uppnå legitimitet. Genom att låta brukarna som är mottagare av verksamheten eller servicen, vara delaktiga i utvärderingen åtnjuter verksamheten ökad acceptans och stöd. Legitimiteten för den offentliga verksamheten är beroende av fler led i policyprocessen. Dock används brukarutvärderingar av det offentliga i tron om att det genererar legitimitet. Denna legitimitet kan ses som smal, då berörs enbart den verksamhet som utvärderas medan en bred legitimitet innefattar en spillningseffekt till den offentliga välfärden och det politiska systemet (Dahlberg och Vedung, 2001:50). Serviceanpassningsargumentet menar att brukarutvärderingar leder till att den offentliga verksamheten anpassas efter behoven, önskemålen och kraven hos dem som är verksamhetens mottagare. Syftet med den offentliga verksamheten existens är att tillgodose brukarnas behov, således bör deras åsikter uppmärksammas och verksamheten anpassas efter dem. Serviceanpassningsargumentet knyter an till de medborgerliga sociala rättigheterna. Det offentliga har givit medborgarna rättigheter vilka de bör leva upp till. Dock kan brukarnas önskemål och krav inte ses som generella rättigheter. De sociala rättigheterna består av institutionaliserade och av politikerna lagstiftade behov. Med serviceanpassningsargumentet kan det hävdas att brukarutvärderingar hjälper till att förverkliga de sociala rättigheterna. Brukarinflytandet blir en direktpåverkan som ryms inom de ramar politikerna beslutat om vid sidan om den representativa demokratin (Dahlberg och Vedung, 2001:61-65). Effektivitetsargumentet bygger på att, om brukare inkluderas i utvärderingen och det tas hänsyn till deras önskemål kan onödig verksamhet inom organisationen plockas bort. Denna serviceorientering ger möjligheter till att öka måluppfyllelsen och effektivisera den produktiva verksamheten, även ekonomiskt (Dahlberg och Vedung, 2001:52-55). Argumenten 3

4 rörande legitimitet, serviceanpassning och effektivitet finns implicit med i UR-programmets debatt, dock mer i relation till att den nationella samordnaren själv inte är döv. Återkoppling till argumenten kommer ske under avsnittet om den representativa utvärderingen. Vid en brukarorienterad utvärdering kan det uppstå problematik när brukarna antas utgöra ett kollektiv. Det medför problem om representativitet, vem som ska företräda gruppen brukare och hur valet samt ansvarsutkrävande av denne ska gå till? Kan en brukarorganisation arrangera röstning om representanter som företräder de intressen som gruppen brukare har, minskar problematiken (Dahlberg och Vedung, 2001:33). Brukarorientering innefattar både brukarinflytande och brukarmedverkan som överlappar varandra, där inflytande kan uppnås genom medverkan och att medverkan kan leda till inflytande. (Dahlberg och Vedung, 2001:33-35). Brukarorientering kan inkluderas i en utvärdering med olika omfattning, allt från svag inkludering då brukare kommer in i utvärderingsprocessen, när utvärderingsteamet har beslutat om vilken del i en åtgärd som ska utvärderas, metodval och vilka utvärderingskriterier som ska användas. Vid en stark inkludering kan brukare komma in tidigare i processen och få delta i utformningen (Vedung, 2006:42). Intressenter Intressenter är en bredare grupp aktörer än själva brukarna som är mottagare av verksamhetens service. Intressenter är de aktörer som kommer i kontakt med verksamheten och har inflytande över eller berörs av den. Vid en utvärdering som genomförs enligt intressentmodellen är det intressenternas perspektiv och mål som utvärderaren utgår ifrån (Karlsson Vestman, 2011:104). Införandet av intressentutvärderingar kan ses som ett försök att demokratisera utvärderingsprocessen genom delaktighet, dialog och nå en konsensus kring genomförandet (Sandberg och Faugert, 2012:85). Att inkludera intressenter ökar möjligheten för att utvärderingens frågor behandlar det som för verksamheten är relevant och att intressenternas deltagande i verksamheten stärks. Det ökar trovärdigheten och användbarheten av utvärderingens resultat och förslag. Evert Vedung presenterar fem argument med vilka intressentmodellen kan motiveras. Som i brukaravsnittet ovan har således tre av de fem argumenten valts ut av samma anledningar, demokrati-, kunskaps- och samförståndsargumentet. Demokratiargumentet hänvisar till de participativa och deliberativa inslag som intressentmodellen har. Inom den representativa demokratin bör medborgarna ges möjlighet till att påverka de beslut och den verksamhet som de folkvalda representanterna är ansvariga för. Det deliberativa inslaget handlar om det meningsutbyte som öppnar upp för medborgare att uttrycka sina uppfattningar (Vedung, 2009:130). Det andra argumentet som 4

5 här lyfts fram är kunskapsargumentet. Det bygger på att det vore onödigt att den kunskap och de erfarenheter som de av verksamheten berörda besitter inte kommer utvärderaren till hands. Intressentmodellen skapar möjlighet för att fler frågor och aspekter kommer fram i diskussioner, vilket stärker utvärderingens resultat (Vedung, 2009:130). Det sista argumentet för intressentutvärdering är samförståndsargumentet. Genom diskussioner förväntas konsensus växa fram och skapa kompromisser som stärker den berörda verksamheten. Denna möjlighet att skapa enighet ses som särskilt viktig när förslag till framtida åtgärder ska tas fram. På så sätt kan samförståndsargumentet även antas bygga på legitimitet (Vedung, 2009:131f). Intressentutvärdering är som modell öppen och det är sällan utvärderaren har utformat förbestämda frågor. Modellen kan därmed ses som pluralistisk (Vedung, 2009: ). Dock väcks frågan om urvalet av deltagande intressenter. Vilka intressenter som inkluderas i utvärderingsprocessen och därmed får inflytande? Det är utvärderaren eller utvärderingsgruppens uppgift att identifiera och inkludera intressenter i utvärderingsprocessen, vilket kräver transparens. Utvärderaren eller utvärderingsgruppens roll är i detta avseende inte neutral utan rollen påverkas av dennes eller deras värderingar (Karlsson Vestman, 2011:135, 148; Sandberg och Faugert, 2012:85f; Karlsson, 1995:73). När utvärderaren ska hantera intressenternas olika intressen och relationen mellan dem kan problematiska maktproblem uppstå. Intressenterna har olika förutsättningar när det kommer till bland annat resurser, kunskaper och erfarenheter vilket påverkar deras förmåga till att delta. De intressenter som är organiserade får därmed möjlighet till att ha större inflytande över utvärderingen än svagare intressentgrupperingar. Att som utvärderare balansera de olika intressenternas perspektiv och önskemål kräver medvetenhet om de aktuella maktrelationerna. Att utvärderaren bör träda in och stärka de maktlösa eller svagare intressenterna för att göra maktstrukturen mer jämlik är ett verktyg för att hantera problematiken (Karlsson Vestman, 2011: ). Utvärderaren alternativt utvärderingsgruppens roll Utvärderaren eller utvärderingsgruppens roll är ofta osynlig men den bör också studeras i relation till övriga intressenter. Utvärderaren eller utvärderingsgruppen kan i sig ses som en intressent genom den makt och det ansvar som den eller dem besitter. Utvärderaren eller utvärderingsgruppen har därmed möjlighet att som övriga intressenter framföra eller påverka kriterier som utvärderingen ska ta ställning till (Karlsson, 1995:40). 5

6 Som direktiven för den nationella samordnaren lyder, ska förslag överlämnas till Specialpedagogiska skolmyndigheten för att kunna förbättra undervisningen. Det handlar om att utvärderaren ska överlämna rekommendationer i samband med utvärderingen (UR, 2013). Dessa bör förstås utifrån att de är baserade på värderingar. Att avge rekommendationer kräver enligt Karlsson Vestman kompetens utöver den utvärderingsexpertis som utvärderaren besitter. Om utvärderaren ska överlämna förslag om åtgärder bör utvärderaren således ha kompetens om det berörda verksamhetsområdet. Det krävs utöver det förståelse för den kontext och det sammanhang inom vilken verksamheten bedrivs (Karlsson Vestman, 2011:157). Rekommendationer och förslag om insatser eller åtgärder är gjorda utifrån ett perspektiv och har därmed en värdemässig grund. Vems perspektiv ska utvärderaren eller utvärderingsgruppen företräda? När det handlar om människors välfärd, i detta fall barn och ungas skolundervisning krävs överväganden som både är etiska, professionella och politiska i sin natur. Detta gör processen värdeladdad och det bör således finnas värderingskriterier som en utvärdering grundar sina omdömen emot, vilka också ska bestämmas av någon (Karlsson Vestman, 2011:51,60). Värderingskriterierna som används vid bedömningen av verksamheten som sker tidigare i utvärderingsprocessen kan dock inte utgöra kriterierna för rekommendationerna, eftersom de två momentens syften är olika (Karlsson Vestman, 2011:158). Karlsson Vestman presenterar en lista över värderingskriterier, där demokratiska värderingar delvis ställs gentemot subkulturella värderingar. Om utvärderaren väljer att utgå från demokratiska värderingar företräds allas lika värde och allmänintresset. Medan subkulturella värderingar tar utgångspunkt i den aktuella gruppen, vilka särintressen eller erfarenheter gruppen har i förhållande till den dominerande kulturen. Frågan som uppkommer är om utvärderaren ska vara kritisk som en självständig analytiker eller ställa sig på den berörda gruppens sida, som vid kulturella värderingar (Karlsson Vestman, 2011:56). Detta behöver inte förstås som en direkt motsats. I papprets exempel kan den teckenspråkiga gruppen antas vara en kulturell minoritet som genom fysiska handikapp marginaliseras i samhället. I programmet använder en av de döva paneldebattörerna själv uttrycket kulturell minoritet för att beteckna de teckenspråkiga (UR, 2013). Med utgångspunkt i demokratiska värderingar om alla människors lika värde, rättigheter och skyldigheter kan det kulturella minoriteten företrädas med de kulturella värderingarna för att demokratin ska realiseras. För att uppnå de demokratiska idealen eller i exemplet uppfyllelse av skolmålen bör den kulturella minoriteten 6

7 ges stöd för att i lika stor utsträckning som andra elever fostras som samhällsmedborgare och nå undervisningsmålen. Därav behöver de subkulturella och demokratiska värderingarna inte ses som motstridiga utan som komplement till varandra. Utvärderaren ställs således inför val om värderingskriterier, huruvida dessa kriterier ska bestämmas och utvärderarens roll i att prioritera. Med en preskriptiv, normativ ansats kan utvärderaren själv välja ut kriterier som anses lämpliga i relation till utvärderingsfrågorna eller verksamheters målprogram (Karlsson Vestman, 2011:58-59). Det som anses problematiskt med en normativ ansats är när utvärderaren säger sig företräda fattiga eller missgynnande grupperingar när den egna livssituationen är mer privilegierad. Det visar på en elitism där grupperingar får företrädare och representeras av personer som de inte har valt själva (Shadish, Cook och Levition, 1991:51). Med en deskriptiv, beskrivande ansats samlar utvärderaren in kriterier från intressenter, brukare eller beslutfattare. Kriterierna sammanvägs för att utvärderaren ska kunna vila utvärderingen på dessa, utvärderaren står därmed som värdeneutral och har använt andra aktörers kriterier (Karlsson Vestman, 2011:152). Diskussioner huruvida valet av utvärderare ska falla på en intern eller extern i relation till verksamheten belyser utvärderarens roll. Den sakkunnige och oberoende utvärderaren är idealtypen men engagemang för området eller verksamheten ses som en förutsättning för att kunna göra en klarsynt bedömning (Karlsson Vestman, 2011:68-69). Dock saknas i diskussionen rörande valet av utvärderare vilket även anknyter till värderingsansatser, utvärderaren eller utvärderingsgruppens representativitet avseende den grupp människor som utvärderingen berör. Med en representativ utvärdering kan trovärdighets- och legitimitetsproblem reduceras. Representativ byråkrati Den offentliga förvaltningen som arbetsgivare kan förstås som en möjlig resurs för inflytande och makt över de offentliga verksamheterna i och med verkställandet av de politiska besluten. Att arbeta inom den offentliga förvaltningen kan ge möjligheter till att vara delaktig i implementeringen av den politiska processen. Byråkratin kan förstås ha ett stort inflytande i det politiska systemet, men huruvida byråkratin är en politisk aktör fortsätter den normativa debatten kring. Den offentliga förvaltningens sociala representativitet kan förstås som förutsättningen för social harmoni och demokrati i samhället menade Donald Kingsley redan på 1940-talet (Tahvilzadeh, 2007: ). Förvaltningens sociala representativitet av samhälleliga grupperingar inom befolkningen speglar och har relevans för samhälleliga 7

8 maktrelationer. Teorin om representativ byråkrati påvisar just detta och att representativiteten i sig leder till att olika grupperingars värderingar och erfarenheter tillvaratas i förvaltningen och påverkar politikens utfall samt de verksamheter som det offentliga bedriver. De två premisserna som teorin bygger på är, dels att offentliga tjänstemän har ett handlingsutrymme i sitt arbete där de kan fatta beslut som påverkar den politiska processens utfall, dels att den grupptillhörighet som de själva tillhör har betydelse vid beslutsfattandet (Tahvilzadeh, 2011:17). Därav kan det antas viktigt att byråkraterna är representativa och avspeglar befolkningens sammansättning. Studier som gjorts har behandlat främst närvaron av kvinnor och minoritetsgrupper som resurs för verksamheten och som företrädare för dessa gruppers intressen. Det som studerats är då vilken nytta som representationen har gett och hur det har påverkat förvaltningen (Tahvilzadeh, 2007: ). Amerikanska studier visar på att en ökad representativitet av afro-amerikaner, minoritetsgrupper och kvinnor har haft positiva effekter för verksamheter och grupperna som företräds. Forskningsresultaten sammanlagt visar att offentliga byråkrater som företräder sociala grupper de själva tillhör eller identifierar sig med får konsekvenser för verksamhetens utfall på ett sätt som gynnar den företrädda gruppen (Tahvilzadeh, 2011:21-22). Frågan om representativitet och företrädarskap har därmed betydelse för samhällets demokratiska funktioner. Representativitet inom den offentliga förvaltningen är ur ett demokratiskt perspektiv viktigt för att samhällets befolkning ska vara representerat som resurser och som företrädare för intressen. Enbart det symboliska företrädarskapet som hämtats från Nazems Tahvilzadehs avhandling kommer att behandlas här, vilket i sig inte är en av de uttalade företrädarpraktikerna. Symboliskt företrädarskap innebär att minoritetsgrupper är representativa genom företrädarens utseende och förhållningssätt snarare än genom ett handlingsmönster. Att genom utseendet eller talet vara närvarande, kan negativa fördomar motverkas om den aktuella minoritetsgruppen. Dessutom kan företrädaren motivera personer med liknande bakgrund att studera vidare och söka sig till den offentliga sektorn som arbetsplats (Tahvilzadeh, 2011:216f). Detta symboliska företrädarskap kan förstås verka dels internt inom organisationen mot kollegor, dels externt gentemot samhället, medborgarna och framförallt minoritetsgruppen. Dock kan det inte tas för givet att en person intar ett företrädarskap för de intressen som den egna minoritetsgruppen har. Utan företrädarskapet måste förstås utifrån den offentligt anställdas intentioner och handlingsutrymme (Tahvilzadeh, 2011:253). Den offentliga förvaltningens handlingsutrymme i policyprocessen gör frågan om representativitet reell och viktig med avseende på demokratin (Tahvilzadeh, 2007:345). Den 8

9 offentliga förvaltningen styrs inte enbart av regler, politiska riktlinjer, kultur och normer utan påverkas av de anställdas värderingar och intressen. Därav är det av vikt för det representativa politiska systemet att förvaltningen speglar den befolkningssammansättning vi har i Sverige. Med en förståelse av förvaltningen som en politisk aktör, och om representativiteten är låg ger det anledning att ifrågasätta beslutsfattandet, i vem intressen och utifrån vilka värderingar som detta sker? Med en dominans av anställda tillhörande majoritetsgrupperna antas att deras intressen företräds och representeras oproportionerligt stort. En könsmässigt, socialt och etniskt representativ offentlig förvaltning ökar möjligheterna för att fler grupper i samhället får delta i den politiska processen och det skapar förutsättningar för ett socialt jämlikt samhälle (Tahvilzadeh, 2011:261ff). Representativ utvärdering Brukarorienterad- och intressentutvärdering tar hänsyn till de direkt berörda av verksamheten och de aktörer som finns och påverkas i dess närhet. Brukarorienterad utvärdering involverar i olika utsträckning mottagare av verksamhetens service eller tjänst. Intressenter identifieras av utvärderaren eller utvärderingsgruppen som sedermera har makt att bestämma över vilka intressenter som får möjlighet att vara delaktiga i utvärderingsprocessen. Dessa två utvärderingsformer ger var och en för sig, samt i kombination med andra utvärderingsmodeller en möjlighet för medborgarna att vara delaktiga inom ramarna för den representativa demokratin. Räcker brukarna och intressenternas delaktighet och inflytande för att utvärderingen ska anses vara representativ i en vidare politisk mening? De hörselskadade och döva unga som använder teckenspråk kan antas utgöra en grupp med hänsyn till de funktionsnedsättningar och gemensamma erfarenheter som gruppmedlemmarna delar. Kategorisering av olika grupper i samhället som tillskrivs gemensamma egenskaper bör göras med försiktighet. Dock kräver alla policys och politiska styrmedel en målgrupp med ett beteende som avsikten är att förändra. De politiska åtgärderna som vidtas för att lösa ett problem, vidtas för någon. Således behövs gränser dras upp mellan människor i samhällsgrupper för att nå rätt målgrupp. Att forma dessa grupperingar är i sig en politisk aktivitet där människor inkluderas alternativt exkluderas (Bacchi, 2009). När utvärderingar av sociala verksamhetsområden inom den offentliga sektorn ska genomföras, där en grupp mottagare är tydlig, såsom de döva och hörselskadade eleverna bör då gruppen representeras i ledningen för utvärderingen? Utvärderaren eller utvärderingsgruppen kan i utvärderingsprocessen förstås utgöra ledningen eller förvaltningen där beslutsmakten och 9

10 handlingsutrymmet finns. Detta blir framförallt tydligt när rekommendationer om åtgärder ska överlämnas till uppdragsgivarna. Såsom de unga i UR-programmet resonerar kan en hörande person inte sätta sig in i de behov som döva eller hörselskadade har. Detta för att personen i fråga saknar erfarenheter av att inte höra i livets alla olika situationer. Att utredaren själv inte kan teckenspråk kan antas vara ytterligare en försvårande omständighet. Om utredarna hade varit två stycken, varav den ena var döv hade denna problematik minskat. Nu väcks istället frågor om legitimitetsproblem som kan anas uppstå med valet av den nationella samordnaren. I synnerhet när statssekreteraren menar att valet av den nationella samordnaren föll på en person som kan lyssna på berörda (UR, 2013), dock kan ju denne inte teckenspråk och kan därmed inte direkt kommunicera eller lyssna till de berörda utan är i behov av en tolk. Den nationella samordnaren kan därmed inte anses var representativ för de människor som rekommendationerna ska gälla. Den utvärdering som sker inom den offentliga sektorn är i sig en del av den politiska processen och således skulle en representativ utvärderare eller utvärderingsgrupp kunna motiveras utifrån liknande premisser som den representativa byråkratin. Dock bör utvärderingar av sociala områden här förstås som att de främst handlar om frågor med en avgränsning och inte hela generella verksamhetsområden. Den tes om representativ utvärdering som drivs här berör utvärderingsmålgruppen snarare än befolkningssammansättningen, även om de nödvändigtvis inte behöver utesluta varandra. Med en representativ utvärderare eller utvärderingsgrupp skulle en del av problematiken rörande preskriptiva värderingskriterier och elitism minska. Detta då gruppens erfarenheter och intresse finns representerade i utvärderingens ledning. Denna representativitet i ledningen kan i sin tur även motverka den problematik rörande intressenters maktrelationer som utvärderaren eller utvärderingsgruppen ställs inför avseende hanteringen av de svagare grupperna. Som en kulturell minoritet är de döva och hörselskadades ställning i samhället svagare men med en representant i utvärderingsledningen kan deras position stärkas. Med hänseende till den position som utvärderaren eller utvärderingsgruppen besitter avseende makt och inflytande över utvärderingen kan en inkludering av brukare och, eller intressenter anses otillräcklig. De argumenten som presenterades under avsnitten brukare och intressenter kan anses vara relevanta även i relation till en representativ utvärdering. Legitimitets-, serviceanpassningsoch effektivitetsargumentet lyftes fram i relation till brukarorienterad utvärdering samt 10

11 demokrati-, kunskaps- och samförståndsargumentet motiverade intressenternas roll i utvärdering. Om en representant från den berörda gruppen är delaktig i utvärderingens ledning kan det ge ökad acceptans och legitimitet för utvärderingens resultat och förslag. Det kan således stärka tilltron till utvärderingsmomentet inom det politiska systemet genom den förstärkta förankringen. Med en representant från den samhällsgrupp som utvärderas kan serviceanpassningen implementeras i utvärderingsprocessen, då representanten har egna erfarenheter och förståelse inför de behov, intressen och förhållanden som gruppen har samt står inför. Med en representant i utvärderingens ledning minskar risken för en presentation av åtgärdsförslag som inte har förankring i gruppens vardag. Det i sin tur effektiviserar processen genom att skala av de onödiga grenarna av verksamheten, som effektivitetsargumentet säger. Om den service och de tjänster som önskas av de berörda sätts in, kommer verksamheten uppfylla sitt syfte genom tillfredställelse av medborgarnas behov och verka kostnadseffektivt genom att hushålla med skattemedlen. Utifrån demokratiargumentet kan det argumenteras för att de som specifikt berörs ska få vara delaktiga och att meningsutbytet kan stärkas om det finns en likasinnad med i utvärderingsledningen. Detta med hänseende till det symboliska företrädarskapet. Kunskapsargumentet kan i synnerhet motivera en representativ utvärdering, att det vore slöseri om de resurser avseende kompetens som finns, inte används i utvärderingens ledning. Den kunskap och de erfarenheter som företrädaren besitter kan användas på ett tidigt plan i utvärderingsprocessen och belysa de områden eller faktorer som är av största vikt. Samförståndsargumentet kan i det här sammanhanget användas för att ett samförstånd ska komma tillstånd mellan utvärderaren eller utvärderingsgruppen och den aktuella gruppen som är utvärderingens målgrupp. Med en ökad förståelse för gruppens behov och livssituation bland utvärderingsgruppen kan utvärderingens innehåll främja att en konsensus nås och att gruppen, i det här fallet döva och hörselskadade får sina rättigheter tillgodosedda. Diskussion Tesen om den representativa utvärderingen har drivits med hjälp av UR-programmet om unga döva och hörselskadade som har fått exemplifiera ett fall där en representativ utvärdering är möjlig. Utvärdering handlar om att värdera en verksamhet, en organisation eller ett politiskt styrmedel. Denna värdering genomförs av en utvärderare eller en utvärderingsgrupp vars roll har problematiserats med hjälp av teorin om den representativa byråkratin. Värderingskriterierna som används i en utvärdering kan förstås som att lägga puzzel där politiker, förvaltningen, brukare och intressenter ska känna igen sig. Valet av 11

12 värderingskriterier har diskuterats i relation till utvärderaren eller utvärderingsgruppens roll. Vems värderingskriterier som ska väljas och därmed få stå för perspektivet i utvärderingen. Den representativa utvärderingen är i sig inte oproblematisk utan det finns flera potentiella problem som kan uppstå. Ett av dessa problem är att politikerna inte får de utvärderingsresultat som önskas. Då en representant med en grund kompetens som bygger på erfarenheter är delaktig finns möjligheter till att de åtgärdsförslag som presenteras inte faller politikerna i smaken. Detta kan bero på ideologiska aspekter som synen på staten, samhället och individen eller att förslagen anses vara kostnadsmässigt dyra i relation till förmodade resultat. Att politikerna inte får de utvärderingsresultat de önskar, kan för respektive parti medföra politiskt försvårande omständigheter. Å andra sidan kan det fungera stärkande för demokratin och medborgarnas rätt till inflytande över den offentliga välfärden. En annan viktig aspekt i sammanhanget som bör uppmärksammas vilket kan bli ett eventuellt problem, är att välja en representant för den aktuella gruppen. Hur kan en representativ företrädare för gruppen hittas? På vilka grunder bör en representant väljas? Detta är en problematik som är viktig att hantera för att utvärderingen i sig ska kunna kalla sig representativ och vara legitim. I Sverige finns intresseorganisationer, ideella föreningar och ett folkligt föreningsengagemang sedan en lång tid tillbaka. Det finns riksorganisationer som tillvaratar och driver sina medlemmars intressen. Att i dessa miljöer hitta en representant för den aktuella gruppen som står inför utvärdering är ett alternativ, som kan få stöd bland medborgarna och politikerna. I inledningen ställdes tre frågor för att belysa det här konferenspapprets innehåll. Svaren på dessa frågor finns implicit i detta diskussionsavsnitt. Utvärderingar som rör sociala områden inom den offentliga sektorn bör överväga att den grupp som står under utredning representeras i utvärderingens ledning. Den representativa utvärderingen ändrar uppfattning om den enskilde utredaren, då representativiteten i de flesta fall kommer kräva en professionell utvärderare och en företrädare för gruppen. Således kommer ytterligare en person behöva avlönas vilket kostar medborgarna skattemedel, men denna person kan öka legitimiteten för de förslag eller resultat som utvärderingsgruppen presenterar och i sin tur den politiska processen. Utvärderingens innehåll kan därmed tänkas vara mer anpassad för användning. Därav kan det anses vara eftersträvansvärt att arbeta för att utvärderingsgrupper ska innehålla en representativ företrädare för den aktuella gruppen som ska utvärderas. 12

13 Referenser Bacchi, Carol L Analysing policy: What is the policy problem represented to be? Frenchs Forest: Pearson Dahlberg, Magnus och Vedung, Evert Demokrati och brukarutvärdering. Lund: Studentlitteratur Karlsson, Ove Att utvärdera - mot vad? Om kriterieproblemet vid intressentutvärdering. Stockholm: HLS Förlag Karlsson Vestman, Ove Utvärderandets konst. Att granska FoU-miljöer inom välfärd. Lund: Studentlitteratur Sandberg, Bo och Faugert, Sven Perspektiv på utvärdering. Lund: Studentlitteratur Shadish, WR, Cook, TD & Leviton, LC Part I Introduction, i Shadish, Cook & Leviton: Foundations of Program Evaluation. Theories of Practice. Thousand Oaks: Sage Tahvilzadeh, Nazem Representativ byråkrati. Förutsättningar för etnisk mångfald i kommunal förvaltning. I Siverbo, Sven mfl, red,: Demokratisk och effektiv styrning. En antologi om forskning i offentlig förvaltning. Lund: Studentlitteratur Tahvilzadeh, Nazem Representativ byråkrati. En studie om ledande kommunala minoritetsadministratörers företrädarskap. Förvaltningshögskolan, Göteborgs Universitet. UR, Utbildningsradion Inte samma chans. Programledare Kattis Ahlström. Vedung, Evert Evaluation Research i Shaw, IF mfl red, The Sage Handbook of Evaluation. London: Sage Vedung, Evert Utvärdering i politik och förvaltning. Tredje upplagan. Lund: Studentlitteratur 13