Brukarundersökning Nationell brukarundersökning inom IFO-området ARBETE OCH VÄLFÄRD Utvecklingsenheten April 4, 6 Författare: Mats Karlsson, utredare
Sammanfattning Arbete och välfärd har sedan på olika sätt genomfört brukarundersökningar inom olika verksamheter och deltar sedan 4 i det nationella initiativ som tagits av SKL/RKA att genomföra nationella brukarundersökningar inom IFO-området. Även om vi i Växjö kommun har jämförelsevis lång erfarenhet av att genomföra brukarundersökningar och på detta sätt införskaffat oss en viss kompetens på området, så finns det anledning att fråga sig om värdet av undersökningar i denna form. Vi vet mycket lite om hur undersökningarna tas emot och används i verksamheten och hur det påverkar politikens inriktning, d.v.s. vilka slutsatser man drar av undersökningarnas resultat. Vi vet att våra medborgare tenderar att bli alltmer ovilliga att svara på enkäter i olika former, vilket gör att det över tid blir allt svårare att få en acceptabel svarsfrekvens. Enkätundersökningar kan vara en bra metod, men mångfalden av mer eller mindre värdefulla undersökningar, riskerar att underminera möjligheten att i verkligt viktiga frågor använda metoden. Växjö kommun har i de undersökningar som genomförts under 3- inom IFO-området, haft ganska likalydande resultat, ca 7-8 procent av de som svarat är mycket eller ganska nöjda och en större andel än de som är missnöjda har ingen eller vet inte vad man ska svara. Resultatet av den första nationella brukarundersökningen inom IFO-området, som genomfördes är inte imponerande och bedömningen är att resultatet inte går att använda för jämförelser kommuner emellan. Att bara redovisa andelar av svar, utan att veta hur många svaranden det omfattar, skapar ingen hög tilltro till undersökningen. Det är också ett alltför litet deltagande från kommunernas sida, som inte heller täcker in alla olika verksamhetsområden inom IFO. Växjö kommun kan inte heller jämföra sig med andra likvärdiga kommuner i landet, eftersom dessa inte medverkat.
Innehåll Sammanfattning... Bakgrund... 3 Nationell brukarundersökning... 4 Enkätfrågor... 4 Genomförande... Lokalt resultat... 6 Nationellt resultat... 3 Analys... 4 ()
Bakgrund Arbete och Välfärd har sedan genomfört brukarundersökningar inom olika verksamhetsområden inom förvaltningen. Denna rapport är inte en total redovisning av tidigare och pågående brukarundersökningar, utan avser utfallet av den första nationella brukarundersökningen inom IFO-området, som genomfördes. Nämnden för arbete och välfärd har uttalat ambitionen att delta och medverka i den nationella brukarundersökningen inom IFO-området, som initierats via SKL (Sveriges kommuner och landsting), i samarbete med RKA (Rådet för främjandet av kommunala analyser), som är en ideell förening bestående av staten och SKL. Det är RKA som förvaltar Kolada (kommun och landstingsdatabasen) och som samlar in uppgifter bl.a. för Öppna jämförelser och också har medverkat i arbetet kring den nationella brukarundersökningen. I november 4 genomfördes en första nationell pilotundersökning under fyra veckor (v. 4-48), med deltagande av ett 3-tal kommuner i landet, bl.a. Växjö kommun. I Växjö deltog samtliga avdelningar inom IFO-området (avd. EBS, BF och MV). Totalt deltog olika enheter inom myndighetsutövningen. Det var totalt brukare som svarade på den pappersenkät som delades ut i samband med besök och sedan kunde avlämnas i en insamlingsbox i den gemensamma receptionen. Enkäten fanns upptryckt på tre språk, svenska, arabiska och engelska. Bortfallet (de som getts möjlighet att svara genom att tilldelats en enkät vid besök, men sedan inte lämnat detta i insamlingsboxen) var största inom avd. BF och avd. MV 7-77 %. Avd. EBS hade den högsta svarsfrekvensen på 77, %. En workshop genomfördes i april för att dra erfarenheter av pilotundersökningen avseende förberedelser, metod och bortfall, enkätfrågor m.m. och som skulle kunna ligga till grund för den första nationella brukarundersökningen inom IFO. I oktober månad (v. 4-44) genomfördes den första nationella brukarundersökningen inom IFO-området. 3 ()
Nationell brukarundersökning Enkätfrågor Enkätfrågorna i : års nationella brukarundersökning bygger i huvudsak på de frågor som tidigare ställdes i 4: års pilotundersökning. Dessvärre uppstod en förväxling vid upptryckningen av våra lokala enkäter, varvid en fråga föll bort (från den nationella undersökningen) och en egen fråga tillkom (som vi ställde kring e-tjänster vid pilotundersökningen 4). Av nedan framkommer skillnaderna: Nationella enkäten Är du kvinna eller man? Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? Frågar socialsekreteraren efter dina synpunkter på hur din situation skulle kunna förändras? Hur stor förståelse visar socialsekreteraren för din situation? Hur mycket har du kunnat påverka vilken typ av hjälp du får av socialtjänsten i kommunen? Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? (Denna fråga fanns ej med nationellt) Vår lokala enkät Är du kvinna eller man? Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? (Denna fråga föll bort) Hur stor förståelse upplever du att socialsekreteraren visar för din situation? Hur mycket har du kunnat påverka vilken typ av hjälp du har fått av socialtjänsten i kommunen? Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? Vilka av följande elektroniska tjänster skulle du använda i kontakten med din socialsekreterare om det fanns möjlighet? (Svarsalternativ; e-ansökan, sms, kommunikation via e-mail, kan ej bedöma) 4 ()
Naturligtvis var det olyckligt att en av de nationella frågorna föll bort vid upptryckningen av enkäterna och att felet uppmärksammades först när undersökningen pågått en tid. Eftersom förväxlingen gjordes med den tidigare pilotundersökningen och där frågorna ändå var likalydande, kunde skadan reduceras och vi kunde inrapportera våra resultat (utom en fråga). I de svarsalternativ som gavs till frågorna fanns en 4-gradig skala, t.ex. mycket lätt, ganska lätt, ganska svårt och mycket svårt, dessutom gavs möjlighet att svara vet inte/inte relevant/ingen. För de enkäter som delades ut vid avd. BF fanns två olika enkäter, men med samma frågor, riktade till: Vårdnadshavare Barn/ungdomar från 3 år Genomförande I den lokala undersökningen deltog samtliga avdelningar inom IFO; avd. EBS (4 enheter), avd. BF (4 enheter) och avd. MV (3 enheter), enligt följande: EBS BF Mottagningsenheten Ungdomsenheten Arbetsenheten Rehabenheten Stöd- och utredningsenheten, barn, väster (ej Araby familjecenter) Stöd- och utredningsenheten, barn, öster (ej Höjden) Stöd- och utredningsenheten, ungdom, väster (ej Lumos) Stöd- och utredningsenheten, ungdom, öster MV Utredning och behandling; - 3 Utredning och behandling; + 3 Utredning och behandling; + Antalet medverkande enheter var alltså lika många och i huvudsak de samma som vid pilotundersökningen 4. Totalt omfattade dessa enheter 9 socialsekreterare, som fick ett antal numrerade enkäter och instruktioner om hur dessa skulle delas ut och återsamlas. Det fanns också möjlighet att översätta enkäten på sex olika språk (arabiska, dari, engelska, finska, pashto och somaliska), genom att socialsekreteraren tryckte ut en översättning på skrivare. ()
När undersökningen inleddes fanns instruktioner och enkäter paketerade för utdelning till socialsekreterarna via sina enhetschefer. När undersökningen avslutades hade enhetscheferna uppgift att samla in resterande/överblivna enkäter och redovisa in dem. Enkäter insamlades - gånger per vecka från insamlingsbox och under undersökningen återfördes resultat löpande till socialsekreterare och enhetschefer via mail. Eftersom vi efter 4 veckor inte fått in tillräckligt antal från ungdomar (minimum 3 svarande) via avd. BF, förlängdes undersökningen vid dessa enheter under vecka. Lokalt resultat Total inkom 36 svar från samtliga avdelningar inom IFO, fördelade enligt följande: Avd. EBS 3 Avd. MV 64 Avd. BF 9 (varav 98 från vårdnadshavare och 3 från ungdomar 3 år >) I Brukarundersökning har vi det högsta antalet svarande under perioden 3-. Svarsfrekvensen (som vi beräknat den) varierar mellan 7-9 %. Det kan dock finnas anledning att göra vissa reservationer kring detta och hur vi beräknar bortfall. Eftersom våra enkäter har löpnummer, räknar vi bortfall utifrån vad som delats ut av enkäter och hur många som sedan hamnat i insamlingslådan. Vi stämmer av detta mot återlämnade (ej utdelade) enkäter. Det finns ett bortfall som vi inte beaktar, t.ex. aktuella klienter som ej varit på besök under perioden, att handläggare missat eller valt att inte dela ut enkäter till alla besökande. Det interna bortfallet (att brukar valt att inte svara på vissa frågor) redovisas i resultatet i kolumn:. Vi har också kunnat notera att av de 9 socialsekreterare som erhållit enkäter, så är det totalt 7 socialsekreterare som ej förmåtts att lämna ut någon enkät överhuvudtaget. Det kan säkert finnas olika förklaringar till detta, t.ex. att man varit ledig eller under perioden av annan anledning ej träffat någon brukare. Det kan naturligtvis också vara så att man inte känner sig bekväm med att medverka och därför avstått. 6 ()
Avdelning EBS Totalt var det 3 brukare på avdelning som svarade på enkäten. Svarsfrekvens var 7,% och bortfallet 4,%. Är du kvinna eller man? 7 6 4 3 8 64 Kvinna Man Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? 7 6 6 44 4 3 9 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inter/inte relevant 7 3 7 ()
Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? 8 7 7 6 4 4 3 9 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/ingen Hur stor förståelse upplever du att socialsekreteraren visar för din situation? 6 4 4 3 7 Mycket stor Ganska stor Ganska liten Ingen alls Vet inte/ingen 8 ()
Hur mycket har du kunnat påverka vilken typ av hjälp du har fått av socialtjänsten i kommunen? 6 4 3 3 3 4 Mycket Ganska mycket Ganska lite Ingenting Jag har inte fått någon hjälp Vet inte/ingen Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? 4 4 3 3 43 36 4 9 ()
Vilka av följande elektroniska tjänster skulle du använda i kontakten med din socialsekreterare om det fanns möjligheter? (Obs: Flera alternativ kan anges) 4 44 4 3 3 33 8 4 E-ansökan Sms Kommunikation via e-mail Kan inte bedöma/ingen ()
Avdelning MV Totalt var det 64 brukare på avdelningen som svarade på enkäten. Svarsfrekvens var 79,4 % och bortfallet,6 %. Är du kvinna eller man? 4 47 4 3 3 7 Kvinna Man Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? 3 33 3 3 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/inte relevant ()
Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? 4 37 3 3 4 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/ingen Hur stor förståelse upplever du att socialsekreteraren visar för din situation? 4 4 4 3 3 Mycket stor Ganska stor Ganska liten Ingen alls Vet inte/ingen ()
Hur mycket har du kunnat påverka vilken typ av hjälp du har fått av socialtjänsten i kommunen? 3 3 3 7 Mycket Ganska mycket 3 Ganska lite Ingenting Jag har inte fått någon hjälp Vet inte/ingen Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? 4 3 3 34 3 3 ()
Vilka av följande elektroniska tjänster skulle du använda i kontakten med din socialsekreterare om det fanns möjligheter? (Obs: Flera alternativ kan anges) 4 3 36 3 8 6 3 E-ansökan Sms Kommunikation via e-mail Kan inte bedöma/ingen 4 ()
Avdelning BF - vårdnadshavare Totalt var det 98 brukare (vårdnadshavare) på avdelningen som svarade på enkäten. Svarsfrekvens vad gäller vårdnadshavarna - var 9,7 % och bortfallet 9,3 %. Är du kvinna eller man? 7 6 8 4 37 3 Kvinna Man 3 Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? 4 3 3 34 37 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/inte relevant ()
Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? 7 6 6 4 3 33 3 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/ingen Ejsvarat Hur stor förståelse upplever du att socialsekreteraren visar för din situation? 6 4 34 3 7 Mycket stor Ganska stor Ganska liten Ingen alls Vet inte/ingen 4 6 ()
Hur mycket har du kunnat påverka vilken typ av hjälp du har fått av socialtjänsten i kommunen? 4 3 37 3 4 Mycket Ganska mycket 9 Ganska lite Ingenting Jag har inte fått någon hjälp Vet inte/ingen Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? 3 3 8 33 3 7 ()
Vilka av följande elektroniska tjänster skulle du använda i kontakten med din socialsekreterare om det fanns möjligheter? (Obs: Flera alternativ kan anges) 4 44 4 3 3 7 6 E-ansökan Sms Kommunikation via e-mail Kan inte bedöma/ingen 8 ()
Avdelning BF - ungdomar Totalt var det 3 brukare (ungdomar) på avdelningen som svarade på enkäten. Svarsfrekvens vad gäller ungdomarna - var 8,6 % och bortfallet 8,4 %. Är du kvinna eller man? Kvinna Man Hur lätt eller svårt är det att få kontakt med socialsekreteraren till exempel via telefon, sms eller e-post? 4 8 6 4 3 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/inte relevant 9 ()
Hur lätt eller svårt är det att förstå informationen du får av socialsekreteraren? 6 4 8 6 4 Mycket lätt Ganska lätt Ganska svårt Mycket svårt Vet inte/ingen 3 Ejsvarat Hur stor förståelse upplever du att socialsekreteraren visar för din situation? 8 7 6 4 8 6 4 7 Mycket stor Ganska stor Ganska liten Ingen alls Vet inte/ingen 4 ()
Hur mycket har du kunnat påverka vilken typ av hjälp du har fått av socialtjänsten i kommunen? 9 9 8 7 7 6 4 3 Mycket Ganska mycket Ganska lite Ingenting Jag har inte fått någon hjälp Vet inte/ingen Hur har din situation förändrats sedan du fick kontakt med socialtjänsten i kommunen? 9 8 7 6 4 3 9 9 3 8 ()
Vilka av följande elektroniska tjänster skulle du använda i kontakten med din socialsekreterare om det fanns möjligheter? (Obs: Flera alternativ kan anges) 8 7 6 4 9 8 6 4 4 E-ansökan Sms Kommunikation via e-mail Kan inte bedöma/ingen ()
Nationellt resultat Inför : års första nationella brukarundersökning inom IFO-området, var det ett 8-tal kommuner (av totalt 9) som anmält sitt intresse. Av dessa var det totalt 6 kommuner som genomförde någon form av undersökning och redovisade in resultat via särskilt inmatningsverktyg, som tillhandahållits av SKL och RKA/Kolada. Bland våra jämförelsekommuner var det bara Halmstad som deltog. Förutom bakgrundsvariabeln kön (kvinna/man) önskade man få inrapporterat andel av de som svarat (mycket lätt/ganska lätt, mycket stor/ganska stor osv.) d.v.s. de mer positiva resultaten på en fyrgradig skala. Den 3 mars redovisades resultatet via mail, där man slagit ihop de inrapporterade två svarsalternativen till en (de positiva/något positiva) samt redovisat detta efter kön (kvinna/man) samt totalt. Av medföljande mail framkom att det funnits betydande svårigheter i både genomförandet och inrapporteringen av resultaten. En stor variation av antal svarpersoner och eftersom man valt att redovisa andelar, så vet vi överhuvudtaget inget om antal svarande personer i respektive kommuner eller totalt. En stor variation i vilka verksamheter som deltagit, i vissa kommuner (t.ex. Växjö) har samtliga verksamheter deltagit, medan andra kommuner kanske endast deltagit inom - verksamhetsområden. Stora problem när det gäller själva inrapporteringen p.g.a. felsummeringar, att svar saknas kring vissa frågor (t.ex. Växjö). De som använde sig av det särskilda webb-verktyg som tillhandahölls av SKL, kunde ej själva ta ut resultatet för sin kommun och kom därmed att gå miste om sitt egna material. Den 8 mars 6 genomfördes en särskild workshop arrangerad av SKL kring det arbete som genomförts kring den nationella brukarundersökningen. Det framkom då med större tydlighet att resultatet av den nationella brukarundersökningen inte var tillförlitligt och överhuvudtaget inte är användbart som en jämförelse kommuner emellan. Deltagandet är alldeles för begränsat, liksom de verksamhetsområden som deltagit och osäkerheten kring hur många som överhuvudtaget medverkat i undersökningen från respektive kommuner.
Det framkom med stor tydlighet att det finns uppenbara metodproblem, som t.ex. inrapportering, beräkning av svarsfrekvenser och bortfall. Inte desto mindre har man genom Kolada valt att lägga ut totalresultat kring t.ex. frågeställningen: Förbättrad situation efter kontakt med socialtjänsten, andel (%). Med kännedom om de uppenbara problem som redovisats och de felkällor som finns i materialet, är det högst anmärkningsvärt att man ändå väljer att publicera materialet. Det saknas också finansiering (centralt), till skillnad från äldreomsorgen, där man har haft 4 miljoner kronor till förfogande för liknande undersökningar. Inte desto mindre avser man att även 6 genomföra en ny nationell brukarundersökning inom IFO-området. Analys Växjö kommun har genom åren skaffat sig en viss erfarenhet av att genomföra brukarundersökningar, enligt traditionell metod i form av pappersenkäter. Genom detta äger vi själva materialet, kan gå tillbaka till det och på egen hand genomföra våra analyser. Övning ger färdighet. Årets genomförande visar att man inte kan ta något för givet, utan att man även måste kontrollera hur enkäterna trycks upp, så att inga fel uppstår, vilket det gjorde den här gången. Vi har genom åren funnit former och metoder, som gör att vi ändå har fått jämförelsevis högt antal svarande och ett brett deltagande inom IFO. Svagheten är hur vi beräknar och analyserar eventuellt bortfall och om vi verkligen fångar in alla typer av brukare. Det finns naturligtvis frågor som vi måste ställa oss själva när vi genomför denna typ av brukarundersökningar. Har de något värde för verksamheten? Vad gör vi med resultaten? Är de tillförlitliga, t.ex. svarsfrekvens, bortfall m.m.? Frågar vi rätt saker? Hur får vi brukarna att medverka i utformandet av frågor? Ser man till resultaten, så visar de oftast att brukarna är nöjda till mellan 7-9 procent. Vad säger detta oss? Är det bra eller dåligt? 4 ()
Den nationella brukarundersökningen som genomförts, kan ej anses vara nationell, i den bemärkelsen att den på något sätt skulle avspegla brukarnas uppfattning i landet kring IFO-verksamheten. Det är därför ytterst tveksamt om man överhuvudtaget kan redovisa någon form av resultat i t.ex. Kolda, eftersom resultatet har så stora brister. Av landets 9 kommuner, är det endast 6 kommuner ( %) som överhuvudtaget deltagit och ännu färre som kunnat leverera in heltäckande resultat. Undertecknad bedömer att det finns så allvarliga brister i den nationella brukarundersökning som genomförts, att det inte går att använda resultatet för t.ex. jämförelser. Att genomföra enkätundersökningar av denna typ är resurskrävande, de största kostnaderna bedöms ändå ligga lokalt ute i kommunerna, eftersom det är där undersökningarna genomförs, vilket kräver medverkan av ett stort antal medarbetare och någon form av samordning. Undertecknad, som själv samordnat arbetet kring de senaste årens brukarundersökningar inom IFO, bedömer att tidsåtgången för förberedelser, genomförande, insamling och sammanställning av resultat samt inrapportering till SKL/RKA motsvarar ca 4- timmars arbete, utsträckt under en period av lite drygt, månad. Till detta ska läggas det arbete som läggs ner av de handläggare som har att motivera brukarnas deltagande i undersökningen och svara för distribution av enkäten. Att man centralt, via SKL/RKA, uppger sig sakna finansiering för denna typ av undersökning, till skillnad från äldreomsorgen som har ca 4 miljoner kronor till förfogande, tyder på att undersökningen inte har de materiella resurser som kanske krävs och som också återspeglat sig i genomförande och resultat. ()