Utvärdering av Interregprojektet Välfärdsteknologiska testlabbar (VälTel) Delrapport 2: Analysfasen

Utvärdering av Interregprojektet Välfärdsteknologiska testlabbar (VälTel) Delrapport 2: Analysfasen 1

Utvärdering av Interreg-projektet VälTel delrapport 2 Till Region Jämtland Härjedalen 2019-05-29 Kontaktperson Stefanie Lange Scherbenske Malin Hellström E-post stefanie.scherbenske@oxfordresearch.se malin.hellstrom@oxfordresearch.se Telefonnummer Stefanie: +46 738 748 538 Malin: +46 727 32 89 74 Om Oxford Research Knowledge for a better society Oxford Research är specialister på analyser, utvärderingar och strategier med fokus på välfärds-, näringslivs- och regional utveckling. Oxford Research genomför skräddarsydda analyser, resultat-, process-, och effektutvärderingar för departement, myndigheter, stiftelser samt privata och civila organisationer. Vi ger också råd om strategiutveckling, faciliterar utvecklingsprocesser och förmedlar våra resultat genom föreläsningar och seminarier. Vi kombinerar akademisk forskning, strategisk förståelse och god kommunikation på det sättet skapar vi ett användarorienterat resultat som kan göra skillnad. Oxford Research grundades 1995 och har verksamhet i Danmark, Norge, Sverige och Finland. Oxford Research är en del av Oxford Group. 2 Oxford Research AB Norrlandsgatan 11 103 93, Stockholm Sverige (+46) 08 24 07 00 office@oxfordresearch.se www.oxfordresearch.se

Innehåll 1. Inledning: Oxford Researchs utvärdering 4 1.1 Förberedelsefas 5 1.2 Analysfas 5 2. Sammanställning av preliminära resultat 5 2.1 Enkät 6 2.2 Fallstudier 11 3. Nästa steg och tidsplan 14 3.1 Uppföljande intervjuer 14 3.2 Sammanfattande analys 14 3.3 Valideringsworkshop och slutrapport 15 Bilagor 16 3

1. Inledning: Oxford Researchs utvärdering Oxford Research har fått i uppdrag av Region Jämtland-Härjedalen att utvärdera Interregprojektet VälTel (Välfärdsteknologiska testlabbar). Projektet VälTel startades den 1 augusti 2016 och pågår till och med december 2019. Region Jämtland-Härjedalen är projektägare och driver projektet tillsammans med det norska hälsoföretaget Helse Nord-Trøndelag HF (som i sin tur anlitar kompetens- och projektledarstöd av forskningsinstitutet Trøndelag Forskning og Utvikling, TFoU). Projektet har som mål att skapa en interregional plattform för företag, kommuner, regioner och landsting i Mittnorden för att testa och utveckla innovativa lösningar till problem inom vård och omsorg. Oxford Researchs utvärdering av VälTel löper mellan september 2018 och december 2019 och anammar två perspektiv. Den är dels bakåtblickande, sett till VälTels aktiviteter och genomförande, dels framåtblickande om projektets förbättringsområden och potential för fortsatt verksamhet efter projektslut. Utvärderingen använder sig huvudsakligen av kvalitativa metoder för datainsamling, såsom skrivbordstudier, intervjuer, workshops och fallstudier, och kommer att undersöka både specifika resultat relaterade till projektets och programmets målsättningar, samt undersöka eventuella mervärden. Utvärderingen är indelad i tre faser: 1) förberedelsefas, 2) analysfas och 3) utvärderingsfas (se figur 1 och bilaga 1 för detaljerad tidsplan). Resultat avrapporteras efter varje fas och sammanfattas sedan gemensamt i en slutrapport. Den här rapporten utgör den andra delrapporten och beskriver analysfasen. Rapporten är deskriptiv och presenterar vad vi har gjort under denna fas samt preliminära resultat från enkätundersökningen och fallstudierna. Figur 1: Utvärderingens tre faser 4

1.1 FÖRBEREDELSEFAS Förberedelsefasen inleddes med skrivbordsstudier i september 2018. Den 2 oktober 2018 genomfördes ett uppstartsmöte för utvärderingen i Östersund tillsammans med projektägarna och huvudprojektledaren. Under förberedelserna inför mötet genomförde vi en skrivbordsundersökning och skapade oss en bild av bakgrunden för projektet, dess genomförande, aktiviteter och mål. På plats i Östersund den 2 oktober genomfördes även åtta utforskande intervjuer med projekt- och delprojektledare (se full lista i bilaga 2). Dessa intervjuer gav oss underlag för att vidareutveckla förståelsen för projektet och dess bakgrund, resultat och mål. Intervjuerna har vi använt som underlag för projektförståelsen som vi redogör för i den här rapporten. Oxford Research deltog vid ett styr- och referensgruppsmötet i Åre den 16 till 17 januari 2019. I anslutning till mötet anordnade vi tre workshops: en om projektets logik, en om hållbarhetsaspekter och en om VälTels framtid. Vi redogör för resultat och reflektioner från dessa workshops i kapitel 3. Förberedelsefasen avrapporterades i delrapport 1 i februari 2019. 1.2 ANALYSFAS Analysfasen handlade om att samla in data kring aktiviteterna inom projektet. Dessutom belystes själva projektprocessen i form av huruvida den har uppfyllt projektets och deltagande aktörers behov och önskemål. Deltagande aktörer i de olika testlabben och testbäddarna har varit av särskilt intresse för resultatanalysen. För att inhämta generella uppfattningar och resultat från dessa skickades en enkät till samtliga deltagande aktörer i testlabbarna med frågor som rör hur de upplevt projektprocessen, på vilket sätt projektet har svarat till deras behov, vilka deras huvudsakliga intressen är för att delta, vilka resultat projektet har lett till för dem. Information om enkäten hade även publiceras på hemsidan. För att förstå processen inom testbäddarna och komplettera enkät- och intervjusvaren med mera detaljer, genomfördes tre fallstudier. Tillsammans med uppdragsgivaren valdes tre testbäddar för vidare analys utifrån hur långt de hade kommit fram i implementeringen, testlabbstillhörighet, samarbete mellan Norge och Sverige samt tillgång till material. Arbetet med fallstudierna innebar dokumentstudier och intervjuer med involverade aktörer. 2. Sammanställning av preliminära resultat I kapitel 2 sammanställer vi preliminära resultat från enkäten och fallstudierna som genomfördes i analysfasen. 5

2.1 ENKÄT Deltagande aktörer i de olika testlabben och testbäddarna är av särskilt intresse för resultatanalysen. För att inhämta generella uppfattningar och resultat från dessa skickades en enkät i början av mars till deltagare i VälTel, dvs. till personer: (1) som jobbar inom organisationer och företag som medfinansierar VälTel, (2) som arbetar inom verksamheter som har kommit överens om en idéskiss med VälTel och (3) inom företag som är involverade i tester och där VälTel tecknat avtal med företaget för testperioden. Frågorna i enkäten rörde hur de upplevt projektprocessen, på vilket sätt projektet har svarat till deras behov, vilka deras huvudsakliga intressen är för att aktivt delta (eller inte), vilka resultat projektet har lett till för dem, eller varför man inte har deltagit. Enkäten gjordes tillgänglig på svenska och norska. Nio frågor och fem följdfrågor, för de som aktiv deltagit i en testbädd, ställdes angående VälTel projektets aktiviteter och mål, respondenternas behov samt testbäddens process och resultat. Enkäten skickades till totalt 204 mejladresser både i Sverige och i Norge. 84 deltagare svarade vilket ger en svarsfrekvens på 41%. Svarsfrekvensen bland svenska respondenter var högre (58%) jämfört med norska respondenter (26%). Majoriteten av de som svarade på enkäten var representanter från kommuner (se figur 2). 64% hade deltagit aktivt i testbäddarna och fick därmed svara på följdfrågorna. Nedan sammanställs enkätsvaren. Observera att den här kapitel innefattar ingen analys av svaren. Detta kommer att göras i slutrapporten. Figur 2: Fördelning av respondenterna Respondenterna deltar aktivt i styr- och referensgrupp för VälTel och/eller i en av testlabbarna enligt figur 3. De flesta av de som kryssat i annat skrev att de inte vet vilken testlabb deras arbete tillhör Några få specificerade några vet ej/okänt eller att de inte delta aktivt eller att de deltagit i konferenser, seminarier och workshops som anordnades av VälTel. 6

Figur 3: Jag deltar aktivt i (flera svar var möjliga) (n=63) Figur 4 visar svaren på uttalandet om att man känner sig väl informerad angående flera komponenter av VälTel. Här fick vi en mycket splittrad bild med lätt lutning åt att respondenterna känner sig informerade. Ett antal respondenter svarade inte alls och åt det hållet (1-4). Det är flera representanter från olika kommuner som inte känner sig väl informerad om framförallt VälTel s resultat och testmöjligheten som erbjuds. Några få från företag och då framförallt de som inte deltar aktivt känner sig oinformerade. Angående VälTel s resultat, testmöjligheten och aktiviteter känner sig ett fåtal representanter från region/landsting inte särskilt väl informerad. Figur 4: Jag känner mig väl informerad (n=75) Figur 5 ger en bild över vilka utmaningar och behov respondenterna har när det kommer till välfärd och tekniska lösningar inom ramen för VälTel varav att få möjlighet för att jobba med dessa frågor och eventuella lösningar var den mest frekvent angivna utmaningen/behovet. 7

Figur 5: Vilka utmaningar/behov har du/din organisation när det kommer till välfärd och teknologiska lösningar? (flera svar var möjliga) (n=68) I vilken utsträckning VälTels projektaktiviteter möter respondenternas utmaningar/behov visas i figur 6. Testbäddarna och konferenser/seminarier spelar en stor roll i detta sammanhang. Men även styroch referensgruppsmöten möter deltagarnas behov. Detta kommer vi att analysera vidare. Figur 6: I vilken utsträckning möter VälTels projektaktiviteter dina/din organisations utmaningar/behov? 54 av 84 respondenter har deltagit aktivt i testbäddarna och fick därmed följande frågor. På frågan om varför organisationen ville vara med i en testbädd svarade 37 av 41 respondenter att de helst ville få möjlighet att testa idéer/lösningar (se figur 7). Sedan finns det en hel rad andra anledningar inom ramen för VälTel varför man valde att vara med. Bara 10% av respondenterna var med för att jobba mer med hållbarhetsaspekterna. Bland de som kryssade annat var det en person som skrev att syftet aldrig hade förmedlats från beslutsfattare i respektive kommun. 8

Figur 7: Varför var du/din organisation med? Jag/vi ville: (flera svar möjliga) (n=41) Figur 8 visar i vilken utsträckning arbetet inom testbäddarna motsvarar behoven som deltagarna har. Behoven av att få möjlighet till att testa idéer och lösningar, till erfarenhetsutbyte och att skapa samarbete med företag möts i stor utsträckning inom testbäddarna. Huruvida och varför en relativ stor andel av respondenter svarade vet ej/ej relevant får vi undersöka vidare liksom det relativ låga intresse för att skapa kontakt med regioner (för att kontakten redan finns?) samt angående gränsöverskridande samarbete och hållbarhetsaspekterna. Figur 8: I vilken utsträckning mötte/möter testbädden dina/din organisations behov? (n=41) 9

En sammanställning på svaren angående vilka aktörer man har fått samarbeta med och vilka aktörer man hade velat samarbeta med men inte fanns med i testbädden ges i figur 9 respektive figur 10. Testbädden gav en bra möjlighet att samarbeta med företag för de flesta respondenter (31 av 40) men även med kommun och region i Sverige (20 respektive 12 av 40). Samarbeten med deltagande patienter och personal nämndes som annat. Ett betydligt mindre antal deltagare (27) svarade på frågan om vilka aktörer man hade velat samarbeta med vilket kan tolkas som att respondenterna varit nöjda med samarbeten inom testbädden. Däremot hade 14 respektive 9 av 27 velad samarbeta med kommuner respektive region i Sverige, 8 respektive 6 av 27 med kommuner respektive region i Norge och 7 av 27 med företag. Dessutom hade var tredje respondent (9 av 27) gärna skapat samarbeta med patientorganisation inom testbädden. Figur 9: Vilka aktörer har du fått samarbeta med i testbäddens arbete? (flera svar möjliga) (n=40) Figur 10: Med vilka aktörer hade du velat samarbeta med men som inte fanns med? (flera svar möjliga) (n=27) Avslutningsvis ställdes frågor angående vad respondenterna hade fått ut av samarbetet i testbädden och vad VälTel kommer att ge dem på lång sikt. Nedan presenteras ett urval av svaren: Mervärdet av samarbetet: Bättre förståelse för hur man gemensamt kan arbeta fram en produkt som ser till verksamhetens behov, 10

Möjlighet att testa att tekniska lösningar fungerar i "verkligheten", Stöd med professionell facilitering vid uppstart av pilot och test, en kontext att verka ifrån, Möjlighet till test av uppskalning av tjänst, Erfarenhetsutbyte, tätt samarbete mellan kommunerna, samarbete med företag, Erfarenheter att arbeta med Interreg projekt, Bredare nätverk på både svenska och norska sidan. Långsiktighet: VälTel kommer på sikt att betyda mycket för det nya tänket inom vård och omsorg. Tekniska lösningar kommer att säkerställa vårdkvalitet samt underlätta den mänskliga kontakten mot våra vårdtagare, Bättre koll på upphandlingsprocesser, Tycker att funktionen som VälTel har haft/har fortfarande på något vis borde permanentas eftersom jag tror att det ofta leder till ett effektivare och smidigare arbetssätt, Vi får på ett tydligare sett se vilket behov som finns from nu och framöver, vad kommunen måste satsa på för att arbeta effektivt, tryggt och säkert, En bredare syn på både möjligheter och svårigheter att införa nya tjänster/produkter inom kommuner och landsting, Nätverk och bättre kunskaper om tekniska lösningar och möjligheter till gränsöverskridande partnerskap. I analysarbetet för slutrapporten kommer vi att utvärdera och diskutera svaren och använda all insamlade data för att besvara utvärderingens frågeställningar. 2.2 FALLSTUDIER Tillsammans med uppdragsgivaren valdes tre testbäddar ut som fallstudier: Hemmonitorering, Natttillsyn och Skillaid. Syftet med fallstudierna var att studera testbäddsprocessen mer detaljerat och fånga framgångar, utmaningar och mervärdet av dessa samarbetsprojekt. Hemmonitorering är en testbädd som genomförs inom testlabb 1: Decentraliserade hälsorum och mobila hälsolösningar, Nattillsyn tillhör testlabb 2: Säkerhet och trygghet i hemmet och Skillaid genomförs inom testlab 1. Ingen testbädd under testlabb 3 ingick i fallstudierna. För varje fallstudie studerades tillgänglig material såsom idéskiss och slutrapport och genomfördes 17 intervjuer (se bilaga 2 för intervjuguiden och bilaga 3 för respondenter) via telefon med involverade aktörer som representerar verksamheten, leverantör och VälTel projektet. En kort sammanfattning av preliminära resultat från varje fallstudie presenteras i de följande kapitlen. Detaljerat material angående framgångar, utmaningar och mervärdet kommer att ingå i analysen och redovisas i slutrapporten. 11

SAMMANFATTNING HEMMONITORERING En unik testmöjlighet Hemmonitorering är en testbädd som involverade Region Jämtland Härjedalen (primärvård), ImagineCare företaget och VälTel projektet med syfte att testa en ny vårdmodell för kroniskt sjuka patienter med distansoberoende kommunikation. VälTel projektet, genom projekt- och delprojektledare, bidrog med stöd, kunskap, kontakt till bl.a. företag och finansiering av arbetskostnader och utrustning. Testbädden lyckades att aktivt involvera patienter som brukare som fick använda och testa den nya vårdmodellen. Möjligheten som testbädden gav av att få testa nya arbetssätt tillsammans med anslutna patienter beskrevs som unik av alla som har varit involverade i testbädden. Stödet från VälTel beskrevs som kritisk framgångsfaktor framförallt för att skapa kontakten mellan primärvården och företag i början men också för att skapa stabilitet i genomförandet genom regelbundna möten under testbäddens gång. Engagerat och lyhört samarbete Testbäddens genomförande upplevdes som strukturerat, effektivt och professionellt. Stort och brett engagemanget bland individer på verksamhetens och VälTels samt ett lyhört företag gjorde att testbäddens implementering fungerade smidigt. Involverade aktörerna beskrivs som mycket engagerad och rätt personer på rätt plats vilket ledde till ett professionellt samarbete präglad av kontinuerlig avstämning och lyhördhet från alla sidor. Brister i informationsflödet Kommunikationen mellan de involverade aktörerna fungerade bra. Däremot upplevdes kommunikation mellan testbäddarna och information om vad som pågår i de andra testbäddarna som bristfällig då man hade velat hitta synergier och undvika överlappningar. Även information om vad som händer i regionen och utanför saknades ur samma anledning. Det kom fram att VälTel projektets mål med att ha många tester på gång har inte alltid speglat behovet för sådana tester. Tekniska utmaningar Utmaningar uppstod inom tillgänglighet till nödvändig teknisk utrustning, internetteckning i hela området som är en förutsättning samt juridiken kring person- och patientuppgifter. Inget samarbete med norska sidan Testbädden genomfördes på svenska sida, kontakt med norska partners hade inte tagits då det inte har setts som nödvändig för själva genomförandet av pilotprojektet. Testbädden fokuserade från början på Sverige och involverade enbart svenska partner. Det nämndes dock i flera intervjuer att ett samarbete med norska partner är en intressant tanke som ska tas vidare i fortsättningen. Långsiktighet Testbädden har haft effekter på att motverka vissa fördomar inom sjukvården angående egenvård och kunde visa att många patienter vill och kan ta ett större ansvar. Däremot finns flera juridiska frågor kvar, t.ex. att definiera centrala begrepp som person- och patientuppgift och vem som äger det. Andra effekter har varit lärande kring projektgenomförande och samarbete med företag. Största utmaning är dock att överföra pilotprojektet till den ordinära verksamheten och bevara det som har byggts upp 12

inom testbädden även efter VälTel projektets slut. Ett steg i denna riktning har redan tagits genom att pilotprojektet har blivit förlängt och utökats med fler diagnoser och tester av nya modeller. SAMMANFATTNING SKILLAID Värdefulla kontaktnät som byggts upp Testbädden med Dynamisk Helses app SkillAid har varit mycket uppskattad bland deltagarna. Många delar av testbädden upplevdes ha genomförts på ett bra sätt och resultatet ansågs på det stora hela vara bra. Den största framgången deltagarna upplevt i testbädden var samverkan mellan leverantören, kommunerna och VälTel. De nya kontaktnät som byggts upp under projekttiden ses som otroligt värdefullt och kommer vara till nytta i framtida samarbeten. Det gränsöverskridande samarbetet mellan Sverige och Norge upplevdes också som intressant och givande av deltagarna. Flera uttryckte att de inte trodde att ett liknande samarbete hade kunnat genomföras utan en samordnande aktör som VälTel. I termer av mervärde trycker deltagarna på möjligheten att knyta kontakter mellan kommuner, regioner och företag vilket skapar nya ingångar för framtida samarbeten. Mervärdet av att arbeta gränsöverskridande Dessutom ger den gränsöverskridande aspekten mervärde i form av erfarenhetsutbyte och, för leverantören, produktutveckling. Särskilt för kommunerna ger testbäddar även möjligheter för dem att utveckla sin digitala mognad. Strukturella utmaningar Den största utmaningen som deltagarna stött på under projektets gång har sagts av deltagarna bero på interna strukturproblem inom kommunerna. Kort uppstartsträcka och bitvis fallerande kommunikation mellan kommun och verksamhet orsakade utmaningar i att få upp användandet av SkillAid ute i verksamheterna. SAMMANFATTNING NATTILLSYN Testbäddarna har inneburit små nätverk i sig Det främsta mervärdet som testbäddsdeltagarna beskriver med VälTel är att projektet har inneburit en plattform för nätverkande man har mött aktörer man förmodligen inte skulle ha mött annars. Detta gäller framför allt vad gäller det gränsöverskridande samarbetet mellan Sverige och Norge. Samtliga respondenter har sagt att de inte tror att en liknande test hade genomförts inom en snar framtid eller överhuvudtaget utan VälTel. Utan detta har möjliggjorts genom att VälTel på ett proaktivt sätt har kopplat samman relevanta aktörer och sått frön till projekt. VälTel självt ser också det här behovet av att ha en aktör som kan agera medlare mellan den som producerar en produkt och den som är tänkt att använda den. Särskilt de deltagande företagen är mycket tacksamma för plattformen och hoppas på att testerna kommer leda till att de kommer kunna skala upp. Mervärdet av att ha ett utsatt mål om gränsöverskridande samarbete från start En annan bidragande faktor till att man har lyckats med det gränsöverskridande samarbetet sägs vara att VälTel/Interreg har det som projektmål. Detta innebär att VälTel måste initiera projekt som bidrar 13

till sådan typ av samverkan. Enligt VälTel självt har det varit en pådrivande faktor (utöver att BALT sängvakt är en tillgänglig och enkel produkt) till att man drog igång den svenska testbädden baserat på den norska. Det här målet gör att VälTel sticker ut vid sidan av och kompletterar andra innovationsprogram som också agerar som medlare (t ex Vinnova eller Innovation Norway). Resultatstyrd verksamhet snarare än behovsstyrd? En konsekvens av ovanstående punkt är dock att det då finns en risk för att verksamheten blir mer resultatstyrd än behovsstyrd. Preliminära resultat från den norska testbädden visar på att produkten som testades i testbädden inte är särskilt behövd för just den berörda verksamheten, och den kommer förmodligen inte att användas framgent i verksamheten. Detta var något som verksamheten även kände i början av testbädden, men att man ändå ville vara med i testbädden för att delta i produktutveckling. Samtidigt menar den svenska sidan på att en produkt likt BALT sängvakt är behövd och efterlängtad, vilket tyder på att detta varierar mellan typ av aktör. Detta visar på vikten av att utreda relevansen för samtliga aktörer innan man genomför en testbädd. Brist på lärandeperspektiv Något som påpekades av vissa testbäddsdeltagare var bristen på ett lärandeperspektiv, vilket upplevdes som olyckligt. Detta eftersom det då finns en risk för att testbädden bara blir ett projekt bland alla andra och att den inte bidrar till något långsiktigt. Bristen på lärandeperspektivet troddes bero på tidspress och inga tydliga, standardiserade processer för hur lärandet ska ske. Lösningen på detta sades finnas i att utveckla standardiserade processer för uppföljning och utvärdering av testbäddar. Detta är något som sades behövdes vara på plats innan en testbädd sätter igång. 3. Nästa steg och tidsplan Vår utvärdering kommer nu att gå in i utvärderingsfasen (se bilaga 1) som handlar om att analysera projektet och utvärderar insamlade data och besvara utvärderingsfrågorna. I utvärderingsfasen ingår nedan arbetsmoment. 3.1 UPPFÖLJANDE INTERVJUER Uppföljande intervjuer kommer att genomföras med olika aktörer för att komplettera datainsamlingen. Detta kommer att ge oss ett brett perspektiv av uppfattningar från aktörer med olika intressen och deltagande i projektet. 3.2 SAMMANFATTANDE ANALYS Den största delen av det analytiska arbetet sker i detta avslutande steg där vi knyter samman lärdomar och slutsatser samt formulerar rekommendationer i en slutrapport som utgår från utvärderingens frågeställningar (se tabell 1). Vi kommer att använda insamlade data och evidens för att analysera, bedöma 14

och besvara de frågorna. Analysen kommer att ske genom en triangulering av både intervjuresultat, dokumentstudier och observationer. 3.3 VALIDERINGSWORKSHOP OCH SLUTRAPPORT Preliminära resultaten kommer sedan att valideras under en online-valideringsworkshop tillsammans med uppdragsgivaren och VälTels projektledning. Syftet med workshopen är att presentera och diskutera våra resultat och slutsatser för att sedan låta dessa mynna ut i en slutrapport med rekommendationer. Målet är att slutprodukten dels kommer att kunna hjälpa VälTels fortsatta projekttid, dels bidra med insikter och perspektiv för framtida projekt som vill använda sig av VälTels metodologi. 15

Bilagor Bilaga 1: Reviderad tidsplan Uppstart Förberedelsefas Analysfas Utvärderingsfas Avrapportering Arbetsmoment 2018-2019 sept okt nov dec jan feb mars april maj juni juli aug sept okt nov dec Uppstartsmöte Inläsning Verifiering av genomförandet Skrivbordsstudie Faställande av insatslogiker Utforskande intervjuer (8-10) Analys och sammanställning av resultat Rapportering/avstämning (16/17 jan Åre) Kvalitetssäkring Enkät (förberedelsena & genomförandet) Uppföljande intervjuer (8-12) Fallstudier inkl. dokumentstudie & intervjuer Skrivbordsstudie Analys och sammanställning av resultat Rapportering/avstämning Kvalitetssäkring Sammanfattande analys Valideringsworkshop Rapportering/avstämning Kvalitetssäkring Kompletterande workshop (16/17 jan Åre) Rapportering/avstämning Presentation Kvalitetssäkring Slutrapport 16

Bilaga 2: Enkätfrågor Enkät: Uppfattningar om VälTel Du har fått den här enkäten eftersom du har en koppling till Interregprojektet Välfärdsteknologiska testlabbar VälTel (http://valtel.eu/). Enkäten är en del av Oxford Researchs utvärdering av VälTel där vi undersöker projektets genomförande och resultat. Vid frågor kring enkäten, vänligen kontakta Stefanie Lange Scherbenske, Oxford Research stefanie.scherbenske@oxfordresearch.se Vid frågor kring VälTel projektet, vänligen kontaktar Marie Norlén, Region Jämtland Härjedalen marie.norlen@regionjh.se Svaren behandlas konfidentiellt. I slutet finns det dock möjlighet att lämna kontaktuppgifter för eventuell uppföljande intervju. 1. Jag representerar: (Specificera gärna) (1) Kommun (2) Region eller landsting (3) Företag (4) Annat: (5) Vill ej uppge 0

2. Jag känner mig välinformerad (1=inte alls, 10=är helt införstådd) 10 1 (Inte alls) 2 3 4 5 6 7 8 9 (Helt införstådd Vet ej ) Om VälTel projektets upplägg och involverade partners. (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) Om VälTel projektets mål. (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) Om VälTel projektets resultat. (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) Om testmöjligheterna (så kallade testbäddar) som erbjuds genom (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) projektet. (11) (11) (11) Om VälTel projektets aktiviteter (t.ex. seminarier). (1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (11) 3. Jag vet att VälTel projektet erbjuder företagare en väg in till kommunernas vård och omsorg och regionerna/landstingens hälso- och sjukvård i Mittnorden. (1) 1 (Inte alls) (2) 2 (3) 3 (4) 4 (5) 5 1

(6) 6 (7) 7 (8) 8 (9) 9 (10) 10 (Helt införstådd) (11) Vet ej 4. Jag deltar aktivt i: (Möjligt att välja flera svarsalternativ) (1) Styrgrupp (2) Referensgrupp (3) Testbädd genom testlabb 1 (4) Testbädd genom testlabb 2 (5) Testbädd genom testlabb 3 (6) Annat: 5. Vilka utmaningar/behov har du/din organisation när det kommer till välfärd och teknologiska lösningar? (Möjligt att välja flera svarsalternativ) (1) Att skapa kontakt med kommunernas vård och omsorg (2) Att skapa kontakt med regionernas hälso- och sjukvård (3) Att skapa samarbete med företag i branschen (4) Att få möjlighet för erfarenhetsutbyte och diskussioner (5) Att få möjlighet att testa idéer/lösningar (6) Att skapa gränsöverskridande samarbete med partners i Norge (7) Att skapa gränsöverskridande samarbete med partners i Sverige (8) Att jobba med hållbarhetsaspekterna (miljö, jämställdhet och icke-diskriminering) (9) Annat: 2

6. I vilken utsträckning möter VälTels projektaktiviteter dina/din organisations utmaningar/behov? 1 (mycket liten utsträckning) 2 (liten ut- sträck- ning) 3 (varken stor eller liten utsträckning) 4 (stor ut- sträck- ning) 5 (mycket stor utsträckning) Vet ej Styrgruppsmöten (1) (2) (3) (4) (5) (6) Referensgruppsmöten (1) (2) (3) (4) (5) (6) Testbäddar (1) (2) (3) (4) (5) (6) Konferenser/seminarier (1) (2) (3) (4) (5) (6) Annat: (1) (2) (3) (4) (5) (6) 7. Har du/din organisation aktivt deltagit/deltar i en testbädd? (1) Ja (2) Nej 7.1. Varför var du/din organisation med? Jag/vi ville: (Möjligt att välja flera svarsalternativ) (1) Skapa kontakt med kommunernas vård och omsorg (2) Skapa kontakt med regionerna/landstingets hälso- och sjukvård (3) Skapa samarbete med företag i branschen (4) Få möjlighet för erfarenhetsutbyte och diskussioner (5) Få möjlighet att testa idéer/lösningar (6) Skapa gränsöverskridande samarbete med partners i Norge 3

(7) Skapa gränsöverskridande samarbete med partners i Sverige (8) Jobba med hållbarhetsaspekterna (miljö, jämställdhet och icke-diskriminering) (9) Annat: 7.2 I vilken utsträckning mötte/möter testbädden dina/din organisations behov? 1 3 (varken 5 (mycket liten utsträck- 2 (liten stor eller 4 (stor utsträckning) liten utsträck- utsträckning) (mycket stor utsträck- Vet ej Ej relevant ning) ning) ning) a. Skapa kontakt med kommunernas vård och omsorg (1) (2) (3) (4) (5) (6) (7) b. Skapa kontakt med regionerna/landstingens hälso- och (1) (2) (3) (4) (5) (6) (7) sjukvård c. Skapa samarbete med företag i branschen (1) (2) (3) (4) (5) (6) (7) d. Få möjlighet för erfarenhetsutbyte och diskussioner (1) (2) (3) (4) (5) (6) (7) e. Få möjlighet att testa idéer/lösningar (1) (2) (3) (4) (5) (6) (7) f. Skapa gränsöverskridande samarbete med partners i Norge (1) (2) (3) (4) (5) (6) (7) 4

1 3 (varken 5 (mycket liten utsträck- 2 (liten stor eller 4 (stor utsträckning) liten utsträck- utsträckning) (mycket stor utsträck- Vet ej Ej relevant ning) ning) ning) g. Skapa gränsöverskridande (1) (2) (3) (4) (5) (6) (7) samarbete med partners i Sverige h. Jobba med hållbarhetsaspekterna (miljö, jämställdhet (1) (2) (3) (4) (5) (6) (7) och icke-diskriminering) Annat: (1) (2) (3) (4) (5) (6) (7) 7.3. Vilka aktörer har du fått samarbeta med i testbäddens arbete? (Möjligt att välja flera svarsalternativ) (1) Företag (2) Kommun i Sverige (3) Kommun i Norge (4) Region/landsting i Sverige (5) Region/landsting i Norge (6) Patientorganisationer (9) Annat: 7.4. Med vilka aktörer hade du velat samarbeta men som inte fanns med? (Möjligt att välja flera svarsalternativ) (1) Företag 5

(2) Kommun i Sverige (3) Kommun i Norge (4) Region/landsting i Sverige (5) Region/landsting i Norge (6) Patientorganisationer (9) Annat: 7.5. Vad fick du/din organisation ut av samarbetet i testbädden? 8. Vad kommer VälTel att ge dig/din organisation på lång sikt? (Specificera gärna) 9. Någonting annat du vill ta upp i detta sammanhang? 6

Vi skulle gärna vilja genomföra uppföljande intervjuer med några som har svarat på enkäten för att kunna samla in mer detaljerade data för utvärderingen. Kan du tänka dig att ställa upp för en sådan intervju? Om ja, skriv gärna din mejladress här: Vänligen tryck Avsluta för att skicka in dina svar. Tack så mycket för din tid! Vid frågor kring enkäten, vänligen kontaktar Stefanie Lange Scherbenske, Oxford Research stefanie.scherbenske@oxfordresearch.se Vid frågor kring VälTel projektet, vänligen kontaktar Marie Norlén, Region Jämtland Härjedalen marie.norlen@regionjh.se 7

Bilaga 3: Intervjuguide för intervjuer inom fallstudierna Introduktion Börja med att introducera studien kort. Vill du börja med att berätta lite kort om dig själv? Vad har din roll varit inom den här testbädden? Bakgrund Innan bädden (relevans) Från när i processen för testbädden har du varit med? Hur kommer det sig att du kom med? Om respondenten varit med från start: hur började det hela? Hur fick du reda på att VälTel fanns? När och hur gick ansökningsprocessen till? Vem skrev ansökan? Hur gick det? Under bädden (genomförande, effektivitet) Resultat Hur gick genomförandet till? Vem ledde processen? Hur många möten ägde rum? Vem deltog på mötena? Vilka aktörer var viktigast i processen för dig? Saknade du någon? Vad fick ni för stöd från VälTel? Var det tillräckligt? Hur genomfördes samarbetet mellan Sverige-Norge? Vad fick testbädden för resultat? Vad kommer att hända med produkten i framtiden? Framgångar och utmaningar Vad gick bra under genomförandet? Vad gick mindre bra? Vad hade kunnat gå bättre? Mervärde 8

Hur väl fungerade väl fungerade samarbetet mellan Sverige-Norge? Var det relevant? Vad hade du gjort om VälTel inte hade funnits? Hade ni kunnat genomföra det här utan VälTel? Annat Finns det något du vill lägga till? 9

Bilaga 4: Respondenter för intervjuer inom fallstudierna Aktör Intervju genomfördes Hemmonitorering Verksamhetsutvecklare, primärvårdschef och enhetschef på regionen samt distriktsköterska (SE) 6, 13, 21, 29 mars 2019 Leverantör (SE) 15 mars 2019 Delprojektledarna Testlabb 1 & företag (SE) 20 mars 2019 Skillaid Kommunansvariga mm. i Åre, Strömsund och Östersund (SE) 13 & 20 mars 2019 Leverantör (NO) 15 mars 2019 Projektledare VälTel (SE) 19 mars 2019 Nattillsyn Verksamhet (NO) 19 mars 2019 Leverantörer (SE & NO) 14 & 25 mars 2019 VälTel projekt- och delprojektledare 12 mars 2019 10

Bilaga 5: Utvärderingens frågeställningar Övergripande utvärderingsfråga Relevans Är VälTels inriktning och aktiviteter relevanta för målgruppen? Specifika utvärderingsfrågor Ändamålsenlighet effekter och resultat Hur och i vilken utsträckning har VälTel som projekt och testlabbarna/-bäddarna som projektaktiviteter bidragit till projektens och insatsområdenas mål? Hur har deltagande aktörer upplevt nätverkets arbete? Vilket intresse finns det från aktörer att delta? Hur har VälTels arbete varit stärkande för företag, regioner och brukare? Finns det skillnader på behov och möjligheter mellan regioner och företag? Har nätverkets stöd korresponderat till projektens behov? Vilken/vilka insatslogiker har VälTel och testlabbarna utgått ifrån och vilka insatser har genomförts? Vilka aktörer har varit involverade i arbetet? I vilken utsträckning deltar näringslivet vs. regioner/kommuner och på vilket sätt? Vilka resultat och effekter har uppnåtts? På vilket sätt har deltagande aktörer fått stöd av nätverket? Vilken nytta har de deltagande aktörerna haft av nätverkets aktiviteter? Vad ledde nätverkets resultat till? Stämmer resultat och effekter överens med insatslogikerna? Hur relaterar de enskilda projektens resultat till VälTels mål och programmets mål? Metod och datakällor Enkät Uppföljande intervjuer Fallstudier Skrivbordsstudier Utforskande intervjuer Valideringsworkshop 11

Effektivitet i genomförandet Vad har VälTel genererat för resultat/effekter? Hur har testbäddarna fungerat och vad har de genererat för resultat och effekter? Samstämmighet Hur och i vilken utsträckning har VälTel bidragit till programmets mål och de relevanta nationella/regionala strategier? Hur har genomförandeprocessen gått till? Hur har resultaten kommunicerats och diskuterats i testlabbarna? Hur har kommunikationen inom VälTels olika delar sett ut? Vilka system finns för dokumentation och rapportering? Hur har samarbetet sett ut mellan deltagande aktörer? Vilka förutsättningar har projektet att utvecklas vidare? På vilket sätt arbetar man med att integrera jämställdhet, hållbarhet och mångfald i nätverket och i specifika projekt? Vad finns det för eventuella problem med att arbeta på olika sätt med horisontella kriterier? Hur kan VälTel arbeta vidare med att integrera horisontella mål i sitt arbete? Skrivbordsstudier Enkät Fördjupande intervjuer Fallstudier Valideringsworkshop Skrivbordsstudier Enkät Workshop Mervärde Har VälTel skapat ett gränsöverskridande mervärde? Hur har aktörerna jobbat över gränserna? Har detta kunnat vara möjlig utan VälTels innovationsplattform? Hur och i vilken utsträckning har VälTel genom projektaktiviteterna främjat gränsöverskridande samarbete? Hur kan det gränsöverskridande samarbetet stärkas? Utforskande intervjuer Uppföljande intervjuer Fallstudier Valideringsworkshop 12

DANMARK NORGE SVERIGE FINLAND BRUXELLES LATVIJA Oxford Research A/S Falkoner Allé 20 2000 Frederiksberg Danmark Tel: (+45) 3369 1369 office@oxfordresearch.dk Oxford Research AS Østre Strandgate 1 4610 Kristiansand Norge Tel: (+47) 4000 5793 post@oxford.no Oxford Research AB Norrlandsgatan 11 103 93 Stockholm Sverige Tel: (+46) 08 240 700 office@oxfordresearch.se Oxford Research Oy Fredrikinkatu 61a 00100 Helsinki Finnland www.oxfordresearch.fi 13 office@oxfordresearch.fi Oxford Research C/o ENSR 5. Rue Archiméde Box 4, 1000 Brussels www.oxfordresearch.eu office@oxfordresearch.eu Baltijas Konsultācijas, SIA Vīlandes iela 6-1 LV-1010, Rīga, Latvija Tel.: (+371) 67338804 info@balticconsulting.com www.balticconsulting.com