Kvantitativ metod En uppvärmning Timo Hursti, IP Mål för kvantitativ forskning Vi försöker fastställa kunskap om mätbara fenomen (variabler) på olika nivåer 1. Beskriva variabler 2. Påvisa samband 3. Påvisa orsakssamband 1 2 Orsakssamband i experiment Manipulation av en oberoende variabel leder till en förändring hos beroende variabeln Experimentell kontroll: konstanthålla andra potentiella orsaksvariabler Ett sant experiment Kontroll av OBV, möjlighet att manipulera den Slumpmässig fördelning av fpp till OBV:s olika betingelser (= randomiserade grupper) Kontroll av övriga felkällor OBV BV Vid kvasi-experiment något sämre kontroll pga avsaknad randomisering 3 4 Att skapa en design Studiegrupper 1. Definition av OBVs betingelser och därmed grupperna som ska delta i datainsamlingen 2. Val av tidpunkter för datainsamling Experiment el behandlingsgrupp (E) Tar del av interventionen vars effekt vi är intresserade av Kontrollgrupp (K) Jämförelsegruppen som ska helst vara så lik E som möjligt men ska inte ta del av den aktuella interventionen 5 6 1
Hur får man fram en riktig kontrollgrupp? Genom Randomisering (R) Slumpmässig fördelning till E och K är det bästa sättet att uppnå jämförbara grupper och därmed utesluta många alternativa (sådana som inte beror på variation av OBV) förklaringar till uppnådda resultat Randomisering är en förutsättning för en experimentell design (annars kvasiexperimentell) Olika typer av kontrollgrupper skyddar mot specifika hot Graden och typen av kontroll som en jämförelsegrupp ger Tidpunkter för mätning (1) Förmätning kan fylla följande syften: 1) Val av deltagare 2) Kontroll av gruppernas jämförbarhet möjliggör matchning 3) Öka känsligheten i studien, dvs förmågan att upptäcka även små skillnader - Nackdel: förmätningen kan påverka eftermätn. måste bedömas från fall till fall 7 8 Tidpunkter för mätning (2) Eftermätning - efter genomförd intervention/obv-manipulation då vi kan förvänta oss en mätbar effekt i vår beroendevariabel Uppföljning en fördröjd eftermätning för att se om effekten vidmaktålls Olika typer av experimentell validitet Intern validitet Extern validitet Begreppsvaliditet Validitet av statistiska slutsatser 9 10 Intern validitet: Till vilken grad kan manipulationen av OBV och inte någon yttre påverkan anses resultera i de uppmätta förändringar hos BV? Hot mot intern validitet 2 Hot mot intern validitet History saker som händer Mognad, utvecklingsprocesser hos fp Upprepade mätningar/testningar Ändringar hos sättet att mäta Regression mot medelvärde Olikhet mellan grupperna Bortfall 11 Imitation (diffusion mellan grupperna) Kompensation Reaktioner hos kontrollgrupp Tävlan Demoralisation 12 2
Experimentell design Planen eller arrangemanget som ska ge svaret på studiens frågeställning med skydd mot hoten från alternativa tolkningar Exempel på design (1) 1. Experiment- och sann kontrollgrupp För- och eftermätning OBV BV Tid >> 1 Före 2 Efter Experimentgrupp R O X O Kontrollgrupp R O O 13 - en klassisk experimentdesign med god säkerhet tack vare randomisering och kända basnivåer 14 Exempel på design (1) forts Motverkar hot orsakad av history, mognad, uppr mätning, instrumentation, gruppolikhet, regr mot medelvärde Förmätning kan innebära sensitisering Exempel på design (2) 2. Experiment- och sann kontrollgrupp Bara eftermätning Tid >> 1 Före 2 Efter Experimentgrupp R X O Kontrollgrupp R O 15 - randomisering bör jämna ut skillnaderna mellan grupperna om 16 de är hyggligt stora Exempel på design (2) forts Exempel på design (3) Ger ett liknande skydd som varianten med förtest Ingen risk för sensitisering Dock osäkerhet om gruppernas jämförbarhet vid baslinjen Förlust av andra fördelar som en förmätning kan ge 17 3. En kvasi-experimentell design med för- och eftermätning Tid >>> 1 Före 2 Efter Experimentgrupp O X O Kontrollgrupp O O - ingen slumpmässig fördelning till grupperna utan en utvald kontrollgrupp - mätning före ger dock en uppfattning om ev skillnader mellan 18 grupperna före interventionen 3
Exempel på design (4) 4. Engrupps tidsserie design Tid >> 1 2 3 4 5 6 Experimentgrupp O O O X O O O - flera mätningar ökar säkerheten som är lidande pga bristen av jämförelsegrupp Faktoriella design Undersöker effekten av två eller flera OBV samtidigt Ökad kontroll Ekonomiskt Möjliggör undersökning av interaktioner Kan lösa motsägelsefulla forskningsresultat Alltför många gruppvarianter kan dock leda till tolkningsproblem 19 20 Interaktion i faktoriell design Extern validitet: Till vilken grad kan resultaten generaliseras till att gälla andra människor, sammanhang, tidpunkter osv än vad som var aktuellt i studien? En interaktion föreligger när en OBVs effekt på BV påverkas av en annan OBV 21 Hot mot extern validitet Begränsat urval Aspekter hos det experimentella genomförandet Administrationen av terapin Sammanhanget Effekter av själva deltagandet Genomförandet av mätning 22 Begreppsvaliditet: Givet att manipulationen av OBV var ansvarig för förändringen hos BV, vilka specifika aspekter hos OBV orsakade detta, dvs vad är effektens konceptuella bas? Hot mot begreppsvaliditet Confounding variabel samvarierar med både OBV och BV och kan ha orsakat resultaten Uppmärksamhet, kontakt med fpp Påverkan från exp.ledare Förväntanseffekter Placebo Kontroll- och jämförelsegrupper Olika typer av jämförelsegrupper kan väljas beroende på vilken typ av slutsatser man vill dra Skydd mot olika typer av alternativa förklaringar Randomisering alltid viktigt för ökad kontroll Etiska aspekter 23 24 4
Ingen behandling/väntelist Intern validitet skyddas mot spontant tillfrisknande ( mognad ), history, regression mot medelvärde, upprepad mätning Begreppsvaliditet ökar inte Etiska betänkligheter och risk för avhopp (spec ingen behandling) Svårt att fördröja behandling tillräckligt för att tillåta uppföljningsmätning Ospecifik behandling, uppmärksamhetsplacebo För ökad begreppsvaliditet, kontrollerar för ospecifika terapieffekter men bevisar inte effekten för en specifik komponent Intern validitet förbättras avseende jämförelsen med aktuell grupp, dock osäkert vad som hänt utan beh. Att skapa en trovärdig kontrollbetingelse med de rätta likheterna/skillnaderna kan vara svårt Etisk problematik i att erbjuda en falsk behandling 25 26 Standardbehandling (TAU) Icke-randomiserad kontrollgrupp Ingen etisk problematik (aktiv behandling, ej väntetid) Kontrollerar för icke-specifika faktorer Ökad extern validitet genom kopplingen till klinisk vardag Bra om standardbehandlingen kan tydligt definieras ibland svårt pga saknad struktur Skydd mot history, mognad, upprepad testning, förändrade mätmetoder Hoten baserade på ev olikhet mellan grupperna måste bedömas från fall till fall 27 28 Val av kontrollgrupp Syfte >> val av kontrollgrupp Utgår från Studiens frågeställning Tidigare forskningsresultat Praktiska och etiska omständigheter Har behandlingen effekt >> ingen beh/väntelist Vilka komponenter är väsentliga >> olika varianter av behandlingen jämförs Vilken behandling är bäst mot X >> olika behandlingar jämförs Vad påverkar (modererar) terapins effekt >> inklusion och analys av möjliga moderatorer Vad medierar terapins effekt >> processforskning 29 30 5
Validitet av statistiska slutsatser: Till vilken grad har sambandet påvisats och vilka möjligheter har studien att påvisa de effekter som finns? Begrepp kring statistiska slutsatser Vi predicerar en skillnad (alternativhypotes) men testar nollhypotesen dvs ingen skillnad Typ 1-fel; att förkasta en sann nollhypotes Typ 2-fel; att behålla en osann nollhypotes Hot mot validiteten av statistiska slutsatser Låg statistiskt power Variabilitet hos proceduren Heterogenitet hos deltagarna Bristande reliabilitet hos instrumenten Massignifikans 31 32 Single Subject Design Klinisk utvärdering Single subject design En experimentell design som är användbar både i forskning och i klinisk verksamhet Intensiv långsiktig studie av en individ Man eliminerar felvariansen genom att studera en medverkande under alla betingelser Resultatet av studien analyseras grafiskt Slutsatser kan dras om beteendeförändringarna kan ses med blotta ögat 33 34 Huvudkarakteristika 1. Kontinuerlig mätning 1) Kontinuerlig mätning 2) Baslinjemätning 3) Stabilitet hos beteende 4) Användning av olika faser Från många fpp och få mätningar (gruppstudier) till få fpp men många mätningar över varierande betingelser Mätningar ger en pålitlig bild av beteendets förekomst och möjliggör evaluering Styr byte av fas i studien 35 36 6
2. Baslinjemätning 3. Stabilitet hos beteende Behöver vara tillräckligt lång Beskriver beteendets nuvarande förekomst Möjliggör en prediktion av beteendets förekomst i nära framtid Prediktionen utgör studiens kontrollnivå Viktigt för evaluering av interventionens effekt Både låg variabilitet och stabil nivå är önskvärda En trend i behandlingseffektens förväntade riktning är problematisk 37 38 4. Användning av olika faser AB design, Jämförelse Baslinje och interventionsfaser implementeras omväxlande i enlighet med studiens frågeställning Effekten av detta observeras genom mätningar och jämförs med prediktionen Slutsatser kan dras från hur beteendemönster varierar från fas till fas Endast två faser, baslinjen följs av intervention Anses inte kunna optimalt visa interventionens effekt då en alternativ effekt kan ha sammanfallit tidsmässig med interventionen 39 40 ABA design, Tillbakadragen beh ABAB design, Upprepad beh Tre faser: baslinje, intervention och en ny baslinje Det kausala sambandet mellan interventionen och beteendet stärks om beteendet påverkas vid båda fasövergångar Andra baslinjen kan vara problematisk Icke-reversibel interventionseffekt Negativ utveckling av beteendet är inte önskvärt Interventionen återinförs efter borttagandet Andra kombinationer av faser kan skapas allt efter behovet, t ex AB 1 B 2 AB 2 41 42 7
ABAB Exempel Varierande behandlingar design Möjliggör en jämförelse mellan olika interventioner AB, ABA eller ABAB i grunden Under B-fas introduceras olika interventioner i slumpmässig ordning Nivån för beteendet under olika betingelser kan jämföras 43 44 Varierande behandlingar Exempel Ändrat kriterium design Successiv introduktion av allt strängare krav för förstärkning för att se om beteendet ändras i enlighet med ändrat kriterium Lämplig för beteenden som naturligt ändras successivt över en tid Utgör en AB design i grunden, ABAB dock möjlig i princip 45 46 Ändrat kriterium Exempel Multipla baslinjer designer Två eller fler baslinjer bestående av olika beteenden, sammanhang eller individer Interventionerna introduceras vid olika tidpunkter för olika baslinjer i syfte att se en sammanhängande beteendeförändring Återgång till baslinje behövs inte men kan inkluderas 47 48 8
Multipla baslinjer Exempel Multipla baslinjer designer (forts) Kliniskt användbar Förutsätter oberoende mellan baslinjerna En starkt generaliserad behandlingseffekt ger problem 49 50 Resultatbedömning vid single subject design Bygger principiellt på visuell inspektion Vissa statistiska metoder finns Kriterierna omfattar förändring av medelvärde, nivå och trendkurva samt förändringens fördröjning Kriterie 1 Förändring av medelvärde Beteendets genomsnittliga förekomst varierar mellan faserna som förväntat 51 52 Kriterie 2 Förändring av nivå Förändringens riktning över gränsen från en tidigare till en ny fas. Kriterie 3 Förändring av trendkurva Kurvans riktning ändras från en fas till en annan 53 54 9
Kriterie 4 Förändringens fördröjning Efter introduktionen av en ny fas, hur fort kommer förändringen? Resultatbedömning vid single subject design (forts) Bedömningen är enklast vid ett tydligt och samstämmigt mönster Om inte baslinje- resp interventionsdata alls överlappar ökar säkerheten ytterligare Den visuella bedömningen är subjektiv och ger tolkningsmöjligheter vid svåra data Statistiska metoder kan vara ett komplement t ex vid instabil baslinje 55 56 Evaluering av kliniskt arbete Kvasi-experiment med single-case Kazdin; 1) Kvasi-experiment med single-case 2) En generell utvärderingsmodell 57 Man utnyttjar delar av single-subject experimentella designer för att stärka slutsatserna vid klinisk evaluering Viktiga faktorer: Systematisk datainsamling Mätning vid flera tillfällen Beteendets projektioner framåt/bakåt i tiden Behandlingseffektens styrka och omedelbarhet Anv av flera och heterogena deltagare/patienter 58 Systematisk klinisk utvärdering Systematisk klinisk utvärdering (2) Klinisk utvärdering utgår från patientens behov med kliniskt genomförbara metoder Ett gap mellan forskning och klinisk praxis avseende evaluering och användn av info Grupp vs individ Före/efter, fast modell vs kontinuerlig mätning, anpassning av åtgärder Trots evidens kan behandlingsprocessen och effekten variera avsevärt Utgör ett komplement till den kliniska bedömningen Fallens komplexitet ökar behovet av syst utv. Bidrar till den allmänna kunskapen och kan generera nya hypoteser 59 60 10
Stegen vid systematisk klinisk utvärdering 1) Definiera tydligt behandlingsmålen som ska mätas 2) Definiera och mät procedurer och processer Hur ska behandlingseffekten uppnås, hur väl har detta implementerats i aktuell behandling 3) Välj mätmetoder operationalisering av målbegreppen Många instrument finns men få testade för upprepad klinisk användning Mätning av procedurer och processer (punkt 2) Stegen vid systematisk klinisk utvärdering (2) 4) Upprepade mätningar Avslöjar variabilitet och trender Gärna fler baslinjemätningar pga risk för initiala höga värden 61 62 Stegen vid systematisk klinisk utvärdering (3) 5) Evaluering av data Har förändring skett, är den pålitlig och avviker från normala fluktuationer? Grafisk presentation, icke-statistiska metoder från single-subject forskning Är förändringarna betydelsefulla? Klinisk signifikans, förändringens storlek, Jmf med normer, diagnoskriteria Michael Lamberts uppföljningsmodell Bygger på kontinuerlig användning av OQ-45 formuläret 45 frågor, fyra dimensioner Symptoms-anxiety, depression, somatic Interpersonal Problems Social Role Functioning Quality Of Life 63 64 Lamberts uppföljningsmodell Att kunna identifiera patienter som det går dåligt för är av särskilt intresse De första veckorna oftast en avgörande period Har samlat data från tusentals patienter Har utvecklat ett helautomatiskt datainsamling och feedbacksystem, www.oqmeasures.com 65 11