Psykometri inom hälsovetenskaperna: Teori och tillämpning

Transkript

1 Version Forskarutbildningskurs, 7.5hp : Teori och tillämpning Studiehandledning

2 Varmt välkommen till kursen! Denna studiehandledning innehåller praktisk information om vad som kommer att hända under och mellan respektive campusträff. Kursen betonar såväl psykometrisk teori som applikation i form av föreläsningar, litteraturstudier, grupparbeten, datorövningar och examination. Teoridelarna utgörs av kurslitteraturen, föreläsningar, samt rekommenderad referenslitteratur. Referenslitteraturen består av en samling artiklar som på olika vis beskriver och illustrerar de metoder som tas upp under kursen. Det rör sig såväl om metodologiska, teoretiska som empiriska artiklar. Dessa är samlade i en lista som du hittar i kursplattformen Moodle. Artiklar som inte är tillgängliga som open access får vid behov anskaffas via ditt lärosätes bibliotek, där du förhoppningsvis har tillgång till dem. Handouts i PDF-format för respektive föreläsning kommer att finnas tillgängliga på Moodle inför Campus 1 och Campus 2. Handouts publiceras under veckan innan respektive campusträff, så att du kan skriva ut och ta med dem till föreläsningarna om du vill. Merparten av de metoder som täcks in under föreläsningarna kommer även att demonstreras och appliceras med hjälp av datorövningar där vi utgår från statistikprogrammet SPSS. Databaser som används vid dessa demonstrationer kommer att finnas för nedladdning från Moodle. Utöver SPSS kommer vi även att demonstrera arbete med andra programvaror. Detta gäller företrädelsevis metoder som inte finns tillgängliga i SPSS. Länkar och instruktioner för nedladdning av dessa programvaror kommer att finnas i Moodle. Vi rekommenderar dig således även att hämta hem och installera dessa program inför respektive campusträff. Se om möjligt till att installationen är klar innan respektive datorövning, eftersom vi inte har resurser att hjälpa till med installationer och liknande under campusträffarna. För att till fullo kunna följa med i kursens samtliga moment är det med andra ord rekommendabelt att du om möjligt tar med din egen dator (med nedladdade datafiler och installerade program) till campusträffarna. Kursen förutsätter grundläggande kunskaper i statistik och ger inte utrymme att gå igenom allmänna statistiska metoder. Eventuell handledning och hjälp med detta får således ombesörjas via din handledare och/eller hemmainstitution. Om du anser dig ha behov av att komplettera kurslitteraturen med lärobok i statistik rekommenderas exempelvis: Norman G, Streiner D. Biostatistics: The bare essentials, 3 rd ed. Hamilton: B.C. Decker, Inc., Resterande delar av denna studiehandledning berör specifik information inför respektive campusträff. Notera att detaljer kan komma att justeras under kursens gång, så håll koll på kursmeddelanden och eventuella uppdateringar av studiehandledningen inför respektive campusträff. Peter Hagell Professor i vårdvetenskap Kursansvarig 2

3 Campus 1 Campusträff 1 domineras av grundläggande psykometriska begrepp och metoder enligt så kallad klassisk testteori. Inför första campusträffen är det några punkter som ni behöver förbereda. Inför datordemonstrationerna Kursen kommer att ha betoning på applikation. Detta innebär att det kommer att avsättas tid för demonstration och eget arbete vid datorerna. Inför Campus 1 ber vi dig därför att: Se till att du har SPSS installerat på din dator som du tar med till Campus (andra statistikprogram fungerar också men demonstrationerna kommer enbart att utgå från SPSS). Ladda hem och installera programmet FACTOR från Ladda hem SPSS-filen pain_project.sav samt datafilen painadl_factor.dat från Moodle. Ta gärna med din(a) egen/na databas(er) med skattningsskaledata på itemnivå om du vill prova att arbeta med annat än de exempelfiler som vi utgår ifrån under demonstrationerna. Fundera redan nu över examinationsuppgifterna Examinationen består av två uppgifter, vilka genomförs två och två (dvs tillsammans med en annan kursdeltagare): Redovisning och tolkning av egna psykometriska analyser av ett instrument, eller redovisning och tolkning av en systematisk granskning av ett instruments psykometriska egenskaper. För egna psykometriska analyser krävs tillgång till empiriska skattningsskaledata (n 100). Skriftlig projektplan för tänkt eller verklig psykometrisk studie, med fokus på design, datainsamling och analysplan. Vi kommer att diskutera detta under Campus 1 men det kan vara bra att börja fundera önskemål, intressen osv redan innan campusträffen. 3

4 Campus 2 Campusträff 2 omfattar redovisning av gruppuppgift (artikelgranskning) i form av en journal club, fördjupning inom klassisk testteori, samt introduktion till modern testteori (Rasch-analys). Inför andra campusträffen är det några punkter som måste förberedas. Artikelgranskning Varje grupp tilldelas en vetenskaplig artikel med psykometriskt fokus som ska granskas kritiskt inför redovisning och diskussion vid Campus 2. De artiklar som vi använder oss av omfattar olika psykometriska egenskaper men var och en har visst fokus på någon specifik aspekt eller metod. De artiklar som ska granskas samt fokus för granskningen är: Nishimura et al. Development and Psychometric Analysis of the Japanese version of the Nottingham Health Profile: Cross-cultural adaptation. Internal Medicine 2004; 43: Fokus för granskning: Reliabilitet Yellen et al. Measuring fatigue and other anemia-related symptoms with the Functional Assessment of Cancer Therapy (FACT) measurement system. Journal of Pain and Symptom Management 1997; 13: Fokus för granskning: Validitet (fokusera på 13-items subskalan för fatigue) Troster et al. Quality of life in Essential Tremor Questionnaire (QUEST): Development and initial validation. Parkinsonism & Related Disorders 2005; 11: Fokus för granskning: Explorativ faktoranalys (EFA) Artiklarna omfattar psykometriska aspekter eller metoder utöver de som granskningen fokuseras på; dessa kan också vara relevanta att ta hänsyn till i granskningen. Artiklarna kommer att distribueras under Campus 1 och information om gruppindelning kommer att anslås i Moodle efter Campus 1. Vid redovisningen/diskussionen under Campus 2 förväntas samtliga deltagare att förutom granskningen av sin tilldelade artikel även ha läst övriga artiklar inför diskussion vid redovisningarna. Granskningen skall fokusera på den aspekt som anges för respektive artikel (se ovan). Vid redovisningen förväntas gruppen Kort sammanfatta studiens syfte och design, samt typ av instrumentet, vad det avser mäta osv Därefter fokusera på artikelns huvudpunkt enligt ovan och kritiskt beskriva och diskutera metodik, vad som är gjort, resultat och tolkning Vid behov ha läst in sig på området med hjälp av kurslitteratur och annan litteratur För varje redovisning avsätts 45 minuter. Dessa disponeras enligt följande: Gruppens muntliga sammanfattning (ej PowerPoint eller dylikt) av artikeln enligt ovan (ca 10 minuter) Diskussion samt frågor till och från övriga deltagare, inklusive lärare (ca 35 minuter) Vid granskningen bör ni exempelvis beakta design, metodval (inklusive alternativa metoder), hur författarna tolkar data, om data ger stöd för konklusioner, om det är något ni saknar i analyserna/data, etc. 4

5 Campus 2 Frivillig uppgift inför examination Under eftermiddagen andra dagen vid Campus 2 har tid avsatts för att de som så önskar ska få möjlighet till återkoppling på sina planerade examinationsarbeten. Tiden för återkoppling beror på hur många som önskar utnyttja denna möjlighet men kan uppskattas till max 10 minuter per arbete. De som vill utnyttja denna möjlighet måste i förväg lämna in en kort (upp till en halv A4- sida) sammanfattning av den planerade examinationsuppgiften. Denna bör innehålla följande information: Om det föreslagna arbetet avser litteraturgranskning eller empirisk analys av egna data. Typ av instrument, inklusive information om vad det avser att mäta, målgrupp, uppbyggnad (antal items, svarskategorier, ev delskalor etc). Information om stickprov, kontext och planerade analyser (vid empirisk analys av egna data). Information om ungefärligt antal befintliga psykometriska utvärderingar, inklusive kontext och typ av utvärderingar (vid litteraturgranskning). Sammanfattningen laddas upp på Moodle ( Frivillig uppgift under Campus 2) senast den 29 november Döp dokumentet enligt följande: Efternamn_Efternamn_datum_examplan. Exempel: Andersson_Jonsson_131125_examplan.doc Inför datordemonstrationerna Kursen kommer att ha betoning på applikation. Detta innebär att det kommer att avsättas tid för demonstration och eget arbete vid datorerna. Inför Campus 2 ber vi dig därför att: Se till att du har SPSS installerat på din dator som du tar med till Campus (andra statistikprogram fungerar också men demonstrationerna kommer enbart att utgå från SPSS). Ladda hem och installera program och datafiler enligt separat information i Moodle inför Campus 2 Ta gärna med din(a) egen/na databas(er) med skattningsskaledata på itemnivå om du vill prova att arbeta med annat än de exempelfiler som vi utgår ifrån under demonstrationerna. 5

6 Campus 3 Campusträff 3 omfattar seminarier med redovisning av examinationsuppgifterna. Instruktioner för examinationsuppgifterna Examinationsuppgifterna genomförs tillsammans med en annan kursdeltagare. Examinationen består av två uppgifter: Genomföra, tolka och presentera egna psykometriska analyser av en skattningsskala, eller en systematisk granskning av ett instruments psykometriska egenskaper. Skriva en projektplan för en psykometrisk studie. Detta kan röra en studie som planeras att genomföras eller en fiktiv (men realistisk!) studie. Syftet med examinationsuppgifterna är att visa att man förstår psykometriska huvudprinciper och -begrepp. Detta sker genom att i redovisningarna integrera förklaringar/beskrivningar av innebörder, antaganden, begrepp, vilka frågor olika test/metoder svarar på, och hur metoderna/resultaten används och tolkas i förhållande till begreppen (dvs det som utvärderas), etc. Genomförande, tolkning och presentation av egna psykometriska analyser Psykometrisk testning av instrument/skattningsskala med hjälp av egna empiriska data. Krav på data: Data på item-nivå från skattningsskala ( multi-item scale ) med ett eller flera summerade totalpoäng (dvs inte single-item scales eller checklistor som ej är avsedda att generera totalpoäng). n bör vara åtminstone ca 100. Relevanta demografiska data. Analyserna ska omfatta olika aspekter av grundläggande psykometriska egenskaper såsom antaganden för poängberäkning, reliabilitet, validitet och responsivitet/sensitivitet. Uppgiften redovisas muntligt med hjälp av PowerPoint-presentation. Observera att det inte är tillåtet att basera examinationsuppgiften på redan publicerade analyser/artiklar. Systematisk granskning av ett instruments psykometriska egenskaper En systematisk kritisk litteraturgranskning av ett instruments psykometriska egenskaper. Utgå gärna från ett instrument som du använder eller planerar att använda. Som riktmärke bör granskningen omfatta minst tre originalstudier. Uppgiften redovisas muntligt med hjälp av PowerPoint-presentation. Observera att det inte är tillåtet att använda redan publicerade reviewartiklar. 6

7 Projektplan för en psykometrisk studie Skriftlig projektbeskrivning för psykometrisk studie innehållande Bakgrund Syfte Metodbeskrivning Studiens betydelse Referenser Bilaga med det instrument som studien avser att testa (såvida projektet inte avser instrumentutveckling) Fokus i projektbeskrivningen ska ligga på den psykometriska analysplanen (inklusive motiveringar och förklaringar av vald metodik). Projektet ska omfatta analyser avseende olika aspekter av grundläggande psykometriska egenskaper såsom antaganden för poängberäkning, reliabilitet, validitet och responsivitet/sensitivitet. Omfattning: Max 5 sidor (exklusive försättsblad, referenser och bilagor) Redovisningarna ska vara psykometriskt fokuserade. Följande moment skall ingå och utgör bedömningsgrund för examinationen: Definition av den/de variabler som instrumenten avser att mäta och instrumentens teoretiska förankring Instrumentens syfte och användningsområde Hur instrumenten har utvecklats och (om relevant) översatts Instrumentens uppbyggnad, inklusive poängberäkning och -tolkning Hur instrumentens dimension(er) har definierats/konstruerats Inklusions- och exklusionskriterier (vid egna psykometriska analyser: för det studerade stickprovet; vid litteraturgranskning: för din selektion av artiklar samt för deltagare i granskade studier) Beskrivning av psykometriska test, inklusive deskriptiva och psykometriska data, samt (tolknings)kriterier Beskrivning av innebörden av olika psykometriska begrepp och aspekter * Diskutera psykometriska svagheter och styrkor, inklusive psykometriska aspekter som ej är testade, samt implikationer av detta * * Ge en sammanfattning/evidensbaserad konklusion angående instrumentets psykometriska egenskaper. Det vill säga vad man vet/inte vet beträffande huvudsakliga psykometriska aspekter (t ex antaganden för poängberäkning, reliabilitet, validitet, responsivitet/sensitivitet), inklusive kontext. Hur starkt stöd bedömer du att data ger för olika psykometriska egenskaper? Vilka är de psykometriska styrkorna och svagheterna? Vad saknas? * *) Avser enbart redovisningen av egna psykometriska analyser, alternativt granskning av ett instruments psykometriska egenskaper 7

8 Campus 3 Instruktioner inför Campusträffen Examinationen består av att (1) genomföra, tolka och presentera egna psykometriska analyser av en skattningsskala, eller en systematisk granskning av ett instruments psykometriska egenskaper, samt (2) skriva en projektplan för en psykometrisk studie. Sista dag att skicka in de egna arbetena är den 16 mars Inlämning av arbeten inför examination vid Campus 3 PowerPoint-presentation (uppgift 1 enl ovan) och projektplan (uppgift 2 enl ovan) skall senast den 16 mars 2014 laddas upp på Moodle. Döp dokumentet enligt följande: Författarnamn, datum, Använd ej svenska tecken (å, ä, ö) eller specialtecken. Exempel: Författarnamn_Författarnamn_datum.ppt/doc Andersson_Jonsson_ ppt/doc Arbetena kommer därmed att vara tillgängliga för samtliga inför Campus 3. Inför Campus 3 förväntas samtliga deltagare gå in under sin respektive grupp-mapp och hämta hem övriga deltagares bidrag. Vad händer i anslutning till examinationen? Examinationsseminarierna genomförs torsdagen den 27 och fredagen den 28 mars Kursdeltagarna indelas i grupper som examineras parallellt. Grupptillhörighet kommer att framgå av examinationsschema på Moodle. Varje kursdeltagare kommer att presentera det egna arbetet (uppgift 1 enl ovan), vilket kommer att diskuteras tillsammans med övriga gruppmedlemmar och examinerande lärare. Därefter kommer den föreslagna projektplanen (uppgift 2 enl ovan) att diskuteras inom samma grupp. Samtliga deltagare i respektive grupp förväntas ha tagit del av samtliga dokument inom seminariegruppen för att kunna bidra med diskussion och konstruktiv kritik. Varje arbete examineras enligt följande disposition: Presentation (PowerPoint) av genomförande och tolkning av egna psykometriska analyser av en skattningsskala, eller en systematisk granskning av ett instruments psykometriska egenskaper (max 15 minuter) Diskussion och återkoppling inom seminariegruppen avseende presenterade psykometriska data och tolkningar (max 25 minuter) Diskussion och återkoppling på föreslagen projektplan (max 20 minuter) Examinatorn kommer att ge skriftlig återkoppling (inklusive eventuella kompletteringar) inom ca 1 vecka efter Campus 3. 8

9 Kompletteringar och omexamination Brister avseende följande generella aspekter är att betrakta som riktmärke för behov av komplettering/omexamination: Användande och tolkning av begrepp. Korrekt angivelse av tester och metoder, t ex typ av korrelation, faktoranalys etc. Rapportering av psykometriska och deskriptiva data så att grunden för tolkningar och slutsatser blir tydlig. Kritiskt förhållningssätt i tolkning och bedömning av data. Om arbeten där examinator begärt komplettering inte bedöms uppfylla kraven för godkänd examinationsuppgift efter genomförd komplettering sätts betyget underkänd. Studenten får därefter inkomma med begäran om omexamination. Precis som vid ordinarie examination inkluderar omexamination utrymme för en (1) komplettering. adresser till examinerande lärare Peter Hagell: Peter.Hagell@hkr.se Ulf Jakobsson: Ulf.Jakobsson@med.lu.se LYCKA TILL! 9