Antall krefttilfeller øker sterkt, og det er antatt at i 2030 vil anslagsvis 40 000 personer bli rammet av kreft. To tredjedeler av disse vil være over 60 år (1). Eldre pasienter kan ha økt risiko for endring i kognitiv funksjon når de blir behandlet for kreft (2).

Det er vist at endret kognitiv funksjon er et vesentlig problem for mange kreftoverlevere (3). Kognitive endringer etter kreftbehandling viser seg som nedsatt oppmerksomhet, nedsatt konsentrasjon, dårligere arbeidsminne og dårligere hukommelse. I tillegg kan det oppstå vansker med verbal eller visuell læring og problemer med utøvelses- og planleggingsfunksjoner (4).

Kartlegging av kognitiv funksjon er spesielt viktig for kreftpasienter, både før, under og etter behandlingen. Pasientene skal gjennomføre et behandlingsforløp der de må forholde seg til flere ulike instanser innen helsevesenet (5). Det er grunnlag for å kunne hevde at kreftbehandling kan ha både kort- og langvarig negativ effekt på den kognitive funksjonen.

Videre kan behandlingen ha negativ effekt på sosiale relasjoner, utdanning og arbeid samt livskvalitet (4). I en litteraturgjennomgang (6) kom det frem at klinikere trenger mer kunnskap for å kunne foreslå intervensjoner om de kognitive endringene som kreftoverlevere erfarer. En måte å skaffe seg denne informasjonen på, er ved å kartlegge pasientens egen oppfattelse av sin kognitive funksjon.

Attentional Function Index

Attentional Function Index (AFI) er et instrument utarbeidet av professor Bernadine Cimprich i USA til bruk på pasienter med kreft. Hensikten med instrumentet er å vurdere kreftpasientenes selvrapporterte evne til å fokusere på daglige gjøremål som krever grunnleggende kognitive prosesser (5, 7).

AFI kartlegger evnen til oppmerksomhet, arbeidsminne og høyere nivå av eksekutive funksjoner. Eksekutive funksjoner er kognitive prosesser som gjør en person i stand til å generere ideer, initiere handlinger, tilpasse seg nye eller uvante situasjoner, sortere sanseinntrykk, konsentrere seg, være utholdende, vise kognitiv fleksibilitet, forholde seg til flere kognitive prosesser samtidig og undertrykke uønskete responser (8, 9).

AFI besto opprinnelig av 16 spørsmål (7, 10) og ble redusert til 13 spørsmål på bakgrunn av en faktoranalyse (5). Skjemaene er hovedsakelig brukt på pasienter med brystkreft (10–13), men også i utvalg med andre kreftdiagnoser (14, 15). AFI er benyttet for begge kjønn, i ulike aldersgrupper av voksne kreftpasienter, før, under og etter behandling. Chronbachs alfa for begge skjemaene er > 0,90 (10–15) med god test–retest-stabilitet (16).

COSMIN

«COnsensus-based Standards for the selection of health Measurement INstruments» (COSMIN) har anbefalinger om terminologi, taksonomi og metodebruk i studier som omhandler selvrapporterte spørreskjemaer og deres måleegenskaper. I henhold til disse anbefalingene er tverrkulturell validitet omtalt som en liten del av et instruments validitet (17).

Likeledes er oversettelsesprosedyren av et instrument i liten grad omtalt i COSMIN (18). I studien vår legger vi vekt på den kulturelle tilpasningen i oversettelsen av instrumentet og gjør derfor ingen testing av instrumentets psykometriske egenskaper.

Hensikten med studien

AFI kartlegger kreftpasienters egen oppfatning av kognitiv funksjon i dagliglivet og er derfor relevant for studier som har søkelys på denne funksjonen. Derfor ønsket vi å anvende en systematisk og grundig tilnærming i oversettelsesprosessen.

I denne prosessen ønsket vi også å inkludere brukere for å sikre en kulturell tilpasning til norske forhold. Cimprich ga tillatelse til å oversette spørreskjemaet. I samråd med Cimprich valgte vi å oversette versjonen med 16 spørsmål, for senere å kunne teste ut faktorstrukturen på de to ulike versjonene av spørreskjemaet.

Denne artikkelen har derfor to mål:

• å redegjøre for hvordan den norske versjonen av AFI ble oversatt
• å presentere resultater fra utprøving av AFI blant personer over 60 år

Metode

Oversettelsesprosedyre

For å oversette og vurdere innholdet i instrumentet fulgte vi de tre første stegene i protokollen fra Verdens helseorganisasjon (WHO) (19): oversettelse, ekspertpanel og tilbakeoversettelse.

Fem eksperter med bred kompetanse på kognitive prosesser og instrumentutvikling var involvert i oversettelsesprosedyren og vurderingen av innholdsvaliditeten. Ekspertgruppen besto av en brukerrepresentant, tre forskere med spesialkompetanse i psykologi, sykepleie og kreft og en psykolog med spesialkompetanse på kognitive instrumenter.

Fagpersonene har bred forskererfaring, inkludert tidligere erfaring med norske oversettelser av instrumenter utviklet i USA. Samtlige behersker engelsk på C-nivå, avansert bruker (20), og flere har god kulturforståelse av USA. I oversettelsesprosedyren – tilbakeoversettelse til engelsk – var en autorisert translatør aktiv.

Den engelske versjonen av AFI (vedlegg 1) ble oversatt til norsk av førsteforfatter. Ekspertgruppen diskuterte og kommenterte denne versjonen og en tidligere versjon av AFI på norsk (21). Vi vurderte hvorvidt den engelske og norske teksten var begrepsmessig, teknisk og språklig likeverdige i tråd med utvalgte anbefalinger (19, 22).

Ekspertgruppen ble enige om en foreløpig oversettelse. Deretter ble spørreskjemaet oversatt til engelsk av translatøren, som ikke hadde kunnskap om instrumentet (19), og sendt til Cimprich, forfatteren av AFI, for uttalelse.

Førsteforfatteren videreformidlet tilbakemeldingen fra Cimprich til translatøren. Førsteforfatteren og translatøren vurderte grundig kommentarene til spørsmålene fra Cimprich, både lingvistisk og kulturelt. Kommentarene ble sendt tilbake til instrumentutvikleren, som vurderte disse innspillene. Deretter samlet vi ekspertpanelet for å godkjenne den norske versjonen.

Pilottesting

For å kvalitetssikre oversettelsen med potensielle brukere av AFI foretok vi en pilottesting for å undersøke om oversettelsen av skjemaet fungerte for personer over 60 år. Polit og Young (23) anbefaler å gjøre en slik pilottest før instrumentet prøves ut på målgruppen. Vi rekrutterte menn og kvinner i perioden desember 2015 til mars 2016 etter «snøballmetoden» (24, 25). 

Disse personene kunne igjen vise til andre informanter. Fem av medforfatterne kontaktet en person over 60 år, som igjen rekrutterte deltakere i sitt nettverk. Snøballmetoden brukes når det er vanskelig å identifisere informanter.

Samtlige personer svarte på spørreskjemaet, og respondentene noterte selv kjønn og alder. Vi ba spesielt tolv personer, tre personer fra to grupper og to personer fra tre av gruppene, om å gi skriftlig tilbakemelding om hvorvidt noen av spørsmålene var vanskelige å forstå, vanskelige å svare på eller uakseptable og påtrengende.

Vi valgte bevisst ikke å teste oversettelsen blant kreftpasienter da det kunne medført en unødvendig belastning for dem. Vi ønsket å gjøre en best mulig oversettelse før vi testet skjemaet blant eldre kreftpasienter.

Instrumentet AFI

AFI inneholder tolv spørsmål om gjøremål som krever ulik grad av kognitiv fungering assosiert med det å sette mål, planlegge og gjennomføre daglige gjøremål. Skjemaet inneholder også spørsmål om hvorvidt målene ble oppnådd. I tillegg inneholder skjemaet fire spørsmål som måler subjektiv opplevelse av oppmerksomhetsvansker (5, 7).

Svarene krysses av på en numerisk skåringsskala (NRS) (0–10), der høyere skår indikerer bedre funksjon. Spørsmålene 13 til 16 er snudd, slik at lavere skår indikerer bedre funksjon. Sumskår beregnes som et gjennomsnitt av poengene på spørsmålene, der høyere skår indikerer bedre funksjon og mindre oppmerksomhetsvansker (11).

Analyse av data

Vi analyserte dataene ved hjelp av IBM SPSS Statistics, versjon 24. Vi benyttet deskriptiv statistikk og analyserte demografiske data og hvert av spørsmålene i AFI ved hjelp av frekvensanalyser, gjennomsnitt og standardavvik.

Etikk

Det var frivillig å delta i studien, og alle deltakerne ga et indirekte informert samtykke ved å levere inn utfylt skjema og oppgi eventuelle utfyllende kommentarer om skjemaet. Samtlige respondenter er anonyme. Deltakerne selv noterte ned bare kjønn og alder. Deltakernes svarskjema er makulert, mens datafilen oppbevares i fem år i henhold til anbefalinger fra Regionale komiteer for medisinsk og helsefaglig forskningsetikk (REK).

Resultater

Ekspertgruppens forslag til oversettelse

Ekspertgruppen møttes for å drøfte de to versjonene av AFI. Medlemmene av ekspertgruppen kom med sine respektive tilbakemeldinger, basert på sin kompetanse. Vi diskuterte hvert spørsmål med tanke på anvendbarhet. Brukerrepresentantens innspill var av vesentlig betydning, spesielt ved at hun påpekte hvor viktig det var å bruke enkelt og forståelig språk som ikke var støtende for målgruppen.

Ett eksempel er oversettelse av skaleringen i den engelske versjonen. Den engelske utgaven har ytterpunktet «extremely well». På norsk er dette en uvanlig måte å uttrykke seg på, spesielt når det skal vurderes kognitiv funksjon hos en gruppe som kan oppleve dette som vanskelig. Forslaget til brukeren var å omformulere ytterpunktet til «svært godt», altså et avvik fra en direkteoversettelse som ville vært «ekstremt godt».

Psykologens spesifikke bidrag i denne prosessen var hvordan begrepsinnholdet i spørsmål 7, «Keeping your mind on what you are doing», og 11, «Keeping yourself from saying or doing things you did not want to say or do», ble oversatt. Ekspertpanelet gjennomgikk samtlige spørsmål, identifiserte uklarheter i forslagene til oversettelse og diskuterte seg frem til vi oppnådde konsensus.

Oversettelse fra norsk til engelsk med godkjenning av instrumentutvikleren

Samtlige spørsmål ble altså oversatt til engelsk av den autoriserte translatøren og sendt til Cimprich. Det var enkelte avvik fra den engelske originalversjonen, og instrumentutvikleren kommenterte tilbakeoversettelsen. Etter en diskusjon mellom førsteforfatteren og translatøren ga vi tilsvar til instrumentutviklerens kommentarer. Kommunikasjonen fortsatte til Cimprich godkjente spørreskjemaet. Deretter ble det godkjent av ekspertpanelet. Eksempler på prosessen er vist i tabell 1.

Pilottesting

Utvalget besto av 114 personer: 42 menn og 72 kvinner. De var fra 60 til 90 år og hadde en gjennomsnittsalder på 71, standardavvik (SD) 7. Gjennomsnitt og SD på hvert av enkeltspørsmålene i AFI fremkommer i tabell 2.

Gjennomsnittsskårene varierer fra 6,2 (SD 2,2) på spørsmål 16 «Blir lett ergerlig eller irritert» til 7,9 (SD 1,7) på spørsmål 5 «Gjøre deg opp en mening om noe». Spørsmålene 13, 15 og 16 hadde SD på henholdsvis 2,4, 2,4 og 2,2. På spørsmålene 1, 3 og 12 var det manglende skår (missing), på spørsmål 6 var det to, og på spørsmål 11 var det åtte.

Respondentenes tilbakemelding på sin forståelse av spørsmålene

I tillegg til de tolv som ble bedt om å gi utfyllende kommentarer til instrumentet, var det seks personer som kommenterte spørreskjemaet uoppfordret. Femten av 18 kommenterte spørsmål 11 «La være å si eller gjøre noe du ikke vil». Kommentarene var forskjellige. Noen skrev at det var vanskelig å forstå, og at det var uklart.

Andre kommenterte at det var vanskelig å besvare fordi man spør om to ting i ett og samme spørsmål. Noen satte bare et eller flere spørsmålstegn ved spørsmålet. At det ble spurt om to ting, ble også kommentert for spørsmål 8 «Huske å gjøre alle de tingene du har begynt på» og spørsmål 9 «Holde orden på hva du sier eller gjør».

Flere av dem som ble bedt om å gi kommentarer, kom med forslag til endring av spørsmålene. For spørsmål 8 «Huske å gjøre alle de tingene du har begynt på» foreslo de å endre de to siste ordene fra «begynt på» til «tenkt å gjøre». De foreslo også å endre spørsmål 7 «Være konsentrert om det du holder på med» til «Lar du deg lett distrahere/forstyrre?».

To kommenterte at de fire siste spørsmålene hadde en omvendt skåring. Én beskrev at skåringen kunne være litt forvirrende hvis man svarte raskt, mens en annen skrev: «Er dette en egen oppmerksomhetstest?»

Diskusjon

Denne studien viser at det kan være hensiktsmessig at alle ledd i en oversettelsesprosedyre gjøres tilgjengelig for fremtidige brukere av et instrument. Arbeidet i ekspertgruppen og sammensetningen av gruppen synliggjør at ulik erfaringsbakgrunn var viktig for å avklare hvilke valg som ble gjort før vi kom frem til konsensus. En slik fremgangsmåte kan være vesentlig for å sikre et instruments validitet.

Uten en fullstendig presentasjon av de enkelte delene vil det være vanskelig å begrunne valg som er gjort, og behov for eventuelle endringer. I mange artikler om validering beskrives oversettelsesprosedyren kun med henvisning til hvilken prosedyre som er fulgt (26–28). Ifølge Johnson er det en utfordring å vurdere oversettelser av spørreskjemaer uten at den kulturelle tilpasningen er beskrevet (29).

I en litteraturgjennomgang av 13 valideringsartikler av Edmonton Symptom Assessment System (ESAS) rapporteres det at kun én studie var opptatt av oversettelse som en utfordring i valideringsprosessen (30).

Flere versjoner er ikke uvanlig

Det er ikke uvanlig at man finner flere versjoner på norsk av ett og samme skjema. For eksempel viser Bergh og kollegaer at det finnes til sammen 40 ulike versjoner av ESAS i Norge (31). Forskerne vurderte ulikheter i innhold, ordbruk, endepunkter og skalaformat for dette instrumentet.

Gjennomgangen viste store variasjoner i ESAS-instrumentets overskrift, innledning, tidsramme for kartleggingen, hvilke symptomer som er inkludert, rekkefølge og ordlyd, adjektiver på numerisk skala og formatet på svarskalaene. Det er uvisst hvorfor det eksisterer så mange som 40 ulike versjoner. Hvorvidt dette skyldes forbedringer av tidligere versjoner eller hvorvidt de ikke kjenner til tidligere versjoner, har vi ikke kunnskap om.

I Danmark har Boel og kollegaer beskrevet noe av det som er problematisk når det finnes flere versjoner av ESAS (32). De fremhever viktigheten av å beskrive oversettelsesprosessen og tilpasse skjemaet til den kulturen det skal brukes i. De diskuterer blant annet hvorvidt det er forskjell på å være «sløv» og «døsig».

Våre resultater støtter opp under denne argumentasjonen. Selv om validiteten av et instrument er dokumentert i én studie og publisert i ett vitenskapelig tidsskrift, er det ingen entydige standarder for validering. Kulturell tilpasning av et instrument bør være en kontinuerlig prosess for å sikre instrumentets validitet. Dette understøttes i en litteraturgjennomgang som påpeker at det er nødvendig å fortsette med valideringsprosessen (30).

Brukte translatør til å tilbakeoversette

Internasjonale oversettelsesprosedyrer setter standard for at man skal bruke translatør når man oversetter tilbake til originalspråket (22). Noen studier viser spesifikt tilbakeoversettelsen og kommenterer lingvistiske utfordringer (33, 34). Vi har ikke kjennskap til at det tidligere har vært beskrevet bruk av translatør som lingvistisk ekspert etter den første tilbakeoversettelsen.

Ved å benytte en autorisert translatør i argumentasjonsprosessen i en norsk kontekst vil forskere kunne sikre den lingvistiske valideringen og dermed validiteten av innholdet i instrumentet. Dersom man ikke benytter translatør i dialogen med instrumentutvikleren, står ekspertpanelet i fare for å godta instrumentutviklerens respons på oversetterens versjon.

I studien vår la brukerrepresentanten stor vekt på at ordet «ekstrem», som var et av skalaens ytterpunkter, ikke burde brukes. I livskvalitetsinstrumentet RAND-36 er ytterpunktet på skalaen i den norske versjonen «ekstremt mye». Dette er direkte oversatt fra «extremely».

Det er grunn til å sette spørsmålstegn ved om det er like vanlig i Norge som i USA å svare at « … den fysiske helsen eller de følelsesmessige problemer har påvirket vanlige aktiviteter med familie, venner, naboer eller andre grupper mennesker ekstremt mye». Boel og kollegaer påpeker at man bør være oppmerksom på skalaens ytterpunkter og gir et eksempel fra en utgave av ESAS i Danmark, der et av ytterpunktene er «bevisstløs» (32).

Språklige utfordringer ved oversetting

Pilottesten av AFI etter at ekspertgruppen og instrumentutvikleren var kommet til enighet om oversettelsen, viste at instrumentet var enkelt å besvare. De aller fleste svarte på samtlige spørsmål. Imidlertid var det spesielt innsigelser mot ett spørsmål: «La være å si eller gjøre noe du ikke vil». Translatøren og instrumentutvikleren diskuterte dette spørsmålet tidligere, og psykologen og andre i ekspertpanelet kommenterte det.

Uttrykket «keeping yourself from» har ingen opplagt oversettelse. Ekspertgruppen vurderte innspillene begrepsmessig, kulturelt og lingvistisk. Spesielt diskuterte vi hvorvidt «la være» er en negasjon eller ikke. Etter en grundig avveining valgte ekspertpanelet ikke å endre ordlyden.

Resultatene fra pilottesten viste at spørsmålet «La være å si eller gjøre noe du ikke vil» hadde flest «missing» og flest kommentarer i spørreskjemaene. Åtte personer svarte ikke på spørsmålet, og 18 personer hadde skrevet kommentarer. Siden det kun var dette spørsmålet det gjaldt for, kan en mulig forklaring på manglende skår være at respondentene rett og slett ikke forsto spørsmålet.

Denne drøftingen er et eksempel på at det kan være utfordringer med å oversette et amerikansk instrument til norsk språk og kultur. Hvis argumentasjonen som ligger til grunn for en oversettelse, er tilgjengelig for dem som ønsker å bruke instrumentet, vil det øke forståelsen for hvilke valg som er gjort, og eventuelt hvilke endringer som kan foretas.

Reverserte skårer

Det er interessant å legge merke til at på de fire siste spørsmålene i AFI er standardavviket gjennomgående høyere enn for de andre spørsmålene. Samme tendens rapporteres også fra et utvalg kvinner med brystkreft, der samme instrument er benyttet (5).

Det er vanskelig å vite om dette skyldes innholdet i spørsmålene eller en større variasjon i svarene. Det kan også spekuleres i om det er et resultat av at skalaene er snudd sammenliknet med de tidligere spørsmålene.

På den annen side kan bruk av reverserte skårer indikere hvor oppmerksom respondenten er, ettersom dette instrumentet nettopp blant annet kartlegger respondentens eventuelle oppmerksomhetssvikt (35). Personene i studien vår rapporterer sammenliknbare resultater som fra en studie blant eldre hjemmeboende kvinner og menn mellom 65 og 87 år (36).

Imidlertid hadde de bedre kognitiv fungering enn kvinner mellom 27 og 86 år med brystkreft (5). Siden utvalget i studien vår besto av personer over 60 år uten krav til kjent kreftdiagnose, kan det indikerer at oversettelsen av instrumentet fungerte bra.

En av styrkene ved denne studien er bruk av ekspertpanel med en brukerrepresentant og en translatør. Deltakerne i pilotstudien hadde dessuten mulighet til å gi tilbakemelding på instrumentets utforming. Vi kunne ha ønsket oss et representativt utvalg av normalbefolkningen, men av praktiske, etiske og økonomiske grunner lot det seg ikke gjøre.

Bruk av snøballmetoden kan være en styrke ved at store deler av landet er representert. Samtidig kan metoden ha sin svakhet ved at utvalget er skjevfordelt, og ved at vi ikke har kjennskap til deltakernes helsetilstand.

Konklusjon

Det er en omfattende prosess å oversette og kulturelt tilpasse et instrument. Det er hensiktsmessig at hver del av en oversettelsesprosedyre gjøres tilgjengelige, slik at forskere har mulighet til å ta stilling til valgene som er gjort. Ved å inkludere brukere i et ekspertpanel kan det bidra til å bedre valideringen av et spørreskjema. I samarbeid med ekspertgruppen kan en dialog mellom translatøren og oversetteren være med på å sikre at intensjonen med instrumentet blir ivaretatt.

Denne norske versjonen av AFI som foreligger, må testes på et større norsk utvalg av kreftpasienter over 60 år for å kunne si noe endelig om den norske versjonens tverrkulturelle validitet. På bakgrunn av denne studien kan vi følgelig ikke trekke slutninger om instrumentets reliabilitet, validitet, og responsitivitet.

Referanser

1.          Cancer in Norway 2015 – Cancer incidence, mortality, survival and prevalence in Norway. Oslo: Cancer Registry of Norway; 2016.

2.          Mandelblatt JS, Hurria A, McDonald BC, Saykin AJ, Stern RA, Vanmeter JW, et al. Cognitive effects of cancer and its treatments at the intersection of aging: what do we know; what do we need to know? Seminars in oncology. 2013;40(6):709–25.

3.          Anderson-Hanley C, Sherman ML, Riggs R, Agocha VB, Compas BE. Neuropsychological effects of treatments for adults with cancer: a meta-analysis and review of the literature. Journal of the International Neuropsychological Society. 2003;9(7):967–82.

4.          Ahles TA, Root JC, Ryan EL. Cancer- and cancer treatment-associated cognitive change: an update on the state of the science. Journal of Clinical Oncology. 2012;30(30):3675–86.

5.          Cimprich B, Visovatti M, Ronis DL. The Attentional Function Index – a self-report cognitive measure. Psycho-oncology. 2011;20(2):194-202.

6.          Von Ah D, Storey S, Jansen CE, Allen DH. Coping strategies and interventions for cognitive changes in patients with cancer. Seminars in Oncology Nursing. 2013;29(4):288–99.

7.          Cimprich B. A theoretical perspective on attention and patient education. Advances in Nursing Science. 1992;14(3):39–51.

8.          Jurado MB, Rosselli M. The elusive nature of executive functions: a review of our current understanding. Neuropsychology Review. 2007;17(3):213–33.

9.          Engstad RT, Engstad TT, Davanger S, Wyller TB. Eksekutiv svikt etter hjerneslag. Tidsskrift for Den norske legeforening. 2013;133(5):524–7.

10.        Cimprich B. Attentional fatigue following breast cancer surgery. Research in Nursing & Health. 1992;15(3):199–207.

11.        Cimprich B, So H, Ronis DL, Trask C. Pre-treatment factors related to cognitive functioning in women newly diagnosed with breast cancer. Psycho-oncology. 2005;14(1):70–8.

12.       Jansen CE, Dodd MJ, Miaskowski CA, Dowling GA, Kramer J. Preliminary results of a longitudinal study of changes in cognitive function in breast cancer patients undergoing chemotherapy with doxorubicin and cyclophosphamide. Psycho-oncology. 2008;17(12):1189–95.

13.        Merriman JD, Jansen C, Koetters T, West C, Dodd M, Lee K, et al. Predictors of the trajectories of self-reported attentional fatigue in women with breast cancer undergoing radiation therapy. Oncology Nursing Forum. 2010;37(4):423–32.

14.       Shih J, Leutwyler H, Ritchie C, Paul SM, Levine JD, Cooper B, et al. Characteristics associated with inter-individual differences in the trajectories of self-reported attentional function in oncology outpatients receiving chemotherapy. Supportive Care in Cancer. 2017;25(3):783–93.

15.        Visovatti MA, Reuter-Lorenz PA, Chang AE, Northouse L, Cimprich B. Assessment of cognitive impairment and complaints in individuals with colorectal cancer. Oncology Nursing Forum. 2016;43(2):169–78.

16.        Cimprich B. Development of an intervention to restore attention in cancer patients. Cancer Nursing. 1993;16(2):83–92.

17.        Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN study reached international consensus on taxonomy, terminology, and definitions of measurement properties for health-related patient-reported outcomes. Journal of Clinical Epidemiology. 2010;63(7):737–45.

18.        Mokkink LB, Terwee CB, Knol DL, Stratford PW, Alonso J, Patrick DL, et al. The COSMIN checklist for evaluating the methodological quality of studies on measurement properties: a clarification of its content. BMC Medical Research Methodology. 2010;10:22.

19.        Verdens helseorganisasjon (WHO). Process of translation and adaptation of instruments. 2016. Tilgjengelig fra: http://www.who.int/substance_abuse/research_tools/translation/en/ (nedlastet 14.12.2017)

20.        Utdanningsdirektoratet. Det felles europeiske rammeverket for språk. 2011. Tilgjengelig fra: https://www.udir.no/Upload/Verktoy/5/UDIR_Rammeverk_sept_2011_web.pdf?epslanguage=no (nedlastet 14.12.2017).

21.        Gonzalez MT, Hartig T, Patil GG, Martinsen EW, Kirkevold M. Therapeutic horticulture in clinical depression: a prospective study. Research and Theory for Nursing Practice. 2009;23(4):312–28.

22.       Polit DF, Beck CT. Essentials of nursing research : appraising evidence for nursing practice. 8. utg.Philadelphia, PA: Wolters Kluwer / Lippincott Williams & Wilkins; 2014.

23.       Polit DF, Yang FM. Measurement and the measurement of change. Philadelphia, PA: Wolters Kluwer / Lippincott Williams & Wilkins; 2015.

24.        Christoffersen L, Johannessen A, Tufte PA, Utne I. Forskningsmetode for sykepleierutdanningene. Oslo: Abstrakt forlag; 2015.

25.       Polit DF, Beck CT. Nursing research : generating and assessing evidence for nursing practice. 10. utg. Philadelphia, PA: Wolters Kluwer; 2017.

26.        Miki-Rosario N, Garcia Filho RJ, Garcia JG, Dini GM, Bottomley A, Chow E, et al. Translation into Portuguese, cross-cultural adaptation and validation of «The European Organization for Research and Treatment of Cancer-Quality of Life Questionnaire-Bone Metastases-22». Annals of Palliative Medicine. 2016;5(3):190–5.

27.        Reinertsen H, Christophersen K-A, Helseth S. Vurdering av postoperativ smerte hos barn (0–5 år): Validering og reliabilitetstesting av smertevurderingsverktøyet FLACC. Sykepleien Forskning. 2014;9(2):136–44. Tilgjengelig fra: https://sykepleien.no/forskning/2014/02/validering-og-reliabilitetstesting-av-smertevurderingsverktoyet-flacc (nedlastet 15.12.2017).

28.       Sjetne IS, Tvedt C, Squires A. Måleinstrumentet ʻThe Nursing Work Index-Revisedʼ – oversettelse og utprøvelse av en norsk versjon. Sykepleien Forskning. 2011;6(4). Tilgjengelig fra: https://sykepleien.no/forskning/2011/11/maleinstrumentet-nursing-work-index-revised-oversettelse-og-utprovelse-av-en-norsk (nedlastet 15.12.2017).

29.        Johnson TP. Methods and frameworks for crosscultural measurement. Medical Care. 2006;44(11 Suppl 3):S17–20.

30.        Nekolaichuk C, Watanabe S, Beaumont C. The Edmonton Symptom Assessment System: a 15-year retrospective review of validation studies (1991–2006). Palliative Medicine. 2008;22(2):111–22.

31.       Bergh I, Aass N, Haugen DF, Kaasa S, Hjermstad MJ. Symptom assessment in palliative medicine. Tidsskrift for Den norske legeforening. 2012;132(1):18–9.

32.       Boel K, Haaber K, Byskov, L. Dansk versjon av ESAS – symptomregistrering. Omsorg. 2009(1):41–6.

33.       Beck CT, Bernal H, Froman RD. Methods to document semantic equivalence of a translated scale. Research in Nursing & Health. 2003;26(1):64–73.

34.       Yu DS, Lee DT, Woo J. Issues and challenges of instrument translation. West J Nurs Res. 2004;26(3):307–20.

35.        Podsakoff PM, MacKenzie SB, Podsakoff NP. Sources of method bias in social science research and recommendations on how to control it. Annual Review of Psychology. 2012;63:539–69.

36.       Jansen DA. Attentional demands and daily functioning among community-dwelling elders. Journal of Community Health Nursing. 2006;23(1):1–13.