Kvalitet i kvantitativ metode – et innblikk

Hensikten med denne artikkelen er å gi et innblikk i kvantitativ metode og hvordan man kan vurdere kvaliteten på en gjennomført studie når man leser forskningsartikler som har benyttet slike metoder.

Vi har ikke til hensikt å gjøre rede for ulike typer kvantitative metoder; det er for omfattende å gå i detalj på de ulike metodene i denne artikkelen. Vi ønsker derimot å trekke frem viktige prinsipper og presentere de vanligste begrepene som benyttes, og som vi finner i forskningsartikler.

Hva finner vi ut med kvantitative metoder?

Et viktig prinsipp i forskningen er at spørsmålet bestemmer metoden. Hva er det vi ønsker å få svar på gjennom undersøkelsen?

I kvantitative studier kan vi stille spørsmål om utbredelse av noe : «Hvor mange personer i Norge har diabetes type 1 per 1. januar 2019» (prevalens) eller «I Norge, hvor mange nye personer får diabetes type 1 hvert år?» (insidens); sammenhenger (korrelasjon, assosiasjon): «Er det sammenheng mellom eksamenskarakterer og søvnmengde målt i timer dagen før eksamen?»; og sammenlikninger : «Er X annerledes enn Y?»

Vi forsøker ofte å finne ut noe om årsak–virkning (kausalitet): «Påvirker X Y?»; eller virkning (effekt): «Hvordan påvirker X Y?»

Kvantitativ forskning handler om analyse og fortolkning av kvantitative data, det vil si tall (2). Kvantitative tilnærminger bygger på naturvitenskapelig metode og et positivistisk vitenskapssyn: at en antakelse, eller hypotese, kan avvises eller bekreftes (1). Forskningsresultatene skal være reproduserbare og pålitelige, og resultatene bør oppleves som relevante for både pasientene, helsetjenesten og samfunnet (3).

Et kjennetegn på en god kvantitativ helseforskningsartikkel er at den formidler kunnskap som oppleves som meningsfull av målgruppen studien er rettet mot, som pasienter, helsetjenestene og samfunnet, og samtidig er forståelig både for andre forskere og for lesere av artikkelen.

Hva må med i en kvantitativ forskningsartikkel?

Gjennomførte forskningsstudier og resultater av disse beskrives, forklares og diskuteres i en forskningsartikkel. Som i de fleste forskningsartikler innen helsefaglig forskning følges som regel IMRaD-strukturen (Introduction, Method, Results, and Discussion [introduksjon, metode, resultater og diskusjon]) (4).

Hensikten med introduksjon og bakgrunn i en kvantitativ forskningsartikkel er den samme som i en kvalitativ artikkel: å legitimere og argumentere for gjennomføring av studien. Det samme gjelder diskusjonskapittelet: Her skal forskerne diskutere hva resultatene betyr, for hva eller hvem og «hva så» – uansett om de har benyttet kvantitativ metode, kvalitativ metode eller en kombinasjon av disse.

Hvilke forskningsetiske overveielser som er gjort, og hvilke tillatelser som er gitt, må beskrives i alle typer forskningsartikler, også i kvantitative. Det er i hensikt, problemstilling og forskningsspørsmål, metode og resultater vi ser tydelige forskjeller mellom kvantitativ og kvalitativ metode.

Vi vil trekke frem metodedelen i denne artikkelen, fordi det særlig er metodedelen som vil være avgjørende for om leseren kan gjøre seg opp en mening om studiens og artikkelens kvalitet. En god metodedel bør inneholde utfyllende beskrivelser av 1) deltakere og utfallsmål og 2) datainnsamling og håndtering og analyse av data.

Deltakere og utfallsmål

En god kvantitativ forskningsartikkel vil inneholde detaljerte opplysninger om inklusjons- og eksklusjonskriterier for deltakelse i studien (3). Ved å lese kriteriene kan man gjøre seg opp en mening om de riktige deltakerne og et tilstrekkelig antall av disse har blitt inkludert i studien.

Ofte kan man ikke undersøke alle som tilhører en populasjon, for eksempel alle med hjertesykdom. Forskerne må gjøre et utvalg: en mindre gruppe av populasjonen (2). Det er viktig at dette utvalget er representativt for den faktiske populasjonen eller målpopulasjonen (for eksempel alle med hjertesykdom).

Utvalget trekkes enten ved sannsynlighetsutvelgelse eller ikke-sannsynlighetsutvelgelse (1). Sannsynlighetsutvelgelse innebærer at alle i den angjeldende populasjonen har lik sannsynlighet til å bli med i studien (for eksempel ved loddtrekning).

Ikke-sannsynlighetsutvelgelse kan for eksempel gjennomføres ved at forskeren velger å inkludere de som er lettest tilgjengelig (bekvemmelighetsutvalg), de med noen egenskaper eller kjennetegn som er viktige å ha med i studien (strategisk utvalg), eller ved at deltakerne selv melder seg frivillig til å delta (selvutvelgelse) (3).

Risikoen ved ikke-sannsynlighetsutvelgelse er at utvalget kan avvike fra populasjonen ved at relevante grupper ikke er blitt inkludert eller er under- eller overrepresentert, og vi får en skjevhet i utvalget som kan svekke generaliserbarheten til resultatene (2).

Siden kvantitative data analyseres ved hjelp av statistiske metoder, er det også viktig å vurdere om forskerne har inkludert et stort nok antall deltakere for å kunne gjennomføre de analysene som er planlagt. Dette kalles effektstørrelse (3), som beregnes ved hjelp av en matematisk «styrkeberegning».

En god artikkel vil ha et eget avsnitt om beregning av effektstørrelse. Styrkeberegning gjennomføres for studier som tester hypoteser om effekter og forskjeller.

Datainnsamling, ‑håndtering og ‑analyse

Det finnes mange måter å samle inn, håndtere og analysere kvantitative data på. Vi vil her bruke pasientrapporterte data som eksempel.

Personen som opplever helseproblemer, er ofte den som har best forutsetning for å foreslå hvordan man skal håndtere dem (5, 6). Pasientrapporterte utfallsmål eller PROM ( patient-reported outcome measures) er pasientens selvrapportering om egen helsetilstand som funksjonell status, symptomer og velvære (7).

Siden PROM representerer pasientens egen fortolkning av sin helsetilstand, uten fortolkning fra helsepersonell eller andre (3), gir bruken av disse bedre mulighet til å kunne evaluere effekten av helsetjenester og behandling fra pasientens eget perspektiv (8, 9).

Selv om dødelighet og andre mer tradisjonelle målemetoder, som høyde, vekt og glukose i blodet, er vanlige utfallsmål i klinisk forskning, fanger disse utfallsmålene kun opp begrensede aspekter av menneskers liv.

Bruken av PROM i kombinasjon med tradisjonelle målemetoder vil gi et mer utfyllende bilde av effekten av behandlingen eller fenomenet som evalueres (10). Slik kan man sikre at resultatene er relevante for dem det gjelder (11).

Mange ulike måleinstrumenter (oftest spørreskjemaer) er tilgjengelige for vanlige helseproblemer (3), og PROM er utformet for å måle enten «generell» helsestatus (generiske PROM) eller helsestatus knyttet til en spesifikk tilstand (sykdomsspesifikke PROM) (6, 12).

• Generiske instrumenter: kartlegger brede aspekter av helse og er ikke skreddersydd for en bestemt pasientpopulasjon (6, 13). Disse er godt egnet for sammenlikninger mellom ulike pasientgrupper og med befolkningen generelt.
• Sykdoms-/tilstandsspesifikke instrumenter: kartlegger symptomer på og virkningen på funksjon av en bestemt tilstand (6). Disse er utviklet for å fange opp viktige endringer i helse som følge av intervensjoner eller behandling, men er dårlig egnet for sammenlikninger på tvers av sykdomsgrupper (6, 14).

Valgte måletidspunkter gjennom datainnsamlingsperioden og frafall fra undersøkelsen påvirker også studiens resultater. For eksempel vil pasientrapporterte utfallsmålinger relatert til en diagnose kunne påvirkes av hvor lang tid som er gått siden man fikk diagnosen, og utsendte spørreskjemaer (post, e-post) vil ofte ha lavere svarprosent enn spørreskjemaer som er formidlet ved personlig oppmøte (11).

I tillegg må databearbeidingen og de statistiske analysene være tilpasset den typen data som er innhentet, og inkludere prosedyrer for håndtering av manglende data om deltakere faller fra underveis i studien (1).

Hvordan kan vi stole på resultatene?

Til slutt må forskningsresultatene tolkes riktig; tall fra et skjema har i seg selv liten verdi, og en målbar og statistisk signifikant forskjell (det vil si en ikke-tilfeldig forskjell) trenger ikke å være en forskjell som har klinisk nytteverdi (11).

Nytteverdien eller gyldigheten (validiteten) av resultatene som er formidlet i en kvantitativ helseforskningsartikkel, handler om hvor sannsynlig det er at våre funn faktisk beskriver virkeligheten for hele populasjonen, og at resultatene ikke skyldes andre ytre faktorer som det ikke er kontrollert for, eller ren tilfeldighet (2, 15).

Vi skiller mellom indre og ytre validitet. Indre validitet handler om å kunne trekke en holdbar slutning om at noe har en kausal sammenheng – at det er X som påvirker Y. Ytre validitet handler om hvor gyldig resultatene er for målpopulasjonen eller for andre grupper utover populasjonen, det vil si om resultatene er generaliserbare eller overførbare (15).

Når man leser en kvantitativ forskningsartikkel, ser man ofte at det i tabeller presenteres en såkalt p-verdi. En p-verdi er et mål på statistisk validitet, som er en beregning av sannsynligheten for at et resultat er gyldig og ikke skyldes tilfeldigheter, flaks eller uflaks.

Innen hypotesetesting er statistisk signifikans sentralt. For eksempel er en p-verdi på 0,05 eller lavere et uttrykk for at det er minimum 95 prosent sannsynlighet for at en hypotese er sann, det vil si at resultatet er gyldig (1).

Et annet kvalitetskriterium er reliabilitet (pålitelighet) (15). Reliabilitet knytter seg til nøyaktigheten av undersøkelsen, hvilke utfallsmål som brukes, måten de er samlet inn på, hvordan de er bearbeidet av forskeren (1), hvorvidt en bestemt måling gir konsistente resultater over tid, hvor presise data undersøkelsesmetoden kan produsere, og hvorvidt deltakerne i studien har sammenfallende opplevelser av samme fenomen.

Det finnes ulike statistiske metoder for å beregne reliabilitet.

Avslutning

Vi har i denne artikkelen trukket frem kvaliteten på metodedelen som et kjennetegn på en god kvantitativ helseforskningsartikkel. En god metodedel vil alltid inneholde tilstrekkelig informasjon om deltakere, utfallsmål, datainnsamling, datahåndtering og dataanalyse. Gjennom grundig lesning av artikkelens metodedel kan vi vurdere om vi kan stole på resultatene, og om resultatene kan være til hjelp i møte med personene vi møter i vår daglige praksis.

Referanser

1.    Johannessen A, Tufte PA, Christoffersen L. Introduksjon til samfunnsvitenskapelig metode. Oslo: Abstrakt; 2016.

2.    Drageset S, Ellingsen S. Forståelse av kvantitativ helseforskning – en introduksjon og oversikt. Nordisk tidsskrift for helseforskning. 2009;5(2):100–14.

3.    Polit DF, Beck CT. Nursing research: generating and assessing evidence for nursing practice. 10. utg. Philadelphia: Wolters Kluwer Health; 2017.

4.    Bertin M, Atanassova I, Lariviere V, Gingras Y, red. The distribution of references in scientific papers: an analysis of the IMRaD structure. Proceedings of the 14th ISSI Conference; 2013.

5.    Chalmers I. Confronting therapeutic ignorance. BMJ. 2008;337:a841.

6.    Black N. Patient reported outcome measures could help transform healthcare. BMJ. 2013;346:f167.

7.    U.S. Department of Health and Human Services FDA Center for Drug Evaluation and Research; U.S. Department of Health and Human Services FDA Center for Biologics Evaluation and Research; U.S. Department of Health and Human Services FDA Center for Devices and Radiological Health. Guidance for industry: patient-reported outcome measures: use in medical product development to support labeling claims: draft guidance. Health and Quality of Life Outcomes. 2006;4:1–20.

8.    Kluetz PG, O’Connor DJ, Soltys K. Incorporating the patient experience into regulatory decision making in the USA, Europe, and Canada. The Lancet Oncology. 2018;19(5):e267–e274.

9.    Calvert M, Kyte D, Price G, Valderas JM, Hjollund NH. Maximising the impact of patient reported outcome assessment for patients and society. BMJ. 2019;364:k5267.

10.  Calvert M, Kyte D, Mercieca-Bebber R, Slade A, Chan A-W, King MT, et al. Guidelines for inclusion of patient-reported outcomes in clinical trial protocols: the SPIRIT-PRO extension. JAMA. 2018;319(5):483–94.

11.  Enden T, Bernklev T, Jelsness-Jørgensen L, Amdal C. Pasientene kjenner best egen helse. Tidsskrift for Den norske legeforening. 2018;138(8).

12.  Bryan S, Broesch J, Dalzell K, Davis J, Dawes M, Doyle-Waters MM, et al. What are the most effective ways to measure patient health outcomes of primary health care integration through PROM (Patient Reported Outcome Measurement) instruments? Vancouver: Centre for Clinical Epidemiology & Evaluation; 2013.

13.  Devlin NJ, Appleby J. Getting the most out of PROMs. Putting health outcomes at the heart of NHS decision-making. London: The King’s Fund; 2010.

14.  Wiering B, de Boer D, Delnoij D. Patient involvement in the development of patient‐reported outcome measures: a scoping review. Health Expectations. 2017;20(1):11–23.

15.  Pripp A. Validitet. Tidsskrift for Den norske legeforening. 2018;138(13).