MinTankesmie

Relativ og absolutt nytteverdi

Norges offentlige utredninger (NOU)
Piller, prioritering og politikk HOD - NOU 1997: 7) (pdf)
odin.dep.no/hod 30.1.1997
(...) 5.6 EFFEKT - NØKKELBEGREP MED ULIKE DIMENSJONER
Det er ofte vanskelig å vurdere effekter av legemidler. Det er spesielt vanskelig å analysere konsekvensene av legemidler som hovedsakelig brukes til langvarig forebygging og lavrisikointervensjon. (...)

(...) Ofte oppgis effekten av et legemiddel i form av relativ risikoreduksjon. For eksempel innebærer en reduksjon i dødelighet i observasjonsperioden fra 4 til 2 pst en relativ dødelighetsreduksjon på hele 50 pst, selv om den absolutte reduksjonen kun er på 2 pst. Det er viktig å være bevisst på forskjellen mellom disse begrepene. I markedsføringen av legemidler har relativ risiko vært mye brukt. Det er imidlertid ønskelig at informasjon om risikoreduksjoner oppgis både i absolutte og relative tall. Ofte vil det også være klargjørende å anskueliggjøre effekten av behandling gjennom beregninger av hvor mange pasienter det er nødvendig å behandle for å unngå sykdom hos ett individ, på engelsk kalt «number needed to treat». En reduksjon i dødelighet fra 3 til 2 pst i løpet av en viss periode vil f.eks. innebære at man har spart ett liv for hver gruppe på 100 pasienter som er behandlet i perioden. Hos de øvrige 99 pasientene har behandlingen kun medført en utgift og eventuelt gitt bivirkninger. Videre er det nødvendig å vurdere i hvilken grad en behandling forhindrer eller kun utsetter en medisinsk hendelse. (...)

(Anm: Hvordan lese/fortolke studieresultater (statistiske resultater) (mintankesmie.no).)

Er relative risici og odds-ratioer i resumeer troværdige?
Sekundærpublikation
Ugeskr Læger 2006;168(33):2678
Det første resultat i 520 resumeer, hvori man angav relative risici eller odds-ratioer, var statistisk signifikant i 70% af de randomi-serede forsøg, 84% af kohortestudierne og 84% af case-kontrol-studierne. Mange resultater kom fra subgruppeanalyser eller sekundære analyser, eller biasede udvalg af resultater. Fordelingen af p-værdier i intervallet 0,04-0,06 var ekstremt skæv for randomiserede forsøg, men de fleste signifikante resultater var forkerte, meget tvivlsomme eller kunne diskuteres. Skævheden var endnu større i observationelle studier. Signifikante resultater i resumeer bør tolkes meget varsomt. (...)

Relative vs. absolute measures of benefit and risk: what's the difference?
Acta Psychiatrica Scandinavica 2009;121(2):94-102
Objective: When appraising evidence clinicians are confronted with two types of comparisons: ratios, such as relative risk, and absolute differences, such as number needed to treat (NNT) or number needed to harm (NNH).

Method: A review of the definition, calculation and interpretation of relative measures such as relative risk, odds ratio and the hazard ratio, and how they are different from absolute measures such as NNT and NNH.

Results: Relative and absolute measures provide different perspectives. Ratios can be misleading and exaggerate clinical differences, but NNT can appear to trivialize the risk of potentially important adverse events.

Conclusion: There is a need to understand both relative and absolute differences in order to make informed decisions. (...)

Hvordan lese vitenskapelige artikler

Making raw data more widely available (Å gjøre rådata mer alminnelig tilgjengelig)
BMJ 2011; 342:d2323 (4 May)
New initiative by the Wellcome Trust sets out some guiding principles

Medical investigators routinely refuse to share data from medical studies, seeming to regard such data as private property rather than a public resource for the benefit of medical science and future generations of patients. One survey found that 75% of pharmaceutical researchers were opposed in principle to making raw data available.¹ Two studies have found that only a minority of researchers (10% and 25%) share data when publishing in journals with explicit policies that raw data must be made available.^{2 3} Even in genomics research, where the principle that microarray data should be deposited in a publicly accessible database is widely accepted, many published studies do not have an associated data set publicly available.^{4 5}

The benefits of sharing raw data from medical studies have been widely discussed.^{6 7 8 9} Data sharing ensures reproducibility, allows testing of secondary hypotheses, facilitates development of new statistical methods, provides a resource for teaching, aids design of new studies, simplifies data acquisition for meta-analysis, and helps prevent fraud and selective reporting. (...)

(Anm: Medisinske tidsskrifter og uavhengighet etc. (mintankesmie.no).)

Absolute risk please (Absolutt risiko, vennligst)
Editor's Choice (Fiona Godlee, editor, BMJ)
BMJ 2008;336 (19 January)
The BMJ has a noble tradition of fighting the trend to medicalise risk factors (BMJ 2002;324:886-91; doi: 10.1136/bmj.324.7342.886). This week we hear more about whether we should be treating women who have "pre-osteoporosis," otherwise known as osteopenia—bone mineral densities that are slightly below normal. These women are at low risk of fracture but are considered by some to be "at risk of being at risk." They comprise more than half of the world’s postmenopausal women.

Pablo Alonso-Coello and colleagues examine four post hoc analyses of trials of osteoporosis drugs that claim to support drug treatment for osteopenia (p 126; doi 10.1136/bmj.39435.656250.AD). They find that the benefits of treatment in these low risk women are overstated and the harms underplayed. They urge clinicians to base treatment decisions on absolute rather than relative risk. It’s a lesson worth repeating: "impressive sounding reductions in relative risk can mask much smaller reductions in absolute risk." (...)

Hvordan lese vitenskapelige artikler
Tidsskr Nor Lægeforen 2007; 127: 2291 (6.9.2007)
David Bowers Allan House David Owens
Understanding clinical papers - 2. utg. 232 s, tab, ill. Chichester: Wiley, 2006. Pris GBP 23 - ISBN 978-0-470-09130-2 (...)

Forfatternes hovedgrep er å bruke utdrag fra en rekke vitenskapelige artikler og å utstyre dem med snakkebobler og piler som peker inn på tekst, tabeller og figurer. I tillegg gis kortfattede og instruktive forklaringer i den løpende teksten. Dette er klinisk undervisning i praksis - pek og forklar - med den forskjell at pasientene er byttet ut med artikkelutdrag. (...)

Dette er imidlertid ingen lærebok i medisinsk statistikk, epidemiologi eller forskningsmetode. Den gir ingen grunnleggende forståelse for begreper og metoder, men lesere som får med seg alt som står her, vil stå godt rustet til å gi seg i kast med den vitenskapelige litteraturen. (...)

(Anm: Medisinske tidsskrifter og uavhengighet etc. (mintankesmie.no).)

- Leger er ikke forskere

Doctors are not scientists (Leger er ikke forskere)
Leder
BMJ 2004;328 (19 June)
Noen leger er forskere— akkurat som noen politikere er forskere — men de fleste er det ikke. (...) (Some doctors are scientists—just as some politicians are scientists—but most are not.)

Dersom leger ikke er forskere da synes det merkelig å forsyne dem, som medisinske tidskrifter gjør, med en jevn strøm av originale vitenskapelige studier. Lærere og sosionomer får ikke tilsendt original forskning. Sykepleiere får noe, men etteraper de bare legenes ulogiske oppførsel? (If doctors are not scientists then it seems odd to supply them, as medical journals do, with a steady stream of original scientific studies. Teachers and social workers are not sent original research. Nurses are sent some, but are they simply aping the illogical ways of doctors?)

Den uunngåelige konsekvens er at de fleste lesere av medisinske tidsskrifter ikke leser de originale artikler. De skanner kanskje abstraktene, men det er de sjeldneste beist som leser en artikkel fra begynnelsen til slutt og løpende kritisk vurderer innholdet. Faktisk er de fleste leger ikke kvalifisert til kritisk å vurdere en artikkel. De er aldri blitt trenet til å gjøre det. I stedet må de akseptere bedømmelsen til redaksjonen og dens fagfellegranskere — inntil en av de sjeldne beist skriver og påpeker at en studie er vitenskapelig meningsløs. (The inevitable consequence is that most readers of medical journals don't read the original articles. They may scan the abstract, but it's the rarest of beasts who reads an article from beginning to end, critically appraising it as he or she goes. Indeed, most doctors are incapable of critically appraising an article. They have never been trained to do so. Instead, they must accept the judgment of the editorial team and its peer reviewers—until one of the rare beasts writes in and points out that a study is scientifically nonsensical.)

Leserne vil noen ganger komme over en artikkel, som en bie kommer over en blomst, for å suge litt honning. Jeg antar de støter på disse mer av personlige enn vitenskapelige grunner. Jeg er interessert i en studie som viser en jevn økning i sykehusinnleggelser grunnet akutt betennelse i bukspyttkjertelen (pankreatitt) fra 1963 til 1998 (s 1466) kanskje fordi min bror hadde pankreatitt — faktisk hadde forbindelse noe å gjøre med at studien fikk plass i tidsskriftet nettopp idet det er antydet at BMJs publiseringer om tåneglsopp kommer av at så mange av lederne i redaksjonen lider av det. Forfatterne bemerker at prognosene for akutt pankreatitt er dårlig og at dødelighet etter innleggelse ikke har falt siden 1970-talet — hvilket reflekterer fraværet av nyvinninger innen behandling. (Sometimes readers will alight on an article as a bee alights on a flower to suck a little honey. They will alight, I suspect, for reasons that are more personal than scientific. I am interested in the study showing a steady rise in hospital admissions for acute pancreatitis from 1963 to 1998 (p 1466) because my brother had pancreatitis—maybe, indeed, that link had something to do with the study making it into the journal just as it's been suggested that the BMJ publishes on toenail fungus because so many of the editorial team suffer from it. The authors note that the prognosis of acute pancreatitis is poor and that mortality after admission has not fallen since the 1970s—reflecting the absence of innovations in treatment.)

Jeg er tiltrukket så vel av studien på hvorvidt usikkerhetsprinsippet er krenket i kliniske forsøk (p 1463). Prinsippet sier at du ikke skal utføre et forsøk dersom du tror at en behandling sannsynlig er bedre enn en annen. Studien vurderte om forsøk oftere favoriserte den eksperimentelle behandling. Jeg gjettet de ville — og faktisk gjorde de. Forfatterne bedømte imidlertid at forsøkene tilfredsstiller usikkerhetsprinsippet. Jeg er ikke overbevist. (...) (I am attracted as well to the study on whether the uncertainty principle is violated in clinical trials (p 1463). The principle says that you shouldn't conduct a trial if you think that one treatment is likely to be better than another. The study looked to see if trials more often favoured the experimental treatment. I guessed they would—and, indeed, they did. The authors, however, judge that the trials do satisfy the uncertainty principle. I'm unconvinced.)

(Anm: Er leger forskere? (mintankesmie.no).)

- Spin avslørt i mer enn halvparten av konklusjoner i rapportering fra negative forsøk

Industry-paid studies likely to favor company drug (Studier betalt av industrien favoriserer høyst sannsynlig firmaets legemiddel)
reuters.com 2.8.2010
(Reuters Health) - Når legemiddelfirmaene finansierer studier på sine egne produkter er det mye mer sannsynlig at resultatene er positive enn når staten tar regningen, uttalte amerikanske forskere mandag. (- When drugmakers fund studies of their own products, the results are much more likely to be positive than when the government picks up the bill, US researchers said Monday.)

De fant at omtrent 85 prosent av industristøttede studier rapporterte positive resultater, sammenliknet med bare halvparten av de med statlig finansiering. Blant de nesten 550 studier av vanlige legemidler som forskerne undersøkte, var trefjerdedeler av de som hadde blitt publisert i medisinske tidsskrifter støttet av industrien. (They found that about 85 percent of industry-backed studies reported positive outcomes, compared to only half of those with federal funding. Among the nearly 550 studies of common drugs the researchers examined, three-quarters of those that had been published in medical journals had industry backing)

(Anm: Outcome Reporting Among Drug Trials Registered in ClinicalTrials.gov. Ann Intern Med 2010;153:158-166 (August 3).)

Spin found in more than half of abstract conclusions in reports of negative trials (Spin avslørt i mer enn halvparten av konklusjoner i rapportering fra negative forsøk)
BMJ 2010;340:c2873 (2 June) (British Medical Journal)
Short Cuts - All you need to read in the other general journals
JAMA 2010;303:2058-64[Abstract/Full Text]
Hvor ofte fremstilles negative forsøk som positive, og hvordan gjøres det? En studie forsøkte å besvare disse spørsmålene ved å granske alle rapporter av parallelle gruppeforsøk med ikke-signifikante resultater for opprinnelige sluttresultater, som ble publisert i desember 2006 og indeksert i PubMed. I de 72 identifiserte arbeider, 49 (68 %) abstrakter og 44 (61 %) hovedtekster, fant man minst én fordreid presentasjon eller "spin," som ble definert som spesifikke rapporteringsstrategier, uten hensyn til motivet, med det formål å presentere den eksperimentelle behandlingen som nyttig til tross for en ikke-statistisk forskjell i det opprinnelige sluttresultatet, eller målsetning om å lede leseren bort fra ikke-signifikante resultater. (How often are negative trials made to look positive, and how is this done? A study tried to answer these questions by examining all reports of parallel group trials with non-significant results on primary outcomes, which were published in December of 2006 and indexed in PubMed. In the 72 identified papers, 49 (68%) abstracts and 44 (61%) main texts were found to have at least one distorted presentation or "spin," which was defined as the use of specific reporting strategies, regardless of the motive, with the aim of presenting the experimental treatment as beneficial despite a statistically non-significant difference for the primary outcome, or the aim of distracting the reader from statistically non-significant results.)

In 13 articles a spin was found in the title. In abstracts, 27 (38%) results sections and 42 (58%) conclusion sections had at least one spin. In the main texts, this was 21 (29%), 31 (43%), and 36 (50%) for the results, discussion, and conclusions sections, respectively. (...)

Spin kan være tilsiktede forsøk på å villede leseren eller det kan være et resultat av manglende kunnskap eller ikke bevisst bias. (...) (Spins may be a deliberate attempt to mislead the reader or they may be the result of poor knowledge or an unconscious bias.)

(Anm: bias [baies] -en, - skjevhet i vitenskapelig undersøkelse el. resultat pga. mangelfull systematikk i innsamlingen av data. Etym.: eng., fr. biais helning, tendens. Kilde: ordnett.no.)

(Anm: bias; (...) valg og vurderinger som på systematisk måte avviker fra det som er faktisk korrekt. Kilde: Store norske leksikon.)

(Anm: Reporting and Interpretation of Randomized Controlled Trials With Statistically Nonsignificant Results for Primary Outcomes. JAMA. 2010;303(20):2058-2064. (May 26).)

(Anm: Medisinske tidsskrifter og uavhengighet etc. (mintankesmie.no).)

Feilaktige sammenligningende metaanalyser av psykoterapi og farmakoterapi

Flawed Meta-Analyses Comparing Psychotherapy With Pharmacotherapy (Feilaktige sammenligningende Metaanalyser av psykoterapi og farmakoterapi)
Am J Psychiatry 2000;157:1204-11
(...) KONKLUSJONER: Tallrike typer studier eksemplifiserer behovet for å utvise forsiktighet når det gjelder å evaluere konklusjoner i metaanalyser uten først kritisk å ha gransket de studier som er inkludert. Vurderinger av den relative effekt fra ulike behandlinger er ikke velbegrunnet når de nesten utelukkende indirekte er basert på en mangedobling av dårlig utførte sammenligninger. Metaanalyser basert på feilaktige studier eller studier som mangler bevisførsel er likeså utilstrekkelig hva kritikk av retningslinjene for behandling angår. Noen av dataene er ikke tilstrekkelige til å understøtte en adekvat meta-analyse. (...) (CONCLUSIONS: Numerous types of studies exemplify the need for caution in evaluating meta-analytic conclusions without first critically examining the included studies. Estimates of the relative efficacy of different treatments are not well founded when based almost exclusively on indirect, multiply confounded comparisons. Meta-analyses based on flawed studies or studies that lack demonstrated assay sensitivity are also inadequate for the criticism of treatment guidelines. Some bodies of data are inadequate to support a proper meta-analysis.)

Metaanalyser av forsøk som sammenligner antidepressiva med aktive placebo

Meta-analysis of trials comparing antidepressants with active placebos (Metaanalyser av forsøk som sammenligner antidepressiva med aktive placeboer)
Br J Psychiatry 1998;172:227-31
(...) KONKLUSJONER: Metaanalyser er svært sensitive for beslutninger om eksklusjoner. Tidligere generelle metaanalyser har funnet kombinerte effektstørrelser i området 0,4 - 0,8. De mer konservative vurderinger som er gjort her tyder på at ublindet effekt kunne blåse opp effekter for antidepressiva i forsøk som bruker uvirksom placebo. (...) (CONCLUSIONS: Meta-analysis is very sensitive to decisions about exclusions. Previous general meta-analyses have found combined effect sizes in the range 0.4-0.8. The more conservative estimates produced here suggest that unblinding effects may inflate the efficacy of antidepressants in trials using inert placebos.)

Legemiddel versus placebo

The Powerful Placebo: From Ancient Priest to Modern Physician (Den sterke placebo: Fra fortidens prest til moderne lege)
Arthur K. Shapiro, M.D & Elaine Shapiro PH. D. 1997 (ISBN 0-8018-55691-I)
(...) En alvorlig reservasjon angående gyldigheten av disse og andre kontrollerte legemiddelstudier er at uvirksom placebo er brukt i stedet for aktiv placebo som etterlikner sideeffekter av det eksperimentelle legemidlet som blir evaluert (Blumenthal et al 1974). (A serious reservation about the validity of these and other controlled studies of drugs is that inert placebos were used instead of active placebo that mimic the side effects of the experimental drug being evaluated (Blumenthal et al 1974)). (...)

Et stadig voksende materiale viser at når aktiv placebo blir brukt i kontrollerte studier for antidepressiva og andre legemidler, er det aktive legemidlet knapt bedre enn placebo, hvis det, i det hele tatt, er bedre enn placebo. (...) (A growing literature demonstrates that if active placebo controls are used in studies of antidepressant and other drugs, the active drug is only slightly, if at all, better than placebo.)

Diverse artikler

Statistical Question
Confidence intervals: predicting uncertainty (Konfidensintervaller: forutsigelse av usikkerhet)
BMJ 2012;344:e3147 (9 May)
Researchers evaluated the effectiveness of standardised consultations for patients with osteoarthritis of the knee.¹ Standardised consultations involved three goal oriented visits, which comprised education about osteoarthritis and treatment management, as well as information on physical exercises and weight loss. A cluster randomised controlled trial was used. Control treatment was usual care. Participants were recruited from primary care. Inclusion criteria included age 45-75 years and a diagnosis by a rheumatologist of osteoarthritis of the knee according to the American College of Rheumatology clinical and radiological definition. Main outcome measures included change in body weight at four months from baseline. (...)

Statistical Question
What are odds?
BMJ BMJ2012;344:e2853 (25 April 2012)
Researchers investigated the association between genitourinary infections that occur from the month before conception to the end of the first trimester and gastroschisis. A case-control study design was used. The mothers of 505 offspring with gastroschisis were identified as cases and mothers of 4924 healthy liveborn infants as controls. Women self reported urinary tract infections and sexually transmitted infections.(...)

How to obtain the confidence interval from a P value
BMJ 2011; 343:d2090 (8 August)
Confidence intervals (CIs) are widely used in reporting statistical analyses of research data, and are usually considered to be more informative than P values from significance tests.^{1 2} Some published articles, however, report estimated effects and P values, but do not give CIs (a practice BMJ now strongly discourages). Here we show how to obtain the confidence interval when only the observed effect and the P value were reported.

The method is outlined in the box below in which we have distinguished two cases. (...)

Relative risks and statistical significance
BMJ 2010;341:c4265 (11 August)
Statistical Question (...)

Statistical significance and confidence intervals
Statistical question
BMJ 2009;339:b3401 (2 September)
A prospective population based cohort study investigated the association between occupation and pregnancy outcome for mothers who had missed antenatal visits. The mean birth weight was 3371 g (95% confidence interval 3274 to 3469) and 3227 g (3140 to 3315 g) for babies born to mothers in non-manual and manual jobs, respectively.

On the basis of the above information, which of the following can be deduced for mothers who missed antenatal visits? (...)

New group aims to detect misuse of statistics by government and media (Ny gruppe har som målsetting å påvise statens og medienes misbruk av statistikk)
BMJ 2009;338:b2469 (18 June)
A new group that aims to detect and highlight the misuse of statistics was launched on 18 June to help promote the public’s confidence in statistical information.

Straight Statistics, which is supported by a grant from the Nuffield Foundation, will encourage the appropriate use of statistical data by a range of establishments, including the government and the media. It will report its findings on its website (www.straightstatistics.org) and promote its work through reports and conferences.

Together with the charity Sense about Science, which promotes good science among the public, the group is also producing a booklet, Making Sense of Statistics, which will be available in September. It is also supporting the establishment of an all party parliamentary group on statistics. (...)

Statistical question
Study design
BMJ 2009;338:b2381 (17 June)
A clinical trial investigated the effectiveness of topical versus oral ibuprofen for chronic knee pain in people over 50. In designing a trial to decide the best treatment approach, which answer best describes how confounding could be minimised?

a) Double blind trial
b) Intention to treat analyses
c) Matching by age and sex
d) Randomisation of research participants (...)

Resting heart rate as predictor
What about absolute risks?
BMJ 2009;338:b1197 (23 March)
It is a fundamental principle in public health that you should never quote a relative risk without also giving the absolute risk.¹ Failure to follow this simple precept results in the weekly health scares that engage the popular press, when an increased relative risk is taken as a threat to the individual. (...)

In other words, in those deemed to be at a higher risk, out of 250 women only one extra woman would have an event in about 8 years. This is not what the public think of as a predictor. Those in the top fifth should not be unduly concerned. (...)

Picking studies
guardian.co.uk 22.1.2009
There are more than 30,000 medical journals and hundreds of thousands of research articles published every year. How can anyone keep up with them? And more importantly how can you tell if the research is good or not?

Each research study is only one piece of a jigsaw that may take years to finish. Rarely does any one piece of research answer either a doctor's, or your, question. (...)

Hvor "farlige" fødsler?
Dag Moster er barnelege, overlege ved Haukeland universitetssykehus og postdoc-stipendiat ved Universitetet i Bergen
Rolv Terje Lie er professor ved Universitetet i Bergen.
Trond Markestad er barnelege, dr.med. og leder i Rådet for legeetikk
aftenposten.no 8.8.2008
Det er korrekt at noen for tidlig fødte kan få problemer senere i livet. Men de aller fleste for tidlig fødte klarer seg svært godt som voksne. (...)

Et eksempel som kan illustrere hva relativ risiko betyr, er at sjansen for å vinne i Lotto øker 10 ganger hvis en kjøper 10 rekker i stedet for én. Likevel er den reelle sjansen for å vinne fortsatt liten.

Tilsvarende fikk ca. 1 av 1000 barn født til termin og, tross alt, bare 9 av 100 født mer enn tre måneder før termin cerebral parese i vår studie. Så selv om det var 79 ganger så høy risiko var det fortsatt 91 % som ikke hadde cerebral parese av de minste premature. I tallene for risiko er det også mulig at samme barn har flere diagnoser, for eksempel både cerebral parese og psykisk utviklingshemning. Betydningen av funksjonsvansker kan også illustreres ved at 11 av 100 barn som var født mer enn tre måneder før tiden mottok uførestønad mot 2 av 100 født til termin. 89 % av de aller minste premature mottok altså ikke uførestønad. (...)

Ingen grunn til bekymring.
Det vil si at økt overlevelse har ført til at langt flere for tidlig fødte barn overlever i dag uten alvorlige funksjonshemninger. (...)