Vortrag

Systematic reviews –
benefits and pitfalls
Yngve Falck-Ytter
Deutsches Cochrane Zentrum
Statistische Methoden in Evidenz-basierter
Medizin und Health Technology Assessment
Freiburg, 20. November 2003
1
Inhalt
¾ Warum brauchen wir systematische Reviews?
¾ Evidence-based medicine / HTA
¾ Benefits and pitfalls of meta-analysis
¾ Klinisch-methodische Aspekte
¾ Kritische Beurteilung der Qualität von SR
2
Hintergrund
¾ Klinische Entscheidungen: 20 – 40% basiert auf
Erkenntnisse aus klinischer Forschung?
¾ Schnell expandierendes medizinisches Wissen
¾ Wenig transparenter, fehlerhafter und langsamer
Transfer von Wissen in die Praxis
Crossing the quality chasm. IOM 2000
3
• Klinische (kontrollierte) Studien
• Epidemiologische (Beobachtungs-) Studien
• ....
?
Behandelnde Ärzte
Gesundheitsbehörden, Krankenkassen
Patienten
Klinische Forschung
Evidenz-Produktion
Informationen zu medizinischen Fragestellungen
Evidenz-Nutzung
Erkenntnistransfer
4
RCT Zitationen in Medline
Randomized controlled trial citations in Medline
Total: 175,140
14000
11652
11375
10981
1
0940
10681
10299
10359
10148
9469
12000
8216
8000
6736
6000
7043
5609
Searched November 15, 2003 in PubMed: RCT[pt]
5
20
03
20
01
19
99
19
97
19
95
19
93
19
91
19
89
2799
19
87
19
83
1766
19
81
1457
19
79
1226 1238
19
77
19
75
19
73
19
71
19
69
19
67
557 626
268 288 350 369 455
38 186 212
926
2520
2258
2049
19
85
3027
2000
0
7150
7545
4495
4402
3829
3503
4000
19
65
Number of hits
10000
Informationsflut vs. Lesezeit
Jedes Jahr ca. 2 Mio. Artikel in 25.000 Fachzeitschriften
Gastroenterologie: Weltweit ~ 270 Zeitschriften
250.000 bis 1 Mio. abgeschlossene Studien
19 Artikel pro Tag, 365 Tage pro Jahr Davidoff 1995
Durchschnittliche ärztliche Lesezeit: < 40 Min. pro Woche
6
Example
streptokinase
in acute MI
(OR, 95% CI)
Lau J et. al. N Engl J
Med 1992;327:248-54
Lau J et. al. N Engl J Med 1992;327:248-54
7
Antman E
et. al.
JAMA
1992;268:
240-48
8
Antman E
et. al.
JAMA
1992;268:
240-48
9
Evidence-based Medicine
Evidence-based medicine is the integration of
best research evidence with clinical expertise
and patients values.
Sackett D, Straus S, Richardson W, Rosenberg W, Haynes B.
Evidence-based Medicine – how to practice and teach EBM.
Churchill-Livingstone 1997
10
Level of evidence
Level of
evidence
Studies on therapy / harm
I
Randomized controlled trials
II
Cohort studies
III
Case-control-studies
IV
Case-series
V
Expert opinion
Oxford Centre of Evidence Based Medicine; http://www.cebm.net
11
Für EBM nötig...
Systematische Identifikation von Evidenz
(unter Einbezug medizinischer Datenbanken)
Lösungsansätze
I Primärliteratur: Originalartikel (Klassische EBM)
II Sekundärliteratur: z.B. Journal Club, Journal Watch
III Zusammenfassen: Synthese von mehreren Artikeln
aus Primärliteratur (Narrativ oder systematisch),
„Clinical Evidence“, „Cochrane Library“
12
Meta-analysen und Systematic Reviews
in Medline
2000
1800
1991
1906
1790
1600
1381
1200
1131
1000
803
800
883
699
539 564
600
436
335
400
254
200
0
1185
6
3
12
19
17
25
32
54
113
19
80
19
81
19
82
19
83
19
84
19
85
19
86
19
87
19
88
19
89
19
90
19
91
19
92
19
93
19
94
19
95
19
96
19
97
19
98
19
99
20
00
20
01
20
02
Number of hits
1400
Searched: September 15, 2003 (meta-analysis[mh] OR meta-analysis[pt]
OR meta-anal*[tw])
13
ISIS-4
Funnel
plot:
i.v. Mg im
AMI
Lancet 1995
Meta-analysis
Yusuf S.Circulation 1993
Reporting
bias
Egger M, Smith DS. BMJ 1995;310:752-54
14
ISIS-4
Lancet 1995
Meta-analysis
Yusuf S.Circulation 1993
Egger M, Smith DS. BMJ 1995;310:752-54
15
Egger M, Smith DS. BMJ 1995;310:752-54
16
Verzerrungen (Bias): Quellen
¾ Publikationsbias (File Drawer Problem)
• öfter Nicht-Veröffentlichung von „negativen“ Studien
• schnellere und mehrfache Publikationen sign. Ergebnisse
¾ Language bias
• Systematische Unterschiede bei Publikationen im englischvs. nichtenglisch-sprachigem Raum
¾ Retrieval bias
• Keine sichere Methode für das Auffinden von
veröffentlichten Studien
17
Veröffentlichungen deutsch vs. englisch
Egger et al. Lancet 1997;350:326-29
18
Retrieval Bias
Accessibility of published data (April 1997)
Papers published in journals scanned by
EMED/MEDL
51%
Abstracts / grey literature
Papers published in journals NOT
scanned by EMED/MEDL
46%
3%
0% 10% 20% 30% 40% 50% 60%
Glaxo 1997
19
Zugriff auf Studien (RCT, CCT)
Anzahl Studien (1970-1999)
400
350
348
Handsuche
300
...davon in Medline
250
... mit richtigem
Publikationstyp
200
150
94
100
50
36
8
72
27
0
Monatsschrift
Klinische Pädiatrie
Kinderheilkunde
41
0
0
Kinderarzt
Bassler D et al Monatsschrift Kinderheilkunde 2001
16
0
0
Pädiatrische
Praxis Kinderarzt
20
Problemfeld: “Heterogeneity”
Egger et al. Systematic Reviews 2001
21
Wichtig: Meta-Analysen immer kritisch beurteilen!
¾ Vorsicht bei Meta-Analysen, wo…
•
•
•
•
Studien nicht eindeutig beschrieben sind
Studien nicht kritisch beurteilt wurden
Heterogenität nicht untersucht wurde
Keine Sensitivitätsanalysen vorgenommen wurden
¾ Immer zu bedenken:
• Meta-Analysen können nie die Verzerrungen (Bias) der
zugrunde liegenden Studien kompensieren
• Mit anderen Worten: Müll rein → Müll raus
22
23
Lösungsansätze
¾ Standardisierung der Reports von Reviews
QUORUM Statement, Moher et al. Lancet 1999
¾ Standardisierung der Reports von klinischen Studien
CONSORT Statement, Begg et al. 1996/2001
¾ Standardisierung der Reports von Diagnosestudien
STARD Statement, Bossuyt et al. Ann Int Med 2003
24
Lösungen: Prospektive Registrierung von Studien
25
Archie Cochrane
¾ 1979
“It is surely a great criticism of our profession that we have not
organised a critical summary, by speciality or subspecialty,
adapted periodically, of all relevant randomised controlled trials.”
26
Preparing, maintaining and promoting the
accessibility of systematic reviews of the effects of
health care interventions
27
Colorectale Chirurgie: Spülen oder nicht spülen?
¾ Outcome: Anastomotic leakage
28
Spülen oder nicht spülen?
¾ Outcome: Wound infection
29
Lösungsansätze: Cochrane
¾ Systematische Reviews (z.B. Cochrane)
• Erfassung aller für die Fragestellung relevanten Literatur
• Datenbanken: Medline, Embase etc.
• Handsuche: z.B. Studien in Cochrane CENTRAL database
• Gegensatz: narrative Reviews
• Cochrane: Titel → Protokoll → Review
• Transparenz
30
Leitlinien
DMP
International
International
National
Health Technology
Assessment (HTA)
PatientenInformationen
SR
/
MA
National
Epidemiologische Studien, Datenbanken, Fallserien
Klinische Studien (randomisiert, kontrolliert, prospektiv)
Systematic Reviews (Wirksamkeit)
Ausschüsse
Umfassende Bewertung
Management im
klinischen Alltag
Entscheidungshilfen
31
Missverständnisse und Missbrauch
¾ Vorwurf: Plagiat
¾ Kochbuch-Medizin
¾ Marketing Instrument
¾ Äpfel mit Birnen vergleichen
32
Zusammenfassung
¾ Systematische Reviews / Meta-Analysen können
zeitnah Forschungsergebnisse zusammenfassen und die
Präzision einer Aussage verbessern
¾ Methodisch korrektes Vorgehen notwendig
¾ Sind alle Studien eingeschlossen? Publication Bias?
¾ Vorsicht bei Meta-Analysen mit nur kleinen Studien
¾ Quellen und Ausmaß klinischer und methodischer
Heterogenität identifizieren und bewerten
33
34