Ioannidis: Die Meisten Forschungsergebnisse Sind Fehlerhaft. Lassen Sie Es Uns Beheben

2023 Autor: Agatha Gilson | [email protected]. Zuletzt bearbeitet: 2023-05-21 04:40

Eric J. Topol, MD: Hallo. Ich bin Eric Topol, Chefredakteur von Medscape. Bei mir ist heute Professor John Ioannidis aus Stanford, mit dem ich mich schon lange unterhalten möchte. Ich bin so froh, dass wir uns treffen konnten. John, willkommen.

John PA Ioannidis, MD, DSc: Danke, Eric. Es ist mir eine große Freude, mit Ihnen zu plaudern.

Das "Gewissen der Biomedizin" werden

Topol: Ich verfolge Ihre Arbeit und Karriere seit einigen Jahren. Sie sind der "Gegenspieler der Medizin". Ich sage das positiv.

Bis ich endlich die Gelegenheit hatte, dieses Interview mit Ihnen zu führen, kannte ich einige Ihrer Hintergründe nicht. Sie waren ein Wunderkind der Mathematik in der High School, Sie haben den National Award in Griechenland erhalten und Sie sind der Sohn von zwei Arztforschern. Sie scheinen für diese Rolle, die Sie in Bezug auf das Gewissen der Biomedizin haben, geschaffen worden zu sein. Wie sind Sie zu diesem Modell gekommen, für das Sie sich wirklich einsetzen?

Ioannidis: Ich war schon früh viel Wissenschaft ausgesetzt. Ich mochte viele verschiedene Aspekte der wissenschaftlichen Methode und Disziplin, die ich in Mathematik, Biologie, Bankforschung, klinischer Forschung und klinischer Epidemiologie gefunden habe. Ich war immer sehr unkonzentriert und wollte mich an verschiedenen Arten der Forschung versuchen.

Mir wurde klar, dass ich in fast allem, was ich versuchte, immer wieder Fehler machte. Mir wurde klar, dass auch andere Leute Fehler machten - im Labor, in der Klinik und in der veröffentlichten Literatur. Fehler sind häufig. Sie sind Menschen. Einige von ihnen sind wahrscheinlich häufiger als sie sein sollten.

Topol: Sie haben den Punkt erreicht, an dem Sie geschätzt haben, dass 90% der medizinischen Forschung fehlerhaft sind. ^{[1, 2]} Das wird deprimierend, oder?

Ioannidis: Man kann es als halb leeres oder halb volles Glas oder als 10% voll oder vielleicht ein bisschen mehr sehen. Die Medizin hat enorme Fortschritte gemacht und macht immer noch Fortschritte. Darauf kann man sich konzentrieren.

Die Frage ist, wie wir die Effizienz unserer Arbeit verbessern können. Und wie können wir die Fehlerrate senken? Wie können wir weniger häufig irregeführt werden und unsere besten Leute in Sackgassen schicken?

Wenn wir die positive Botschaft sehen, dass wir Probleme identifizieren und beseitigen können, ist das sehr optimistisch.

Es ist nicht nur biomedizinische Forschung

Topol: Sie waren auf einem Kreuzzug und haben fast alle Disziplinen getroffen: Genetik, Psychologie, Neurowissenschaften, klinische Studien, Pharmaunternehmen, die ganze Menge. Zuletzt ist mir aufgefallen, dass Sie sich sogar um Wirtschaft gekümmert haben. ^[3] Gibt es etwas, an dem du nicht gearbeitet hast?

Ioannidis: Der große Spaß und die große Chance bei der Arbeit an Metaforschung - oder Forschung an Forschung - besteht darin, dass man sehr schnell erkennt, dass Forschungsmethoden und Forschungspraktiken sowie die Art und Weise, wie sie angewendet oder transformiert werden, in sehr unterschiedlichen Disziplinen ziemlich ähnlich sind.

Die wissenschaftliche Methode ist ziemlich einzigartig. Es gibt Heterogenität in der Art und Weise, wie verschiedene Disziplinen bestimmte Aspekte bevorzugen oder wie genau sie operationalisiert werden sollen, aber wir können viel lernen, indem wir Notizen vergleichen. Wenn Sie sich verschiedene Bereiche ansehen, stellen Sie fest, dass einige der großen Probleme, mit denen wir in der Biomedizin konfrontiert sind, in anderen Bereichen möglicherweise recht einfach gelöst wurden und möglicherweise erledigt sind.

Umgekehrt könnte man wahrscheinlich einige gute Ideen aus biomedizinischen Disziplinen auf andere Bereiche übertragen. Die Konzepte sind ähnlich und die Manifestationen sind unterschiedlich. Offensichtlich sind die Konsequenzen unterschiedlich, denn in der Medizin geht es um Leben und Menschen, die aufgrund suboptimaler Informationen sterben.

Evidenzbasierte Medizin

Topol: Das von Ihnen angewendete Weitwinkelobjektiv ist wichtig. Es ist viel mehr als Medizin, und ich gebe Ihnen viel Anerkennung für die Identifizierung dieser gemeinsamen Fäden.

Das Problem, das wir in der Medizin haben, ist jedoch diese Evidenzbasis, die, wie Sie im Laufe der Jahre wirklich bewiesen haben, so wackelig und dünn ist. Wir versuchen, Entscheidungen für Patienten zu treffen und Behandlungen und Tests auszuwählen und so weiter. Was werden wir tun, da die meisten Beweise unbegründet sind?

Ioannidis: Einige Beweise sind zuverlässig. Es gibt ein Gefälle. Wir haben sehr starke Beweise für einige Behandlungen, Interventionen und Richtlinien und müssen deshalb etwas tun. Wenn wir das nicht tun, wäre es wirklich dumm.

Dies gilt nicht nur für Interventionen, sondern auch für Risikofaktoren. Selbst in der beobachtenden Epidemiologie würde niemand leugnen, dass Rauchen schrecklich ist und 1 Milliarde Menschen töten wird, wenn wir es nicht loswerden. Wir brauchen keine randomisierten Studien, um dies zu beweisen.

Aber natürlich gibt es das andere Ende des Gefälles, wo es viele unzuverlässige Beweise gibt. Viele Beweise sind sehr dürftig. Wir müssen die Menschen darin schulen, zu verstehen, wo die Grenzen liegen, was die Vorbehalte sind, wie sehr sie vertrauen oder misstrauen können, was sie lesen oder sehen und wozu sie berufen sind. Dann lassen Sie sie nach besseren Beweisen fragen.

Es gibt keinen Grund, warum wir weiterhin mit suboptimalen Beweisen leben sollten. Kliniker und klinische Forscher sollten an vorderster Front stehen, da sie täglich feststellen, dass sie keine Beweise haben, denen sie vertrauen können. Sie können Fragen erstellen, um zu versuchen, die Art von Beweisen zu erhalten, die sie benötigen.

Gedanken zu PREDIMED

Topol: Das bringt etwas hervor, das gerade passiert ist. Ein Bereich, den Sie angegangen sind, ist die Ernährungswissenschaft. Die Mittelmeerdiät wurde in PREDIMED untersucht, der größten Studie einer randomisierten Diät mit harten Ergebnissen. Es wurde 2013 im New England Journal of Medicine veröffentlicht, und jetzt hat NEJM es zurückgezogen und am selben Tag erneut veröffentlicht ^[4]. Es gab alle möglichen Unregelmäßigkeiten. Wie sehen Sie das? Es ist genau das Richtige für Sie, wenn es um fehlerhafte Wissenschaft geht.

Ioannidis: Die Ernährung ist eindeutig ein Chaos, und ich habe lange dafür plädiert, dass wir einiges dieses Chaos beheben können, indem wir groß angelegte, randomisierte Langzeitstudien mit klinischen Endpunkten durchführen. PREDIMED war eine Studie, die dies versuchte. Es war so ziemlich die Ausnahme im Vergleich zu all dem nicht reproduzierbaren Durcheinander der Ernährungsepidemiologie. Ich war sehr froh, dass es veröffentlicht wurde. Ich war sehr aufgeregt, dass wir endlich Fortschritte machen.

Mein starker Glaube ist, dass PREDIMED eine ernsthaft fehlerhafte Studie ist. Ich kann es nicht länger vertrauen.

Leider schien PREDIMED den Weg der beobachtenden Epidemiologie zu beschreiten, indem es zig Millionen von Artikeln mit weitaus schwächeren Ergebnissen veröffentlichte, und ich denke, was wir beim Rückzug sahen, war ein Signal dafür, dass die Daten schwerwiegende Mängel aufwiesen. Der Rückzug war eindeutig das Richtige. Aber auch nach dem Rückzug habe ich nicht das Gefühl, dass wir die ganze Geschichte gesehen haben.

Ich denke, dass das Problem, das durch statistische Analyse festgestellt wurde, darin bestand, dass die Grundlinienmerkmale so ähnlich waren. Die Korrektur, die zur erneuten Veröffentlichung geführt hat, erklärt nicht, dass dies nicht zufällig geschehen kann. Das heißt, es gibt keinen Grund, warum (wenn tatsächlich ein ganzes Dorf als Einheit statt auf individueller Basis randomisiert wurde oder einige Paare zusammen und nicht als Individuen randomisiert wurden), dies nicht zu dem Muster hätte führen dürfen, das durch Testen des entdeckt wurde Grundcharakteristika.

Mein starker Glaube ist, dass PREDIMED eine ernsthaft fehlerhafte Studie ist. Ich kann es nicht länger vertrauen. Ich liebe Olivenöl. Aber es tut mir leid - ich kann es nicht vertrauen. Ich denke, es gibt große Probleme, die über das Zurückziehen hinausgehen. Wir schauen uns einige davon an und hoffen, dass wir einige Beweise veröffentlichen, die zeigen, dass es tiefere Probleme als diese gibt.

Topol: Das ist wirklich wichtig, weil ich von früheren Studien wie der Lyon Heart-Studie ^{[5] beeinflusst wurde,} die ziemlich gut durchgeführt wurde, und einer kleineren Studie, wenn auch zur Sekundärprävention. Aber deshalb ist es eine günstige Zeit, mit Ihnen zu sprechen. Eine sehr bekannte Zeitschrift, NEJM, zieht einen Artikel am selben Tag zurück und veröffentlicht ihn erneut. Mit unserem Beweissystem stimmt etwas nicht, oder?

Ioannidis: Klar, und ich denke, dass eine Neuveröffentlichung eines Versuchs mit scheinbar gleichen Ergebnissen das Problem nicht beheben kann. Im Fall von PREDIMED würde ich argumentieren, dass man alle alten Daten - nicht die sauberen Daten, die Rohdaten - vor dem Schiedsverfahren erhalten müsste, damit ein unabhängiges Komitee sie analysieren kann.

In diesem Fall würde ich wetten, dass die Effektgrößen schrumpfen oder sogar verschwinden würden. Ich würde es hassen, das zu sehen. Ich würde gerne gegen meine eigene Vorhersage wetten. Es gibt jedoch einige sehr schwerwiegende Probleme, wenn wir Versuchen vertrauen, die keine Transparenz haben. Sie haben keine Offenheit. Sie sind nicht bereit zu teilen. Sie sind nicht bereit, eine erneute Analyse durchzuführen. Sie sind nicht bereit, eine unabhängige Prüfung der Vorgänge durchzuführen. Dies gilt immer noch für die Mehrzahl der veröffentlichten randomisierten Studien - in NEJM und auch in anderen Zeitschriften.

Topol: Hätten Sie nicht gedacht, dass die Redakteure von NEJM, insbesondere aufgrund dieser beispiellosen Sache, diese Daten und die Ermittler dahingehend geharkt hätten, um zu Transparenz und Wahrheit zu gelangen?

Ioannidis: Ich hätte es gehofft, und ich hoffe immer noch, dass sie eine weitere Untersuchung dieses Prozesses ermöglichen. Es wäre eine verpasste Gelegenheit, wenn wir nicht mehr lernen würden, weil ich denke, dass es nur die Spitze des Eisbergs ist. Es ist weit mehr im Gange und in gewisser Weise ist PREDIMED möglicherweise die ehrlichste im Vergleich zu anderen Studien, die möglicherweise weniger ehrlich sind.

Intellektueller Interessenkonflikt

Topol: Das sagt genau dort viel aus.

Sie haben in einigen Ihrer Schriften den intellektuellen Interessenkonflikt hervorgehoben. Ich denke das ist wichtig. Zum größten Teil verstehen die Menschen Voreingenommenheit und die Tatsache, dass so viele Karrieren einem bestimmten Glaubenssystem und einer bestimmten Verfolgung zugeordnet sind, nicht wirklich. Eine Kritik daran ist: "Johns Rolle ist es, der Abnahmekünstler zu sein, und das ist ein intellektueller Konflikt." Wie reagieren Sie auf diese Anklage?

Ioannidis: Ja, ich denke, ich bin voreingenommen. Ich denke, das ist unvermeidlich und die Leute sollten das für selbstverständlich halten, wenn sie meine Arbeit lesen und dann, wenn sie die Arbeit anderer Wissenschaftler lesen. Wir haben alle einige Prioritäten, und manchmal ist es möglich, diese Prioritäten basierend auf dem, was wir veröffentlicht haben, zu verfolgen.

Was einen Wissenschaftler ausmacht, ist die Anerkennung, dass er oder sie voreingenommen sein kann.

Ich denke nicht, dass es falsch ist, Meinungen oder Hypothesen zu haben. Ich denke nicht, dass es falsch ist, Überzeugungen zu haben. Um ehrlich zu sein, versuche ich beim Start eines neuen Projekts so offen wie möglich für alle Arten von Ergebnissen zu sein. Wenn überhaupt, sind meine Vorurteile eher darauf gerichtet, nicht signifikante Ergebnisse zu erzielen. Wenn ich signifikante Ergebnisse erhalte, auch wenn es keine Vorurteile gibt, muss ich mich fragen: "Warum habe ich das bekommen? Könnte es sein, dass ich falsch lag? Könnte es sein, dass ich zurückgehen und den Prozess erneut überprüfen und einige finden muss Fehler? " Manchmal habe ich dabei Fehler gefunden, hoffentlich früh genug vor der Veröffentlichung.

Was einen Wissenschaftler ausmacht, ist die Anerkennung, dass er oder sie voreingenommen sein kann. Wir müssen bei allem, was wir tun, auf diese Möglichkeit achten.

Preprints

Topol: Das ist wirklich eine tolle Antwort. Eines der Dinge, über die ich überrascht war, weil Sie normalerweise auf der negativen Seite von fast allem herauskommen, sind Preprints. Sie sind ziemlich positiv in Bezug auf Preprints. ^[6] Sagen Sie uns, warum dies der Fall ist.

Ioannidis: Preprints sind eine Gelegenheit, die Forschung breit und früher zu verbreiten und diese Forschung frühzeitig für die gesamte wissenschaftliche Gemeinschaft für Kritik zu öffnen. Man könnte argumentieren: "Nun, hier gibt es keine Peer Review." Ich bin ein starker Befürworter der Notwendigkeit von Peer Review, aber Peer Review ist nicht optimal. Von den eingereichten Beiträgen verbessert es sich wahrscheinlich erheblich um etwa 20%, verschlechtert sich um etwa 5% und 75% ändern sich wahrscheinlich nur sprachlich oder stilistisch.

Wenn wir ein System haben könnten, in dem der gesamten wissenschaftlichen Gemeinschaft frühzeitig Informationen zur Verfügung stehen, um sie zu prüfen, zu kommentieren und Verbesserungsvorschläge zu machen, bevor wir das "endgültige" Papier haben, denke ich, dass dies eine gute Sache ist. Die Menschen müssen nur erkennen, dass dies nur eine frühzeitige Verbreitung von Informationen ist und dass mit besonderer Vorsicht vorgegangen werden muss.

Topol: Ich bin ein großer Fan, aber die einzige Sorge, die ich hatte, ist, dass einige Disziplinen, insbesondere in der künstlichen Intelligenz, dies jetzt als endgültige Einreichung betrachten. Viele Artikel werden eingereicht, ohne die Absicht zu haben, den Peer-Review-Prozess zu durchlaufen - nicht, dass Peer-Review so großartig ist, aber zumindest gibt es eine weitere Ebene unabhängiger Bewertungen.

Können wir das auf den richtigen Weg bringen?

Topol: Ich finde es bemerkenswert, dass Sie die Rolle des Gewissens auf diesem Gebiet übernommen haben und Ihre Arbeit so beeindruckend war - der Artikel Nummer eins, der in PLoS Medicine und so vielen anderen Zeitschriften zitiert wird. Wohin gehen Sie von hier aus, nachdem Sie die Probleme aufgedeckt haben? Mehr davon machen? Wie bringen Sie dieses Ding auf den richtigen Weg?

Ioannidis: Mein Wunsch ist es, keine Probleme aufzudecken. Offensichtlich gibt es viele Probleme, daher ist es keine große Sache, auf ein anderes hinzuweisen, aber es gibt kein Ende für sie. Mein Wunsch ist es, Probleme zu beheben. Ich möchte sicherstellen, dass die Arbeit, die ich mache, und die Arbeit, die andere, die mit mir arbeiten, die Richtung zu Lösungen weisen, anstatt nur die Probleme zu identifizieren.

Eine Verbesserung um ein Prozent aufgrund der Einführung eines besseren wissenschaftlichen Prozesses in der gesamten Wissenschaft ist ein enormer Fortschritt. Es könnte zu zig Millionen geretteten Leben führen.

Ein Großteil meiner Arbeit im Meta-Research Innovation Center in Stanford in den letzten 4 Jahren konzentrierte sich auf die Identifizierung von Lösungen. Es ist möglicherweise nicht einfach, Lösungen zu dokumentieren und Beweise dafür zu finden. Ähnlich wie bei Eingriffen in die Medizin oder in andere Fachgebiete benötigen wir Nachweise für Lösungsvorschläge. Man mag sich viele Ideen einfallen lassen, aber manche mögen schrecklich sein, manche mögen neutral sein und keinen wirklichen Unterschied machen, und manche mögen funktionieren.

Das Gute ist, dass Wissenschaftler im Allgemeinen die Wissenschaft in eine bessere Form bringen wollen. Ich glaube nicht, dass die Leute Dinge unter dem Teppich verstecken wollen; So viele wissenschaftliche Gemeinschaften entwickeln Lösungen, implementieren sie, testen sie und sehen wesentliche Verbesserungen in der Glaubwürdigkeit und Transparenz ihrer Arbeit. Es geht darum, die Optionen zu verstehen, sie zu priorisieren, zu testen, die falschen Hinweise zu beseitigen und weitere Fortschritte zu erzielen.

Topol: Wow, großartiger Punkt. Ich habe festgestellt, dass Algorithmen verwendet werden, um Papiere in Bezug auf Statistiken zu überprüfen und künstliche Intelligenz zu verwenden. Dies kann eine der vielen Möglichkeiten sein, wie wir diese Probleme beheben können.

John, ich möchte Ihnen danken - nicht nur für dieses Interview, sondern auch für die größere Rolle, die Sie in der Medizin gespielt haben. Du hast uns so viel beigebracht. Sie haben wirklich einen fantastischen Effekt gehabt, wie einen Weckruf, und es war nicht nur ein einziges Mal; es ist die ganze Zeit. Jedes Mal, wenn ich etwas sehe, das ernsthaft oder möglicherweise fehlerhaft ist, denke ich an dich. Vielen Dank für all Ihre Bemühungen und Ihr kontinuierliches Streben nach echten Beweisen und für hervorragende Forschungsergebnisse. Viel Glück und weiterhin viel Erfolg für Sie und Ihre Kollegen bei Stanford.

Ioannidis: Danke, Eric, es war mir eine große Freude, mit Ihnen zu sprechen, und ich hoffe, dass wir beim nächsten Mal weitere gute Nachrichten haben werden.

Topol: Ausgezeichnet. Vielen Dank, dass Sie sich uns angeschlossen haben, und vielen Dank an Sie bei Medscape und an unser Publikum, dass Sie sich uns in dieser Reihe einiger der interessantesten Menschen der gesamten Medizin angeschlossen haben.