Logo healthfoodfor.com

Ein Paar Minuten über Den Möglichen Schaden Von Vorhersagemodellen

Ein Paar Minuten über Den Möglichen Schaden Von Vorhersagemodellen
Ein Paar Minuten über Den Möglichen Schaden Von Vorhersagemodellen
Anonim

Willkommen bei Impact Factor, Ihrer wöchentlichen Dosis Kommentar zu einer neuen medizinischen Studie. Ich bin Dr. F. Perry Wilson.

Es ist ein neues Jahr. Nach einer kleinen Ferienpause bin ich zurück und ehrlich gesagt etwas verärgert, als ich die kürzlich veröffentlichte medizinische Literatur durchblättere. Ich konzentriere mich heute auf eine eher kleine Studie. Es ist eines, das einen meiner Lieblingstiere trifft, also werde ich meinen inneren Andy Rooney hier kanalisieren und ein bisschen meckern.

Wir erscheinen in JAMA Network Open und haben diesen Artikel mit dem überzeugenden Titel "Verwendung von maschinellem Lernen zur Vorhersage des Ergebnisses der Escitalopram-Behandlung aus Elektroenzephalographie-Aufzeichnungen bei erwachsenen Patienten mit Depressionen".

Ich möchte wissen, worauf ich mich einlasse, wenn ich einen Titel lese, und dieser Titel verspricht einiges. Für mich liest es sich so, als hätten Forscher die Elektroenzephalographie (EEG) und einige ausgefallene Dinge des maschinellen Lernens verwendet, um vorherzusagen, welche Patienten mit Depressionen von einer Escitalopram-Behandlung profitieren würden.

Diese Idee - ein maschinelles Lernmodell zu verwenden, um die beste psychiatrische Behandlung auszuwählen, ist personalisierte Medizin auf Heiliger Gral-Ebene. Sehen Sie, wenn Ärzte mit einer Major Depression konfrontiert werden, versuchen sie oft Medikamente nach Medikamenten, um zu sehen, was klebt. Alles, was diesen Versuch-und-Irrtum-Ansatz verringert, würde Tonnen von Zeit sparen, ganz zu schweigen von Leben.

Aber darum geht es in dieser Studie nicht. Gehen Sie mit mir durch die Methoden und Sie werden sehen, was ich meine.

Forscher aus British Columbia analysierten EEG-Daten von 122 erwachsenen Patienten mit schwerer Depression, die mit einer Escitalopram-Therapie begonnen hatten.

Wie Sie wissen, gibt ein EEG eine Menge Daten aus - mehrere Elektroden, Tausende von Messungen. Dies ist tatsächlich ein idealer Ort, um maschinelle Lernwerkzeuge zu verwenden, um all diese Daten in einer einzigen Zahl zusammenzufassen. Die Autoren verwenden beispielhaft einen gut etablierten Algorithmus für maschinelles Lernen, der als Support-Vektor-Maschine bezeichnet wird, um diese Datenmengen in eine Vorhersage umzuwandeln.

Aber was genau sagen sie voraus?

Sie sagen voraus, ob der Patient in 8 Wochen eine Remission der Depression haben wird. Sie sagen nicht voraus, ob Escitalopram gut für den Patienten war, und dieser Unterschied ist enorm.

Diese Studie hatte keine Kontrollgruppe; Alle 122 Patienten wurden mit Escitalopram behandelt. Wir haben daher keine Möglichkeit zu wissen, ob das Modell des maschinellen Lernens Personen identifiziert hat, die unabhängig von der Therapie mit größerer Wahrscheinlichkeit eine Remission erreichen (denken wir daran, dass Depressionen in etwa 20% der Fälle spontan auftreten) oder solche, die wirklich von Escitalopram profitieren.

Sehen Sie, jeder Patient mit Depression hat vier mögliche Schicksale in Bezug auf Escitalopram:

Image
Image

Einige haben eine Remission mit oder ohne das Medikament. Einige werden unabhängig von der Behandlung niemals eine Remission haben. Einige werden nur dann eine Remission erfahren, wenn sie das Medikament erhalten, und andere würden vermutlich nur dann keine Remission erfahren, wenn sie das Medikament erhalten.

Image
Image

Es sind wirklich die letzten beiden Kategorien, die uns bei der Entscheidung für eine Behandlung wichtig sind, aber ironischerweise sind die ersten beiden Kategorien am einfachsten vorherzusagen - denn am Ende ist der größte Prädiktor dafür, ob Sie eine Remission von Depressionen bekommen, nicht, ob Sie eine bekommen Droge, aber wie schwer Ihre Depression überhaupt ist.

Dies ist ein großer Unterschied in Bezug auf ein Vorhersageproblem, das tatsächlich zu einer Schädigung des Patienten führen kann.

Lassen Sie mich ein Beispiel geben.

Stellen Sie sich vor, wir haben ein Modell erstellt, das vorhersagt, wer bei einer Bevölkerung, die Simvastatin erhält, am wenigsten wahrscheinlich einen Herzinfarkt hat.

Image
Image

Ohne eine Vergleichsgruppe würden wir feststellen, dass Personen mit niedrigerem LDL, mehr körperlicher Aktivität und ohne Diabetes die besten Ergebnisse erzielen würden. Wenn wir dann argumentieren, dass dies die Arten von Menschen sind, die Statine erhalten sollten, würden wir den Menschen mit schwererer Krankheit zu Studienbeginn einen großen Nachteil erweisen. Unser Modell sagt uns nicht, wer das Medikament bekommen soll; es sagt uns nur, wer überhaupt besser dran war.

Wir brauchen Modelle, die Therapien auf die richtigen Patienten ausrichten können, unabhängig davon, wie krank sie zu Studienbeginn sind, oder wir wählen immer die am wenigsten kranken Menschen aus, die behandelt werden sollen. Sicher, das wird die Erfolgsrate von Therapien großartig aussehen lassen, aber so möchte ich nicht Medizin praktizieren.

Okay, zurück zu Escitalopram. Dieses Papier zeigt uns, dass die Autoren ein Modell basierend auf EEG-Daten erstellt haben, das zeigt, wer wahrscheinlich eine Remission der Depression hat. Man könnte argumentieren, dass das Modell nichts mit Escitalopram zu tun hat. Das Modell kann die Ergebnisse bei Patienten mit einem Antidepressivum oder ohne Antidepressivum gleich gut vorhersagen. Mit anderen Worten, wir sind dem Traum, jemandem ein EEG auf den Kopf zu legen und zu wissen, welche Droge er geben soll, nicht näher als zuvor. Studien wie diese werden jedoch immer wieder ungenau gemeldet, was darauf hindeutet, dass wir ein neues Tool in unserer personalisierten Medizin-Toolbox haben.

Meine größte Befürchtung ist, dass diese Modelle als eine Art Black Box kommerzialisiert werden, die, wie wir jetzt alle verstehen, gegen diejenigen voreingenommen ist, die zu Beginn kranker sind, selbst wenn sie gut darauf reagieren würden Therapie. Der zweite Satz der Schlussfolgerung dieses Papiers lautet: "Eine solche Pipeline, die zu einer geeigneten klinischen Anwendung entwickelt wurde, kann ein wertvolles Instrument für die Behandlungsplanung darstellen."

Nicht wirklich - es sei denn, Sie möchten die Behandlung für die am wenigsten kranken Personen reservieren.

Könnten die Forscher beweisen, dass ihr Modell nicht einfach eine weniger schwere Depression im Gegensatz zur Escitalopram-Reaktion identifiziert? Nun, sie könnten zeigen, wie ihr Modell mit den Depressionswerten oder anderen Grundfaktoren korreliert. Ich wette, wir würden meistens feststellen, dass das Modell nur diejenigen mit weniger schwerer Depression zu Studienbeginn identifiziert, aber diese Daten werden nicht präsentiert.

Und denken wir daran, dass es, obwohl es sehr cool ist, Daten darüber zu erhalten, wie schwer Ihre Depression ist, nur aus einem EEG stammt - ich meine, das ist Star Trek - und ich liebe es -, dass wir bereits viele Tools zur Verfügung haben, um den Schweregrad der Depression zu beurteilen.

Wenn wir also das nächste Mal eine Studie sehen (mit maschinellem Lernen oder auf andere Weise), die behauptet, "das Ansprechen auf die Therapie vorherzusagen", müssen wir uns als nächstes die Frage stellen: "Woher wissen wir, dass das Modell nicht einfach weniger schwere Krankheiten identifiziert?" an der Grundlinie?"

F. Perry Wilson, MD, MSCE, ist außerordentlicher Professor für Medizin und Direktor des Yale-Programms für angewandte translationale Forschung. Seine wissenschaftliche Kommunikationsarbeit ist in der Huffington Post, bei NPR und hier bei Medscape zu finden. Er twittert @methodsmanmd und hostet ein Repository seiner Kommunikationsarbeit unter www.methodsman.com.

Folgen Sie Medscape auf Facebook, Twitter, Instagram und YouTube

Beliebt nach Thema