Automatische Antwortnachrichten von Ärzten bei Nabla
Nabla, eine innovative medizinische App, die Beratungen per Chat anbietet, hat Cedille für ihren eigenen Anwendungsfall optimiert. Sie teilten ihre Ergebnisse mit uns über Twitter. Wir waren neugierig, wie und ob große, fein abgestimmte Modelle Ärzte imitieren können!
In ihrem Blog-Beitrag gehen sie ausführlich darauf ein, wie sie Cedille so eingestellt haben, dass es in einem ähnlichen Ton und Stil wie die Ärzte bei Nabla antwortet und die Fragen der Kunden beantwortet.
NLP zur Beantwortung von Fragen verwenden
Kurz gesagt, Cedille hätte diese Aufgabe besser lösen können, denn die Antworten waren oft unsicher (Verletzung der Patientenvertraulichkeit) oder falsch. Cedille war jedoch in der Lage, die Fragen schnell zu verstehen und eine kurze qualitative Zusammenfassung zu geben.
Maxime Lewandowski, der Ingenieur für machine learning und Autor des Artikels, schreibt, dass man bei Nabla an der Entwicklung eines Tools gearbeitet hat, das automatische Vervollständigung, Faktenextraktion und Kategorisierung bietet. Auf diese Weise können sich die Ärzte mehr auf die Betreuung ihrer Patienten konzentrieren. Um dieses Ziel zu erreichen, werden, wie Maxime erklärt, in der Regel NLP-Modelle (Natural Language Processing) zur Texterstellung verwendet. Wenn man sie jedoch optimiert, kann man sie auch zur Extraktion von Daten aus Text verwenden.
Testen des Modells in seiner jetzigen Form
Und wie haben sie das mit Cedille gemacht?
Nun, sie begannen zunächst damit, das Modell so zu verwenden, wie es ist. Sie gaben die Nachricht eines Patienten als Aufforderung an (wie unten zu sehen). Dies war der einzige Kontext, der dem Modell gegeben wurde.
PATIENT: Je suis sous optimizette depuis plus d'un mois et j'ai des règles très irrégulières et quasi permanentes, est ce que c'est normal?
ARZT:
Im Allgemeinen waren die Ergebnisse in Ordnung, aber die Antworten des Arztes entsprachen nicht den Nachrichten, die echte Nabla-Ärzte schreiben würden. Außerdem gab das Modell gelegentlich persönliche Informationen preis (siehe Abbildung unten).
Feinabstimmung des Modells
Wie Maxime erklärt, bedeutet die Feinabstimmung eines Modells, dass ein Teil eines bereits trainierten Modells erneut trainiert wird, nun aber mit Ihren eigenen Daten, und das ist es, was sie am Ende tun.
Das Ergebnis? In einfachen Worten: Das ursprüngliche Modell (in diesem Fall Cedille) wird nun unter Berücksichtigung Ihrer Daten und der Fähigkeit, für die Sie es trainieren wollen, aktualisiert.
Auch hier wollte Nabla Cedille so abstimmen, dass es Antworten liefert, die den tatsächlichen Nachrichten des Arztes ähneln. Um das Modell zu trainieren, wurden daher anonyme Nabla-Gespräche aufgenommen und dem Modell gezeigt. Die Idee war, dass das Modell den Ton und den Schreibstil lernt, den das Team verwendet, um den Patienten zu antworten.
Vielversprechende Ergebnisse
Nachfolgend finden Sie einige Beispiele dafür, was ihre fein abgestimmte Version von Cedille bei verschiedenen Eingabeaufforderungen leisten kann (weitere Beispiele finden Sie in ihrem Blogbeitrag).
Obwohl das Modell manchmal zu improvisieren beginnt und Texte erzeugt, die nicht unbedingt die Frage beantworten, lernte Cedille sehr gut, wie die Nachrichten der Ärzte von Nabla zu strukturieren sind. Es lieferte sehr kohärente Sätze, eine gute Zeichensetzung, zählte die Dinge in Listenform auf und gab teilweise französische Sonderzeichen aus.
Sie testeten das Modell auch mit komplexeren Zusammenhängen (wie unten zu sehen). Diesmal können Sie zwei separate Antworten auf dieselbe Aufforderung finden und vergleichen.
Nabla stellte fest, dass die Zusammenfassung der Frage großartig war und eindeutige Daten erfolgreich wiederholt wurden. Andererseits wurde in den übrigen Beiträgen manchmal das Thema umgangen und allgemeine COVID-Impfvorschriften angesprochen.
Reaktionen auf den Anwendungsfall
Insgesamt war dies ein sehr interessanter Anwendungsfall von Cedille und einer der ersten, bei dem das Modell tatsächlich auf eine spezifische Aufgabe abgestimmt wurde, die auf unserem Spielplatz noch nicht verfügbar war.
Wie Nabla schrieb, gibt es so viele Möglichkeiten für die Feinabstimmung von Modellen wie Cedille für Fähigkeiten wie Informationsextraktion, Zusammenfassung, Chatbots und mehr. Wir arbeiten derzeit daran, diese Fähigkeiten zu perfektionieren, um sie für alle verfügbar zu machen!
Yann LeCun, Professor an der NYU und Chef-KI-Wissenschaftler bei Meta, antwortete auf Nablas Tweet (siehe unten). Wie gesagt, sind große Sprachmodelle derzeit nicht in der Lage, die Antworten von Ärzten zu imitieren, aber sie haben viele andere Fähigkeiten.
Letztendlich war die Feinabstimmung von Cedille für Nabla keine leichte Aufgabe, da mehrere Faktoren zu Schwierigkeiten führten. Deshalb arbeiten unsere Ingenieure für machine learning intensiv an der Ausbildung neuer Fähigkeiten, die bald auf unserer Plattform zur Verfügung stehen werden.
Haben Sie bereits eine Fähigkeit im Sinn, für die Sie Cedille optimieren möchten? Fordern Sie hier Zugang zu unserer API an. Wenn Sie es vorziehen, dass wir die Fähigkeiten für Sie entwickeln, nehmen Sie Kontakt mit unserem Team auf!