Hinter Cedille

Hier findest du einige Statistiken und Details, die dir einen Einblick in die Ausbildung von Cedille geben.

Übersicht

Cedille basiert auf GPT-J, dem von der EleutherAI-Community trainierten Modell mit 6 Milliarden Parametern. Auf diese Weise ist unser generatives Modell ein 6-Milliarden-Parameter-Modell, trainiert auf 78 Milliarden Token (entspricht 300 Gigabyte Text) französischer Texte aus dem C4-Datensatz. Für die Veröffentlichung der "Boris"-Version des Modells, benannt nach dem berühmten französischen Schriftsteller und Sänger Boris Vian, wurden 12 Tage mit v3-128 TPU Rechenzeit benötigt.

‍

‍

Benchmarking

Es dauerte drei Monate, um Fehler zu beheben und mit dem Modell zu experimentieren. Wir führten mehrere Benchmarking-Tests durch und fanden zum Beispiel heraus, dass Cedille bei der Übersetzung ins Französische besser und im Durchschnitt weniger toxisch ist als GPT-3. Zu den Benchmarks gehörten OrangeSum-Zusammenfassung, WikiText-Perplexität und WMT14-en-fr für Übersetzungsaufgaben.

OrangeSum misst die Kapazität und die Leistung des Modells zur Zusammenfassung von Texten. Es ist ähnlich wie der Datensatz XSUM, aber in französischer Sprache und wurde von der Website "Orange Actu" erstellt. Derzeit liegen wir bei 13,7% Erfolg (ROUGE-Score), verglichen mit 15,49% bei GPT-3 (Davinci) und 10,2% bei GPT-FR.

Mit dem im GPT-fr-Forschungsartikel vorgestellten WikiText-FR-Korpus, das aus Tausenden von qualitativ hochwertigen Wikipedia-Artikeln in französischer Sprache besteht, haben wir die "Perplexität" des Modells gemessen und seine Fähigkeit zur Vorhersage des nächsten Wortes in einem bestimmten Dokument verstanden. Je niedriger der Perplexitätswert ist, desto besser ist die Fähigkeit, genaue Vorhersagen zu treffen. Wir erreichten einen Perplexitätswert von 3,932, während GPT-3 (Davinci) einen Wert von 3,993 erreichte.

Mit dem Datensatz WMT14-en-fr haben wir die Leistung von Cedille bei der Übersetzung von Englisch nach Französisch gemessen. Cedille erreichte die höchste Punktzahl (BLEU-Score) mit 24,91%, verglichen mit GPT-3 (Davinci) mit 20,4%, GPT-J mit 14,84% und GPT-FR mit 1,47% für die Richtung Englisch-Französisch

Entgiftung

Der gesamte Datensatz wurde mit Detoxify bereinigt und entgiftet. Wir haben viel Zeit und Energie darauf verwendet, die Toxizität des Modells zu reduzieren, was zu einer kleinen, aber messbaren Verbesserung führte.

Wir sind uns bewusst, dass in diesem Bereich noch viel Arbeit vor uns liegt. Wir werden bald weitere Informationen dazu veröffentlichen!

Prüfung

Unser Team hat die Fähigkeiten von Cedille im Hinblick auf potenzielle Anwendungen wie Chatbots, Übersetzungen ins Französische, das Schreiben fiktiver Artikel und so weiter getestet. Es gibt jedoch ein riesiges Potenzial für Anwendungen, an die wir nicht gedacht haben! Bislang ist es das größte verfügbare französische Modell und übertrifft alle bestehenden Modelle (einschließlich GPT-3) in Bezug auf die Perplexität (auf Französisch). Wir haben die Ergebnisse der ersten Tests genutzt, um die Beispiele zu erstellen, die du auf unserer Spielwiese findest.

Bitte probiere sie aus!

Danksagungen

Cedille wurde großzügig durch das Google TFRC-Programm unterstützt.