Überwachte Feinabstimmung für LLM-Modelle für Übersetzungen

Die überwachte Feinabstimmung ist eine gute Option, wenn Sie eine Übersetzungsaufgabe mit verfügbaren gelabelten Textdaten haben. Sie ist besonders effektiv bei domainspezifischen Anwendungen, bei denen sich die Übersetzung erheblich von den allgemeinen Daten unterscheidet, mit denen das große Modell ursprünglich trainiert wurde.

Bei der überwachten Feinabstimmung wird das Modellverhalten mit einem mit Labels versehenen Dataset angepasst. Bei diesem Prozess wird die Gewichtung des Modells angepasst, um den Unterschied zwischen den Schlussfolgerungen und den tatsächlichen Labels zu minimieren.

Unterstützte Modelle

Die folgenden Translation LLM-Modelle unterstützen die überwachte Abstimmung:

  • translation-llm-002

Beschränkungen

  • Maximale Anzahl der Eingabe- und Ausgabetokens:
    • Auslieferung: 1.000 (~4.000 Zeichen)
  • Größe des Validierungs-Datasets: 1.024 Beispiele
  • Dateigröße des Trainings-Datasets: bis zu 1 GB für JSONL
  • Länge des Trainingsbeispiels: 1.000 Wörter (ca. 4.000 Zeichen)
  • Adaptergröße:
    • Translation LLM V2: Der unterstützte Wert ist nur 4. Bei Verwendung anderer Werte (z.B. 1 oder 8), führt zu einem Fehler.

Anwendungsfälle für die Verwendung der überwachten Feinabstimmung

Ein allgemeines vortrainiertes Übersetzungsmodell funktioniert gut, wenn der zu übersetzende Text auf allgemeinen, alltäglichen Textstrukturen basiert, die das Modell gelernt hat. Wenn Sie möchten, dass ein Modell bestimmte Nischenthemen oder Besonderheiten lernt, die von den allgemeinen Übersetzungen abweichen, sollten Sie das Modell entsprechend abstimmen. Sie können das Modell zum Beispiel mithilfe der Modellabstimmung Folgendes antrainieren:

  • Spezifische Inhalte einer Branche mit Jargon oder Stil
  • Bestimmte Strukturen oder Formate zum Generieren einer Ausgabe.
  • Spezifisches Verhalten, z. B. wenn eine grobe oder ausführliche Ausgabe bereitgestellt werden soll.
  • Bestimmte benutzerdefinierte Ausgaben für bestimmte Eingabetypen angeben.

Region für Abstimmungsjob konfigurieren

Nutzerdaten wie das transformierte Dataset und das optimierte Modell werden in der Abstimmungsjobregion gespeichert. Die einzige unterstützte Region ist us-central1.

  • Wenn Sie das Vertex AI SDK verwenden, können Sie die Region bei der Initialisierung angeben. Beispiel:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Wenn Sie einen überwachten Job zur Feinabstimmung durch Senden einer POST-Anfrage mit der tuningJobs.create-Methode erstellen, verwenden Sie die URL, um die Region anzugeben, in der der Abstimmungsjob ausgeführt wird. In der folgenden URL geben Sie beispielsweise eine Region an, indem Sie beide Instanzen von TUNING_JOB_REGION durch die Region ersetzen, in der der Job ausgeführt wird.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Wenn Sie die Google Cloud -Konsole verwenden, können Sie den Namen der Region im Drop-down-Feld Region auf der Seite Modelldetails auswählen. Dies ist dieselbe Seite, auf der Sie das Basismodell und den Namen eines abgestimmten Modells auswählen.

Kontingent

Das Kontingent wird für die Anzahl der gleichzeitig ausgeführten Abstimmungsjobs durchgesetzt. Jedes Projekt kommt mit einem Standardkontingent zum Ausführen mindestens eines Abstimmungsjobs. Dies ist ein globales Kontingent, das für alle verfügbaren Regionen und unterstützten Modelle gilt. Wenn Sie weitere Jobs gleichzeitig ausführen möchten, müssen Sie für Global concurrent tuning jobs zusätzliche Kontingente anfordern.

Preise

Die Abrechnung für das Abstimmen erfolgt gemäß den Preisen für das Abstimmen von Übersetzungsmodellen.

Ihnen werden auch zugehörige Dienste wie Cloud Storage und Translation LLM Prediction in Rechnung gestellt.

Informationen zu den Preisen für Translation LLM und Cloud Storage

Nächste Schritte