Überwachte Feinabstimmung für Translation LLM-Modelle

Die überwachte Feinabstimmung ist eine gute Option, wenn Sie eine Übersetzungsaufgabe mit verfügbaren gelabelten Textdaten haben. Sie ist besonders effektiv bei domainspezifischen Anwendungen, bei denen sich die Übersetzung erheblich von den allgemeinen Daten unterscheidet, mit denen das große Modell ursprünglich trainiert wurde.

Bei der überwachten Feinabstimmung wird das Modellverhalten mit einem mit Labels versehenen Dataset angepasst. Bei diesem Prozess wird die Gewichtung des Modells angepasst, um den Unterschied zwischen den Vorhersagen und den tatsächlichen Labels zu minimieren.

Unterstützte Modelle

Die folgenden Translation LLM-Modelle unterstützen die überwachte Abstimmung:

  • translation-llm-002

Beschränkungen

  • Maximale Anzahl der Eingabe- und Ausgabetokens:
    • Bereitstellung: 1.000 (~4.000 Zeichen)
  • Größe des Validierungs-Datasets: 1.024 Beispiele
  • Dateigröße des Trainings-Datasets: bis zu 1 GB für JSONL
  • Länge des Trainingsbeispiels: 1.000 (~4.000 Zeichen)
  • Adaptergröße:
    • Translation LLM V2: Der unterstützte Wert ist nur 4. Die Verwendung anderer Werte (z.B. 1 oder 8) führt zu einem Fehler.

Anwendungsfälle für die Verwendung der überwachten Feinabstimmung

Ein allgemeines vortrainiertes Übersetzungsmodell funktioniert gut, wenn der zu übersetzende Text auf allgemeinen, üblichen Textstrukturen basiert, die das Modell gelernt hat. Wenn Sie möchten, dass ein Modell bestimmte Nischenthemen oder Besonderheiten lernt, die von der allgemeinen Übersetzung abweichen, sollten Sie das Modell entsprechend abstimmen. Sie können das Modell zum Beispiel mithilfe der Modellabstimmung Folgendes antrainieren:

  • Bestimmte Inhalte einer Branche mit Fachbegriffen oder Stil
  • Bestimmte Strukturen oder Formate zum Generieren einer Ausgabe.
  • Spezifisches Verhalten, z. B. wenn eine grobe oder ausführliche Ausgabe bereitgestellt werden soll.
  • Bestimmte benutzerdefinierte Ausgaben für bestimmte Eingabetypen angeben.

Region für Abstimmungsjob konfigurieren

Nutzerdaten wie das transformierte Dataset und das optimierte Modell werden in der Abstimmungsjobregion gespeichert. Die einzige unterstützte Region ist us-central1.

  • Wenn Sie das Vertex AI SDK verwenden, können Sie die Region bei der Initialisierung angeben. Beispiel:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Wenn Sie einen überwachten Job zur Feinabstimmung durch Senden einer POST-Anfrage mit der tuningJobs.create Methode erstellen, verwenden Sie die URL, um die Region anzugeben, in der der Abstimmungsjob ausgeführt wird. In der folgenden URL geben Sie beispielsweise eine Region an, indem Sie beide Instanzen von TUNING_JOB_REGION durch die Region ersetzen, in der der Job ausgeführt wird.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Wenn Sie die Google Cloud Console, können Sie den Namen der Region im Drop-down-Feld Region der Seite Modelldetails auswählen. Dies ist dieselbe Seite, auf der Sie das Basismodell und den Namen eines abgestimmten Modells auswählen.

Kontingent

Das Kontingent wird für die Anzahl der gleichzeitigen Abstimmungsjobs erzwungen. Jedes Projekt kommt mit einem Standardkontingent zum Ausführen mindestens eines Abstimmungsjobs. Dies ist ein globales Kontingent, das für alle verfügbaren Regionen und unterstützten Modelle gilt. Wenn Sie weitere Jobs gleichzeitig ausführen möchten, müssen Sie für Global concurrent tuning jobs zusätzliche Kontingente anfordern.

Preise

Die Abstimmung wird gemäß den Preisen für die Abstimmung von Übersetzungsmodellen in Rechnung gestellt.

Außerdem werden Ihnen die Kosten für zugehörige Dienste wie Cloud Storage und Translation LLM Prediction in Rechnung gestellt.

Informationen zu den Preisen für Translation LLM und Cloud Storage

Nächste Schritte