Hugging Face-Modelle verwenden

Hugging Face bietet vortrainierte Modelle, Scripts zur Feinabstimmung und Entwicklungs-APIs, die das Erstellen und Entdecken von LLMs erleichtern. Model Garden kann Texteinbettungs-, Text-zu-Bild-, Textgenerierungs- und Bildtext-zu-Text-Modelle in Hugging Face bereitstellen.

Bereitstellungsoptionen für Hugging Face-Modelle

Sie können unterstützte Hugging Face-Modelle in der Gemini Enterprise Agent Platform oder in der Google Kubernetes Engine (GKE) bereitstellen. Die von Ihnen gewählte Bereitstellungsoption kann vom verwendeten Modell und von der gewünschten Kontrolle über Ihre Arbeitslasten abhängen.

In der Gemini Enterprise Agent Platform bereitstellen

Die Gemini Enterprise Agent Platform bietet eine verwaltete Plattform zum Erstellen und Skalieren von Machine-Learning-Projekten, ohne dass interne MLOps-Kenntnisse erforderlich sind. Sie können die Gemini Enterprise Agent Platform als nachgelagerte Anwendung verwenden, die Hugging Face-Modelle bereitstellt. Wir empfehlen die Verwendung der Gemini Enterprise Agent Platform, wenn Sie End-to-End-MLOps-Funktionen, Mehrwert-ML-Features und eine serverlose Umgebung für eine optimierte Entwicklung wünschen.

  1. Wenn Sie ein unterstütztes Hugging Face-Modell in der Gemini Enterprise Agent Platform bereitstellen möchten, rufen Sie Model Garden auf.

    Zu Model Garden

  2. Gehen Sie zum Abschnitt Open-Source-Modelle bei Hugging Face und klicken Sie auf Mehr anzeigen.

  3. Suchen Sie ein Modell, das Sie bereitstellen möchten, und wählen Sie es aus.

  4. Optional: Wählen Sie für die Bereitstellungsumgebung die Option Gemini Enterprise Agent Platform aus.

  5. Optional: Geben Sie die Bereitstellungsdetails an.

  6. Klicken Sie auf Bereitstellen.

Sehen Sie sich zum Einstieg die folgenden Beispiele an:

In GKE bereitstellen

Google Kubernetes Engine (GKE) ist die Google Cloud -Lösung für verwaltetes Kubernetes, die Skalierbarkeit, Sicherheit, Robustheit und Kosteneffizienz bietet. Wir empfehlen diese Option, wenn Sie bereits Kubernetes-Investitionen haben, Ihre Organisation über interne MLOps-Kenntnisse verfügt oder wenn Sie eine detaillierte Kontrolle über komplexe KI/ML-Arbeitslasten mit besonderer Sicherheit, Datenpipeline und Ressourcen benötigen Managementanforderungen.

  1. Wenn Sie ein unterstütztes Hugging Face-Modell in GKE bereitstellen möchten, rufen Sie Model Garden auf.

    Zu Model Garden

  2. Gehen Sie zum Abschnitt Open-Source-Modelle bei Hugging Face und klicken Sie auf Mehr anzeigen.

  3. Suchen Sie ein Modell, das Sie bereitstellen möchten, und wählen Sie es aus.

  4. Wählen Sie als Bereitstellungsumgebung GKE aus.

  5. Folgen Sie der Anleitung zur Bereitstellung.

Sehen Sie sich zum Einstieg die folgenden Beispiele an:

Was bedeutet „Unterstützt von der Gemini Enterprise Agent Platform“?

Wir fügen Model Garden automatisch die neuesten und beliebtesten Hugging Face-Modelle hinzu. Dieser Prozess umfasst die automatische Generierung einer Bereitstellungskonfiguration für jedes Modell.

Um Bedenken hinsichtlich Sicherheitslücken und schädlichem Code auszuräumen, verwenden wir den Hugging Face Malware Scanner, um die Sicherheit von Dateien in jedem Hugging Face-Modell-Repository täglich zu bewerten. Wenn ein Modell-Repository als Malware-haltig gekennzeichnet wird, entfernen wir das Modell sofort von der Hugging Face-Galerieseite.

Wenn ein Modell als von der Gemini Enterprise Agent Platform unterstützt gekennzeichnet ist, bedeutet das, dass es getestet wurde und auf der Gemini Enterprise Agent Platform bereitgestellt werden kann. Wir garantieren jedoch nicht, dass es keine Sicherheitslücken oder schädlichen Code enthält. Wir empfehlen Ihnen, eigene Sicherheitsprüfungen durchzuführen, bevor Sie ein Modell in Ihrer Produktionsumgebung bereitstellen.

Bereitstellungskonfigurationen für bestimmte Anwendungsfälle optimieren

Die Standardbereitstellungskonfiguration, die mit der Option „Bereitstellung mit einem Klick“ bereitgestellt wird, kann nicht alle Anforderungen erfüllen, da es eine Vielzahl von Anwendungsfällen und unterschiedliche Prioritäten in Bezug auf Latenz, Durchsatz, Kosten und Genauigkeit gibt.

Sie können also zuerst mit der One-Click-Bereitstellung experimentieren, um eine Baseline zu erstellen, und dann die Bereitstellungskonfigurationen mithilfe des Colab-Notebooks (vLLM, TGI, TEI, HF pytorch inference) oder des Python SDK optimieren. Mit diesem iterativen Ansatz können Sie die Bereitstellung genau auf Ihre Anforderungen zuschneiden, um die bestmögliche Leistung für Ihre spezifische Anwendung zu erzielen.

Was Sie tun können, wenn das gewünschte Modell nicht in Model Garden aufgeführt ist

Wenn Sie ein bestimmtes Modell suchen, das nicht im Model Garden aufgeführt ist, wird es von der Gemini Enterprise Agent Platform nicht unterstützt. In den folgenden Abschnitten werden die Gründe und die möglichen Maßnahmen beschrieben.

Warum ist das Modell nicht aufgeführt?

Die folgenden Gründe erklären, warum ein Modell möglicherweise nicht in Model Garden enthalten ist:

  • Es ist kein Top-Trendmodell: Wir priorisieren oft Modelle, die sehr beliebt sind und auf großes Interesse in der Community stoßen.
  • Es ist noch nicht kompatibel: Das Modell funktioniert möglicherweise nicht mit einem unterstützten Bereitstellungscontainer. Beispiel: Der vLLM-Container für text-generation- und image-text-to-text-Modelle.
  • Nicht unterstützte Pipeline-Aufgaben: Das Modell hat eine Aufgabe, die wir derzeit noch nicht vollständig unterstützen. Wir unterstützen die folgenden Aufgaben: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity und image-text-to-text.

Welche Optionen gibt es?

Sie können weiterhin mit Modellen arbeiten, die nicht in Model Garden verfügbar sind:

  • Selbst mit dem Colab-Notebook bereitstellen: Wir haben die folgenden Colab-Notebooks: (vLLM, TGI, TEI, HF pytorch inference), die die Flexibilität bieten, Modelle mit benutzerdefinierten Konfigurationen bereitzustellen. So haben Sie die vollständige Kontrolle über den Prozess.
  • Feature Request einreichen: Arbeiten Sie mit Ihrem Support-Entwickler zusammen und reichen Sie einen Feature Request über Model Garden ein. Weitere Informationen finden Sie unter Support für generative KI auf der Agent Platform.
  • Updates im Blick behalten: Wir fügen dem Model Garden regelmäßig neue Modelle hinzu. Das von Ihnen gesuchte Modell ist möglicherweise in Zukunft verfügbar. Schauen Sie also regelmäßig vorbei.