Model Garden ist eine Bibliothek mit KI-/ML-Modellen, mit der Sie Modelle und Assets von Google und Google-Partnern entdecken, testen, anpassen und bereitstellen können.
Vorteile von Model Garden
Bei der Arbeit mit KI-Modellen bietet Model Garden folgende Vorteile:
- Alle verfügbaren Modelle sind an einem zentralen Ort gruppiert.
- Model Garden bietet ein einheitliches Bereitstellungsmuster für verschiedene Modelltypen.
- Model Garden bietet eine integrierte Einbindung in andere Teile der Gemini Enterprise Agent Platform, z. B. Modellabstimmung, -bewertung und -bereitstellung.
- Die Bereitstellung generativer KI-Modelle kann schwierig sein. Die Gemini Enterprise Agent Platform übernimmt die Modellbereitstellung und ‑bereitstellung für Sie.
Modelle entdecken
Die Liste der verfügbaren grundlegenden, abstimmbaren und aufgabenspezifischen Gemini Enterprise Agent Platform- und Open-Source-Modelle finden Sie in der Google Cloud Console auf der Seite „Model Garden“.
Folgende Modellkategorien sind in Model Garden verfügbar:
| Kategorie | Beschreibung |
|---|---|
| Basismodelle | Vortrainierte große Multitasking-Modelle, die mithilfe von Agent Studio, der Agent Platform API und des Agent Platform SDK für bestimmte Aufgaben abgestimmt oder angepasst werden können. |
| Abstimmbare Modelle | Modelle, die Sie mit einem benutzerdefinierten Notebook oder einer Pipeline optimieren können |
| Aufgabenspezifische Lösungen | Die meisten dieser vordefinierten Modelle sind einsatzbereit. Viele können mit Ihren eigenen Daten angepasst werden. |
Geben Sie Folgendes an, um Modelle im Filterbereich zu filtern:
- Aufgaben: Klicken Sie auf die Aufgabe, die das Modell ausführen soll.
- Modellsammlungen: Klicken Sie, um Modelle auszuwählen, die von Google, Partnern oder Ihnen verwaltet werden.
- Anbieter: Klicken Sie auf den Anbieter des Modells.
- Features: Klicken Sie auf die gewünschten Features im Modell.
Weitere Informationen zu den einzelnen Modellen erhalten Sie, wenn Sie auf die Modellkarte klicken.
Sicherheitsscans für Modelle
Google führt umfassende Tests und Benchmarks für die von uns bereitgestellten Bereitstellungs- und Abstimmungscontainer durch. Außerdem werden Containerartefakte aktiv auf Sicherheitslücken gescannt.
Modelle von Drittanbietern von ausgewählten Partnern werden auf Modell-Checkpoints gescannt, um die Authentizität zu gewährleisten. Modelle von Drittanbietern aus dem Hugging Face Hub werden direkt von Hugging Face und dem Drittanbieterscanner auf Malware, Pickle-Dateien, Keras Lambda-Ebenen und Geheimnisse gescannt. Modelle, die bei diesen Scans als unsicher eingestuft werden, werden von Hugging Face gekennzeichnet und können nicht in Model Garden bereitgestellt werden. Modelle, die als verdächtig eingestuft werden oder potenziell Remote-Code ausführen können, werden in Model Garden angezeigt, können aber trotzdem bereitgestellt werden. Wir empfehlen, verdächtige Modelle gründlich zu prüfen, bevor Sie sie in Model Garden bereitstellen.
Preise
Für die Open-Source-Modelle in Model Garden wird Ihnen die Nutzung von Gemini Enterprise Agent Platform in Rechnung gestellt:
- Modellabstimmung: Ihnen werden die verwendeten Compute-Ressourcen zum gleichen Preis wie das benutzerdefinierte Training in Rechnung gestellt. Siehe Benutzerdefinierte Trainingspreise.
- Modellbereitstellung: Ihnen werden die Rechenressourcen in Rechnung gestellt, die zur Bereitstellung des Modells auf einem Endpunkt verwendet wurden. Siehe Preise für Vorhersagen.
- Colab Enterprise: Siehe Colab Enterprise-Preise.
Zugriff auf bestimmte Modelle steuern
Sie können eine Model Garden-Organisations richtlinie auf Organisations-, Ordner- oder Projektebene festlegen, um den Zugriff auf bestimmte Modelle in Model Garden zu steuern. Sie können beispielsweise den Zugriff auf bestimmte Modelle zulassen, die Sie geprüft haben, und den Zugriff auf alle anderen Modelle verweigern.
Weitere Informationen zu Model Garden
Weitere Informationen zu den Bereitstellungsoptionen und Anpassungen, die Sie mit Modellen in Model Garden vornehmen können, finden Sie in den Ressourcen in den folgenden Abschnitten.
Bereitstellen und ausführen
Weitere Informationen zum Anpassen von Bereitstellungen und zu erweiterten Bereitstellungsfunktionen.
- Open-Source-Modelle mit dem Python SDK, der Befehlszeile, der REST API oder der Console bereitstellen und ausführen
- YouTube-Video zum Bereitstellen und Optimieren von Gemma 3 in Model Garden
- Gemma bereitstellen und Vorhersagen treffen
- Offene Modelle mit einem Hex-LLM-Container auf Cloud TPUs bereitstellen
- Notebook mit Tutorial zum Bereitstellen von Llama-Modellen mit Hex-LLM
- Notebook mit Tutorial zum Verwenden von Präfix-Caching und spekulativer Decodierung mit Hex-LLM oder vLLM
- Tutorial auf Medium zum Bereitstellen von Gemma 2 mit mehreren LoRA-Adaptern und Hugging Face DLC für PyTorch-Inferenzen
- Tutorial auf LinkedIn zum Verwenden benutzerdefinierter Handler, um PaliGemma für Bilduntertitelung mit Hugging Face DLC für PyTorch-Inferenzen bereitzustellen
- Hugging Face-Modell bereitstellen und ausführen
- xDiT-GPU-Bereitstellungscontainer für die Bild- und Videogenerierung verwenden
- Nur-Text- und multimodale Language Models mit vLLM auf Cloud-GPUs bereitstellen
- Notebook mit Tutorial zum Bereitstellen und Ausführen eines Modells, das Spot-VMs oder Compute Engine-Reservierungen verwendet
Abstimmung
Weitere Informationen zum Optimieren von Modellen, um Antworten für bestimmte Anwendungsfälle anzupassen.
- Notebook mit Tutorial für die Abstimmung mit Workbench
- Notebook mit Tutorial zur Abstimmung und Bewertung
- YouTube-Video zum Bereitstellen und Optimieren von Gemma 3 in Model Garden
Bewertung
Weitere Informationen zum Bewerten von Modellantworten mit der Agent Platform
Zusätzliche Ressourcen
- Modell- und nutzerspezifische Model Garden-Notebooks
- Notebooks zum Bereitstellen, Optimieren und Bewerten von offenen Modellen in der Gemini Enterprise Agent Platform