Vertex AI unterstützt eine ausgewählte Liste von Open-Source-Modellen als verwaltete Modelle. Diese offenen Modelle können mit Vertex AI als Model as a Service (MaaS) verwendet werden und werden als verwaltete API angeboten. Wenn Sie ein verwaltetes offenes Modell verwenden, senden Sie Ihre Anfragen weiterhin an Vertex AI-Endpunkte. Verwaltete offene Modelle sind serverlos, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.
Verwaltete offene Modelle können mithilfe von Model Garden gefunden werden. Sie können Modelle auch mit Model Garden bereitstellen. Weitere Informationen finden Sie unter KI-Modelle in Model Garden entdecken.
Bevor Sie offene Modelle verwenden können, müssen Sie Nutzerzugriff auf offene Modelle gewähren.
Offene Modelle
Die folgenden offenen Modelle werden als verwaltete APIs in Vertex AI Model Garden (MaaS) angeboten:
| Modellname | Modalität | Beschreibung | Kurzanleitung |
|---|---|---|---|
| gpt-oss 120B | Sprache | Ein 120B-Modell, das bei Schlussfolgerungsaufgaben eine hohe Leistung bietet. | Modellkarte |
| gpt-oss 20B | Sprache | Ein 20B-Modell, das für Effizienz und Bereitstellung auf Consumer- und Edge-Hardware optimiert ist. | Modellkarte |
| Qwen3-Next-80B Thinking | Sprache, Code | Ein Modell aus der Modellfamilie Qwen3-Next, das auf komplexe Problemlösung und tiefes logisches Denken spezialisiert ist. | Modellkarte |
| Qwen3-Next-80B Instruct | Sprache, Code | Ein Modell aus der Modellfamilie Qwen3-Next, das auf die Ausführung bestimmter Befehle spezialisiert ist. | Modellkarte |
| Qwen3 Coder | Sprache, Code | Ein Open-Weight-Modell, das für anspruchsvolle Softwareentwicklungsaufgaben entwickelt wurde. | Modellkarte |
| Qwen3 235B | Sprache | Ein Open-Weight-Modell mit der Fähigkeit zum „hybriden Denken“, das zwischen methodischem Denken und schnellen Unterhaltungen wechseln kann. | Modellkarte |
| DeepSeek-V3.1 | Sprache | Das Hybridmodell von DeepSeek, das sowohl den Denkmodus als auch den Nicht-Denkmodus unterstützt. | Modellkarte |
| DeepSeek R1 (0528) | Sprache | Die aktuelle Version des DeepSeek R1-Modells von DeepSeek. | Modellkarte |
| Llama 4 Maverick 17B-128E | Sprache, Vision | Das größte und leistungsstärkste Llama 4-Modell mit Funktionen für Programmierung, Reasoning und Bilder. Llama 4 Maverick 17B-128E ist ein multimodales Modell, das die MoE-Architektur (Mixture of Experts) und Early Fusion verwendet. | Modellkarte |
| Llama 4 Scout 17B-16E | Sprache, Vision | Llama 4 Scout 17B-16E liefert für seine Größenklasse erstklassige Ergebnisse und übertrifft frühere Llama-Generationen sowie andere offene und proprietäre Modelle bei mehreren Benchmarks. Llama 4 Scout 17B-16E ist ein multimodales Modell, das die MoE-Architektur (Mixture of Experts) und Early Fusion verwendet. | Modellkarte |
| Llama 3.3 | Sprache | Llama 3.3 ist ein anweisungsorientiertes Modell mit 70 Milliarden Parametern, das nur Text verarbeitet. Es bietet eine verbesserte Leistung im Vergleich zu Llama 3.1 70B und Llama 3.2 90B, wenn es für reine Textanwendungen verwendet wird. Außerdem erreicht Llama 3.3 70B bei einigen Anwendungen die Leistung von Llama 3.1 405B. | Modellkarte |
| Llama 3.2 (Vorabversion) | Sprache, Vision | Ein mittelgroßes multimodales Modell mit 90 Milliarden Parametern, das Bildanalyse wie die Analyse von Diagrammen und Grafiken sowie die Bilduntertitelung unterstützt. | Modellkarte |
| Llama 3.1 | Sprache |
Eine Sammlung mehrsprachiger LLMs, die für mehrsprachige Dialoganwendungsfälle optimiert sind und viele der verfügbaren Open-Source- und geschlossenen Chatmodelle bei gängigen Branchenbenchmarks übertreffen. Llama 3.1 405B ist allgemein verfügbar. Llama 3.1 8B und Llama 3.1 70B sind in der Vorabversion verfügbar. |
Modellkarte |
Die folgenden offenen Embedding-Modelle werden als verwaltete APIs in Vertex AI Model Garden (MaaS) angeboten:
| Modellname | Beschreibung | Ausgabedimensionen | Maximale Sequenzlänge | Unterstützte Textsprachen | Kurzanleitung |
|---|---|---|---|---|---|
| multilingual-e5-small | Teil der E5-Modellfamilie für Texteinbettung. Die kleine Variante enthält 12 Ebenen. | Bis zu 384 | 512 Tokens | Unterstützte Sprachen | Modellkarte |
| multilingual-e5-large | Teil der E5-Modellfamilie für Texteinbettung. Die große Variante enthält 24 Ebenen. | Bis zu 1.024 | 512 Tokens | Unterstützte Sprachen | Modellkarte |
Regulierungs-Compliance für Modelle
Die Zertifizierungen für Generative AI in Vertex AI gelten weiterhin, wenn offene Modelle als verwaltete API mit Vertex AI verwendet werden. Wenn Sie Details zu den Modellen selbst benötigen, finden Sie weitere Informationen in der jeweiligen Modellkarte oder Sie können sich an den jeweiligen Modellpublisher wenden.
Ihre inaktiven Daten werden in der ausgewählten Region oder in mehreren Regionen für offene Modelle in Vertex AI gespeichert. Die Regionalisierung der Datenverarbeitung kann jedoch variieren. Eine detaillierte Liste der Verpflichtungen zur Datenverarbeitung für offene Modelle finden Sie unter Datenstandort für offene Modelle.
Kunden-Prompts und Modellantworten werden bei der Verwendung der Vertex AI API, einschließlich offener Modelle, nicht an Dritte weitergegeben. Google verarbeitet Kundendaten nur gemäß den Anweisungen des Kunden. Weitere Informationen finden Sie im Zusatz zur Verarbeitung von Cloud-Daten.
Nächste Schritte
- Bevor Sie offene Modelle verwenden, müssen Sie Nutzern Zugriff auf offene Modelle gewähren.
- Informationen zum Aufrufen von APIs für offene Modelle