Llama-Modelle können als verwaltete APIs und selbst bereitgestellte Modelle auf der Gemini Enterprise Agent Platform verwendet werden. Sie können Ihre Antworten streamen, um die vom Endnutzer wahrgenommene Latenz zu reduzieren. Eine gestreamte Antwort verwendet vom Server gesendete Ereignisse (SSE, Server-Sent Events), um die Antwort schrittweise zu streamen.
Verwaltete Llama-Modelle
Llama-Modelle bieten vollständig verwaltete und serverlose Modelle als APIs. Wenn Sie ein Llama-Modell auf der Agent Platform verwenden möchten, senden Sie eine Anfrage direkt an den API-Endpunkt der Agent Platform. Wenn Sie Llama-Modelle als verwaltete API verwenden, müssen Sie keine Infrastruktur bereitstellen oder verwalten.
Die folgenden Modelle sind von Llama zur Verwendung in der Gemini Enterprise Agent Platform verfügbar. Rufen Sie die zugehörige Model Garden-Modellkarte auf, um auf ein Llama-Modell zuzugreifen.
Llama-Modelle verwenden
Für verwaltete Modelle können Sie curl-Befehle verwenden, um Anfragen mit den folgenden Modellnamen an den Gemini Enterprise Agent Platform-Endpunkt zu senden. Informationen zum Senden von Streaming- und Nicht-Streaming-Aufrufen an Llama-Modelle finden Sie unter APIs für offene Modelle aufrufen.
So verwenden Sie ein selbst bereitgestelltes Gemini Enterprise Agent Platform-Modell:
- Rufen Sie die Model Garden-Konsole auf.
- Suchen Sie das relevante Gemini Enterprise Agent Platform-Modell.
- Klicken Sie auf Aktivieren und füllen Sie das Formular aus, um die erforderlichen Lizenzen für die kommerzielle Nutzung zu erhalten.
Weitere Informationen zum Bereitstellen und Verwenden von Partnermodellen finden Sie unter Partnermodell bereitstellen und Vorhersageanfragen stellen.
Nächste Schritte
Informationen zur Verwendung von Llama-Modellen