Die Gemini Enterprise Agent Platform bietet mehrere Optionen zum Abrufen und Verwenden von Rechenressourcen bei der Verwendung generativer Modelle. Diese Nutzungsoptionen sind auf die Anforderungen aller Arbeitslasten zugeschnitten, vom ersten Prototyping bis hin zu Produktionsbereitstellungen. Die Auswahl der richtigen Option ist entscheidend, um Leistung, Zuverlässigkeit und Kosten in Einklang zu bringen.
In diesem Leitfaden werden die verfügbaren Nutzungsoptionen beschrieben. Außerdem erfahren Sie, wie Sie sie Ihren spezifischen Arbeitslastanforderungen zuordnen und Strategien zur Optimierung von Latenz, Verfügbarkeit und Kosten entwickeln können.
Nutzungsoptionen
Die Gemini Enterprise Agent Platform bietet fünf Nutzungsoptionen, die auf unterschiedliche Traffic-Muster und Geschäftsanforderungen zugeschnitten sind:
| Nutzungsoption | Beschreibung | Ideal für | Preise | |
|---|---|---|---|---|
| Bereitgestellter Durchsatz | Bietet garantierten Durchsatz für eine Mindestlaufzeit | Kritische, stabile, always-on Arbeitslasten, für die ein SLA erforderlich ist | Zusicherungsbasiert (verfügbar für 1 Woche, 1 Monat, 3 Monate und 1 Jahr) | |
| PayGo | Standard | Flexible Pay-per-use-Option ohne Vorabverpflichtung | Standardoption für alltägliche Anwendungsfälle mit Flexibilität für variablen Traffic | Pro Token (Standardrate) |
| Priorität | Bietet höhere Zuverlässigkeit durch priorisierte Verarbeitung bei gleichzeitiger Beibehaltung der PayGo-Flexibilität | Wichtige Arbeitslasten, die eine höhere Zuverlässigkeit und höhere Limits als Standard-PayGo erfordern | Pro Token (Premium-Tarif) | |
| Flex | Kostengünstige Option für latenz-tolerante Arbeitslasten | Aufgaben, die langsamere Antwortzeiten und eine höhere Drosselung im Austausch für niedrigere Preise tolerieren können | Pro Token (rabattierter Preis) | |
| Batch-Inferenz | Kostenoptimiert für asynchrone Verarbeitung mit hohem Volumen | Große Jobs, bei denen Ergebnisse innerhalb eines längeren Zeitraums benötigt werden | Pro Token (rabattierter Preis) | |
Informationen zu den Preisen finden Sie auf der Preisseite.
Wählen Sie die richtige Option für Ihre Arbeitslast aus
In den folgenden Abschnitten finden Sie Informationen zur Auswahl der am besten geeigneten Nutzungsoption basierend auf den spezifischen Anforderungen und Merkmalen Ihrer Arbeitslast.
Latenzempfindliche Arbeitslasten
Unternehmen müssen bei der Auswahl der richtigen Nutzungsmodelle oft Kompromisse zwischen Zuverlässigkeit und Kosten eingehen. Bereitgestellter Durchsatz bietet zwar die höchste Zuverlässigkeit, kann aber bei Traffic-Spitzen zu einer Unterauslastung führen. Ebenso bietet PayGo möglicherweise die maximale Flexibilität, kann aber keine Dienstqualität garantieren. Im folgenden Abschnitt wird beschrieben, wie Sie diese Mechanismen am besten kombinieren, um das optimale Ergebnis zu erzielen:
- Baseline-Traffic mit bereitgestelltem Durchsatz abdecken: Dadurch wird die Auslastung Ihrer reservierten Kapazität verbessert, was wirtschaftlich ist und gleichzeitig eine garantierte Zuverlässigkeit für den Großteil Ihres Traffics bietet. Gehen Sie dazu so vor:
- Analysieren Sie Ihre Trafficmuster auf Minuten- oder Sekundenebene.
- Bestimmen Sie die Menge an Traffic, die durch den bereitgestellten Durchsatz abgedeckt werden soll. Sie sollte den Traffic mit der höchsten Priorität abdecken.
- Überlauf-Traffic mit Standard- oder Priority-Pay-as-you-go verwalten: Standardmäßig wird Traffic, der die Baseline für den bereitgestellten Durchsatz überschreitet (Überlauf-Traffic), über Standard-Pay-as-you-go abgewickelt. Wenn Sie bei Anfragen, die das TPM-Limit überschreiten, eine höhere Varianz bei der Leistung feststellen, können Sie diese Varianz durch Optimierung verringern. Priority PayGo bietet Ihnen die Möglichkeit, eine zuverlässige Leistung zu einem Premium-Preis zu erzielen, vorbehaltlich der Anlaufbegrenzung.
Asynchrone Arbeitslasten mit hohem Volumen
Wenn Sie einen großen Rückstand an Anfragen haben (z. B. wenn Sie Millionen von Dokumenten zusammenfassen müssen) und die sofortige Latenz kein Problem darstellt, sollten Sie einen Batchjob einreichen, indem Sie Anfragen in einer JSON-Datei oder Tabelle formulieren. Das ist nützlich für Anwendungsfälle wie Bild-Labeling, Massenverarbeitung von Dokumenten oder Sentimentanalyse von Verlaufsdaten.
Dies ist die kostengünstigste Option für Inferenzen mit hohem Volumen.
Latenztolerante, kostensensitive Arbeitslasten
Wenn Sie Anfragen verarbeiten müssen, bei denen die Anwendung auf eine Antwort warten kann, aber die Kostensenkung Priorität hat, sollten Sie Flex Pay-as-you-go verwenden. Flex PayGo bietet reduzierte Preise pro Token für Anfragen, die nicht sofort ausgeführt werden müssen. Diese Option ist nützlich für Anwendungsfälle wie Offlineanalyse, Datenannotation, Erstellung von Produktkatalogen oder Übersetzung.
Optimierungsstrategien
Nachdem Sie Ihr Nutzungsmodell ausgewählt haben, können Sie die folgenden Strategien verwenden, um Latenz, Verfügbarkeit und Kosten weiter zu optimieren.
Latenz
Wenn Sie interaktive Anwendungen erstellen, spielt die Latenz eine entscheidende Rolle für die Nutzerfreundlichkeit. Latenz bezieht sich auf die Zeit, die ein Modell benötigt, um Ihren Eingabe-Prompt zu verarbeiten und eine entsprechende Antwort zu generieren. Beachten Sie bei der Untersuchung der Latenz mit einem Modell Folgendes:
- Zeit bis zum ersten Token (TTFT): Die Zeit, die das Modell benötigt, um das erste Token der Antwort zu generieren, nachdem es den Prompt erhalten hat. Die TTFT ist besonders für Streaminganwendungen relevant, bei denen sofortiges Feedback entscheidend ist.
- Zeit bis zum letzten Token (Time to Last Token, TTLT): Die Gesamtzeit, die das Modell benötigt, um den Prompt zu verarbeiten und die Antwort zu generieren.
So optimieren Sie die Latenz:
- Das richtige Modell für Ihren Anwendungsfall auswählen: Die Gemini Enterprise Agent Platform bietet eine Vielzahl von Modellen mit unterschiedlichen Funktionen und Leistungsmerkmalen. Prüfen Sie Ihre Anforderungen an Geschwindigkeit und Ausgabequalität sorgfältig, um das Modell auszuwählen, das am besten zu Ihrem Anwendungsfall passt. Eine Liste der verfügbaren Modelle finden Sie unter Gemini Enterprise Agent Platform Model Garden.
- Prompt-Größe reduzieren: Erstellen Sie klare und prägnante Prompts, die Ihre Absicht effektiv vermitteln, ohne unnötige Details oder Redundanz. Kürzere Prompts reduzieren die Zeit bis zum ersten Token.
- Ausgabetokens begrenzen:
- Verwenden Sie Systemanweisungen, um die Länge der Antwort zu steuern. Weisen Sie das Modell an, prägnante Antworten zu geben, oder beschränken Sie die Ausgabe auf eine bestimmte Anzahl von Sätzen oder Absätzen. Mit dieser Strategie können Sie die Zeit bis zum letzten Token reduzieren.
- Ausgabe durch Festlegen eines Limits einschränken. Mit dem Parameter
max_output_tokenskönnen Sie die Länge der generierten Antwort begrenzen, um zu lange Ausgaben zu vermeiden. Die Latenz ist direkt proportional zur Anzahl der generierten Tokens. Wenn weniger Tokens generiert werden, sind die Antworten schneller. Seien Sie jedoch vorsichtig, da dies dazu führen kann, dass Antworten mitten im Satz abgeschnitten werden.
- Bereitgestellter Durchsatz verwenden: Für die konsistenteste Leistung sollten Sie Bereitgestellten Durchsatz verwenden. Dadurch werden die Schwankungen vermieden, die durch „Kaltstarts“ oder Warteschlangen entstehen können, die gelegentlich in PayGo-Modellen bei hohem Traffic auftreten.
- Budget für Denkprozesse begrenzen: Wenn Sie ein Modell verwenden, das Denkprozesse unterstützt, können Sie die Latenz reduzieren, indem Sie das Budget für Denkprozesse verringern. Wenn Sie die internen Reasoning-Tokens begrenzen, die das Modell vor der Beantwortung generiert, reduzieren Sie die Gesamtverarbeitungszeit. Sie müssen jedoch darauf achten, dass das Budget für die Komplexität der Aufgabe ausreicht, um eine Verschlechterung der Antwortqualität zu vermeiden.
- Streaming für Antworten verwenden: Streaming verbessert die wahrgenommene Reaktionsfähigkeit und sorgt für eine interaktivere Nutzererfahrung. Beim Streaming beginnt das Modell mit dem Senden der Antwort, bevor die vollständige Ausgabe generiert wurde. Dies ermöglicht die Echtzeitverarbeitung der Ausgabe, sodass Sie Ihre Benutzeroberfläche sofort aktualisieren und andere gleichzeitige Aufgaben ausführen können.
Verfügbarkeit
So optimieren Sie die Verfügbarkeit:
- Wiederholungslogik implementieren: Implementieren Sie einen exponentiellen Backoff für 429-Fehler, insbesondere bei Verwendung von Standard PayGo.
- Hybridimplementierung verwenden: Wie unter Die richtige Option für Ihre Arbeitslast auswählen beschrieben, sollten Sie sich für kritische Produktionsanwendungen nicht ausschließlich auf PayGo verlassen. Die Kombination aus bereitgestelltem Durchsatz und PayGo bietet den höchsten Schutz vor Ressourcenerschöpfung (429-Fehler).
- Kontingent für bereitgestellten Durchsatz verwalten: Überwachen Sie regelmäßig Ihren TPM-Verbrauch und erhöhen Sie die PT-GSUs vor erwarteten Traffic-Ereignissen (z. B. Produkteinführungen). Sie können eine Benachrichtigungsrichtlinie verwenden, um das Monitoring zu automatisieren.
- Globalen Endpunkt verwenden: Verwenden Sie den globalen Endpunkt, um den globalen Kapazitätspool von Google zu nutzen und die Drosselung aufgrund regionaler Kapazitätsbeschränkungen zu minimieren.
- Traffic glätten, um Spitzen nach Möglichkeit zu reduzieren: Höhere PayGo-Trafficraten (TPM) sind in der Regel mit höheren Drosselungsraten verbunden.
- Traffic auf Zeiten mit geringer Nachfrage verlagern: Die Modellnutzung folgt im Allgemeinen einem tageszeitlichen Muster. Wenn Sie Ihre Arbeitslast auf Zeiten mit geringer Nachfrage oder auf Wochenenden verschieben, kann dies die Verfügbarkeit erheblich verbessern.
Kosten
So optimieren Sie die Kosten:
- Bereitgestellten Durchsatz anpassen: Im Allgemeinen müssen Sie den bereitgestellten Durchsatz nicht so dimensionieren, dass er die Spitzennachfrage abdeckt. Die Bereitstellung für Spitzenbedarf reduziert die Gesamtauslastung und erhöht die Kosten. Versuchen Sie, je nach Ihrer Risikotoleranz einen bestimmten Perzentilwert Ihres Traffics abzudecken, und lassen Sie Standard PayGo und Priority PayGo den Rest erledigen.
- Längerfristigen bereitgestellten Durchsatz erwerben: Eine einjährige Zusicherung für bereitgestellten Durchsatz ist im Vergleich zu einer einmonatigen Zusicherung um 26 % günstiger, was zu erheblichen Kosteneinsparungen führt. Sie können das Modell, das mit Ihren gekauften GSUs für den bereitgestellten Durchsatz verknüpft ist, jederzeit ändern, um die neuesten Modellfunktionen zu nutzen.
- Flex PayGo verwenden: Identifizieren Sie alle Teile Ihrer Pipeline, die nicht latenzempfindlich sind (z.B. Hintergrundzusammenfassung, Datenextraktion), und verschieben Sie sie zu Flex PayGo, um die Kosten um etwa 50 % zu senken.
- Batchverarbeitung verwenden: Für asynchrone Jobs wie die Verarbeitung großer Datasets ist die Batchverarbeitung deutlich günstiger (50 %) als die sequenzielle Verarbeitung von Anfragen mit Standard-PayGo.
- Kontext-Caching verwenden: Mit dem Kontext-Caching können Sie die Kosten und die Latenz von Anfragen reduzieren, die wiederkehrende Inhalte enthalten. Sie können die Cache-Trefferquote erhöhen, indem Sie große und häufig verwendete Inhalte am Anfang Ihres Prompts platzieren und Anfragen mit einem ähnlichen Präfix innerhalb kurzer Zeit senden.
- Wählen Sie ein günstigeres Modell aus: Wenn Ihr Anwendungsfall es zulässt, verwenden Sie eines unserer kleineren Modelle wie Flash-Lite, das einen niedrigeren Preispunkt pro Token hat als unsere leistungsstarken, voll ausgestatteten Modelle.