Warteschlangenrouting, ‑limits und ‑wiederholungen konfigurieren

Sie können die Cloud Tasks-Warteschlange während ihrer Erstellung oder später konfigurieren. Die Konfiguration wird auf alle Aufgaben in dieser Warteschlange angewendet.

Beim Konfigurieren von Warteschlangen sind drei grundlegende Aspekte zu berücksichtigen:

Routing auf Warteschlangenebene konfigurieren

Wenn Sie das Routing auf Warteschlangenebene konfigurieren, wird das auf Aufgabenebene festgelegte Routing überschrieben. Das ist nützlich, wenn Sie Cloud Tasks als Puffer vor Ihrem Zieldienst verwenden oder das Routing für alle Aufgaben in einer Warteschlange ändern möchten.

Das Routing auf Warteschlangenebene gilt für:

  • Aufgaben in der Warteschlange
  • Aufgaben, die der Warteschlange hinzugefügt werden, nachdem das Routing auf Warteschlangenebene festgelegt wurde

Beschränkungen

Das Routing auf Warteschlangenebene ist nicht mit kundenverwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK) des Cloud Key Management Service (Cloud KMS) kompatibel. Wenn CMEK aktiviert ist, können Sie Folgendes nicht tun:

  • Aufgaben in einer Warteschlange mit Routing auf Warteschlangenebene erstellen
  • Routing auf Warteschlangenebene anwenden

Routing auf Warteschlangenebene für HTTP-Aufgaben konfigurieren

Sie können eine Warteschlange so konfigurieren, dass das Routing auf Aufgabenebene überschrieben wird. Das ist entweder beim Erstellen oder beim Aktualisieren der Warteschlange möglich. Legen Sie dazu den Parameter uriOverride der Warteschlange auf die gewünschte Route fest.

Wenn Sie das Routing auf Warteschlangenebene als Aktualisierung auf eine vorhandene Warteschlange anwenden, pausieren Sie die Warteschlange, bevor Sie die Änderungen anwenden. Warten Sie nach dem Anwenden der Änderungen eine Minute, bevor Sie die Warteschlange wieder aktivieren.

  1. Pausieren Sie die Warteschlange mit dem folgenden Befehl:

      gcloud tasks queues pause QUEUE_ID

    Ersetzen Sie QUEUE_ID durch die ID Ihrer Warteschlange.

  2. Aktualisieren oder entfernen Sie das Routing auf Warteschlangenebene.

    • Wenn Sie das Routing auf Warteschlangenebene aktualisieren möchten, legen Sie den uriOverride Parameter auf die aktualisierte Route fest.

    • So entfernen Sie das Routing auf Warteschlangenebene mit der REST oder RPC API:

      • REST API: Senden Sie eine patch Anfrage für die Warteschlange mit einer leeren Nutzlast und dem Parameter updateMask auf httpTarget gesetzt.

      • RPC API: Senden Sie eine updateQueueRequest für die Warteschlange mit einer leeren Nutzlast und dem Parameter update_mask auf http_target gesetzt.

    Im folgenden Beispiel wird die REST API verwendet, um den Host zu aktualisieren, an den Aufgaben weitergeleitet werden:

    curl -X PATCH -d @- -i \
  -H "Authorization: Bearer ACCESS_TOKEN" \
  -H "Content-Type: application/json" \
  "https://cloudtasks.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/queues/QUEUE_ID?updateMask=httpTarget.uriOverride" << EOF
{
  "httpTarget": {"uriOverride":{"host":"NEW_HOST"}}
}
EOF

    Ersetzen Sie Folgendes:

    • ACCESS_TOKEN: Ihr Zugriffstoken. Sie können es mit dem folgenden Befehl im Terminal abrufen:

      gcloud auth application-default login
gcloud auth application-default print-access-token

    • PROJECT_ID: die ID Ihres Google Cloud Projekts in. Sie können sie mit dem folgenden Befehl im Terminal abrufen: 

      gcloud config get-value project

    • LOCATION: der Standort Ihrer Warteschlange.

    • NEW_HOST: der neue Host, an den Ihre Warteschlange weiterleiten soll.

  3. Warten Sie eine Minute.

    Es kann bis zu einer Minute dauern, bis die neue Konfiguration wirksam wird. Wenn Sie warten, bevor Sie die Warteschlange wieder aktivieren, wird verhindert, dass Aufgaben mit der alten Konfiguration weitergeleitet werden.

  4. Aktivieren Sie die Warteschlange mit dem folgenden Befehl wieder:

    gcloud tasks queues resume QUEUE_ID

Routing auf Warteschlangenebene für App Engine-Aufgaben konfigurieren

Wenn Sie das Routing auf Warteschlangenebene für App Engine-Aufgaben konfigurieren möchten, legen Sie den appEngineRoutingOverride Parameter der Warteschlange auf den gewünschten App Engine-Dienst und die gewünschte Version fest.

  1. Richten Sie das Routing auf Warteschlangenebene ein und überschreiben Sie das Routing auf Aufgabenebene:

    gcloud tasks queues update QUEUE_ID \
    --routing-override=service:SERVICE,version:VERSION

    Ersetzen Sie Folgendes:

    • QUEUE_ID: die Warteschlangen-ID (Kurzname).
    • SERVICE: der App Engine-Worker-Dienst, der für die Aufgabenbearbeitung zuständig ist.
    • VERSION: die App-Version.

    Wenn Sie beispielsweise einen Worker-Dienst einrichten, um alle Aufgaben in einer Warteschlange zu verarbeiten, können Sie das Routing an diesen Dienst und die Standardversion konfigurieren:

    gcloud tasks queues update QUEUE_ID \
    --routing-override=service:SERVICE

  2. Prüfen Sie mit dem folgenden Befehl, ob die Warteschlange erfolgreich konfiguriert wurde:

    gcloud tasks queues describe QUEUE_ID --location=LOCATION

    Ersetzen Sie LOCATION durch den Standort der Warteschlange.

    Die Ausgabe sollte in etwa so aussehen:

    appEngineRoutingOverride:
  host: SERVICE.PROJECT_ID.appspot.com
  service: SERVICE
name: projects/PROJECT_ID/locations/LOCATION_ID/queues/QUEUE_ID
rateLimits:
  maxBurstSize: 100
  maxConcurrentDispatches: 1000
  maxDispatchesPerSecond: 500.0
retryConfig:
  maxAttempts: 100
  maxBackoff: 3600s
  maxDoublings: 16
  minBackoff: 0.100s
state: RUNNING

  3. Mit diesem Befehl entfernen Sie das Routing auf Warteschlangenebene:

    gcloud tasks queues update QUEUE_ID \
    --clear-routing-override

    Wenn das Routing auf Warteschlangenebene entfernt wird, wird das Routing auf Aufgabenebene auf Aufgaben in der Warteschlange und auf Aufgaben angewendet, die der Warteschlange in Zukunft hinzugefügt werden.

Definieren Sie Ratenlimits

Das Ratenlimit bestimmt die maximale Rate, mit der Aufgaben von einer Warteschlange weitergeleitet werden können, unabhängig davon, ob es sich um einen ersten Aufgabenversuch oder einen Wiederholungsversuch handelt.

  1. Legen Sie die maximale Rate und die Anzahl gleichzeitiger Aufgaben fest, die von einer Warteschlange weitergeleitet werden können, indem Sie den folgenden Befehl ausführen:

    gcloud tasks queues update QUEUE_ID \
    --max-dispatches-per-second=DISPATCH_RATE \
    --max-concurrent-dispatches=MAX_CONCURRENT_DISPATCHES

    Ersetzen Sie Folgendes:

    • QUEUE_ID: die Warteschlangen-ID (Kurzname).
    • DISPATCH_RATE: die Weiterleitungsrate. Das ist die Rate, mit der Tokens im Bucket aktualisiert werden. Bei Bedingungen mit einem relativ gleichmäßigen Aufgabenfluss entspricht dies der Rate, mit der Aufgaben weitergeleitet werden.
    • MAX_CONCURRENT_DISPATCHES: die maximale Anzahl von Aufgaben in der Warteschlange, die gleichzeitig ausgeführt werden können.

    Wenn Sie beispielsweise eine Warteschlange erstellt haben, ohne Parameter festzulegen, können Sie die maximale Anzahl gleichzeitiger Aufgaben mit dem folgenden Befehl aktualisieren:

    gcloud tasks queues update QUEUE_ID \
    --max-concurrent-dispatches=MAX_CONCURRENT_DISPATCHES

  2. Prüfen Sie mit dem folgenden Befehl, ob die Warteschlange erfolgreich konfiguriert wurde:

    gcloud tasks queues describe QUEUE_ID --location=LOCATION

    Ersetzen Sie LOCATION durch den Standort der Warteschlange.

    Die Ausgabe sollte in etwa so aussehen:

    name: projects/PROJECT_ID/locations/LOCATION_ID/queues/QUEUE_ID
rateLimits:
  maxBurstSize: 100
  maxConcurrentDispatches: MAX_CONCURRENT_DISPATCHES
  maxDispatchesPerSecond: 500.0
retryConfig:
  maxAttempts: 100
  maxBackoff: 3600s
  maxDoublings: 16
  minBackoff: 0.100s
state: RUNNING

Methoden zum Definieren von Verarbeitungsraten für Warteschlangen

Sie können Verarbeitungsraten für Warteschlangen entweder mit der Cloud Tasks API oder durch Hochladen einer queue.yaml-Datei definieren. Beide Methoden führen zu Warteschlangen, die denselben zugrunde liegenden Mechanismus verwenden.

In beiden Fällen verwendet die Warteschlange den Token-Bucket Algorithmus, um die Rate der Aufgabenausführung zu steuern. Jede benannte Warteschlange hat einen Bucket, der ihre Tokens enthält.

Jedes Mal, wenn Ihre Anwendung eine Aufgabe ausführt, wird ein Token aus dem Bucket entfernt. Die Warteschlange verarbeitet weiterhin Aufgaben, bis keine Tokens mehr im Bucket vorhanden sind. Das System füllt den Bucket auf der Grundlage der Rate max_dispatches_per_second, die Sie für die Warteschlange festlegen, kontinuierlich mit neuen Tokens auf. Wenn Ihre Warteschlange zu verarbeitende Aufgaben und der Bucket der Warteschlange Tokens enthält, verarbeitet das System gleichzeitig dieselbe Anzahl von Aufgaben und Tokens bis zu dem von Ihnen festgelegten Wert max_concurrent_dispatches.

Eine ungleichmäßige Last kann dazu führen, dass die Anzahl der Tokens im Bucket erheblich anwächst, was zu Verarbeitungs-Bursts führen kann, wenn eine Reihe von Anfragen eingeht. In diesem Fall kann Ihre Warteschlange eine tatsächliche Weiterleitungsrate aufweisen, die Ihre Rate max_dispatches_per_second übersteigt, Systemressourcen verbraucht und mit Anfragen zur Nutzerverwaltung konkurriert. In Fällen, in denen Sie Warteschlangen zur Verwaltung von Weiterleitungsraten auf der Grundlage von relativ langsamen SLAs für nachgelagerte Dienste verwenden, kann dies zu HTTP-Fehlern wie 429 (Zu viele Anfragen) oder 503 (Dienst nicht verfügbar) führen.

  • Wenn Sie eine Cloud Tasks API-Methode verwenden, haben Sie zwei Felder, um die Warteschlangen-Weiterleitungsrate zu definieren:

    • max_dispatches_per_second
    • max_concurrent_dispatches

    Ein drittes Feld, max_burst_size, wird vom System auf der Grundlage des Werts berechnet, den Sie für max_dispatches_per_second festgelegt haben. Weitere Informationen finden Sie unter RateLimits-Nachrichten.

  • Wenn Sie die queue.yaml Methode, können Sie alle drei Elemente festlegen:

    • max_concurrent_requests, was max_concurrent_dispatches entspricht
    • rate, was max_dispatches_per_second entspricht
    • bucket_size, was max_burst_size entspricht

In den meisten Fällen führt die Verwendung der Cloud Tasks API-Methode und die Einstellung des Systems auf max_burst_size zu einer sehr effizienten Rate für die Verwaltung von Anfrage-Bursts. In einigen Fällen, insbesondere wenn die benötigte Rate jedoch relativ langsam ist, können Sie entweder die Methode queue.yaml verwenden, um bucket_size manuell auf einen kleinen Wert zu setzen, oder über die Cloud Tasks API max_concurrent_dispatches auf einen kleinen Wert setzen, was Ihnen mehr Kontrolle bieten kann.

Wiederholungsparameter festlegen

Wenn eine Aufgabe nicht erfolgreich abgeschlossen wurde, wiederholt Cloud Tasks die Aufgabe mit exponentiellem Backoff gemäß den von Ihnen festgelegten Parametern. Nachdem eine Aufgabe erfolgreich ausgeführt wurde, wird sie aus der Warteschlange entfernt. In allen Fällen gilt auch das maximale Limit für die Aufgabenaufbewahrung.

Optional können Sie eine Wiederholungskonfiguration auf Aufgabenebene angeben, die die Wiederholungskonfiguration auf Warteschlangenebene für die Aufgabe überschreibt. Weitere Informationen finden Sie unter Wiederholungsparameter für eine Aufgabe festlegen.

  1. Geben Sie die maximale Anzahl der Wiederholungen von fehlgeschlagenen Warteschlangenaufgaben, ein Zeitlimit für Wiederholungsversuche und das Intervall zwischen den Versuchen an, indem Sie den folgenden Befehl ausführen:

    gcloud tasks queues update QUEUE_ID \
    --max-attempts=MAX_ATTEMPTS \
    --max-retry-duration=MAX_RETRY_DURATION \
    --min-backoff=MIN_INTERVAL \
    --max-backoff=MAX_INTERVAL \
    --max-doublings=MAX_DOUBLINGS

    Ersetzen Sie Folgendes:

    • QUEUE_ID: die Warteschlangen-ID (Kurzname).
    • MAX_ATTEMPTS: die maximale Anzahl von Versuchen für eine Aufgabe, einschließlich des ersten. Wenn Sie unbegrenzte Wiederholungen zulassen möchten, legen Sie diesen Wert auf -1 fest. MAX_RETRY_DURATION gilt auch dann, wenn MAX_ATTEMPTS erreicht oder auf -1 gesetzt ist.
    • MAX_RETRY_DURATION: die Höchstdauer für die Wiederholung einer fehlgeschlagenen Aufgabe, die ab dem ersten Versuch der Aufgabe gemessen wird. Der Wert muss ein String sein, der mit „s“ endet, z. B. 5s. Sie können eine unbegrenzte Dauer angeben, indem Sie dieses Flag auf 0 setzen. Wenn MAX_RETRY_DURATION erfüllt oder auf 0 gesetzt ist, wird MAX_ATTEMPTS trotzdem angewendet.
    • MIN_INTERVAL: die Mindestwartezeit zwischen Wiederholungsversuchen. Der Wert muss ein String sein, der mit „s“ endet, z. B. 5s.
    • MAX_INTERVAL: die maximale Wartezeit zwischen Wiederholungsversuchen. Der Wert muss ein String sein, der mit „s“ endet, z. B. 5s.

    • MAX_DOUBLINGS: die maximale Anzahl der Verdoppelungen des Intervalls zwischen fehlgeschlagenen Aufgabenwiederholungen, bevor der Anstieg konstant wird. Das Wiederholungsintervall einer Aufgabe beginnt bei MIN_INTERVAL, verdoppelt sich dann MAX_DOUBLINGS-mal, steigt dann linear an und wird schließlich in Intervallen von MAX_INTERVAL bis zu MAX_ATTEMPTS-mal wiederholt.

      Wenn MIN_INTERVAL beispielsweise 10s, MAX_INTERVAL 300s und MAX_DOUBLINGS 3 ist, wird das Wiederholungsintervall 3-mal verdoppelt, linear um 2^3 * 10s erhöht und dann in Intervallen von MAX_INTERVAL wiederholt, bis die Aufgabe MAX_ATTEMPTS-mal versucht wurde: 10s, 20s, 40s, 80s, 160s, 240s, 300s, 300s usw.

Weitere Parameterdetails finden Sie in den RetryConfig Einstellungen für die Queue Ressource.

  1. Prüfen Sie mit dem folgenden Befehl, ob die Warteschlange erfolgreich konfiguriert wurde:

    gcloud tasks queues describe QUEUE_ID --location=LOCATION

    Ersetzen Sie LOCATION durch den Standort der Warteschlange.

    Die Ausgabe sollte die von Ihnen festgelegten Wiederholungsparameter enthalten.

Nächste Schritte