Quotas de récupération d'agent

Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .

Le système Cloud Quotas permet d'effectuer les opérations suivantes :

Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.

Pour en savoir plus, consultez la présentation des quotas Cloud.

Dans Agent Retrieval (anciennement Vector Search 2.0), des quotas sont appliqués pour protéger le service, assurer un partage équitable de la capacité entre les projets, et vous offrir des performances et des coûts plus prévisibles. Les quotas sont suivis indépendamment par région. Par exemple, l'utilisation dans us-central n'affecte pas votre quota dans europe-west4.

Métriques

Tous les noms de métriques sont précédés de vectorsearch.googleapis.com/.

Quotas de débit (requêtes/min et octets/min)

Les quotas de débit de données sont évalués par minute et s'appliquent par projet et par région (ou multirégion), et éventuellement par collection.

Chaque appel d'API accepté incrémente le compteur d'une requête (ou de N octets pour les quotas d'octets). Les compteurs sont par minute calendaire et utilisent une évaluation par fenêtre glissante (il n'y a pas de réinitialisation matérielle à :00).

Vous pouvez exécuter des requêtes à la limite de manière continue sans voir d'effet de "recharge".

Lorsqu'un compteur dépasse sa limite, les requêtes supplémentaires renvoient RESOURCE_EXHAUSTED (HTTP 429) avec reason="RATE_LIMIT_EXCEEDED" et le nom exact de la métrique dans le champ quota_metric.

Quotas de débit du plan de contrôle

Les quotas suivants s'appliquent au cycle de vie des ressources, ainsi qu'aux opérations de lecture et de listage sur les collections et les index pour un projet et une région donnés.

Champ d'application : par projet, par région

Unité : 1/min

Limites : requêtes par minute.

Métrique Nombre
collection_management_requests collections.create
collections.update
collections.delete
collection_read_requests collections.get
collection_list_requests collections.list
index_management_requests indexes.create
indexes.update
indexes.delete
index_read_requests indexes.get
index_list_requests indexes.list

Requêtes d'opération de longue durée (LRO)

Les quotas suivants s'appliquent aux opérations de lecture, de listage, d'annulation et de suppression de longue durée pour un projet et une région donnés.

Champ d'application : par projet, par région

Unité : 1/min

Limites : requêtes par minute.

Métrique Nombre
lro_requests operations.get
operations.list
operations.cancel
operations.delete

Quotas de débit du plan de données

Les quotas suivants s'appliquent au trafic des objets de données, des requêtes et de la recherche pour un projet, une région et une collection donnés.

Remarque : Les quotas de requêtes de recherche (search_requests) sont consommés pour la recherche textuelle et la recherche sémantique.

Champ d'application : par projet, par région, par collection

Unité : 1/min

Limites : requêtes par minute et par collection

Métrique Nombre
data_object_writes dataObjects.create
dataObjects.update
dataObjects.delete
Chaque objet de données inclus dans
batchCreate
batchUpdate
batchDelete
data_object_writes_us Identique à data_object_writes, mais pour l'emplacement multirégional us.
data_object_reads dataObjects.get
data_object_reads_us Identique à data_object_reads, mais pour l'emplacement multirégional us.
query_requests dataObjects.query (requêtes de filtre de métadonnées uniquement)
query_requests_us Identique à query_requests, mais pour l'emplacement multirégional us.
search_requests dataObjects.search lors de l'exécution d'un ANN dense ou creux.
search_requests_us Identique à search_requests, mais pour l'emplacement multirégional us.
knn_search_requests dataObjects.search lors de l'exécution d'une recherche KNN exhaustive.
batch_search_requests_us Identique à batch_search_requests, mais pour l'emplacement multirégional us.
batch_search_requests dataObjects.batchSearch (une requête, quel que soit le nombre de sous-recherches)
batch_search_requests_us Identique à batch_search_requests, mais pour l'emplacement multirégional us.

Quotas de débit du plan de données

Les quotas suivants s'appliquent aux octets écrits par minute pour un projet, une région et une collection donnés.

Champ d'application : par projet, par région, par collection

Unité : 1/min

Limites : requêtes par minute et par collection

Métrique Nombre
data_object_write_bytes Somme des données sérialisées et des octets vectoriels écrits par tous les appels
create, update, delete, batchCreate, batchUpdate et
batchDelete pour les collections, les objets de données et les index.
data_object_write_bytes_us Identique à data_object_write_bytes, mais pour l'emplacement multirégional us.

Opérations par lot

  • batchCreate, batchUpdate, batchDelete dataObjects : chaque objet de données individuel de la requête compte comme une écriture par rapport à data_object_writes et contribue à sa taille sérialisée en octets à data_object_write_bytes.

  • batchSearch dataObjects : comptabilisé comme une requête par rapport à batch_search_requests, quel que soit le nombre de sous-recherches regroupées. La recherche par lot entraîne également la comptabilisation du quota de sous-recherches.

Quotas d'allocation (nombre actuel)

Les quotas d'allocation sont un nombre actuel.

Les compteurs correspondent au nombre de ressources ou d'opérations en cours appartenant au projet.

Le nombre augmente lors de la création de la ressource ou du démarrage de l'opération, et diminue lors de la suppression ou de la fin de l'opération.

Lorsque la limite est atteinte, l'appel de création suivant renvoie RESOURCE_EXHAUSTED. Supprimez une ressource existante ou attendez qu'une LRO se termine pour libérer du quota.

Quotas d'allocation du plan de contrôle

Les quotas suivants s'appliquent au nombre de ressources ou d'opérations en cours qu'un projet peut contenir pour un projet et une région donnés, y compris les éléments suivants :

  • Collections
  • Index
  • Opérations simultanées de création, d'importation et d'exportation sur des collections, des objets de données et des index

Champ d'application : par projet, par région

Unité : 1

Limites : nombres absolus (quotas précis)

Métrique Nombre
collections Nombre de collections existant dans le projet/la région.
collections_us Identique à collections, mais pour l'emplacement multirégional us.
indexes Nombre d'index (somme de toutes les collections) dans le projet/la région.
indexes_us Identique à indexes, mais pour l'emplacement multirégional us.
concurrent_index_operations LRO d'index en cours (création/mise à jour/suppression).
concurrent_index_operations_us Identique à concurrent_index_operations, mais pour l'emplacement multirégional us.
concurrent_collection_operations Les opérations de longue durée de collecte en cours (création/mise à jour/suppression).
concurrent_collection_operations_us Identique à concurrent_collection_operations, mais pour l'emplacement multirégional us.
concurrent_data_object_imports Les LRO dataObjects.import en cours d'exécution.
concurrent_data_object_imports_us Identique à concurrent_data_object_imports, mais pour l'emplacement multirégional us.
concurrent_data_object_exports Les LRO dataObjects.export en cours d'exécution.
concurrent_data_object_exports_us Identique à concurrent_data_object_exports, mais pour l'emplacement multirégional us.

Embedding automatique

L'embedding automatique utilise l'API Gemini dans Gemini Enterprise Agent Platform (aiplatform.googleapis.com). Chaque requête API est comptabilisée dans search_requests ou data_object_writes, et l'appel d'embedding est comptabilisé dans les quotas de prédiction. Assurez-vous que les deux API disposent d'une marge de manœuvre.

Exemples d'utilisation

Les sections suivantes décrivent l'impact de différents scénarios d'utilisation sur les quotas.

Charge de travail d'écriture soutenue

Vous ingérez des documents (données et vecteur dense de 768 dimensions, environ 4 Ko) dans une seule collection dans us-central1. Deux quotas s'appliquent simultanément :

data_object_writes        (requests per minute, per collection)
data_object_write_bytes   (bytes per minute, per collection)

Vous êtes limité par le premier plafond que vous atteignez. Avec les petits objets, le quota de débit de requêtes est généralement lié. Avec des objets volumineux, le quota d'octets est limité.

Vérifiez les deux métriques dans la console Google Cloud pour savoir laquelle est la plus proche de sa limite.

Charge de travail à forte intensité de recherche

Une charge de travail de diffusion envoyant des requêtes ANN à une seule collection consomme search_requests. Si votre pic de requêtes par seconde (RPS) approche de la limite par collection, demandez une augmentation ou répartissez le trafic sur plusieurs collections de la même région.

De nombreuses petites collections

Si vous prévoyez de créer plus de collections que la limite de collections de votre projet ne le permet, demandez une augmentation avant de commencer à créer. Sinon, l'appel de création qui dépasse la limite échouera avec l'erreur RESOURCE_EXHAUSTED.

Un batchSearch contenant 10 sous-recherches consomme exactement un batch_search_requests, mais chaque sous-recherche est toujours comptabilisée par rapport à sa métrique respective par sous-recherche uniquement au niveau du lot externe. Planifiez la distribution par lot en conséquence.

Afficher les quotas

Pour afficher vos quotas :

  1. Ouvrez la page IAM et administration > Quotas dans la console Google Cloud .
  2. Filtrez les résultats pour le service Vector Search API.
  3. Utilisez la colonne Dimensions (par exemple, emplacement) pour filtrer par région et par collection pour les quotas du plan de données.

La limite effective actuelle pour chaque métrique est affichée sur la page "Quotas" de la console Google Cloud , à côté du nom de la métrique, filtrée par région et, pour les quotas du plan de données, par collection.

Définir des alertes de quota

Nous vous recommandons de définir une alerte à 80 % d'utilisation pour les quotas dont dépend votre charge de travail. Pour en savoir plus, consultez Configurer des alertes de quota et Utiliser des métriques de quota dans les règles d'alerte.

Échecs

Une requête rejetée parce qu'elle a dépassé un quota n'est pas comptabilisée dans le quota lui-même.

Les requêtes qui échouent pour d'autres raisons (INVALID_ARGUMENT, NOT_FOUND, etc.) sont comptabilisées dans le quota de débit, car le service doit toujours les évaluer.

vector_schema échecs de validation sont comptabilisés. Elles sont rejetées au niveau de la couche API après la vérification du quota de débit.

Dépassement des quotas

Lorsqu'une requête est limitée, l'API renvoie :

gRPC:   RESOURCE_EXHAUSTED (8)
HTTP:   429 Too Many Requests

Le message d'erreur indique la métrique exacte qui a été dépassée.

Exemple :

Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.

Dans ce cas, vous pouvez demander une augmentation de quota.

Les clients doivent :

  • Réessayez avec un intervalle exponentiel entre les tentatives et une gigue pour les erreurs temporaires de limite de débit. Commencez par environ une seconde, puis augmentez jusqu'à environ 32 secondes.
  • Ne pas relancer les erreurs causées par les quotas d'allocation (par exemple, "too many collections"). Supprimez une ressource ou demandez une augmentation.
  • Répartissez les écritures entre les collections ou les régions si une seule collection atteint ses quotas data_object_writes ou data_object_write_bytes.
  • Préchauffer. Si vous savez qu'un lancement dépassera vos limites actuelles, demandez une augmentation au moins quelques jours ouvrés à l'avance.

Demande d'augmentation de quota (DAQ)

Pour demander une augmentation de quota :

  1. Ouvrez la page IAM et administration > Quotas dans la console Google Cloud .
  2. Sélectionnez la ou les lignes que vous souhaitez augmenter.
  3. Cliquez sur Modifier les quotas, saisissez la nouvelle valeur et une brève justification commerciale, puis envoyez la demande. Incluez :
    • Le nom de la métrique (par exemple, vectorsearch.googleapis.com/search_requests).
    • La région et (pour le plan de données) l'ID de collection.
    • Votre débit cible et une brève description de la charge de travail (stable ou irrégulière, RPS maximales attendues, taille d'ensemble de données attendue, etc.).

La demande est transmise à l'équipe de récupération des agents pour examen. La plupart des augmentations allant jusqu'à deux fois la valeur par défaut sont approuvées automatiquement. Les augmentations plus importantes peuvent nécessiter un examen supplémentaire.

Voir également