Ce document liste les quotas qui s'appliquent à Knowledge Catalog (anciennement Dataplex Universal Catalog).
Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .
Le système Cloud Quotas permet d'effectuer les opérations suivantes :
- Surveiller votre consommation de produits et services Google Cloud
- Limiter votre consommation de ces ressources
- Demander des modifications de la valeur du quota et automatiser les ajustements de quota
Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.
Pour en savoir plus, consultez la présentation des quotas Cloud.
Des limites système s'appliquent également aux ressources Knowledge Catalog. Elles ne peuvent pas être modifiées.
Knowledge Catalog applique des quotas sur le nombre de requêtes API au cours d'une période spécifique et sur le nombre de ressources pouvant être créées dans un projet. Les quotas vous protègent contre les pics d'utilisation imprévus et les services surchargés. En savoir plus sur les raisons pour lesquelles les quotas sont appliqués
Vos besoins en quota peuvent augmenter à mesure que vous utilisez Knowledge Catalog. Si un quota n'est pas suffisant pour répondre à vos besoins ou si vous prévoyez une augmentation de l'utilisation, vous pouvez demander une augmentation de quota.
Comprendre les types de requêtes API
Les requêtes API sur différentes fonctionnalités de Knowledge Catalog, telles que la gestion des ressources, les métadonnées, les tâches et les analyses de données, sont classées dans des buckets génériques pour gérer l'utilisation et la protection du service.
Requêtes de lecture
Les requêtes de lecture sont des opérations conçues pour récupérer des informations sur les ressources existantes, les métadonnées ou l'historique d'exécution sans modifier la configuration ni l'état. Ces opérations ne sont pas mutantes et ne déclenchent pas de nouveaux jobs de traitement.
Les opérations de requête de lecture incluent Get, List et Describe. Par exemple, l'affichage de la définition d'une analyse de données ou de l'état d'un job d'analyse est une requête de lecture.
Requêtes d'écriture
Les requêtes d'écriture incluent toutes les opérations qui créent, mettent à jour ou suppriment des définitions de ressources, ainsi que celles qui modifient les stratégies de sécurité. Il s'agit d'opérations qui modifient l'état de l'environnement.
Les opérations de requête d'écriture incluent Create, Update, Delete, Cancel et SetIamPolicy. Par exemple, la configuration d'une analyse de la qualité des données ou la mise à jour d'une analyse de profilage des données existante sont des requêtes d'écriture.
Exécuter des requêtes
Les requêtes d'exécution font spécifiquement référence au déclenchement de l'exécution active d'une ressource préconfigurée. Contrairement à une requête d'écriture (qui peut créer une planification récurrente), une requête d'exécution est souvent utilisée pour l'exécution à la demande de la logique configurée.
Par exemple, le démarrage manuel d'une exécution d'analyse de données est une requête d'exécution.
Quotas pour les requêtes de l'API Dataplex
L'API Dataplex applique des quotas pour la gestion des ressources et pour les requêtes de recherche Knowledge Catalog à différents niveaux, quelle que soit leur origine. Cela inclut les requêtes provenant directement des appels d'API, des bibliothèques clientes, de Google Cloud CLI et de la console Google Cloud .
Les quotas suivants s'appliquent aux requêtes Knowledge Catalog :
| Quota | Par défaut |
|---|---|
| Requêtes de lecture pour les entrées et les aspects par projet, par région et par minute | 6 000 |
| Requêtes d'écriture pour les entrées et les aspects par projet, par région et par minute | 1 500 |
| Requêtes de lecture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par utilisateur, par région et par minute | 100 |
| Requêtes de lecture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par région et par minute | 200 |
| Requêtes d'écriture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par utilisateur, par région et par minute | 10 |
| Requêtes d'écriture pour les types d'aspects, les types d'entrées et les groupes d'entrées par projet, par région et par minute | 20 |
| Requêtes de recherche par projet, par utilisateur et par minute | 900 |
| Requêtes de recherche par projet et par minute | 1 200 |
| Requêtes de recherche par organisation et par minute | 2 400 |
| Requêtes de recherche par organisation et par jour | 345 600 |
| Requêtes de lecture pour les jobs de métadonnées par projet, par région et par minute | 400 |
| Requêtes de lecture pour les jobs de métadonnées par projet, par utilisateur, par région et par minute | 200 |
| Requêtes d'écriture pour les jobs de métadonnées par projet, par région et par minute | 20 |
| Requêtes d'écriture pour les jobs de métadonnées par projet, par utilisateur, par région et par minute | 10 |
| Requêtes de lecture pour les analyses de données par projet, par région et par minute | 1 200 |
| Requêtes de lecture pour les analyses de données par projet, par utilisateur, par région et par minute | 600 |
| Requêtes d'écriture pour les analyses de données par projet, par région et par minute | 200 |
| Requêtes d'écriture pour les analyses de données par projet, par utilisateur, par région et par minute | 100 |
| Requêtes d'exécution pour les analyses de données par projet, par région et par minute | 60 |
| Requêtes d'exécution pour les analyses de données par projet, par utilisateur, par région et par minute | 30 |
| Nombre total d'exécutions quotidiennes d'analyses de profilage des données pour les données non structurées sur les tables d'objets BigQuery par projet | 140 |
| Quantité de métadonnées exportées par les jobs d'exportation de métadonnées, par organisation et par jour | 10 Go |
|
Quantité de métadonnées analysées pour l'exportation par les jobs d'exportation de métadonnées, par organisation et par jour Ce quota évalue le volume total de métadonnées existant dans l'organisation, les projets ou les groupes d'entrées qui sont dans le champ d'application du job d'exportation de métadonnées. |
100 Go |
Pour chaque requête Knowledge Catalog listée dans le tableau suivant, un quota est appliqué à la fois au niveau du projet et au niveau du projet par utilisateur.
| Quota | Exemples |
|---|---|
| Requêtes de lecture pour la gestion des ressources | Obtenir un lac, lister les zones |
| Requêtes d'écriture pour la gestion des ressources | Créer un lac, supprimer un élément |
| Obtenir des demandes de métadonnées | Obtenir une entité, obtenir une partition |
| Lister les requêtes de métadonnées | Lister les entités, lister les partitions |
| Requêtes d'écriture pour les métadonnées | Mettre à jour une entité, supprimer une partition |
| Requêtes de lecture pour les ressources de tâches et de jobs | Obtenir une tâche, lister les jobs |
| Requêtes d'écriture pour les ressources de tâches et de jobs | Créer une tâche, annuler un job |
| Définir les demandes de stratégie IAM | Définir une stratégie IAM |
Quotas pour les requêtes de l'API Data Lineage
L'API Data Lineage applique des quotas pour les éléments suivants :
- Requêtes de lecture qui ne renvoient que les données
- Requêtes d'écriture qui créent ou modifient les données
- Créer Open Lineage
Les quotas suivants s'appliquent aux requêtes sur l'origine des données :
| Quota | Valeur par défaut |
|---|---|
Requêtes de lecture (SearchLinks, BatchSearchLinkProcesses, Get*, List*) par projet, par région (par exemple, us-central1) et par minute |
2 000 |
Requêtes de lecture (SearchLinks, BatchSearchLinkProcesses, Get*, List*) par projet, par emplacement multirégional (us, eu, asia) et par minute |
1 000 |
Requêtes d'écriture (Create*, Update*, Delete*) par projet, par région (par exemple, us-central1) et par minute |
12 000 |
Requêtes d'écriture (Create*, Update*, Delete*) par projet, par emplacement multirégional (us, eu, asia) et par minute |
6 000 |
Requêtes OpenLineage (ProcessOpenLineageRunEvent) par projet et par région (par exemple, us-central1) par minute |
2 000 |
Requêtes OpenLineage (ProcessOpenLineageRunEvent) par projet, par emplacement multirégional (us, eu, asia) et par minute |
1 000 |
Quotas pour les requêtes de l'API Dataplex pour les produits de données
L'API Dataplex applique des limites de débit aux opérations de métadonnées et aux requêtes de cycle de vie pour les produits de données et les éléments de données. Ces limites s'appliquent, que les requêtes proviennent de la console Google Cloud , de Google Cloud CLI, des bibliothèques clientes ou d'appels d'API directs.
Les quotas suivants s'appliquent aux requêtes de produits de données et d'éléments de données :
| Quota | Valeur par défaut |
|---|---|
| Requêtes de lecture pour les produits de données par projet, par région et par minute | 500 |
| Requêtes de lecture pour les produits de données par projet, par utilisateur, par région et par minute | 250 |
| Requêtes de création et de suppression de produits de données par projet, par région et par minute | 250 |
| Requêtes de création et de suppression de produits de données par projet, par utilisateur, par région et par minute | 125 |
| Requêtes de mise à jour pour les produits de données par projet et par minute | 10 |
| Requêtes de mise à jour pour les produits de données par projet, par utilisateur et par minute | 5 |
| Requêtes de lecture pour les éléments de données par projet, par région et par minute | 500 |
| Requêtes de lecture pour les éléments de données par projet, par utilisateur, par région et par minute | 250 |
| Requêtes d'écriture pour les éléments de données par projet, par région et par minute | 30 |
| Requêtes d'écriture pour les éléments de données par projet, par utilisateur, par région et par minute | 15 |
Quotas et limites pour les tâches d'enrichissement Knowledge Studio
L'API Dataplex applique des quotas de débit et de ressources aux tâches d'enrichissement Knowledge Studio (ressources AgentTask) et aux exécutions de tâches (ressources AgentRun).
Les quotas suivants s'appliquent aux tâches d'enrichissement Knowledge Studio :
| Quota | Valeur par défaut |
|---|---|
Requêtes de lecture pour les ressources de tâches d'enrichissement (telles que Get et List pour les tâches et les exécutions) par projet, par région et par minute |
1 200 |
Requêtes d'écriture pour les ressources de tâches d'enrichissement (telles que Create, Update et Delete) par projet, par région et par minute |
60 |
| Requêtes d'exécution pour les ressources de tâche d'enrichissement par projet, par région et par minute | 20 |
Nombre maximal de tâches d'enrichissement (ressources AgentTask) par projet et par région |
100 |
Quotas pour les ressources
Le quota de ressources est appliqué au niveau de chaque projet pour les types de ressources suivants : lac, zone, élément, tâche à la demande, tâche récurrente. Vous pouvez vérifier votre utilisation actuelle du quota Knowledge Catalog sur la page Quotas de la console Google Cloud .
Demander une augmentation du quota
Dans la console Google Cloud , accédez à la page Quotas.
Sélectionnez le quota que vous souhaitez augmenter.
Cliquez sur Autres actions > Modifier le quota.
Saisissez la nouvelle valeur de quota et une description de la demande.
Cliquez sur Suivant.
Saisissez les coordonnées.
Cliquez sur Envoyer la requête.
Pour ajuster la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez Demander un ajustement de quota.
Dépendances des quotas
Votre utilisation de Knowledge Catalog peut impliquer d'autres produits Google Cloud . Par exemple, la découverte de données nécessite d'appeler les API Cloud Storage ou BigQuery pour interagir avec les ressources sous-jacentes. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Knowledge Catalog.
Pages de quotas d'autres produits que vous pouvez utiliser avec Knowledge Catalog :
Cette liste n'est pas exhaustive.
Limites
Les limites suivantes s'appliquent à Knowledge Catalog :
| Limite | Valeur |
|---|---|
| Taille d'une requête pour l'entrée et les aspects (y compris l'aspect schéma) | 2 Mo |
| Longueur d'un ID d'entrée | 4 000 caractères |
| Longueur d'un nom complet dans une entrée | 4 000 caractères |
| Longueur du nom à afficher de la source d'une entrée | 500 caractères |
| Longueur de la description de la source d'une entrée | 2 000 caractères |
| Longueur de la ressource de la source d'une entrée | 4 000 caractères |
| Longueur du système de la source d'une entrée | 64 caractères |
| Longueur de la plate-forme de la source d'une entrée | 64 caractères |
| Longueur des étiquettes de la source d'une entrée | 128 caractères pour chaque clé et valeur |
| Taille du contenu JSON dans un aspect (sauf les aspects schéma et profil de données) | 120 Ko |
| Taille du contenu JSON dans un aspect de profil de données | 1 Mo |
| Taille totale d'une entrée | 5 Mo |
| Nombre maximal d'aspects dans une entrée | 10 000 |
| Longueur du nom à afficher du type d'entrée, du type d'aspect et du groupe d'entrées | 256 |
| Longueur de la description du type d'entrée, du type d'aspect et du groupe d'entrées | 1 024 |
| Longueur du nom de champ dans un modèle de type d'aspect | 63 |
| Nombre maximal de types d'aspects requis dans un type d'entrée | 20 |
| Nombre maximal de valeurs d'énumération dans un modèle de type d'aspect | 1 024 |
| Nombre maximal d'éléments dans les résultats de recherche Knowledge Catalog | 500 (mode de recherche par mot clé uniquement dans la console Google Cloud ou semanticSearch=false lors de l'utilisation de l'API)100 (tous les autres cas de recherche) |
| Nombre maximal d'analyses de données par projet et par région | 1 000 |
| Nombre maximal de produits de données par projet et par région | 1 000 |
| Nombre maximal d'éléments de données par produit de données | 50 |
| Nombre maximal de tags avec stratégie par taxonomie | 100 |