- Ressource : IcebergCatalog
- CredentialMode
- CatalogType
- Instance répliquée
- État
- RestrictedLocationsConfig
- EncryptionConfig
- FederatedCatalogOptions
- IdentityFederationOrganizationServiceAccount
- UnityCatalogInfo
- GlueCatalogInfo
- SnowflakeCatalogInfo
- WorkdayCatalogInfo
- IdentityMode
- UserIdentityFederationOidcClaims
- UserIdentityFederationOidc
- RefreshOptions
- RefreshSchedule
- RefreshScope
- RefreshStatus
- CrossCloudCacheOptions
- Méthodes
Ressource : IcebergCatalog
Informations sur le catalogue REST Iceberg.
| Représentation JSON |
|---|
{ "name": string, "credential-mode": enum ( |
| Champs | |
|---|---|
name |
Identifiant. Le nom du catalogue, |
credential-mode |
Facultatif. Mode d'identification du catalogue. |
biglake-service-account |
Uniquement en sortie. Compte de service utilisé pour la distribution d'identifiants, en sortie uniquement. Peut être vide si la distribution d'identifiants n'est jamais activée pour le catalogue. Pour les catalogues fédérés, le compte de service est toujours provisionné et permet d'accéder au catalogue distant pour l'actualisation des métadonnées en arrière-plan. Si |
biglake-service-account-id |
Uniquement en sortie. Identifiant unique du compte de service. Ceci est utilisé pour les scénarios de fédération. |
catalog-type |
Obligatoire. Type de catalogue. Obligatoire pour catalogs.create. Le type de catalogue est immuable, sauf en cas de conversion de CATALOG_TYPE_GCS_BUCKET en CATALOG_TYPE_BIGLAKE. |
default-location |
Facultatif. Emplacement de stockage par défaut du catalogue, par exemple Pour les catalogues BigLake, ce champ doit être renseigné et pointer vers un bucket Google Cloud Storage ou un chemin d'accès dans ce bucket. Ce chemin d'accès sert de répertoire de base pour construire le chemin d'accès complet aux répertoires de données et de métadonnées d'une table lorsqu'aucun emplacement n'est spécifié au niveau de l'espace de noms ou de la table. Le chemin d'accès complet est formé en ajoutant les identifiants de l'espace de noms et de la table à l'emplacement par défaut. |
storage-regions[] |
Uniquement en sortie. Région(s) Google Cloud du bucket de l'emplacement par défaut, par exemple |
create-time |
Uniquement en sortie. Date de création du catalogue. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
update-time |
Uniquement en sortie. Date de la dernière mise à jour du catalogue. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
replicas[] |
Uniquement en sortie. Les instances répliquées pour les métadonnées du catalogue. |
description |
Facultatif. Description du catalogue fournie par l'utilisateur. La description doit être une chaîne UTF-8 d'une longueur maximale de 1 024 caractères. |
restricted-locations-config |
Facultatif. Configuration des emplacements restreints. Ce champ n'est actuellement utilisé que pour les catalogues BigLake. Si ce champ n'est pas défini ou si |
federated-catalog-options |
Facultatif. Options de configuration des catalogues fédérés. |
cross-cloud-cache-options |
Facultatif. Options de configuration pour la mise en cache cross-cloud des fichiers de données et de métadonnées. |
encryption-config |
Facultatif. Configuration de chiffrement personnalisée (par exemple, clés Cloud KMS). |
CredentialMode
Mode d'identifiants utilisé pour le catalogue.
| Enums | |
|---|---|
CREDENTIAL_MODE_UNSPECIFIED |
Valeur par défaut/non définie. Cette valeur n'est pas utilisée. |
CREDENTIAL_MODE_END_USER |
Mode Identifiants de l'utilisateur final, par défaut. L'utilisateur qui s'authentifie doit avoir accès aux ressources du catalogue et aux objets Google Cloud Storage sous-jacents. |
CREDENTIAL_MODE_VENDED_CREDENTIALS |
Mode de distribution d'identifiants. L'utilisateur qui s'authentifie n'a besoin que d'un accès aux ressources du catalogue, et le système fournit à l'appelant des identifiants à champ d'application réduit pour accéder aux objets Google Cloud Storage. Toutes les opérations de table dans ce mode nécessitent que l'en-tête Pour en savoir plus, consultez https://docs.cloud.google.com/lakehouse/docs/credential-vending. |
CatalogType
Détermine le type de catalogue.
| Enums | |
|---|---|
CATALOG_TYPE_UNSPECIFIED |
Valeur par défaut/non définie. Cette valeur n'est pas utilisée. |
CATALOG_TYPE_GCS_BUCKET |
Type de catalogue du bucket Google Cloud Storage. |
CATALOG_TYPE_BIGLAKE |
Type de catalogue BigLake. |
CATALOG_TYPE_FEDERATED |
Type de catalogue fédéré. |
CATALOG_TYPE_ALLOYDB_AGENT_MODE |
Catalogue pour interroger les tables AlloyDB en mode Agent. |
Instance répliquée
Instance répliquée du catalogue.
| Représentation JSON |
|---|
{
"region": string,
"state": enum ( |
| Champs | |
|---|---|
region |
Uniquement en sortie. Région de l'instance répliquée. Par exemple, "us-east1". |
state |
Uniquement en sortie. État actuel de l'instance répliquée. |
État
Si le catalogue est répliqué dans plusieurs régions, cette énumération décrit l'état actuel de l'instance répliquée.
| Enums | |
|---|---|
STATE_UNKNOWN |
Valeur par défaut/non définie. Cette valeur n'est pas utilisée. |
STATE_PRIMARY |
L'instance répliquée est l'instance principale accessible en écriture. |
STATE_PRIMARY_IN_PROGRESS |
L'instance répliquée a récemment été désignée comme instance principale, mais tous les espaces de noms ne sont pas encore accessibles en écriture. |
STATE_SECONDARY |
L'instance répliquée est une instance répliquée secondaire en lecture seule. |
RestrictedLocationsConfig
Configuration des restrictions d'emplacement.
| Représentation JSON |
|---|
{ "restricted-locations": [ string ] } |
| Champs | |
|---|---|
restricted-locations[] |
Facultatif. Emplacements et buckets Google Cloud Storage supplémentaires (par exemple, Si |
EncryptionConfig
Configuration de chiffrement personnalisée (par exemple, clés Cloud KMS).
| Représentation JSON |
|---|
{ "kms-key-name": string } |
| Champs | |
|---|---|
kms-key-name |
Facultatif. Nom de la clé Cloud KMS utilisée pour chiffrer les données mises en cache récupérées à partir du catalogue. Format : |
FederatedCatalogOptions
Options de configuration d'un catalogue fédéré.
| Représentation JSON |
|---|
{ "identity-mode": enum ( |
| Champs | |
|---|---|
identity-mode |
Facultatif. Mode d'identité du catalogue fédéré. |
refresh-options |
Facultatif. Actualisez la configuration. |
refresh-status |
Uniquement en sortie. État des opérations d'actualisation des métadonnées en arrière-plan. |
| Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
identity-federation-organization-service-account |
Uniquement en sortie. Compte de service au niveau de l'organisation utilisé pour la fédération d'identité. |
| Fin des champs mutuellement exclusifs. | |
| Informations spécifiques au catalogue REST Iceberg distant. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
unity-catalog-info |
Facultatif. Informations spécifiques à Databricks Unity Catalog. |
glue-catalog-info |
Facultatif. Informations spécifiques au catalogue de données AWS Glue. |
snowflake-catalog-info |
Facultatif. Informations spécifiques au catalogue Snowflake Horizon. |
workday-catalog-info |
Facultatif. Informations spécifiques au lac de données Workday. |
| Fin des champs mutuellement exclusifs. | |
secret-name |
Facultatif. Nom de la ressource de secret dans Secret Manager, au format L'ID du projet doit correspondre au projet du catalogue, et l'emplacement doit correspondre à l'emplacement du catalogue. Si la version n'est pas spécifiée, la plus récente est utilisée. Ce champ n'est pas utilisé lorsque |
service-directory-name |
Facultatif. Nom de ressource de l'Annuaire des services utilisé pour acheminer le trafic de la couche transport avec le catalogue distant (par exemple, l'accès aux fichiers de données dans les buckets de stockage) via une connexion réseau privée. Format : Ce nom est utilisé par les requêtes BigQuery pour résoudre les points de terminaison privés afin de récupérer des fichiers de données (par exemple, des données Iceberg dans S3 ou Azure Data Lake Storage) via une connexion réseau privée telle que interconnexion cross-cloud. |
metadata-service-directory-name |
Facultatif. Nom de la ressource de l'Annuaire des services utilisé pour acheminer le trafic de la couche de métadonnées avec le catalogue distant via une connexion réseau privée. Format : Permet de récupérer les métadonnées du catalogue (comme les configurations, les espaces de noms et les tables Iceberg) sur une connexion réseau privée, telle que interconnexion cross-cloud. Également utilisé pour récupérer des jetons OAuth lorsque |
user-identity-federation-oidc-claims |
Uniquement en sortie. Obsolète : utilisez Revendications OIDC émises dans le jeton d'ID pour la fédération d'identité des utilisateurs. |
user-identity-federation-oidc |
Uniquement en sortie. Configuration OIDC pour la fédération d'identité des utilisateurs. |
IdentityFederationOrganizationServiceAccount
Compte de service au niveau de l'organisation utilisé pour la fédération d'identité, en sortie uniquement. Peut être vide si la fédération d'identité n'est jamais activée pour le catalogue.
| Représentation JSON |
|---|
{ "service-account": string, "service-account-unique-id": string } |
| Champs | |
|---|---|
service-account |
Uniquement en sortie. Adresse e-mail du compte de service au niveau de l'organisation. |
service-account-unique-id |
Uniquement en sortie. Identifiant unique du compte de service au niveau de l'organisation. |
UnityCatalogInfo
Informations spécifiques à Databricks Unity Catalog. Le point de terminaison du catalogue REST Iceberg est au format suivant : https://<instanceName>/api/2.1/unity-catalog/iceberg-rest/v1/config?warehouse=<catalogName>.
| Représentation JSON |
|---|
{ "instance-name": string, "catalog-name": string, "service-principal-application-id": string } |
| Champs | |
|---|---|
instance-name |
Obligatoire. Immuable. Nom d'instance de l'espace de travail Databricks. Par exemple, pour l'URL d'espace de travail Databricks |
catalog-name |
Obligatoire. Immuable. Nom du catalogue dans Databricks Unity Catalog. |
service-principal-application-id |
Facultatif. ID d'application du principal de service Databricks utilisé pour accéder à Databricks Unity Catalog dans le flux d'authentification OIDC. |
GlueCatalogInfo
Informations spécifiques au catalogue de données AWS Glue. Le point de terminaison du catalogue REST Iceberg est au format suivant : https://glue.<awsRegion>.amazonaws.com/iceberg/v1/config?warehouse=<warehouse>.
| Représentation JSON |
|---|
{ "warehouse": string, "aws-region": string, "aws-role-arn": string } |
| Champs | |
|---|---|
warehouse |
Obligatoire. Immuable. Emplacement de l'entrepôt dans le Data Catalog AWS Glue. Pour le catalogue de compte par défaut, utilisez l'ID de compte AWS à 12 chiffres (par exemple, |
aws-region |
Obligatoire. Immuable. Région AWS du Data Catalog AWS Glue (par exemple, |
aws-role-arn |
Obligatoire. L'ARN (Amazon Resource Name) du rôle IAM AWS que le catalogue fédéré doit endosser pour accéder au Data Catalog AWS Glue. |
SnowflakeCatalogInfo
Informations spécifiques au catalogue Snowflake Horizon. Le point de terminaison du catalogue REST Iceberg est au format suivant : https://<accountIdentifier>.snowflakecomputing.com/polaris/api/catalog/v1/config?warehouse=<warehouse>.
| Représentation JSON |
|---|
{ "account-identifier": string, "warehouse": string, "snowflake-role": string } |
| Champs | |
|---|---|
account-identifier |
Obligatoire. Immuable. Identifiant de compte dans Snowflake. Par exemple, pour l'URL de déploiement Snowflake L'identifiant du compte peut contenir des lettres, des chiffres et des traits de soulignement, avec des segments séparés par des traits d'union ( |
warehouse |
Obligatoire. Immuable. Nom de la base de données dans le catalogue Snowflake Horizon. |
snowflake-role |
Facultatif. Rôle Snowflake utilisé pour limiter l'accès au catalogue Snowflake Horizon dans le flux d'authentification de la fédération d'identité de charge de travail (OIDC). |
WorkdayCatalogInfo
Informations spécifiques au lac de données Workday. Le point de terminaison du catalogue REST Iceberg est au format suivant : https://<baseUrl>/datalake/api/catalog/v1/config?warehouse=workday.
| Représentation JSON |
|---|
{ "base-url": string, "tenant": string, "api-client-client-id": string } |
| Champs | |
|---|---|
base-url |
Obligatoire. Immuable. URL de base de l'instance Workday. Par exemple, |
tenant |
Obligatoire. Immuable. Nom du locataire Workday. |
api-client-client-id |
Facultatif. ID client du client API Workday utilisé pour accéder au lac de données Workday dans le flux d'authentification OIDC. |
IdentityMode
Mode d'identité utilisé par le catalogue pour les requêtes.
| Enums | |
|---|---|
IDENTITY_MODE_UNSPECIFIED |
Valeur par défaut/non définie. Cette valeur est traitée de la même manière que IDENTITY_MODE_SERVICE_IDENTITY. |
IDENTITY_MODE_SERVICE_IDENTITY |
Les requêtes s'exécutent à l'aide du compte de service dans google.cloud.biglake.v1main.IcebergCatalog.biglake_service_account. |
IDENTITY_MODE_USER_IDENTITY_FEDERATION |
Les requêtes s'exécutent à l'aide de l'identité de l'utilisateur final et sont propagées vers le catalogue distant. La fédération d'identité doit être configurée dans le catalogue distant. Pour en savoir plus, consultez https://docs.cloud.google.com/lakehouse/docs/about-cross-cloud-data-access#identity-mode. |
UserIdentityFederationOidcClaims
Revendications OIDC émises dans le jeton d'ID lorsque IDENTITY_MODE_USER_IDENTITY_FEDERATION est activé.
Ces valeurs identifient le fournisseur d'identité (émetteur) et le destinataire prévu (audience) du jeton. Pour activer la fédération d'identité des utilisateurs, ceux-ci doivent configurer leur catalogue distant pour qu'il fasse confiance à cet émetteur et qu'il s'attende à cette audience.
| Représentation JSON |
|---|
{ "issuer-url": string, "audience": string } |
| Champs | |
|---|---|
issuer-url |
Uniquement en sortie. URL de l'émetteur du fournisseur d'identité. |
audience |
Uniquement en sortie. Audience attendue par ce catalogue dans le jeton. |
UserIdentityFederationOidc
Configuration OIDC utilisée lorsque IDENTITY_MODE_USER_IDENTITY_FEDERATION est activé.
Pour activer la fédération des identités des utilisateurs, ceux-ci doivent configurer leur catalogue distant pour qu'il approuve les jetons avec ces paramètres.
| Représentation JSON |
|---|
{ "issuer-url": string, "audience": string, "jwks-url": string } |
| Champs | |
|---|---|
issuer-url |
Uniquement en sortie. URL de l'émetteur du fournisseur d'identité. |
audience |
Uniquement en sortie. Audience attendue par ce catalogue dans le jeton. |
jwks-url |
Uniquement en sortie. URL du jeu de clés Web JSON (JWKS) qui diffuse les clés publiques utilisées pour valider le jeton. Défini uniquement pour les catalogues fédérés Snowflake Horizon, où il est utilisé comme |
RefreshOptions
Actualisez la configuration.
| Représentation JSON |
|---|
{ "refresh-schedule": { object ( |
| Champs | |
|---|---|
refresh-schedule |
Facultatif. La programmation définit si et quand l'actualisation des métadonnées doit être programmée. |
refresh-scope |
Facultatif. Actualisez les configurations de champ d'application. |
RefreshSchedule
La programmation définit si et quand l'actualisation des métadonnées doit être programmée.
| Représentation JSON |
|---|
{ "refresh-interval": string } |
| Champs | |
|---|---|
refresh-interval |
Facultatif. Intervalle d'actualisation des métadonnées à partir du catalogue distant. Si cette option n'est pas définie ou si la valeur est inférieure ou égale à 0, l'actualisation des métadonnées en arrière-plan sera désactivée. Si ce champ est mis à jour pour un catalogue fédéré existant, l'actualisation précédente des métadonnées en arrière-plan doit se terminer avant que le nouvel intervalle d'actualisation ne prenne effet. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par " |
RefreshScope
Le champ d'application définit un sous-ensemble d'espaces de noms à actualiser.
| Représentation JSON |
|---|
{ "namespace-filters": [ string ] } |
| Champs | |
|---|---|
namespace-filters[] |
Facultatif. Filtres permettant de déterminer les espaces de noms inclus dans le processus d'actualisation. - Une liste vide signifie que tous les espaces de noms sont inclus. - "[namespaces]" signifie inclure les espaces de noms spécifiés. ['ns1', 'ns2'] : ne découvre que les espaces de noms "ns1" et "ns2". |
RefreshStatus
État de l'actualisation des métadonnées en arrière-plan du catalogue distant.
| Représentation JSON |
|---|
{
"start-time": string,
"end-time": string,
"status": {
object ( |
| Champs | |
|---|---|
start-time |
Uniquement en sortie. Lorsque l'actualisation du catalogue a commencé, y compris les actualisations en cours. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
end-time |
Uniquement en sortie. Une fois l'actualisation du catalogue terminée, annulez la définition pour les actualisations en cours. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
status |
Uniquement en sortie. État de la dernière opération d'actualisation des métadonnées en arrière-plan, non défini pour les actualisations en cours. |
CrossCloudCacheOptions
Options de configuration pour la mise en cache cross-cloud des fichiers de données et de métadonnées.
| Représentation JSON |
|---|
{ "enabled": boolean } |
| Champs | |
|---|---|
enabled |
Facultatif. Indique si la mise en cache cross-cloud des fichiers de données et de métadonnées est activée. Cela n'affecte que les requêtes via BigQuery. Si cette valeur est Si cette valeur est |
Méthodes |
|
|---|---|
|
Crée le catalogue REST Iceberg. |
|
Supprime le catalogue REST Iceberg. |
|
Basculez le catalogue vers une nouvelle région d'instance répliquée principale. |
|
Renvoie les options de configuration du catalogue REST Iceberg. |
|
Répertorie les catalogues REST Iceberg. |
|
Mettez à jour les options de configuration du catalogue REST Iceberg. |