- Risorsa: IcebergCatalog
- CredentialMode
- CatalogType
- Replica
- Stato
- RestrictedLocationsConfig
- EncryptionConfig
- FederatedCatalogOptions
- IdentityFederationOrganizationServiceAccount
- UnityCatalogInfo
- GlueCatalogInfo
- SnowflakeCatalogInfo
- WorkdayCatalogInfo
- IdentityMode
- UserIdentityFederationOidcClaims
- UserIdentityFederationOidc
- RefreshOptions
- RefreshSchedule
- RefreshScope
- RefreshStatus
- CrossCloudCacheOptions
- Metodi
Risorsa: IcebergCatalog
Le informazioni sul catalogo REST Iceberg.
| Rappresentazione JSON |
|---|
{ "name": string, "credential-mode": enum ( |
| Campi | |
|---|---|
name |
Identificatore. Il nome del catalogo, |
credential-mode |
Facoltativo. La modalità delle credenziali per il catalogo. |
biglake-service-account |
Solo output. Il account di servizio utilizzato per la distribuzione delle credenziali, solo output. Potrebbe essere vuoto se la distribuzione delle credenziali non è mai stata abilitata per il catalogo. Per i cataloghi federati, il account di servizio verrà sempre eseguito il provisioning e verrà utilizzato per accedere al catalogo remoto per l'aggiornamento dei metadati in background. Se |
biglake-service-account-id |
Solo output. L'ID univoco del account di servizio. Viene utilizzato per gli scenari di federazione. |
catalog-type |
Obbligatorio. Il tipo di catalogo. Obbligatorio per catalogs.create. Il tipo di catalogo è immutabile, ad eccezione del caso di conversione da CATALOG_TYPE_GCS_BUCKET a CATALOG_TYPE_BIGLAKE. |
default-location |
Facoltativo. La posizione di archiviazione predefinita per il catalogo, ad esempio Per i cataloghi BigLake, questo campo deve essere fornito e deve puntare a un bucket Google Cloud Storage o a un percorso all'interno di quel bucket. Questo percorso funge da directory di base per la creazione del percorso completo delle directory dei dati e dei metadati di una tabella quando non viene specificata una località a livello di spazio dei nomi o di tabella. Il percorso completo viene formato aggiungendo gli identificatori dello spazio dei nomi e della tabella alla località predefinita. |
storage-regions[] |
Solo output. Le regioni Google Cloud del bucket della località predefinita, ad esempio |
create-time |
Solo output. Quando è stato creato il catalogo. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
update-time |
Solo output. Data e ora dell'ultimo aggiornamento del catalogo. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
replicas[] |
Solo output. Le repliche per i metadati del catalogo. |
description |
Facoltativo. Una descrizione del catalogo fornita dall'utente. La descrizione deve essere una stringa UTF-8 con una lunghezza massima di 1024 caratteri. |
restricted-locations-config |
Facoltativo. Configurazione delle località con limitazioni. Questo campo è attualmente utilizzato solo per i cataloghi BigLake. Se questo campo non è impostato o se |
federated-catalog-options |
Facoltativo. Opzioni di configurazione per i cataloghi federati. |
cross-cloud-cache-options |
Facoltativo. Opzioni di configurazione per la memorizzazione nella cache cross-cloud di file di dati e metadati. |
encryption-config |
Facoltativo. Configurazione della crittografia personalizzata (ad es. chiavi Cloud KMS). |
CredentialMode
La modalità delle credenziali utilizzata per il catalogo.
| Enum | |
|---|---|
CREDENTIAL_MODE_UNSPECIFIED |
Valore predefinito/non impostato. Questo valore non è utilizzato. |
CREDENTIAL_MODE_END_USER |
Modalità credenziali utente finale, predefinita. L'utente che esegue l'autenticazione deve avere accesso alle risorse del catalogo e agli oggetti Google Cloud Storage sottostanti. |
CREDENTIAL_MODE_VENDED_CREDENTIALS |
Modalità di distribuzione delle credenziali. L'utente che esegue l'autenticazione deve solo avere accesso alle risorse del catalogo e il sistema fornirà al chiamante credenziali con ambito ridotto per accedere agli oggetti Google Cloud Storage. Tutte le operazioni sulle tabelle in questa modalità richiedono che l'intestazione Per ulteriori dettagli, consulta https://docs.cloud.google.com/lakehouse/docs/credential-vending. |
CatalogType
Determina il tipo di catalogo.
| Enum | |
|---|---|
CATALOG_TYPE_UNSPECIFIED |
Valore predefinito/non impostato. Questo valore non è utilizzato. |
CATALOG_TYPE_GCS_BUCKET |
Tipo di catalogo del bucket Google Cloud Storage. |
CATALOG_TYPE_BIGLAKE |
Tipo di catalogo BigLake. |
CATALOG_TYPE_FEDERATED |
Tipo di catalogo federato. |
CATALOG_TYPE_ALLOYDB_AGENT_MODE |
Catalogo per l'esecuzione di query sulle tabelle AlloyDB in modalità agente. |
Replica
La replica del catalogo.
| Rappresentazione JSON |
|---|
{
"region": string,
"state": enum ( |
| Campi | |
|---|---|
region |
Solo output. La regione della replica. Ad esempio "us-east1" |
state |
Solo output. Lo stato attuale della replica. |
Stato
Se il catalogo viene replicato in più regioni, questo enum descrive lo stato attuale della replica.
| Enum | |
|---|---|
STATE_UNKNOWN |
Valore predefinito/non impostato. Questo valore non è utilizzato. |
STATE_PRIMARY |
La replica è l'istanza principale scrivibile. |
STATE_PRIMARY_IN_PROGRESS |
La replica è stata assegnata di recente come principale, ma non tutti gli spazi dei nomi sono ancora scrivibili. |
STATE_SECONDARY |
La replica è una replica secondaria di sola lettura. |
RestrictedLocationsConfig
Configurazione delle limitazioni relative alla località.
| Rappresentazione JSON |
|---|
{ "restricted-locations": [ string ] } |
| Campi | |
|---|---|
restricted-locations[] |
Facoltativo. Bucket e località Google Cloud Storage aggiuntivi (ad es. Se |
EncryptionConfig
Configurazione della crittografia personalizzata (ad es. chiavi Cloud KMS).
| Rappresentazione JSON |
|---|
{ "kms-key-name": string } |
| Campi | |
|---|---|
kms-key-name |
Facoltativo. Nome della chiave Cloud KMS utilizzata per criptare i dati memorizzati nella cache recuperati dal catalogo. Formato: |
FederatedCatalogOptions
Opzioni di configurazione per un catalogo federato.
| Rappresentazione JSON |
|---|
{ "identity-mode": enum ( |
| Campi | |
|---|---|
identity-mode |
Facoltativo. La modalità di identità per il catalogo federato. |
refresh-options |
Facoltativo. Aggiorna la configurazione. |
refresh-status |
Solo output. Lo stato delle operazioni di aggiornamento dei metadati in background. |
| Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
identity-federation-organization-service-account |
Solo output. Il account di servizio a livello di organizzazione utilizzato per la federazione delle identità. |
| Fine dei campi che si escludono a vicenda. | |
| Informazioni specifiche per il catalogo REST Iceberg remoto. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
unity-catalog-info |
Facoltativo. Informazioni specifiche per Databricks Unity Catalog. |
glue-catalog-info |
Facoltativo. Informazioni specifiche per AWS Glue Data Catalog. |
snowflake-catalog-info |
Facoltativo. Informazioni specifiche per Snowflake Horizon Catalog. |
workday-catalog-info |
Facoltativo. Informazioni specifiche per Workday Data Lake. |
| Fine dei campi che si escludono a vicenda. | |
secret-name |
Facoltativo. Il nome della risorsa secret in Secret Manager, nel formato L'ID progetto deve corrispondere al progetto del catalogo e la località deve corrispondere a quella del catalogo. Se la versione non è specificata, verrà utilizzata l'ultima versione. Questo campo non viene utilizzato quando è impostato |
service-directory-name |
Facoltativo. Il nome della risorsa Service Directory utilizzato per instradare il traffico del livello di trasporto con il catalogo remoto (ad es. l'accesso ai file di dati nei bucket di archiviazione) su una connessione di rete privata. Formato: Viene utilizzato dalle query BigQuery per risolvere gli endpoint privati per il recupero dei file di dati (ad esempio, dati Iceberg in S3 o Azure Data Lake Storage) tramite una connessione di rete privata come Cross-Cloud Interconnect. |
metadata-service-directory-name |
Facoltativo. Il nome della risorsa Service Directory utilizzato per instradare il traffico del livello di metadati con il catalogo remoto su una connessione di rete privata. Formato: Utilizzato per recuperare i metadati del catalogo (come configurazioni, spazi dei nomi e tabelle Iceberg) su una connessione di rete privata, ad esempio Cross-Cloud Interconnect. Utilizzato anche per recuperare i token OAuth quando |
user-identity-federation-oidc-claims |
Solo output. Ritirato: utilizza Le rivendicazioni OIDC emesse nel token ID per la federazione delle identità utente. |
user-identity-federation-oidc |
Solo output. La configurazione OIDC per la federazione delle identità utente. |
IdentityFederationOrganizationServiceAccount
Il account di servizio a livello di organizzazione utilizzato per la federazione delle identità, solo output. Potrebbe essere vuoto se la federazione delle identità non è mai stata abilitata per il catalogo.
| Rappresentazione JSON |
|---|
{ "service-account": string, "service-account-unique-id": string } |
| Campi | |
|---|---|
service-account |
Solo output. Indirizzo email del account di servizio a livello di organizzazione. |
service-account-unique-id |
Solo output. L'ID univoco del account di servizio a livello di organizzazione. |
UnityCatalogInfo
Informazioni specifiche per Databricks Unity Catalog. L'endpoint del catalogo REST Iceberg è nel formato: https://<instanceName>/api/2.1/unity-catalog/iceberg-rest/v1/config?warehouse=<catalogName>.
| Rappresentazione JSON |
|---|
{ "instance-name": string, "catalog-name": string, "service-principal-application-id": string } |
| Campi | |
|---|---|
instance-name |
Obbligatorio. Immutabile. Il nome dell'istanza del workspace Databricks. Ad esempio, per l'URL del workspace Databricks |
catalog-name |
Obbligatorio. Immutabile. Il nome del catalogo in Databricks Unity Catalog. |
service-principal-application-id |
Facoltativo. L'ID applicazione dell'entità servizio Databricks utilizzato per accedere a Databricks Unity Catalog nel flusso di autenticazione OIDC. |
GlueCatalogInfo
Informazioni specifiche per AWS Glue Data Catalog. L'endpoint del catalogo REST Iceberg è nel formato: https://glue.<awsRegion>.amazonaws.com/iceberg/v1/config?warehouse=<warehouse>.
| Rappresentazione JSON |
|---|
{ "warehouse": string, "aws-region": string, "aws-role-arn": string } |
| Campi | |
|---|---|
warehouse |
Obbligatorio. Immutabile. La località del warehouse in AWS Glue Data Catalog. Per il catalogo dell'account predefinito, utilizza l'ID account AWS di 12 cifre (ad esempio, |
aws-region |
Obbligatorio. Immutabile. La regione AWS di AWS Glue Data Catalog (ad esempio, |
aws-role-arn |
Obbligatorio. L'Amazon Resource Name (ARN) del ruolo IAM AWS che il catalogo federato assume per accedere ad AWS Glue Data Catalog. |
SnowflakeCatalogInfo
Informazioni specifiche per Snowflake Horizon Catalog. L'endpoint del catalogo REST Iceberg è nel formato: https://<accountIdentifier>.snowflakecomputing.com/polaris/api/catalog/v1/config?warehouse=<warehouse>.
| Rappresentazione JSON |
|---|
{ "account-identifier": string, "warehouse": string, "snowflake-role": string } |
| Campi | |
|---|---|
account-identifier |
Obbligatorio. Immutabile. L'identificatore dell'account in Snowflake. Ad esempio, per l'URL di deployment di Snowflake L'identificatore dell'account può contenere lettere, cifre e trattini bassi, con segmenti separati da trattini ( |
warehouse |
Obbligatorio. Immutabile. Il nome del database in Snowflake Horizon Catalog. |
snowflake-role |
Facoltativo. Il ruolo Snowflake utilizzato per definire l'ambito dell'accesso a Snowflake Horizon Catalog nel flusso di autenticazione della federazione delle identità per i workload (OIDC). |
WorkdayCatalogInfo
Informazioni specifiche per Workday Data Lake. L'endpoint del catalogo REST Iceberg è nel formato: https://<baseUrl>/datalake/api/catalog/v1/config?warehouse=workday.
| Rappresentazione JSON |
|---|
{ "base-url": string, "tenant": string, "api-client-client-id": string } |
| Campi | |
|---|---|
base-url |
Obbligatorio. Immutabile. L'URL di base dell'istanza Workday. Ad esempio: |
tenant |
Obbligatorio. Immutabile. Il nome del tenant di Workday. |
api-client-client-id |
Facoltativo. L'ID client del client API Workday utilizzato per accedere a Workday Data Lake nel flusso di autenticazione OIDC. |
IdentityMode
La modalità di identità utilizzata dal catalogo per le query.
| Enum | |
|---|---|
IDENTITY_MODE_UNSPECIFIED |
Valore predefinito/non impostato. Questo valore viene trattato allo stesso modo di IDENTITY_MODE_SERVICE_IDENTITY. |
IDENTITY_MODE_SERVICE_IDENTITY |
Le query vengono eseguite utilizzando il account di servizio in google.cloud.biglake.v1main.IcebergCatalog.biglake_service_account. |
IDENTITY_MODE_USER_IDENTITY_FEDERATION |
Le query vengono fatte utilizzando l'identità dell'utente finale e vengono propagate al catalogo remoto. La federazione delle identità deve essere configurata nel catalogo remoto. Per ulteriori dettagli, consulta https://docs.cloud.google.com/lakehouse/docs/about-cross-cloud-data-access#identity-mode. |
UserIdentityFederationOidcClaims
Claim OIDC emessi nel token ID quando IDENTITY_MODE_USER_IDENTITY_FEDERATION è abilitato.
Questi valori identificano il provider di identità (emittente) e il destinatario previsto (pubblico) del token. Per abilitare la federazione delle identità utente, gli utenti devono configurare il proprio catalogo remoto in modo che consideri attendibile questo emittente e si aspetti questo segmento di pubblico.
| Rappresentazione JSON |
|---|
{ "issuer-url": string, "audience": string } |
| Campi | |
|---|---|
issuer-url |
Solo output. L'URL dell'emittente del provider di identità. |
audience |
Solo output. Il pubblico che questo catalogo si aspetta nel token. |
UserIdentityFederationOidc
Configurazione OIDC utilizzata quando IDENTITY_MODE_USER_IDENTITY_FEDERATION è abilitato.
Per abilitare la federazione delle identità utente, gli utenti devono configurare il proprio catalogo remoto in modo che consideri attendibili i token con questi parametri.
| Rappresentazione JSON |
|---|
{ "issuer-url": string, "audience": string, "jwks-url": string } |
| Campi | |
|---|---|
issuer-url |
Solo output. L'URL dell'emittente del provider di identità. |
audience |
Solo output. Il pubblico che questo catalogo si aspetta nel token. |
jwks-url |
Solo output. L'URL del set di chiavi web JSON (JWKS) che fornisce le chiavi pubbliche utilizzate per verificare il token. Impostato solo per i cataloghi federati Snowflake Horizon, dove viene utilizzato come |
RefreshOptions
Aggiorna la configurazione.
| Rappresentazione JSON |
|---|
{ "refresh-schedule": { object ( |
| Campi | |
|---|---|
refresh-schedule |
Facoltativo. La pianificazione definisce se e quando deve essere pianificato l'aggiornamento dei metadati. |
refresh-scope |
Facoltativo. Aggiorna le configurazioni degli ambiti. |
RefreshSchedule
La pianificazione definisce se e quando deve essere pianificato l'aggiornamento dei metadati.
| Rappresentazione JSON |
|---|
{ "refresh-interval": string } |
| Campi | |
|---|---|
refresh-interval |
Facoltativo. L'intervallo per l'aggiornamento dei metadati dal catalogo remoto. Se non viene impostato o se il valore è <= 0, l'aggiornamento dei metadati in background verrà disattivato. Se questo campo viene aggiornato per un catalogo federato esistente, l'aggiornamento dei metadati in background precedente deve essere completato prima che il nuovo intervallo di aggiornamento diventi effettivo. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
RefreshScope
L'ambito definisce un sottoinsieme di spazi dei nomi da aggiornare.
| Rappresentazione JSON |
|---|
{ "namespace-filters": [ string ] } |
| Campi | |
|---|---|
namespace-filters[] |
Facoltativo. Filtri per determinare quali spazi dei nomi sono inclusi nel processo di aggiornamento. - Un elenco vuoto indica che devono essere inclusi tutti gli spazi dei nomi. - "[namespaces]" indica di includere gli spazi dei nomi specificati. ['ns1', 'ns2'] : rileva solo gli spazi dei nomi "ns1" e "ns2". |
RefreshStatus
Stato dell'aggiornamento dei metadati in background del catalogo remoto.
| Rappresentazione JSON |
|---|
{
"start-time": string,
"end-time": string,
"status": {
object ( |
| Campi | |
|---|---|
start-time |
Solo output. Quando l'aggiornamento del catalogo è iniziato, inclusi gli aggiornamenti in corso. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
end-time |
Solo output. Al termine dell'aggiornamento del catalogo, l'impostazione viene annullata per gli aggiornamenti in corso. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
status |
Solo output. Lo stato dell'ultima operazione di aggiornamento dei metadati in background, non impostato per gli aggiornamenti in corso. |
CrossCloudCacheOptions
Opzioni di configurazione per la memorizzazione nella cache cross-cloud di file di dati e metadati.
| Rappresentazione JSON |
|---|
{ "enabled": boolean } |
| Campi | |
|---|---|
enabled |
Facoltativo. Specifica se la memorizzazione nella cache cross-cloud dei file di dati e metadati è abilitata. Questo riguarda solo le query tramite BigQuery. Se questo valore è Se questo valore è |
Metodi |
|
|---|---|
|
Crea il catalogo REST Iceberg. |
|
Elimina il catalogo REST Iceberg. |
|
Esegui il failover del catalogo in una nuova regione della replica principale. |
|
Restituisce le opzioni di configurazione del catalogo REST Iceberg. |
|
Elenca i cataloghi REST Iceberg. |
|
Aggiorna le opzioni di configurazione del catalogo REST Iceberg. |