- Recurso: IcebergCatalog
- CredentialMode
- CatalogType
- Réplica
- Estado
- RestrictedLocationsConfig
- EncryptionConfig
- FederatedCatalogOptions
- IdentityFederationOrganizationServiceAccount
- UnityCatalogInfo
- GlueCatalogInfo
- SnowflakeCatalogInfo
- WorkdayCatalogInfo
- IdentityMode
- UserIdentityFederationOidcClaims
- UserIdentityFederationOidc
- RefreshOptions
- RefreshSchedule
- RefreshScope
- RefreshStatus
- CrossCloudCacheOptions
- Métodos
Recurso: IcebergCatalog
As informações do catálogo REST do Iceberg.
| Representação JSON |
|---|
{ "name": string, "credential-mode": enum ( |
| Campos | |
|---|---|
name |
Identificador. O nome do catálogo, |
credential-mode |
Opcional. O modo de credencial do catálogo. |
biglake-service-account |
Apenas saída. A conta de serviço usada para venda de credenciais, somente saída. Pode estar vazio se a venda de credenciais nunca for ativada para o catálogo. Para catálogos federados, a conta de serviço sempre será provisionada e usada para acessar o catálogo remoto para atualização de metadados em segundo plano. Se |
biglake-service-account-id |
Apenas saída. O ID exclusivo da conta de serviço. Isso é usado para cenários de federação. |
catalog-type |
Obrigatório. O tipo de catálogo. Obrigatório para catalogs.create. O tipo de catálogo é imutável, exceto no caso de conversão de CATALOG_TYPE_GCS_BUCKET para CATALOG_TYPE_BIGLAKE. |
default-location |
Opcional. O local de armazenamento padrão do catálogo, por exemplo, Para catálogos do BigLake, esse campo precisa ser fornecido e apontar para um bucket do Google Cloud Storage ou um caminho dentro desse bucket. Esse caminho serve como o diretório base para construir o caminho completo para os diretórios de dados e metadados de uma tabela quando um local não é especificado no nível do namespace ou da tabela. O caminho completo é formado pela anexação dos identificadores de namespace e tabela ao local padrão. |
storage-regions[] |
Apenas saída. As regiões do Google Cloud do bucket do local padrão, por exemplo, |
create-time |
Apenas saída. Quando o catálogo foi criado. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
update-time |
Apenas saída. Quando o catálogo foi atualizado pela última vez. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
replicas[] |
Apenas saída. As réplicas dos metadados do catálogo. |
description |
Opcional. Uma descrição do catálogo fornecida pelo usuário. A descrição precisa ser uma string UTF-8 com no máximo 1.024 caracteres. |
restricted-locations-config |
Opcional. Configuração de locais restritos. No momento, esse campo é usado apenas para catálogos do BigLake. Se esse campo não for definido ou se |
federated-catalog-options |
Opcional. Opções de configuração para catálogos federados. |
cross-cloud-cache-options |
Opcional. Opções de configuração para armazenamento em cache entre nuvens de arquivos de dados e metadados. |
encryption-config |
Opcional. Configuração de criptografia personalizada (por exemplo, chaves do Cloud KMS). |
CredentialMode
O modo de credencial usado para o catálogo.
| Tipos enumerados | |
|---|---|
CREDENTIAL_MODE_UNSPECIFIED |
Valor padrão/não definido. Esse valor não é usado. |
CREDENTIAL_MODE_END_USER |
Modo de credenciais do usuário final, padrão. O usuário que está se autenticando precisa ter acesso aos recursos do catálogo e aos objetos do Google Cloud Storage. |
CREDENTIAL_MODE_VENDED_CREDENTIALS |
Modo de fornecimento de credenciais. O usuário autenticado só precisa de acesso aos recursos do catálogo, e o sistema vai fornecer ao autor da chamada credenciais com escopo reduzido para acessar os objetos do Google Cloud Storage. Todas as operações de tabela nesse modo exigem que o cabeçalho Consulte https://docs.cloud.google.com/lakehouse/docs/credential-vending para mais detalhes. |
CatalogType
Determina o tipo de catálogo.
| Tipos enumerados | |
|---|---|
CATALOG_TYPE_UNSPECIFIED |
Valor padrão/não definido. Esse valor não é usado. |
CATALOG_TYPE_GCS_BUCKET |
Tipo de catálogo de buckets do Google Cloud Storage. |
CATALOG_TYPE_BIGLAKE |
Tipo de catálogo do BigLake. |
CATALOG_TYPE_FEDERATED |
Tipo de catálogo federado. |
CATALOG_TYPE_ALLOYDB_AGENT_MODE |
Catálogo para consultar tabelas do AlloyDB no modo agente. |
Réplica
A réplica do catálogo.
| Representação JSON |
|---|
{
"region": string,
"state": enum ( |
| Campos | |
|---|---|
region |
Apenas saída. A região da réplica. Por exemplo, "us-east1" |
state |
Apenas saída. O estado atual da réplica. |
Estado
Se o catálogo for replicado para várias regiões, esse tipo enumerado descreverá o estado atual da réplica.
| Tipos enumerados | |
|---|---|
STATE_UNKNOWN |
Valor padrão/não definido. Esse valor não é usado. |
STATE_PRIMARY |
A réplica é a principal gravável. |
STATE_PRIMARY_IN_PROGRESS |
A réplica foi atribuída recentemente como primária, mas nem todos os namespaces são graváveis ainda. |
STATE_SECONDARY |
A réplica é uma réplica secundária somente leitura. |
RestrictedLocationsConfig
Configuração de restrições de local.
| Representação JSON |
|---|
{ "restricted-locations": [ string ] } |
| Campos | |
|---|---|
restricted-locations[] |
Opcional. Outros buckets e locais do Google Cloud Storage (por exemplo, Se |
EncryptionConfig
Configuração de criptografia personalizada (por exemplo, chaves do Cloud KMS).
| Representação JSON |
|---|
{ "kms-key-name": string } |
| Campos | |
|---|---|
kms-key-name |
Opcional. Nome da chave do Cloud KMS usada para criptografar dados em cache buscados no catálogo. Formato: |
FederatedCatalogOptions
Opções de configuração para um catálogo federado.
| Representação JSON |
|---|
{ "identity-mode": enum ( |
| Campos | |
|---|---|
identity-mode |
Opcional. O modo de identidade do catálogo federado. |
refresh-options |
Opcional. Atualize a configuração. |
refresh-status |
Apenas saída. O status das operações de atualização de metadados em segundo plano. |
| Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
identity-federation-organization-service-account |
Apenas saída. A conta de serviço no nível da organização usada para federação de identidade. |
| Fim dos campos mutuamente exclusivos. | |
| Informações específicas do catálogo REST remoto do Iceberg. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
unity-catalog-info |
Opcional. Informações específicas do Databricks Unity Catalog. |
glue-catalog-info |
Opcional. Informações específicas do AWS Glue Data Catalog. |
snowflake-catalog-info |
Opcional. Informações específicas do catálogo do Snowflake Horizon. |
workday-catalog-info |
Opcional. Informações específicas do Workday Data Lake. |
| Fim dos campos mutuamente exclusivos. | |
secret-name |
Opcional. O nome do recurso do secret no Secret Manager, no formato O ID do projeto precisa corresponder ao projeto do catálogo, e o local precisa corresponder ao local do catálogo. Se a versão não for especificada, a versão mais recente será usada. Este campo não é usado quando |
service-directory-name |
Opcional. O nome do recurso do Diretório de Serviços usado para rotear o tráfego da camada de transporte com o catálogo remoto (por exemplo, acesso a arquivos de dados em buckets de armazenamento) por uma conexão de rede particular. Formato: Ele é usado por consultas do BigQuery para resolver endpoints particulares ao buscar arquivos de dados (por exemplo, dados do Iceberg no S3 ou no Azure Data Lake Storage) por uma conexão de rede particular, como o Interconexão entre nuvens. |
metadata-service-directory-name |
Opcional. O nome do recurso do Diretório de Serviços usado para rotear o tráfego da camada de metadados com o catálogo remoto por uma conexão de rede particular. Formato: Usado para recuperar metadados de catálogo (como configurações, namespaces e tabelas do Iceberg) em uma conexão de rede particular, como o Interconexão entre nuvens. Também é usado para buscar tokens OAuth quando |
user-identity-federation-oidc-claims |
Apenas saída. Descontinuado: use As declarações do OIDC emitidas no token de ID para a federação de identidade do usuário. |
user-identity-federation-oidc |
Apenas saída. A configuração do OIDC para a federação de identidade do usuário. |
IdentityFederationOrganizationServiceAccount
A conta de serviço no nível da organização usada para federação de identidade, somente saída. Pode estar vazio se a federação de identidade nunca for ativada para o catálogo.
| Representação JSON |
|---|
{ "service-account": string, "service-account-unique-id": string } |
| Campos | |
|---|---|
service-account |
Apenas saída. E-mail da conta de serviço no nível da organização. |
service-account-unique-id |
Apenas saída. O ID exclusivo da conta de serviço no nível da organização. |
UnityCatalogInfo
Informações específicas do Databricks Unity Catalog. O endpoint do catálogo REST do Iceberg tem o seguinte formato: https://<instanceName>/api/2.1/unity-catalog/iceberg-rest/v1/config?warehouse=<catalogName>.
| Representação JSON |
|---|
{ "instance-name": string, "catalog-name": string, "service-principal-application-id": string } |
| Campos | |
|---|---|
instance-name |
Obrigatório. Imutável. O nome da instância do espaço de trabalho do Databricks. Por exemplo, para o URL do espaço de trabalho do Databricks |
catalog-name |
Obrigatório. Imutável. O nome do catálogo no Databricks Unity Catalog. |
service-principal-application-id |
Opcional. O ID do aplicativo da entidade de serviço do Databricks usado para acessar o Databricks Unity Catalog no fluxo de autenticação do OIDC. |
GlueCatalogInfo
Informações específicas do AWS Glue Data Catalog. O endpoint do catálogo REST do Iceberg tem o seguinte formato: https://glue.<awsRegion>.amazonaws.com/iceberg/v1/config?warehouse=<warehouse>.
| Representação JSON |
|---|
{ "warehouse": string, "aws-region": string, "aws-role-arn": string } |
| Campos | |
|---|---|
warehouse |
Obrigatório. Imutável. O local do warehouse no AWS Glue Data Catalog. Para o catálogo de contas padrão, use o ID da conta da AWS de 12 dígitos (por exemplo, |
aws-region |
Obrigatório. Imutável. A região da AWS do AWS Glue Data Catalog (por exemplo, |
aws-role-arn |
Obrigatório. O nome de recurso da Amazon (ARN, na sigla em inglês) do papel do IAM da AWS que o catálogo federado assume para acessar o AWS Glue Data Catalog. |
SnowflakeCatalogInfo
Informações específicas do catálogo do Snowflake Horizon. O endpoint do catálogo REST do Iceberg tem o seguinte formato: https://<accountIdentifier>.snowflakecomputing.com/polaris/api/catalog/v1/config?warehouse=<warehouse>.
| Representação JSON |
|---|
{ "account-identifier": string, "warehouse": string, "snowflake-role": string } |
| Campos | |
|---|---|
account-identifier |
Obrigatório. Imutável. O identificador da conta no Snowflake. Por exemplo, para o URL de implantação do Snowflake O identificador da conta pode conter letras, dígitos e sublinhados, com segmentos separados por hifens ( |
warehouse |
Obrigatório. Imutável. O nome do banco de dados no catálogo do Snowflake Horizon. |
snowflake-role |
Opcional. O papel do Snowflake usado para definir o escopo do acesso ao catálogo do Snowflake Horizon no fluxo de autenticação da federação de identidade da carga de trabalho (OIDC). |
WorkdayCatalogInfo
Informações específicas do Workday Data Lake. O endpoint do catálogo REST do Iceberg tem o seguinte formato: https://<baseUrl>/datalake/api/catalog/v1/config?warehouse=workday.
| Representação JSON |
|---|
{ "base-url": string, "tenant": string, "api-client-client-id": string } |
| Campos | |
|---|---|
base-url |
Obrigatório. Imutável. O URL de base da instância do Workday. Por exemplo, |
tenant |
Obrigatório. Imutável. O nome do locatário do Workday. |
api-client-client-id |
Opcional. O ID do cliente da API Workday usado para acessar o Workday Data Lake no fluxo de autenticação do OIDC. |
IdentityMode
O modo de identidade usado pelo catálogo para consultas.
| Tipos enumerados | |
|---|---|
IDENTITY_MODE_UNSPECIFIED |
Valor padrão/não definido. Esse valor é tratado da mesma forma que IDENTITY_MODE_SERVICE_IDENTITY. |
IDENTITY_MODE_SERVICE_IDENTITY |
As consultas são executadas usando a conta de serviço em google.cloud.biglake.v1main.IcebergCatalog.biglake_service_account. |
IDENTITY_MODE_USER_IDENTITY_FEDERATION |
As consultas são executadas usando a identidade do usuário final e são propagadas para o catálogo remoto. A federação de identidade precisa ser configurada no catálogo remoto. Consulte https://docs.cloud.google.com/lakehouse/docs/about-cross-cloud-data-access#identity-mode para mais detalhes. |
UserIdentityFederationOidcClaims
Declarações do OIDC emitidas no token de ID quando IDENTITY_MODE_USER_IDENTITY_FEDERATION está ativado.
Esses valores identificam o provedor de identidade (emissor) e o destinatário pretendido (público-alvo) do token. Para ativar a federação de identidade do usuário, os usuários precisam configurar o catálogo remoto para confiar nesse emissor e esperar esse público-alvo.
| Representação JSON |
|---|
{ "issuer-url": string, "audience": string } |
| Campos | |
|---|---|
issuer-url |
Apenas saída. O URL do emissor do provedor de identidade. |
audience |
Apenas saída. O público-alvo que esse catálogo espera no token. |
UserIdentityFederationOidc
Configuração do OIDC usada quando IDENTITY_MODE_USER_IDENTITY_FEDERATION está ativado.
Para ativar a federação de identidade do usuário, os usuários precisam configurar o catálogo remoto para confiar em tokens com esses parâmetros.
| Representação JSON |
|---|
{ "issuer-url": string, "audience": string, "jwks-url": string } |
| Campos | |
|---|---|
issuer-url |
Apenas saída. O URL do emissor do provedor de identidade. |
audience |
Apenas saída. O público-alvo que esse catálogo espera no token. |
jwks-url |
Apenas saída. O URL do conjunto de chaves Web JSON (JWKS) que disponibiliza as chaves públicas usadas para verificar o token. Definido apenas para catálogos federados do Snowflake Horizon, em que é usado como |
RefreshOptions
Atualize a configuração.
| Representação JSON |
|---|
{ "refresh-schedule": { object ( |
| Campos | |
|---|---|
refresh-schedule |
Opcional. A programação define se e quando a atualização de metadados deve ser programada. |
refresh-scope |
Opcional. Atualize as configurações de escopo. |
RefreshSchedule
A programação define se e quando a atualização de metadados deve ser programada.
| Representação JSON |
|---|
{ "refresh-interval": string } |
| Campos | |
|---|---|
refresh-interval |
Opcional. O intervalo para atualizar os metadados do catálogo remoto. Se não for definido ou se o valor for <= 0, a atualização de metadados em segundo plano será desativada. Se esse campo for atualizado para um catálogo federado, a atualização anterior dos metadados em segundo plano precisará ser concluída antes que o novo intervalo de atualização entre em vigor. Duração em segundos com até nove dígitos fracionários, terminando em " |
RefreshScope
O escopo define um subconjunto de namespaces a serem atualizados.
| Representação JSON |
|---|
{ "namespace-filters": [ string ] } |
| Campos | |
|---|---|
namespace-filters[] |
Opcional. Filtros para determinar quais namespaces são incluídos no processo de atualização. - uma lista vazia significa incluir todos os namespaces. - "[namespaces]" significa incluir os namespaces especificados. ['ns1', 'ns2'] : descobre apenas os namespaces "ns1" e "ns2". |
RefreshStatus
Status de atualização de metadados em segundo plano do catálogo remoto.
| Representação JSON |
|---|
{
"start-time": string,
"end-time": string,
"status": {
object ( |
| Campos | |
|---|---|
start-time |
Apenas saída. Quando a atualização do catálogo começou, incluindo as que estão em andamento. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
end-time |
Apenas saída. Quando a atualização do catálogo terminar, desative as atualizações em andamento. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
status |
Apenas saída. O status da última operação de atualização de metadados em segundo plano, não definido para atualizações em andamento. |
CrossCloudCacheOptions
Opções de configuração para armazenamento em cache entre nuvens de arquivos de dados e metadados.
| Representação JSON |
|---|
{ "enabled": boolean } |
| Campos | |
|---|---|
enabled |
Opcional. Especifica se o armazenamento em cache entre nuvens de arquivos de dados e metadados está ativado. Isso afeta apenas as consultas pelo BigQuery. Se esse valor for Se esse valor for |
Métodos |
|
|---|---|
|
Cria o catálogo REST do Iceberg. |
|
Exclui o catálogo REST do Iceberg. |
|
Faça o failover do catálogo para uma nova região de réplica principal. |
|
Retorna as opções de configuração do catálogo REST do Iceberg. |
|
Lista os catálogos REST do Iceberg. |
|
Atualize as opções de configuração do catálogo REST do Iceberg. |