Nomes totalmente qualificados

Nomes totalmente qualificados são identificadores de recursos globalmente exclusivos que diferenciam maiúsculas de minúsculas e podem ser usados com o Knowledge Catalog (antigo Dataplex Universal Catalog) para se referir a recursos do Google Cloud e de terceirosGoogle Cloud .

Por exemplo, nomes totalmente qualificados são usados para sistemas que oferecem suporte à ingestão automática de metadados de Google Cloud. Se você catalogar seus recursos nãoGoogle Cloud no Knowledge Catalog, poderá fornecer nomes totalmente qualificados ao criar as entradas personalizadas que representam esses recursos de terceiros.

Os nomes totalmente qualificados são compostos de um prefixo seguido por segmentos delimitados com pontos. O tamanho máximo é de 4.000 caracteres. Coloque crases em volta de segmentos que contêm caracteres reservados, como dois-pontos, pontos e espaços em branco. Use crases duplas para especificar uma crase em um segmento.

Formatos predefinidos para recursos Google Cloud

As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados compatíveis com recursos Google Cloud .

BigQuery

Recurso Formatar
Conjunto de dados bigquery:{projectId}.{datasetId}
Tabela bigquery:{projectId}.{datasetId}.{tableId}
Ver bigquery:{projectId}.{datasetId}.{viewId}
Modelo bigquery:{projectId}.{datasetId}.{modelId}
Tabela fragmentada bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
Rotina bigquery:routine:{projectId}.{datasetId}.{routineId}
Conexão bigquery:connection:{projectId}.{location}.{connectionId}

BigQuery Sharing (antigo Analytics Hub)

Recurso Formatar
Troca analytics_hub:{projectId}.{location}.{exchangeId}
Listagem analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

Recurso Formatar
Instância bigtable:{projectId}.{instanceId}
Tabela bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL para MySQL

Recurso Formatar
Instância cloudsql_mysql:{projectId}.{location}.{instanceId}
Esquema cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
Tabela cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL para PostgreSQL

Recurso Formatar
Instância cloudsql_postgresql:{projectId}.{location}.{instanceId}
Banco de dados cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
Schema cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
Tabela cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

Recurso Formatar
Bucket gcs:{bucketName}
Caminho gcs:{bucketName}.{virtualPath}

Knowledge Catalog

Recurso Formatar
Lake dataplex:{projectId}.{location}.{lakeId}
Zona dataplex:{projectId}.{location}.{lakeId}.{zoneId}
Tabela dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
Conjunto de arquivos dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

Recurso Formatar
Serviço dataproc_metastore:{projectId}.{location}.{instanceId}
Banco de dados dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
Tabela dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

Recurso Formatar
Instância looker:{instanceId}
Painel looker:dashboard:{instanceId}.{folderId}.{dashboardId}
Explorar looker:explore:{instanceId}.{folderId}.{exploreId}
Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

Recurso Formatar
Tópico pubsub:topic:{projectId}.{topicId}
Assinatura pubsub:subscription:{projectId}.{subscriptionId}

Spanner

Recurso Formatar
Instância spanner:{projectId}.{instanceConfigId}.{instanceId}
Banco de dados spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
Tabela spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
Ver spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

Recurso Formatar
Modelo vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
Conjunto de dados vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

Formatos predefinidos para recursos que não sãoGoogle Cloud

As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que são compatíveis com recursos de terceiros.

Apache Cassandra

Recurso Formatar
Cluster cassandra:{dns}
Keyspace cassandra:{dns}.{keyspaceId}
Tabela cassandra:{dns}.{keyspaceId}.{tableId}

Apache Hive

Recurso Formatar
Instância hive_metastore:{dns}
Banco de dados hive_metastore:{dns}.{database}
Tabela hive_metastore:{dns}.{database}.{table}

Apache Kafka

Recurso Formatar
Cluster kafka:{dns}
Tópico kafka:{dns}.{topicId}

AWS Athena

Recurso Formatar
Catálogo athena:{catalogId}.{region}
Banco de dados athena:{catalogId}.{region}.{databaseId}
Tabela athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

Recurso Formatar
Instância redshift:{clusterId}.{region}.{port}
Banco de dados redshift:{clusterId}.{region}.{port}.{databaseId}
Schema redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
Tabela redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

Recurso Formatar
Bucket s3:{bucket}
Caminho s3:{bucket}.{virtualPath}

AWS Glue

Recurso Formatar
Tabela aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Armazenamento de blobs do Azure

Recurso Formatar
Conta abs:{account}
Contêiner abs:{account}.{container}
Caminho abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

Recurso Formatar
Conta cosmos-db:{accountName}
Banco de dados cosmos-db:{accountName}.{databaseId}
Contêiner cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

Recurso Formatar
Cluster kusto:{clusterName}.{region}
Banco de dados kusto:{clusterName}.{region}.{databaseId}
Tabela kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks

Recurso Formatar
Metastore databricks:{metastoreId}
Catálogo databricks:{metastoreId}.{catalogId}
Esquema databricks:{metastoreId}.{catalogId}.{schemaId}
Tabela databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId}
Ver databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId}
Rotina databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId}
Volume databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId}
Modelo databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId}

Sistema de arquivos do Databricks

Recurso Formatar
Instância dbfs:{workspace}
Caminho dbfs:{workspace}.{path}

Sistema de arquivos genérico

Recurso Formatar
Instância filesystem:{dns}
Caminho filesystem:{dns}.{path}

Sistema de arquivos distribuídos do Hadoop

Recurso Formatar
Instância hdfs:{dns}
Caminho hdfs:{dns}.{path}

IBM DB2

Recurso Formatar
Instância db2:{dns}
Banco de dados db2:{dns}.{databaseId}
Schema db2:{dns}.{databaseId}.{schemaId}
Tabela db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

Recurso Formatar
Instância informix:{dns}
Banco de dados informix:{dns}.{databaseId}
Schema informix:{dns}.{databaseId}.{schemaId}
Tabela informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

Recurso Formatar
Instância sqlserver:{dns}
Banco de dados sqlserver:{dns}.{databaseId}
Schema sqlserver:{dns}.{databaseId}.{schemaId}
Tabela sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

Recurso Formatar
Instância mysql:{dns}
Esquema mysql:{dns}.{schemaId}
Tabela mysql:{dns}.{schemaId}.{tableId}

Oracle Database

Recurso Formatar
Instância oracle:{dns}
Banco de dados oracle:{dns}.{databaseId}
Schema oracle:{dns}.{databaseId}.{schemaId}
Tabela oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

Recurso Formatar
Instância postgresql:{dns}
Banco de dados postgresql:{dns}.{databaseId}
Schema postgresql:{dns}.{databaseId}.{schemaId}
Tabela postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

Recurso Formatar
SObject salesforce:{environment}.{orgId}.{sobject}

Snowflake

Recurso Formatar
Conta snowflake:{accountName}
Banco de dados snowflake:{accountName}.{databaseId}
Schema snowflake:{accountName}.{databaseId}.{schemaId}
Tabela snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

Tableau

Recurso Formatar
Servidor tableau:{dns}
Site tableau:{dns}.{site}
Projeto tableau:project:{dns}.{site}.{projectId}
Fonte de dados tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
Apostila tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
Página tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
Painel tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

Recurso Formatar
Instância trino:{dns}
Catálogo trino:{dns}.{catalogId}
Esquema trino:{dns}.{catalogId}.{schemaId}
Tabela trino:{dns}.{catalogId}.{schemaId}.{tableId}

Formatos personalizados

É possível criar um formato de nome totalmente qualificado personalizado usando o prefixo custom:. Os formatos personalizados não são validados e podem não ser compatíveis com os recursos do Knowledge Catalog. Para facilitar a migração futura, crie formatos personalizados semelhantes aos predefinidos.

Os recursos referenciados em mensagens do OpenLineage com o namespace custom são interpretados como nomes totalmente qualificados personalizados.