Os nomes totalmente qualificados são identificadores de recursos globalmente exclusivos que diferenciam maiúsculas de minúsculas
e podem ser usados com o Knowledge Catalog (antigo Dataplex Universal Catalog) para se referir a recursos do Google Cloud
e de terceiros doGoogle Cloud .
Por exemplo, nomes totalmente qualificados são usados para sistemas que oferecem suporte à
ingestão automática
de metadados do Google Cloud. Se você
catalogar seus recursos que não são doGoogle Cloud
no Knowledge Catalog, poderá fornecer nomes totalmente qualificados ao
criar as entradas personalizadas que representam esses recursos de terceiros.
Os nomes totalmente qualificados são compostos por um prefixo seguido por
segmentos delimitados por pontos. O tamanho máximo é de 4.000 caracteres.
Coloque entre aspas os segmentos que contêm caracteres reservados, como dois pontos, pontos
e espaços em branco. Use crases duplas para especificar uma
crase em um segmento.
Formatos predefinidos para recursos do Google Cloud
As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que
são compatíveis com recursos do Google Cloud .
BigQuery
| Recurso |
Formatar |
| Conjunto de dados |
bigquery:{projectId}.{datasetId} |
| Tabela |
bigquery:{projectId}.{datasetId}.{tableId} |
| Ver |
bigquery:{projectId}.{datasetId}.{viewId} |
| Modelo |
bigquery:{projectId}.{datasetId}.{modelId} |
| Tabela fragmentada |
bigquery:sharded:{projectId}.{datasetId}.{tablePrefix} |
| Rotina |
bigquery:routine:{projectId}.{datasetId}.{routineId} |
| Conexão |
bigquery:connection:{projectId}.{location}.{connectionId} |
Compartilhamento do BigQuery (antigo Analytics Hub)
| Recurso |
Formatar |
| Troca |
analytics_hub:{projectId}.{location}.{exchangeId} |
| Listagem |
analytics_hub:{projectId}.{location}.{exchangeId}.{listingId} |
Bigtable
| Recurso |
Formatar |
| Instância |
bigtable:{projectId}.{instanceId} |
| Tabela |
bigtable:{projectId}.{instanceId}.{tableId} |
Cloud SQL para MySQL
| Recurso |
Formatar |
| Instância |
cloudsql_mysql:{projectId}.{location}.{instanceId} |
| Esquema |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId} |
| Tabela |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId} |
Cloud SQL para PostgreSQL
| Recurso |
Formatar |
| Instância |
cloudsql_postgresql:{projectId}.{location}.{instanceId} |
| Banco de dados |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId} |
| Schema |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId} |
| Tabela |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId} |
Cloud Storage
| Recurso |
Formatar |
| Bucket |
gcs:{bucketName} |
| Caminho |
gcs:{bucketName}.{virtualPath} |
Knowledge Catalog
| Recurso |
Formatar |
| Lake |
dataplex:{projectId}.{location}.{lakeId} |
| Zona |
dataplex:{projectId}.{location}.{lakeId}.{zoneId} |
| Tabela |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId} |
| Conjunto de arquivos |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId} |
| Recurso |
Formatar |
| Serviço |
dataproc_metastore:{projectId}.{location}.{instanceId} |
| Banco de dados |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId} |
| Tabela |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId} |
Looker
| Recurso |
Formatar |
| Instância |
looker:{instanceId} |
| Painel |
looker:dashboard:{instanceId}.{folderId}.{dashboardId} |
| Explorar |
looker:explore:{instanceId}.{folderId}.{exploreId} |
| Look |
looker:look:{instanceId}.{folderId}.{lookId} |
Pub/Sub
| Recurso |
Formatar |
| Tópico |
pubsub:topic:{projectId}.{topicId} |
| Assinatura |
pubsub:subscription:{projectId}.{subscriptionId} |
Spanner
| Recurso |
Formatar |
| Instância |
spanner:{projectId}.{instanceConfigId}.{instanceId} |
| Banco de dados |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId} |
| Tabela |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId} |
| Ver |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId} |
Vertex AI
| Recurso |
Formatar |
| Modelo |
vertex_ai:model:{projectId}.{locationId}.{modelId}.{version} |
| Conjunto de dados |
vertex_ai:dataset:{projectId}.{locationId}.{datasetId} |
| FeatureGroup |
vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId} |
| FeatureOnlineStore |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId} |
| FeatureView |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId} |
Formatos predefinidos para recursos que não são doGoogle Cloud
As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que
são compatíveis com recursos de terceiros.
Apache Cassandra
| Recurso |
Formatar |
| Cluster |
cassandra:{dns} |
| Keyspace |
cassandra:{dns}.{keyspaceId} |
| Tabela |
cassandra:{dns}.{keyspaceId}.{tableId} |
Apache Hive
| Recurso |
Formatar |
| Instância |
hive_metastore:{dns} |
| Banco de dados |
hive_metastore:{dns}.{database} |
| Tabela |
hive_metastore:{dns}.{database}.{table} |
Apache Kafka
| Recurso |
Formatar |
| Cluster |
kafka:{dns} |
| Tópico |
kafka:{dns}.{topicId} |
AWS Athena
| Recurso |
Formatar |
| Catálogo |
athena:{catalogId}.{region} |
| Banco de dados |
athena:{catalogId}.{region}.{databaseId} |
| Tabela |
athena:{catalogId}.{region}.{databaseId}.{tableId} |
AWS Redshift
| Recurso |
Formatar |
| Instância |
redshift:{clusterId}.{region}.{port} |
| Banco de dados |
redshift:{clusterId}.{region}.{port}.{databaseId} |
| Schema |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId} |
| Tabela |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId} |
AWS S3
| Recurso |
Formatar |
| Bucket |
s3:{bucket} |
| Caminho |
s3:{bucket}.{virtualPath} |
AWS Glue
| Recurso |
Formatar |
| Tabela |
aws_glue:table:{region}.{accountId}.{dbName}.{tableName} |
Armazenamento de blobs do Azure
| Recurso |
Formatar |
| Conta |
abs:{account} |
| Contêiner |
abs:{account}.{container} |
| Caminho |
abs:{account}.{container}.{virtualPath} |
Azure Cosmos DB
| Recurso |
Formatar |
| Conta |
cosmos-db:{accountName} |
| Banco de dados |
cosmos-db:{accountName}.{databaseId} |
| Contêiner |
cosmos-db:{accountName}.{databaseId}.{containerId} |
Azure Data Explorer
| Recurso |
Formatar |
| Cluster |
kusto:{clusterName}.{region} |
| Banco de dados |
kusto:{clusterName}.{region}.{databaseId} |
| Tabela |
kusto:{clusterName}.{region}.{databaseId}.{tableId} |
Databricks
| Recurso |
Formatar |
| Metastore |
databricks:{metastoreId} |
| Catálogo |
databricks:{metastoreId}.{catalogId} |
| Esquema |
databricks:{metastoreId}.{catalogId}.{schemaId} |
| Tabela |
databricks:{metastoreId}.{catalogId}.{schemaId}.{tableId} |
| Ver |
databricks:{metastoreId}.{catalogId}.{schemaId}.{viewId} |
| Rotina |
databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId} |
| Volume |
databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId} |
| Modelo |
databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId} |
Sistema de arquivos do Databricks
| Recurso |
Formatar |
| Instância |
dbfs:{workspace} |
| Caminho |
dbfs:{workspace}.{path} |
Sistema de arquivos genérico
| Recurso |
Formatar |
| Instância |
filesystem:{dns} |
| Caminho |
filesystem:{dns}.{path} |
Sistema de arquivos distribuídos do Hadoop
| Recurso |
Formatar |
| Instância |
hdfs:{dns} |
| Caminho |
hdfs:{dns}.{path} |
IBM DB2
| Recurso |
Formatar |
| Instância |
db2:{dns} |
| Banco de dados |
db2:{dns}.{databaseId} |
| Schema |
db2:{dns}.{databaseId}.{schemaId} |
| Tabela |
db2:{dns}.{databaseId}.{schemaId}.{tableId} |
| Recurso |
Formatar |
| Instância |
informix:{dns} |
| Banco de dados |
informix:{dns}.{databaseId} |
| Schema |
informix:{dns}.{databaseId}.{schemaId} |
| Tabela |
informix:{dns}.{databaseId}.{schemaId}.{tableId} |
Microsoft SQL Server
| Recurso |
Formatar |
| Instância |
sqlserver:{dns} |
| Banco de dados |
sqlserver:{dns}.{databaseId} |
| Schema |
sqlserver:{dns}.{databaseId}.{schemaId} |
| Tabela |
sqlserver:{dns}.{databaseId}.{schemaId}.{tableId} |
MySQL
| Recurso |
Formatar |
| Instância |
mysql:{dns} |
| Esquema |
mysql:{dns}.{schemaId} |
| Tabela |
mysql:{dns}.{schemaId}.{tableId} |
Oracle Database
| Recurso |
Formatar |
| Instância |
oracle:{dns} |
| Banco de dados |
oracle:{dns}.{databaseId} |
| Schema |
oracle:{dns}.{databaseId}.{schemaId} |
| Tabela |
oracle:{dns}.{databaseId}.{schemaId}.{tableId} |
PostgreSQL
| Recurso |
Formatar |
| Instância |
postgresql:{dns} |
| Banco de dados |
postgresql:{dns}.{databaseId} |
| Schema |
postgresql:{dns}.{databaseId}.{schemaId} |
| Tabela |
postgresql:{dns}.{databaseId}.{schemaId}.{tableId} |
Salesforce
| Recurso |
Formatar |
| SObject |
salesforce:{environment}.{orgId}.{sobject} |
Snowflake
| Recurso |
Formatar |
| Conta |
snowflake:{accountName} |
| Banco de dados |
snowflake:{accountName}.{databaseId} |
| Schema |
snowflake:{accountName}.{databaseId}.{schemaId} |
| Tabela |
snowflake:{accountName}.{databaseId}.{schemaId}.{tableId} |
| Ver |
snowflake:{accountName}.{databaseId}.{schemaId}.{viewId} |
Tableau
| Recurso |
Formatar |
| Servidor |
tableau:{dns} |
| Site |
tableau:{dns}.{site} |
| Projeto |
tableau:project:{dns}.{site}.{projectId} |
| Fonte de dados |
tableau:datasource:{dns}.{site}.{projectId}.{datasourceId} |
| Apostila |
tableau:workbook:{dns}.{site}.{projectId}.{workbookId} |
| Página |
tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId} |
| Painel |
tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId} |
Trino
| Recurso |
Formatar |
| Instância |
trino:{dns} |
| Catálogo |
trino:{dns}.{catalogId} |
| Esquema |
trino:{dns}.{catalogId}.{schemaId} |
| Tabela |
trino:{dns}.{catalogId}.{schemaId}.{tableId} |
Formatos personalizados
É possível criar um formato de nome totalmente qualificado personalizado usando o prefixo custom:. Os formatos personalizados não são validados e podem não ser compatíveis com os recursos do Knowledge Catalog. Para facilitar a migração futura,
crie formatos personalizados semelhantes aos predefinidos.
Os recursos referenciados em mensagens do OpenLineage com o namespace custom são
interpretados como nomes totalmente qualificados personalizados.
