Nomes totalmente qualificados são identificadores de recursos globalmente exclusivos que diferenciam maiúsculas de minúsculas
e podem ser usados com o Knowledge Catalog (antigo Dataplex Universal Catalog) para se referir a recursos do Google Cloud
e de terceirosGoogle Cloud .
Por exemplo, nomes totalmente qualificados são usados para sistemas que oferecem suporte à ingestão automática de metadados de Google Cloud. Se você catalogar seus recursos nãoGoogle Cloud no Knowledge Catalog, poderá fornecer nomes totalmente qualificados ao criar as entradas personalizadas que representam esses recursos de terceiros.
Os nomes totalmente qualificados são compostos por um prefixo seguido de segmentos delimitados com pontos. O tamanho máximo é de 4.000 caracteres.
Coloque crases em segmentos que contenham caracteres reservados, como dois pontos, pontos e espaços em branco. Use crases duplas para especificar uma
crase em um segmento.
Formatos predefinidos para recursos Google Cloud
As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados compatíveis com recursos Google Cloud .
BigQuery
| Recurso |
Formatar |
| Conjunto de dados |
bigquery:{projectId}.{datasetId} |
| Tabela |
bigquery:{projectId}.{datasetId}.{tableId} |
| Ver |
bigquery:{projectId}.{datasetId}.{viewId} |
| Modelo |
bigquery:{projectId}.{datasetId}.{modelId} |
| Tabela fragmentada |
bigquery:sharded:{projectId}.{datasetId}.{tablePrefix} |
| Rotina |
bigquery:routine:{projectId}.{datasetId}.{routineId} |
| Conexão |
bigquery:connection:{projectId}.{location}.{connectionId} |
BigQuery Sharing (antigo Analytics Hub)
| Recurso |
Formatar |
| Troca |
analytics_hub:{projectId}.{location}.{exchangeId} |
| Listagem |
analytics_hub:{projectId}.{location}.{exchangeId}.{listingId} |
Bigtable
| Recurso |
Formatar |
| Instância |
bigtable:{projectId}.{instanceId} |
| Tabela |
bigtable:{projectId}.{instanceId}.{tableId} |
Cloud SQL para MySQL
| Recurso |
Formatar |
| Instância |
cloudsql_mysql:{projectId}.{location}.{instanceId} |
| Esquema |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId} |
| Tabela |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId} |
Cloud SQL para PostgreSQL
| Recurso |
Formatar |
| Instância |
cloudsql_postgresql:{projectId}.{location}.{instanceId} |
| Banco de dados |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId} |
| Schema |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId} |
| Tabela |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId} |
Cloud Storage
| Recurso |
Formatar |
| Bucket |
gcs:{bucketName} |
| Caminho |
gcs:{bucketName}.{virtualPath} |
Knowledge Catalog
| Recurso |
Formatar |
| Lake |
dataplex:{projectId}.{location}.{lakeId} |
| Zona |
dataplex:{projectId}.{location}.{lakeId}.{zoneId} |
| Tabela |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId} |
| Conjunto de arquivos |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId} |
| Recurso |
Formatar |
| Serviço |
dataproc_metastore:{projectId}.{location}.{instanceId} |
| Banco de dados |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId} |
| Tabela |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId} |
Looker
| Recurso |
Formatar |
| Instância |
looker:{instanceId} |
| Painel |
looker:dashboard:{instanceId}.{folderId}.{dashboardId} |
| Explorar |
looker:explore:{instanceId}.{folderId}.{exploreId} |
| Look |
looker:look:{instanceId}.{folderId}.{lookId} |
Pub/Sub
| Recurso |
Formatar |
| Tópico |
pubsub:topic:{projectId}.{topicId} |
| Assinatura |
pubsub:subscription:{projectId}.{subscriptionId} |
Spanner
| Recurso |
Formatar |
| Instância |
spanner:{projectId}.{instanceConfigId}.{instanceId} |
| Banco de dados |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId} |
| Tabela |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId} |
| Ver |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId} |
Vertex AI
| Recurso |
Formatar |
| Modelo |
vertex_ai:model:{projectId}.{locationId}.{modelId}.{version} |
| Conjunto de dados |
vertex_ai:dataset:{projectId}.{locationId}.{datasetId} |
| FeatureGroup |
vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId} |
| FeatureOnlineStore |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId} |
| FeatureView |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId} |
Formatos predefinidos para recursos que não são doGoogle Cloud
As tabelas a seguir listam os formatos predefinidos para nomes totalmente qualificados que são compatíveis com recursos de terceiros.
Apache Cassandra
| Recurso |
Formatar |
| Cluster |
cassandra:{dns} |
| Keyspace |
cassandra:{dns}.{keyspaceId} |
| Tabela |
cassandra:{dns}.{keyspaceId}.{tableId} |
Apache Hive
| Recurso |
Formatar |
| Instância |
hive_metastore:{dns} |
| Banco de dados |
hive_metastore:{dns}.{database} |
| Tabela |
hive_metastore:{dns}.{database}.{table} |
Apache Kafka
| Recurso |
Formatar |
| Cluster |
kafka:{dns} |
| Tópico |
kafka:{dns}.{topicId} |
AWS Athena
| Recurso |
Formatar |
| Catálogo |
athena:{catalogId}.{region} |
| Banco de dados |
athena:{catalogId}.{region}.{databaseId} |
| Tabela |
athena:{catalogId}.{region}.{databaseId}.{tableId} |
AWS Redshift
| Recurso |
Formatar |
| Instância |
redshift:{clusterId}.{region}.{port} |
| Banco de dados |
redshift:{clusterId}.{region}.{port}.{databaseId} |
| Schema |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId} |
| Tabela |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId} |
AWS S3
| Recurso |
Formatar |
| Bucket |
s3:{bucket} |
| Caminho |
s3:{bucket}.{virtualPath} |
AWS Glue
| Recurso |
Formatar |
| Tabela |
aws_glue:table:{region}.{accountId}.{dbName}.{tableName} |
Armazenamento de blobs do Azure
| Recurso |
Formatar |
| Conta |
abs:{account} |
| Contêiner |
abs:{account}.{container} |
| Caminho |
abs:{account}.{container}.{virtualPath} |
Azure Cosmos DB
| Recurso |
Formatar |
| Conta |
cosmos-db:{accountName} |
| Banco de dados |
cosmos-db:{accountName}.{databaseId} |
| Contêiner |
cosmos-db:{accountName}.{databaseId}.{containerId} |
Azure Data Explorer
| Recurso |
Formatar |
| Cluster |
kusto:{clusterName}.{region} |
| Banco de dados |
kusto:{clusterName}.{region}.{databaseId} |
| Tabela |
kusto:{clusterName}.{region}.{databaseId}.{tableId} |
Databricks
| Recurso |
Formatar |
| Metastore |
databricks:{metastoreId} |
| Catálogo |
databricks:{metastoreId}.{catalogId} |
| Esquema |
databricks:{metastoreId}.{catalogId}.{schemaId} |
| Tabela |
databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId} |
| Ver |
databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId} |
| Rotina |
databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId} |
| Volume |
databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId} |
| Modelo |
databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId} |
Sistema de arquivos do Databricks
| Recurso |
Formatar |
| Instância |
dbfs:{workspace} |
| Caminho |
dbfs:{workspace}.{path} |
Sistema de arquivos genérico
| Recurso |
Formatar |
| Instância |
filesystem:{dns} |
| Caminho |
filesystem:{dns}.{path} |
Sistema de arquivos distribuídos do Hadoop
| Recurso |
Formatar |
| Instância |
hdfs:{dns} |
| Caminho |
hdfs:{dns}.{path} |
IBM DB2
| Recurso |
Formatar |
| Instância |
db2:{dns} |
| Banco de dados |
db2:{dns}.{databaseId} |
| Schema |
db2:{dns}.{databaseId}.{schemaId} |
| Tabela |
db2:{dns}.{databaseId}.{schemaId}.{tableId} |
| Recurso |
Formatar |
| Instância |
informix:{dns} |
| Banco de dados |
informix:{dns}.{databaseId} |
| Schema |
informix:{dns}.{databaseId}.{schemaId} |
| Tabela |
informix:{dns}.{databaseId}.{schemaId}.{tableId} |
Microsoft SQL Server
| Recurso |
Formatar |
| Instância |
sqlserver:{dns} |
| Banco de dados |
sqlserver:{dns}.{databaseId} |
| Schema |
sqlserver:{dns}.{databaseId}.{schemaId} |
| Tabela |
sqlserver:{dns}.{databaseId}.{schemaId}.{tableId} |
MySQL
| Recurso |
Formatar |
| Instância |
mysql:{dns} |
| Esquema |
mysql:{dns}.{schemaId} |
| Tabela |
mysql:{dns}.{schemaId}.{tableId} |
Oracle Database
| Recurso |
Formatar |
| Instância |
oracle:{dns} |
| Banco de dados |
oracle:{dns}.{databaseId} |
| Schema |
oracle:{dns}.{databaseId}.{schemaId} |
| Tabela |
oracle:{dns}.{databaseId}.{schemaId}.{tableId} |
PostgreSQL
| Recurso |
Formatar |
| Instância |
postgresql:{dns} |
| Banco de dados |
postgresql:{dns}.{databaseId} |
| Schema |
postgresql:{dns}.{databaseId}.{schemaId} |
| Tabela |
postgresql:{dns}.{databaseId}.{schemaId}.{tableId} |
Salesforce
| Recurso |
Formatar |
| SObject |
salesforce:{environment}.{orgId}.{sobject} |
Snowflake
| Recurso |
Formatar |
| Conta |
snowflake:{accountName} |
| Banco de dados |
snowflake:{accountName}.{databaseId} |
| Schema |
snowflake:{accountName}.{databaseId}.{schemaId} |
| Tabela |
snowflake:{accountName}.{databaseId}.{schemaId}.{tableId} |
Tableau
| Recurso |
Formatar |
| Servidor |
tableau:{dns} |
| Site |
tableau:{dns}.{site} |
| Projeto |
tableau:project:{dns}.{site}.{projectId} |
| Fonte de dados |
tableau:datasource:{dns}.{site}.{projectId}.{datasourceId} |
| Apostila |
tableau:workbook:{dns}.{site}.{projectId}.{workbookId} |
| Página |
tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId} |
| Painel |
tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId} |
Trino
| Recurso |
Formatar |
| Instância |
trino:{dns} |
| Catálogo |
trino:{dns}.{catalogId} |
| Esquema |
trino:{dns}.{catalogId}.{schemaId} |
| Tabela |
trino:{dns}.{catalogId}.{schemaId}.{tableId} |
Formatos personalizados
É possível criar um formato de nome totalmente qualificado personalizado usando o prefixo custom:. Os formatos personalizados não são validados e podem não ser compatíveis com os recursos do Knowledge Catalog. Para facilitar a migração futura, crie formatos personalizados semelhantes aos predefinidos.
Os recursos referenciados em mensagens do OpenLineage com o namespace custom são interpretados como nomes totalmente qualificados personalizados.
