Noms complets

Les noms complets sont des identifiants de ressources uniques et sensibles à la casse que vous pouvez utiliser avec Dataplex Universal Catalog pour faire référence à des ressources Google Cloudet nonGoogle Cloud .

Par exemple, les noms complets sont utilisés pour les systèmes qui sont compatibles avec l'ingestion automatique des métadonnées à partir de Google Cloud. Si vous cataloguez vos ressources nonGoogle Cloud dans Dataplex Universal Catalog, vous pouvez fournir des noms complets lorsque vous créez les entrées personnalisées qui représentent ces ressources tierces.

Les noms complets sont composés d'un préfixe suivi de segments délimités par des points. La longueur ne doit pas dépasser 4 000 caractères. Entourez les segments contenant des caractères réservés, tels que des deux-points, des points et des espaces blancs, avec des accents graves. Utilisez des doubles apostrophes inversées pour spécifier une apostrophe inversée dans un segment.

Formats prédéfinis pour les ressources Google Cloud

Les tableaux suivants regroupent les formats prédéfinis pour les noms complets compatibles avec les ressources Google Cloud .

BigQuery

Ressource	Format
Ensemble de données	`bigquery:{projectId}.{datasetId}`
Tableau	`bigquery:{projectId}.{datasetId}.{tableId}`
Voir	`bigquery:{projectId}.{datasetId}.{viewId}`
Modèle	`bigquery:{projectId}.{datasetId}.{modelId}`
Table partitionnée	`bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}`
Routine	`bigquery:routine:{projectId}.{datasetId}.{routineId}`
Connexion	`bigquery:connection:{projectId}.{location}.{connectionId}`

BigQuery Sharing (anciennement Analytics Hub)

Ressource	Format
Échange	`analytics_hub:{projectId}.{location}.{exchangeId}`
Fiche	`analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}`

Bigtable

Ressource	Format
Instance	`bigtable:{projectId}.{instanceId}`
Tableau	`bigtable:{projectId}.{instanceId}.{tableId}`

Cloud SQL pour MySQL

Ressource	Format
Instance	`cloudsql_mysql:{projectId}.{location}.{instanceId}`
Schéma	`cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}`
Tableau	`cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}`

Cloud SQL pour PostgreSQL

Ressource	Format
Instance	`cloudsql_postgresql:{projectId}.{location}.{instanceId}`
Base de données	`cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}`
Schéma	`cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}`
Tableau	`cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}`

Cloud Storage

Ressource	Format
Bucket	`gcs:{bucketName}`
Chemin d'accès	`gcs:{bucketName}.{virtualPath}`

Dataplex Universal Catalog

Ressource	Format
Lac	`dataplex:{projectId}.{location}.{lakeId}`
Zone	`dataplex:{projectId}.{location}.{lakeId}.{zoneId}`
Tableau	`dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}`
Ensemble de fichiers	`dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}`

Dataproc Metastore

Ressource	Format
Service	`dataproc_metastore:{projectId}.{location}.{instanceId}`
Base de données	`dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}`
Tableau	`dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}`

Looker

Ressource	Format
Instance	`looker:{instanceId}`
Tableau de bord	`looker:dashboard:{instanceId}.{folderId}.{dashboardId}`
Explorer	`looker:explore:{instanceId}.{folderId}.{exploreId}`
Regarder	`looker:look:{instanceId}.{folderId}.{lookId}`

Pub/Sub

Ressource	Format
Sujet	`pubsub:topic:{projectId}.{topicId}`
Abonnement	`pubsub:subscription:{projectId}.{subscriptionId}`

Spanner

Ressource	Format
Instance	`spanner:{projectId}.{instanceConfigId}.{instanceId}`
Base de données	`spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}`
Tableau	`spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}`
Voir	`spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}`

Vertex AI

Ressource	Format
Modèle	`vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}`
Ensemble de données	`vertex_ai:dataset:{projectId}.{locationId}.{datasetId}`
FeatureGroup	`vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}`
FeatureOnlineStore	`vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}`
FeatureView	`vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}`

Formats prédéfinis pour les ressources nonGoogle Cloud

Les tableaux suivants regroupent les formats prédéfinis pour les noms complets compatibles avec les ressources tierces.

Apache Cassandra

Ressource	Format
Cluster	`cassandra:{dns}`
Espace de clés	`cassandra:{dns}.{keyspaceId}`
Tableau	`cassandra:{dns}.{keyspaceId}.{tableId}`

Apache Hive

Ressource	Format
Instance	`hive_metastore:{dns}`
Base de données	`hive_metastore:{dns}.{database}`
Tableau	`hive_metastore:{dns}.{database}.{table}`

Apache Kafka

Ressource	Format
Cluster	`kafka:{dns}`
Sujet	`kafka:{dns}.{topicId}`

AWS Athena

Ressource	Format
Catalogue	`athena:{catalogId}.{region}`
Base de données	`athena:{catalogId}.{region}.{databaseId}`
Tableau	`athena:{catalogId}.{region}.{databaseId}.{tableId}`

AWS Redshift

Ressource	Format
Instance	`redshift:{clusterId}.{region}.{port}`
Base de données	`redshift:{clusterId}.{region}.{port}.{databaseId}`
Schéma	`redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}`
Tableau	`redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}`

AWS S3

Ressource	Format
Bucket	`s3:{bucket}`
Chemin d'accès	`s3:{bucket}.{virtualPath}`

AWS Glue

Ressource	Format
Tableau	`aws_glue:table:{region}.{accountId}.{dbName}.{tableName}`

Azure Blob Storage

Ressource	Format
Compte	`abs:{account}`
Conteneur	`abs:{account}.{container}`
Chemin d'accès	`abs:{account}.{container}.{virtualPath}`

Azure Cosmos DB

Ressource	Format
Compte	`cosmos-db:{accountName}`
Base de données	`cosmos-db:{accountName}.{databaseId}`
Conteneur	`cosmos-db:{accountName}.{databaseId}.{containerId}`

Azure Data Explorer

Ressource	Format
Cluster	`kusto:{clusterName}.{region}`
Base de données	`kusto:{clusterName}.{region}.{databaseId}`
Tableau	`kusto:{clusterName}.{region}.{databaseId}.{tableId}`

Databricks

Ressource	Format
Metastore	`databricks:{metastoreId}`
Catalogue	`databricks:{metastoreId}.{catalogId}`
Schéma	`databricks:{metastoreId}.{catalogId}.{schemaId}`
Tableau	`databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId}`
Voir	`databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId}`
Routine	`databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId}`
Volume	`databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId}`
Modèle	`databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId}`

Système de fichiers Databricks

Ressource	Format
Instance	`dbfs:{workspace}`
Chemin d'accès	`dbfs:{workspace}.{path}`

Système de fichiers générique

Ressource	Format
Instance	`filesystem:{dns}`
Chemin d'accès	`filesystem:{dns}.{path}`

Système de fichiers distribué Hadoop

Ressource	Format
Instance	`hdfs:{dns}`
Chemin d'accès	`hdfs:{dns}.{path}`

IBM DB2

Ressource	Format
Instance	`db2:{dns}`
Base de données	`db2:{dns}.{databaseId}`
Schéma	`db2:{dns}.{databaseId}.{schemaId}`
Tableau	`db2:{dns}.{databaseId}.{schemaId}.{tableId}`

IBM Informix

Ressource	Format
Instance	`informix:{dns}`
Base de données	`informix:{dns}.{databaseId}`
Schéma	`informix:{dns}.{databaseId}.{schemaId}`
Tableau	`informix:{dns}.{databaseId}.{schemaId}.{tableId}`

Microsoft SQL Server

Ressource	Format
Instance	`sqlserver:{dns}`
Base de données	`sqlserver:{dns}.{databaseId}`
Schéma	`sqlserver:{dns}.{databaseId}.{schemaId}`
Tableau	`sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}`

MySQL

Ressource	Format
Instance	`mysql:{dns}`
Schéma	`mysql:{dns}.{schemaId}`
Tableau	`mysql:{dns}.{schemaId}.{tableId}`

Base de données Oracle

Ressource	Format
Instance	`oracle:{dns}`
Base de données	`oracle:{dns}.{databaseId}`
Schéma	`oracle:{dns}.{databaseId}.{schemaId}`
Tableau	`oracle:{dns}.{databaseId}.{schemaId}.{tableId}`

PostgreSQL

Ressource	Format
Instance	`postgresql:{dns}`
Base de données	`postgresql:{dns}.{databaseId}`
Schéma	`postgresql:{dns}.{databaseId}.{schemaId}`
Tableau	`postgresql:{dns}.{databaseId}.{schemaId}.{tableId}`

Salesforce

Ressource	Format
SObject	`salesforce:{environment}.{orgId}.{sobject}`

Snowflake

Ressource	Format
Compte	`snowflake:{accountName}`
Base de données	`snowflake:{accountName}.{databaseId}`
Schéma	`snowflake:{accountName}.{databaseId}.{schemaId}`
Tableau	`snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}`

Tableau

Ressource	Format
Serveur	`tableau:{dns}`
Site	`tableau:{dns}.{site}`
Projet	`tableau:project:{dns}.{site}.{projectId}`
Source de données	`tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}`
Livret d'exercices	`tableau:workbook:{dns}.{site}.{projectId}.{workbookId}`
Feuille	`tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}`
Tableau de bord	`tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}`

Trino

Ressource	Format
Instance	`trino:{dns}`
Catalogue	`trino:{dns}.{catalogId}`
Schéma	`trino:{dns}.{catalogId}.{schemaId}`
Tableau	`trino:{dns}.{catalogId}.{schemaId}.{tableId}`

Formats personnalisés

Vous pouvez créer un format de nom complet personnalisé à l'aide du préfixe custom:. Les formats personnalisés ne sont pas validés et peuvent ne pas être compatibles avec les fonctionnalités de Dataplex Universal Catalog. Pour faciliter la migration future, créez des formats personnalisés semblables aux formats prédéfinis.

Les ressources référencées dans les messages OpenLineage avec l'espace de noms custom sont interprétées comme des noms complets personnalisés.