שמות מלאים

שמות שמוגדרים במלואם הם מזהי משאבים ייחודיים גלובלית, שרגישים לאותיות רישיות וקטנות. אפשר להשתמש בהם עם Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי להתייחס למשאבי Google CloudGoogle Cloud .

לדוגמה, שמות מלאים משמשים במערכות שתומכות בהוספה אוטומטית של מטא-נתונים מ- Google Cloud. אם מקטלגים משאבים שאינם שלGoogle Cloud ב-Knowledge Catalog, אפשר לספק שמות מוגדרים במלואם כשיוצרים את הרשומות המותאמות אישית שמייצגות את המשאבים האלה של צד שלישי.

שמות שמוגדרים במלואם מורכבים מקידומת ואחריה מקטעים שמופרדים באמצעות נקודות. האורך המקסימלי הוא 4,000 תווים. אם פלחים מכילים תווים שמורים, כמו נקודתיים, נקודות, רווח לבן וכו', צריך להקיף אותם בגרשיים הפוכים. כדי לציין תו גרש בתוך קטע, צריך להשתמש בשני תווי גרש הפוכים.

פורמטים מוגדרים מראש של משאבים Google Cloud

בטבלאות הבאות מפורטים הפורמטים המוגדרים מראש של שמות מלאים שנתמכים עבור משאבי Google Cloud .

BigQuery

משאב פורמט
קבוצת הנתונים bigquery:{projectId}.{datasetId}
טבלה bigquery:{projectId}.{datasetId}.{tableId}
הצגה bigquery:{projectId}.{datasetId}.{viewId}
דגם bigquery:{projectId}.{datasetId}.{modelId}
טבלה מפוצלת למחיצות Shard bigquery:sharded:{projectId}.{datasetId}.{tablePrefix}
תרחיש bigquery:routine:{projectId}.{datasetId}.{routineId}
חיבור bigquery:connection:{projectId}.{location}.{connectionId}

BigQuery sharing (לשעבר Analytics Hub)

משאב פורמט
Exchange analytics_hub:{projectId}.{location}.{exchangeId}
רישום analytics_hub:{projectId}.{location}.{exchangeId}.{listingId}

Bigtable

משאב פורמט
Instance bigtable:{projectId}.{instanceId}
טבלה bigtable:{projectId}.{instanceId}.{tableId}

Cloud SQL ל-MySQL

משאב פורמט
Instance cloudsql_mysql:{projectId}.{location}.{instanceId}
סכימה cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}
טבלה cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId}

Cloud SQL ל-PostgreSQL

משאב פורמט
Instance cloudsql_postgresql:{projectId}.{location}.{instanceId}
מסד נתונים cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}
סכימה cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}
טבלה cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId}

Cloud Storage

משאב פורמט
קטגוריה gcs:{bucketName}
נתיב gcs:{bucketName}.{virtualPath}

Knowledge Catalog

משאב פורמט
אגם dataplex:{projectId}.{location}.{lakeId}
תחום (zone) dataplex:{projectId}.{location}.{lakeId}.{zoneId}
טבלה dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId}
FileSet dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId}

Dataproc Metastore

משאב פורמט
שירות dataproc_metastore:{projectId}.{location}.{instanceId}
מסד נתונים dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}
טבלה dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId}

Looker

משאב פורמט
Instance looker:{instanceId}
מרכז שליטה looker:dashboard:{instanceId}.{folderId}.{dashboardId}
שלב שני looker:explore:{instanceId}.{folderId}.{exploreId}
טבלת Look looker:look:{instanceId}.{folderId}.{lookId}

Pub/Sub

משאב פורמט
נושא pubsub:topic:{projectId}.{topicId}
מינוי pubsub:subscription:{projectId}.{subscriptionId}

Spanner

משאב פורמט
Instance spanner:{projectId}.{instanceConfigId}.{instanceId}
מסד נתונים spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}
טבלה spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId}
הצגה spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId}

Vertex AI

משאב פורמט
דגם vertex_ai:model:{projectId}.{locationId}.{modelId}.{version}
קבוצת הנתונים vertex_ai:dataset:{projectId}.{locationId}.{datasetId}
FeatureGroup vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId}
FeatureOnlineStore vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}
FeatureView vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId}

פורמטים מוגדרים מראש של רכיבי תוכן שאינםGoogle Cloud

בטבלאות הבאות מפורטים הפורמטים המוגדרים מראש של שמות מלאים שנתמכים במשאבים של צד שלישי.

Apache Cassandra

משאב פורמט
אשכול cassandra:{dns}
מרחב מפתחות cassandra:{dns}.{keyspaceId}
טבלה cassandra:{dns}.{keyspaceId}.{tableId}

‫Apache Hive

משאב פורמט
Instance hive_metastore:{dns}
מסד נתונים hive_metastore:{dns}.{database}
טבלה hive_metastore:{dns}.{database}.{table}

Apache Kafka

משאב פורמט
אשכול kafka:{dns}
נושא kafka:{dns}.{topicId}

AWS Athena

משאב פורמט
קטלוג athena:{catalogId}.{region}
מסד נתונים athena:{catalogId}.{region}.{databaseId}
טבלה athena:{catalogId}.{region}.{databaseId}.{tableId}

AWS Redshift

משאב פורמט
Instance redshift:{clusterId}.{region}.{port}
מסד נתונים redshift:{clusterId}.{region}.{port}.{databaseId}
סכימה redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}
טבלה redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId}

AWS S3

משאב פורמט
קטגוריה s3:{bucket}
נתיב s3:{bucket}.{virtualPath}

AWS Glue

משאב פורמט
טבלה aws_glue:table:{region}.{accountId}.{dbName}.{tableName}

Azure Blob Storage

משאב פורמט
חשבון abs:{account}
מאגר abs:{account}.{container}
נתיב abs:{account}.{container}.{virtualPath}

Azure Cosmos DB

משאב פורמט
חשבון cosmos-db:{accountName}
מסד נתונים cosmos-db:{accountName}.{databaseId}
מאגר cosmos-db:{accountName}.{databaseId}.{containerId}

Azure Data Explorer

משאב פורמט
אשכול kusto:{clusterName}.{region}
מסד נתונים kusto:{clusterName}.{region}.{databaseId}
טבלה kusto:{clusterName}.{region}.{databaseId}.{tableId}

Databricks

משאב פורמט
Metastore databricks:{metastoreId}
קטלוג databricks:{metastoreId}.{catalogId}
סכימה databricks:{metastoreId}.{catalogId}.{schemaId}
טבלה databricks:table:{metastoreId}.{catalogId}.{schemaId}.{tableId}
הצגה databricks:view:{metastoreId}.{catalogId}.{schemaId}.{viewId}
תרחיש databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId}
עוצמת הקול databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId}
דגם databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId}

Databricks File System

משאב פורמט
Instance dbfs:{workspace}
נתיב dbfs:{workspace}.{path}

מערכת קבצים גנרית

משאב פורמט
Instance filesystem:{dns}
נתיב filesystem:{dns}.{path}

Hadoop Distributed File System

משאב פורמט
Instance hdfs:{dns}
נתיב hdfs:{dns}.{path}

IBM DB2

משאב פורמט
Instance db2:{dns}
מסד נתונים db2:{dns}.{databaseId}
סכימה db2:{dns}.{databaseId}.{schemaId}
טבלה db2:{dns}.{databaseId}.{schemaId}.{tableId}

IBM Informix

משאב פורמט
Instance informix:{dns}
מסד נתונים informix:{dns}.{databaseId}
סכימה informix:{dns}.{databaseId}.{schemaId}
טבלה informix:{dns}.{databaseId}.{schemaId}.{tableId}

Microsoft SQL Server

משאב פורמט
Instance sqlserver:{dns}
מסד נתונים sqlserver:{dns}.{databaseId}
סכימה sqlserver:{dns}.{databaseId}.{schemaId}
טבלה sqlserver:{dns}.{databaseId}.{schemaId}.{tableId}

MySQL

משאב פורמט
Instance mysql:{dns}
סכימה mysql:{dns}.{schemaId}
טבלה mysql:{dns}.{schemaId}.{tableId}

Oracle Database

משאב פורמט
Instance oracle:{dns}
מסד נתונים oracle:{dns}.{databaseId}
סכימה oracle:{dns}.{databaseId}.{schemaId}
טבלה oracle:{dns}.{databaseId}.{schemaId}.{tableId}

PostgreSQL

משאב פורמט
Instance postgresql:{dns}
מסד נתונים postgresql:{dns}.{databaseId}
סכימה postgresql:{dns}.{databaseId}.{schemaId}
טבלה postgresql:{dns}.{databaseId}.{schemaId}.{tableId}

Salesforce

משאב פורמט
SObject salesforce:{environment}.{orgId}.{sobject}

פתית שלג

משאב פורמט
חשבון snowflake:{accountName}
מסד נתונים snowflake:{accountName}.{databaseId}
סכימה snowflake:{accountName}.{databaseId}.{schemaId}
טבלה snowflake:{accountName}.{databaseId}.{schemaId}.{tableId}

‫Tableau

משאב פורמט
שרת tableau:{dns}
אתר tableau:{dns}.{site}
פרויקט tableau:project:{dns}.{site}.{projectId}
מקור הנתונים tableau:datasource:{dns}.{site}.{projectId}.{datasourceId}
חוברת עבודה tableau:workbook:{dns}.{site}.{projectId}.{workbookId}
גיליון tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId}
מרכז שליטה tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId}

Trino

משאב פורמט
Instance trino:{dns}
קטלוג trino:{dns}.{catalogId}
סכימה trino:{dns}.{catalogId}.{schemaId}
טבלה trino:{dns}.{catalogId}.{schemaId}.{tableId}

עיצובים מותאמים אישית

אפשר ליצור פורמט מותאם אישית של שם שמוגדר במלואו באמצעות הקידומת custom:. פורמטים מותאמים אישית לא עוברים אימות, ויכול להיות שהם לא תואמים לתכונות של Knowledge Catalog. כדי להקל על מעבר עתידי, כדאי ליצור פורמטים בהתאמה אישית שדומים לפורמטים מוגדרים מראש.

משאבים שמפנים אליהם בהודעות OpenLineage עם מרחב השמות custom מתפרשים כשמות מותאמים אישית שמוגדרים במלואם.