Borderless Lakehouse תומך בניהול משאבים באמצעות הקטלוג הייעודי לזמן ריצה של Lakehouse.
הקטלוג המשותף הזה מייתר את הצורך לתחזק כמה קטלוגים של עומסי עבודה בקוד פתוח במנועים שונים לעיבוד נתונים. הפעולות הנתמכות כוללות יצירה, הצגה, שינוי ומחיקה של משאבים כמו מרחבי שמות וטבלאות.
לפני שמתחילים
-
מפעילים את ממשקי ה-API של BigQuery, BigQuery Storage ו-Managed Service for Apache Spark, אם הם עדיין לא מופעלים.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לניהול משאבי Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט:
- עריכה של נתוני BigQuery (
roles/bigquery.dataEditor) - משתמש באובייקטים באחסון (
roles/storage.objectUser)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת משאבים בקטלוג
בקטעים הבאים מוסבר איך ליצור משאבים בקטלוג הייעודי לזמן ריצה של Lakehouse.
יצירת מרחבי שמות
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים בשיטה datasets.insert ומציינים את השדה ExternalCatalogDatasetOptions במשאב של מערך הנתונים שמעבירים.
{
"datasetReference": {
"projectId": "PROJECT_ID",
"datasetId": "DATASET_ID"
},
"externalCatalogDatasetOptions": {
"defaultStorageLocationUri": "URI",
"parameters": {
...
}
},
"location": "LOCATION"
}מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שמכיל את מערך נתוני היעד. -
DATASET_ID: המזהה של מערך הנתונים המטורגט. -
URI: ה-URI של Cloud Storage לכל הטבלאות במערך הנתונים. -
LOCATION: המיקום ב-BigQuery שבו רוצים ליצור את מערך הנתונים.
Apache Spark SQL
CREATE NAMESPACE SPARK_CATALOG.NAMESPACE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות החדש.
Terraform
provider "google" { project = "PROJECT_ID" } resource "google_bigquery_dataset" "default" { dataset_id = "DATASET_ID" location = "LOCATION" external_catalog_dataset_options { default_storage_location_uri = "URI" parameters = { ... } } }
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שמכיל את מערך נתוני היעד. -
DATASET_ID: המזהה של מערך הנתונים לטירגוט. -
LOCATION: המיקום ב-BigQuery שבו רוצים ליצור את מערך הנתונים. -
URI: ה-URI של Cloud Storage לכל הטבלאות במערך הנתונים.
יצירת טבלאות Apache Iceberg
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים בשיטה tables.insert ומציינים את השדה ExternalCatalogTableOptions במשאב הטבלה שמעבירים.
{ "tableReference": { "projectId": "PROJECT_ID", "datasetId": "DATASET_ID", "tableId": "TABLE_ID" }, "externalCatalogTableOptions": { "parameters": { "table_type": "iceberg", "metadata_location": "METADATA_URI" }, "connection_id": "CONNECTION_ID" } }
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שמכיל את טבלת היעד. -
DATASET_ID: מזהה מערך הנתונים שמכיל את טבלת היעד. -
TABLE_ID: המזהה של טבלת היעד. -
METADATA_URI: ה-URI של Cloud Storage לקובץ המטא-נתונים האחרון של Apache Iceberg. לדוגמה:gs://mybucket/mytable/metadata/1234.metadata.json. -
CONNECTION_ID: המזהה של החיבור ל-Cloud Storage.
Apache Spark SQL
CREATE TABLE SPARK_CATALOG.NAMESPACE.TABLE (id bigint, data string) USING iceberg;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות. -
TABLE: השם של הטבלה החדשה.
Terraform
resource "google_bigquery_table" "default" { deletion_protection = false dataset_id = google_bigquery_dataset.default.dataset_id table_id = "TABLE" external_catalog_table_options { storage_descriptor { location_uri = "STORAGE_URI" input_format = "org.apache.hadoop.mapred.FileInputFormat" output_format = "org.apache.hadoop.mapred.FileOutputFormat" } parameters = { "table_type" = "iceberg" "metadata_location" = "METADATA_URI" "write.parquet.compression-codec" : "zstd" "EXTERNAL" : "TRUE" } } }
מחליפים את מה שכתוב בשדות הבאים:
-
TABLE: השם של טבלת היעד. -
STORAGE_URI: ה-URI של Cloud Storage שבו מאוחסנים נתוני הטבלה, שמתחיל ב-gs://. -
METADATA_URI: ה-URI של Cloud Storage לקובץ המטא-נתונים האחרון של Apache Iceberg. לדוגמה:gs://mybucket/mytable/metadata/1234.metadata.json.
לעיון במשאבים של הקטלוג
בקטעים הבאים מוסבר איך להציג משאבים בקטלוג הייעודי לזמן ריצה של Lakehouse.
הצגת מרחבי השמות
בוחרים באחת מהאפשרויות הבאות:
API
כדי לראות את כל מרחבי השמות, משתמשים בשיטה datasets.list. כדי לראות מידע על מרחב שמות מוגדר, משתמשים בשיטה datasets.get.
Apache Spark SQL
כדי להציג את כל מרחבי השמות בקטלוג, משתמשים בהצהרה הבאה:
SHOW { DATABASES | NAMESPACES } IN SPARK_CATALOG;
מחליפים את SPARK_CATALOG בשם של קטלוג Apache Spark.
כדי להציג מידע על מרחב שמות מוגדר, משתמשים בהצהרה הבאה:
DESCRIBE { DATABASE | NAMESPACE } [EXTENDED] SPARK_CATALOG.NAMESPACE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות.
הצגת טבלאות
בוחרים באחת מהאפשרויות הבאות:
API
כדי לראות את כל הטבלאות במרחב שמות, משתמשים ב-method tables.list. כדי לראות מידע על טבלה מוגדרת, משתמשים ב-method tables.get.
Apache Spark SQL
כדי לראות את כל הטבלאות במרחב שמות, משתמשים בהצהרה הבאה:
SHOW TABLES IN SPARK_CATALOG.NAMESPACE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות.
כדי להציג מידע על טבלה מוגדרת, משתמשים בהצהרה הבאה:
DESCRIBE TABLE [EXTENDED] SPARK_CATALOG.NAMESPACE.TABLE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות. -
TABLE: שם הטבלה.
שינוי משאבים בקטלוג
בקטעים הבאים מוסבר איך לשנות משאבים בקטלוג הייעודי לזמן ריצה של Lakehouse.
עדכון מרחבי שמות
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים בשיטה datasets.patch ומעדכנים את השדה ExternalCatalogDatasetOptions במשאב של מערך הנתונים. לא מומלץ להשתמש ב-datasets.update כי הוא מחליף את כל המשאב של מערך הנתונים.
Apache Spark SQL
משתמשים בהצהרה ALTER DATABASE.
עדכון טבלאות Apache Iceberg
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים בשיטה tables.patch ומעדכנים את השדה ExternalCatalogTableOptions במשאב הטבלה. לא מומלץ להשתמש ב-tables.update כי הוא מחליף את כל משאב הטבלה.
כדי לעדכן את הסכימה או את קובץ המטא-נתונים, משתמשים ב-method tables.patch ומגדירים את המאפיין autodetect_schema כ-true:
PATCH https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID?autodetect_schema=true
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שמכיל את הטבלה שרוצים לעדכן. -
DATASET_ID: המזהה של מערך הנתונים שמכיל את הטבלה שרוצים לעדכן. -
TABLE_ID: המזהה של הטבלה שרוצים לעדכן.
בגוף הבקשה, מציינים את הערך המעודכן של כל שדה. לדוגמה, כדי לעדכן את מיקום המטא-נתונים של טבלת Apache Iceberg, מציינים את הערך המעודכן בשדה metadata_location:
{
"externalCatalogTableOptions": {
"parameters": {"metadata_location": "METADATA_URI"}
},
"schema": null
}'מחליפים את METADATA_URI ב-URI של Cloud Storage של קובץ המטא-נתונים האחרון של Apache Iceberg. לדוגמה: gs://mybucket/mytable/metadata/1234.metadata.json.
Apache Spark SQL
משתמשים בהצהרה ALTER TABLE.
מחיקת משאבים בקטלוג
בקטעים הבאים מוסבר איך למחוק משאבים בקטלוג הייעודי לזמן ריצה של Lakehouse.
מחיקת מרחבי שמות
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים בשיטה datasets.delete.
מגדירים את הפרמטר deleteContents כ-true כדי למחוק את הטבלאות במרחב השמות.
Apache Spark SQL
DROP NAMESPACE SPARK_CATALOG.NAMESPACE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות.
מחיקת טבלאות
בוחרים באחת מהאפשרויות הבאות:
API
משתמשים ב-method tables.delete ומציינים את שם הטבלה. השיטה הזו לא מוחקת את הקבצים המשויכים ב-Cloud Storage.
Apache Spark SQL
כדי למחוק רק את הטבלה, משתמשים בהצהרה הבאה:
DROP TABLE SPARK_CATALOG.NAMESPACE.TABLE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות. -
TABLE: שם הטבלה שרוצים למחוק.
כדי להסיר את הטבלה ולמחוק את הקבצים המשויכים ב-Cloud Storage, משתמשים בהצהרה הבאה:
DROP TABLE SPARK_CATALOG.NAMESPACE.TABLE PURGE;
מחליפים את מה שכתוב בשדות הבאים:
-
SPARK_CATALOG: השם של קטלוג Apache Spark. -
NAMESPACE: השם של מרחב השמות. -
TABLE: שם הטבלה שרוצים למחוק.