במאמר הזה מוסבר איך להריץ עומסי עבודה באצווה של Managed Service for Apache Spark SQL ו-PySpark כדי ליצור טבלת Apache Iceberg עם מטא-נתונים שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse. במאמרים הרצת קוד PySpark ב-notebook של BigQuery והרצת עומס עבודה של Apache Spark מוסבר איך להריץ קוד Spark בדרכים אחרות.
לפני שמתחילים
אם עדיין לא עשיתם את זה, יוצרים פרויקט ב- Google Cloud וקטגוריה ב-Cloud Storage.
הגדרת הפרויקט
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
Enable the Dataproc, BigQuery, and Cloud Storage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
Enable the Dataproc, BigQuery, and Cloud Storage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
יוצרים קטגוריה של Cloud Storage בפרויקט.
- במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage.
- לוחצים על Create.
- ממלאים את פרטי הקטגוריה בדף Create a bucket. כדי לעבור לשלב הבא לוחצים על Continue.
-
בקטע Get started, מבצעים את הפעולות הבאות:
- מזינים שם ייחודי גלובלי שעומד בדרישות למתן שמות של קטגוריות.
- כדי להוסיף תווית לקטגוריה, מרחיבים את הקטע Labels (), לוחצים על add_box Add label ומציינים
keyו-valueבשביל התווית.
-
בקטע Choose where to store your data, מבצעים את הפעולות הבאות:
- בוחרים Location type.
- בתפריט הנפתח Location type, בוחרים את המיקום שבו נתוני הקטגוריה יאוחסנו באופן קבוע.
- אם בוחרים בסוג המיקום בשני אזורים, אפשר גם להפעיל את רפליקציה בקצב טורבו באמצעות תיבת הסימון הרלוונטית.
- כדי להגדיר רפליקציה בין קטגוריות, בוחרים באפשרות Add cross-bucket replication via Storage Transfer Service ופועלים לפי השלבים הבאים:
הגדרת רפליקציה בין קטגוריות
- בתפריט Bucket, בוחרים קטגוריה.
בקטע Replication settings, לוחצים על Configure כדי לקבוע את ההגדרות של משימת הרפליקציה.
מופיעה החלונית Configure cross-bucket replication.
- כדי לסנן אובייקטים לשכפול לפי קידומת של שם האובייקט, מזינים את הקידומת שרוצים לכלול או להחריג אובייקטים ממנה, ואז לוחצים על Add a prefix.
- כדי להגדיר סוג אחסון לאובייקטים שנוצרו ברפליקציה, בוחרים סוג אחסון בתפריט Storage class. אם מדלגים על השלב הזה, האובייקטים המשוכפלים ישתמשו כברירת מחדל בסוג האחסון של קטגוריית היעד.
- לוחצים על סיום.
-
בקטע Choose how to store your data, מבצעים את הפעולות הבאות:
- בוחרים סוג אחסון (storage class) שמוגדר כברירת מחדל לקטגוריה, או בוחרים ב-Autoclass לניהול אוטומטי של סוג האחסון של נתוני הקטגוריה.
- כדי להפעיל מרחב שמות היררכי, בקטע Optimize storage for data-intensive workloads בוחרים באפשרות Enable hierarchical namespace on this bucket.
- בקטע Choose how to control access to objects, בוחרים אם הקטגוריה אוכפת public access prevention או לא, ואז בוחרים access control method לאובייקטים של הקטגוריה.
-
בקטע Choose how to protect object data, מבצעים את הפעולות הבאות:
- בוחרים את האפשרויות שרוצים להגדיר לקטגוריה בקטע הגנה על נתונים.
- כדי להפעיל את האפשרות מחיקה זמנית, לוחצים על תיבת הסימון Soft delete policy (For data recovery) ומציינים את מספר הימים שבהם רוצים לשמור את האובייקטים אחרי המחיקה.
- כדי להגדיר ניהול גרסאות של אובייקטים, לוחצים על תיבת הסימון ניהול גרסאות של אובייקטים (לניהול גרסאות) ומציינים את המספר המקסימלי של גרסאות לכל אובייקט ואת מספר הימים שאחריהם פג התוקף של הגרסאות הלא עדכניות.
- כדי להפעיל את מדיניות שמירת הנתונים על אובייקטים וקטגוריות, לוחצים על תיבת הסימון Retention (For compliance) ואז מבצעים את הפעולות הבאות:
- כדי להפעיל את נעילת שמירת האובייקטים, לוחצים על תיבת הסימון Enable object retention.
- כדי להפעיל את Bucket Lock, לוחצים על תיבת הסימון Set bucket retention policy ובוחרים יחידת זמן ואת משך הזמן של תקופת השמירה.
- כדי לבחור איך להצפין את נתוני האובייקטים, מרחיבים את הקטע Data encryption () ובוחרים שיטה ל-Data encryption.
- בוחרים את האפשרויות שרוצים להגדיר לקטגוריה בקטע הגנה על נתונים.
-
בקטע Get started, מבצעים את הפעולות הבאות:
- לוחצים על יצירה.
מקצים את התפקיד BigQuery Data Editor (
roles/bigquery.dataEditor) לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com. איך מקצים תפקיד יחידדוגמה ל-Google Cloud CLI:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --role roles/bigquery.dataEditor
הערות:
- PROJECT_ID ו-PROJECT_NUMBER מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .
מיפוי משאבי OSS למשאבי BigQuery
שימו לב למיפוי הבא בין מונחי המשאבים בקוד פתוח לבין מונחי המשאבים ב-BigQuery:
| משאב OSS | משאב BigQuery |
|---|---|
| מרחב שמות, מסד נתונים | קבוצת הנתונים |
| טבלה מחולקת למחיצות או לא מחולקת למחיצות | טבלה |
| הצגה | הצגה |
יצירת טבלת Iceberg
בקטע הזה מוסבר איך ליצור טבלת Iceberg עם מטא-נתונים בקטלוג ייעודי לזמן ריצה של Lakehouse, באמצעות עומסי עבודה באצווה של Spark SQL ו-PySpark ב-Managed Service for Apache Spark.
Spark SQL
הרצת עומס עבודה של Spark SQL כדי ליצור טבלת Iceberg
בשלבים הבאים מוסבר איך להריץ עומס עבודה באצווה של Managed Service for Apache Spark SQL כדי ליצור טבלת Iceberg עם מטא-נתונים של טבלה שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse.
מעתיקים את הפקודות הבאות של Spark SQL באופן מקומי או ב-Cloud Shell לקובץ
iceberg-table.sql.USE CATALOG_NAME; CREATE NAMESPACE IF NOT EXISTS example_namespace; USE example_namespace; DROP TABLE IF EXISTS example_table; CREATE TABLE example_table (id int, data string) USING ICEBERG LOCATION 'gs://BUCKET/WAREHOUSE_FOLDER'; INSERT INTO example_table VALUES (1, 'first row'); ALTER TABLE example_table ADD COLUMNS (newDoubleCol double); DESCRIBE TABLE example_table;
מחליפים את מה שכתוב בשדות הבאים:
- CATALOG_NAME: שם הקטלוג של Iceberg.
- BUCKET ו-WAREHOUSE_FOLDER: קטגוריה ותיקייה של Cloud Storage שמשמשות כספריית מחסן נתונים של Iceberg.
מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell מהספרייה שמכילה את
iceberg-table.sqlכדי לשלוח את עומס העבודה של Spark SQL.gcloud dataproc batches submit spark-sql iceberg-table.sql \ --project=PROJECT_ID \ --region=REGION \ --deps-bucket=BUCKET_NAME \ --version=2.2 \ --subnet=SUBNET_NAME \ --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"
הערות:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .
- REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
- BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage. לפני הרצת עומס העבודה באצווה, Spark מעלה את יחסי התלות של עומס העבודה לתיקייה
/dependenciesבקטגוריה הזו. הקובץ WAREHOUSE_FOLDER נמצא בקטגוריה הזו. -
--version: גרסה 2.2 ומעלה של סביבת זמן הריצה של Managed Service for Apache Spark. - SUBNET_NAME: השם של רשת המשנה של VPC ב-
REGION. אם לא מציינים את הדגל הזה, Managed Service for Apache Spark בוחר את רשת המשנהdefaultבאזור הסשן. Managed Service for Apache Spark מפעיל גישה פרטית ל-Google (PGA) ברשת המשנה. למידע על הדרישות לקישוריות לרשת, קראו את המאמר הגדרת הרשת של Managed Service for Apache Spark. - LOCATION: מיקום נתמך ב-BigQuery. מיקום ברירת המחדל הוא "US".
--propertiesנכסים מסוג קטלוג.
הצגת המטא-נתונים של הטבלה ב-BigQuery
נכנסים לדף BigQuery במסוף Google Cloud .
לצפות במטא-נתונים של טבלת Iceberg.
PySpark
בשלבים הבאים מוסבר איך להריץ עומס עבודה באצווה של Managed Service for Apache Spark PySpark כדי ליצור טבלת Iceberg עם מטא-נתונים של טבלה שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse.
- מעתיקים את קוד ה-PySpark הבא באופן מקומי או ב-Cloud Shell לקובץ
iceberg-table.py.from pyspark.sql import SparkSession spark = SparkSession.builder.appName("iceberg-table-example").getOrCreate() catalog = "CATALOG_NAME" namespace = "NAMESPACE" spark.sql(f"USE `{catalog}`;") spark.sql(f"CREATE NAMESPACE IF NOT EXISTS `{namespace}`;") spark.sql(f"USE `{namespace}`;") # Create table and display schema spark.sql("DROP TABLE IF EXISTS example_iceberg_table") spark.sql("CREATE TABLE example_iceberg_table (id int, data string) USING ICEBERG") spark.sql("DESCRIBE example_iceberg_table;") # Insert table data. spark.sql("INSERT INTO example_iceberg_table VALUES (1, 'first row');") # Alter table, then display schema. spark.sql("ALTER TABLE example_iceberg_table ADD COLUMNS (newDoubleCol double);") spark.sql("DESCRIBE example_iceberg_table;")
מחליפים את מה שכתוב בשדות הבאים:
- CATALOG_NAME ו-NAMESPACE: השילוב של שם הקטלוג ומרחב השמות של Iceberg מזהה את הטבלה של Iceberg (
catalog.namespace.table_name).
- CATALOG_NAME ו-NAMESPACE: השילוב של שם הקטלוג ומרחב השמות של Iceberg מזהה את הטבלה של Iceberg (
-
מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell מהספרייה שמכילה את
iceberg-table.pyכדי לשלוח את עומס העבודה של PySpark.gcloud dataproc batches submit pyspark iceberg-table.py \ --project=PROJECT_ID \ --region=REGION \ --deps-bucket=BUCKET_NAME \ --version=2.2 \ --subnet=SUBNET_NAME \ --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"הערות:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .
- REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
- BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage. לפני הרצת עומס העבודה באצווה, Spark מעלה את יחסי התלות של עומס העבודה לתיקייה
/dependenciesבקטגוריה הזו. -
--version: גרסה 2.2 ומעלה של סביבת זמן הריצה של Managed Service for Apache Spark. - SUBNET_NAME: השם של תת-רשת VPC ב-
REGION. אם לא מציינים את הדגל הזה, Managed Service for Apache Spark בוחר את רשת המשנהdefaultבאזור של הסשן. Managed Service for Apache Spark מפעיל את גישה פרטית ל-Google (PGA) ברשת המשנה. לדרישות הקישוריות לרשת, ראו הגדרת הרשת של Managed Service for Apache Spark. - LOCATION: מיקום נתמך ב-BigQuery. מיקום ברירת המחדל הוא "US".
- BUCKET ו-WAREHOUSE_FOLDER: קטגוריה ותיקייה של Cloud Storage שמשמשות כספריית המחסן של Iceberg.
--properties: מאפייני קטלוג.
- הצגת סכימת הטבלה ב-BigQuery.
- נכנסים לדף BigQuery במסוף Google Cloud . כניסה ל-BigQuery Studio
- לצפות במטא-נתונים של טבלת Iceberg.