ב-BigQuery אתם יכולים ליצור ולנהל טבלאות רגילות (מובְנות), טבלאות Apache Iceberg שמנוהלות ב-BigQuery וטבלאות Apache Iceberg חיצוניות. אחרי שהטבלאות נרשמות, אתם יכולים להגדיר סשן של Apache Spark עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לגשת לטבלאות האלה ולשלוח אליהן שאילתות ישירות מעומסי העבודה של Managed Service for Apache Spark.
לפני שמתחילים
- מפעילים את החיוב בפרויקט Google Cloud . כך בודקים אם החיוב מופעל בפרויקט
מפעילים את BigQuery API ואת Dataproc API.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לשימוש ב-Managed Service for Apache Spark עם קטלוג ייעודי לזמן ריצה של Lakehouse כמאגר מטא-נתונים, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
יצירת טבלאות בקטלוג ייעודי לזמן ריצה של Lakehouse ב-Apache Spark:
- Dataproc Worker (
roles/dataproc.worker) בחשבון השירות Managed Service for Apache Spark בפרויקט - עריכת נתונים ב-BigQuery (
roles/bigquery.dataEditor) בחשבון השירות של Managed Service for Apache Spark בפרויקט - משתמש באובייקטים באחסון (
roles/storage.objectUser) בחשבון השירות של Managed Service for Apache Spark בפרויקט
- Dataproc Worker (
-
שליחת שאילתות לטבלאות של קטלוג ייעודי לזמן ריצה של Lakehouse ב-BigQuery:
- BigQuery Data Viewer (
roles/bigquery.dataViewer) בפרויקט - BigQuery User (
roles/bigquery.user) בפרויקט - צפייה באובייקטים באחסון (
roles/storage.objectViewer) בפרויקט
- BigQuery Data Viewer (
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
קישור לטבלה
יוצרים קבוצת נתונים במסוף Google Cloud .
CREATE SCHEMA `
PROJECT_ID`.DATASET_NAME;מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים ליצור את מערך הנתונים. -
DATASET_NAME: שם למערך הנתונים.
-
יוצרים קישור למשאבים ב-Cloud.
יוצרים טבלה רגילה ב-BigQuery.
CREATE TABLE `
PROJECT_ID`.DATASET_NAME.TABLE_NAME (name STRING,id INT64);מחליפים את מה שכתוב בשדות הבאים:
-
TABLE_NAME: שם לטבלה.
-
הוספת נתונים לטבלה הרגילה ב-BigQuery.
INSERT INTO `
PROJECT_ID`.DATASET_NAME.TABLE_NAME VALUES ('test_name1', 123),('test_name2', 456),('test_name3', 789);יוצרים טבלת Apache Iceberg מנוהלת ב-BigQuery.
לדוגמה, כדי ליצור טבלה, מריצים את ההצהרה הבאה ב-
CREATE.CREATE TABLE `
PROJECT_ID`.DATASET_NAME.ICEBERG_TABLE_NAME( name STRING,id INT64 ) WITH CONNECTION `CONNECTION_NAME` OPTIONS ( file_format = 'PARQUET', table_format = 'ICEBERG', storage_uri = 'STORAGE_URI');מחליפים את מה שכתוב בשדות הבאים:
-
ICEBERG_TABLE_NAME: שם לטבלת Apache Iceberg המנוהלת. לדוגמה,iceberg_managed_table. -
CONNECTION_NAME: שם החיבור. אתם יצרתם אותו בשלב הקודם. לדוגמה,myproject.us.myconnection. -
STORAGE_URI: URI מלא של Cloud Storage. לדוגמה,gs://mybucket/table.
-
מוסיפים נתונים לטבלת Apache Iceberg שמנוהלת ב-BigQuery.
INSERT INTO `
PROJECT_ID`.DATASET_NAME.ICEBERG_TABLE_NAME VALUES ('test_name1', 123),('test_name2', 456),('test_name3', 789);יוצרים טבלת Apache Iceberg חיצונית.
לדוגמה, כדי ליצור טבלת Apache Iceberg חיצונית, מריצים את הצהרת
CREATEהבאה.CREATE OR REPLACE EXTERNAL TABLE `
PROJECT_ID`.DATASET_NAME.READONLY_ICEBERG_TABLE_NAME WITH CONNECTION `CONNECTION_NAME` OPTIONS ( format = 'ICEBERG', uris = ['BUCKET_PATH'], require_partition_filter = FALSE);מחליפים את מה שכתוב בשדות הבאים:
-
READONLY_ICEBERG_TABLE_NAME: שם לטבלה לקריאה בלבד. -
BUCKET_PATH: הנתיב לקטגוריה של Cloud Storage שמכילה את הנתונים של הטבלה החיצונית, בפורמט['gs://bucket_name/[folder_name/]file_name'].
-
מ-Apache Spark, שולחים שאילתה לטבלה הרגילה, לטבלת Apache Iceberg שמנוהלת ב-BigQuery ולטבלת Apache Iceberg החיצונית.
from pyspark.sql import SparkSession # Create a spark session spark = SparkSession.builder \ .appName("Lakehouse runtime catalog Iceberg") \ .config("spark.sql.catalog.CATALOG_NAME", "org.apache.iceberg.spark.SparkCatalog") \ .config("spark.sql.catalog.CATALOG_NAME.catalog-impl", "org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog") \ .config("spark.sql.catalog.CATALOG_NAME.gcp_project", "PROJECT_ID") \ .config("spark.sql.catalog.CATALOG_NAME.gcp_location", "LOCATION") \ .config("spark.sql.catalog.CATALOG_NAME.warehouse", "WAREHOUSE_DIRECTORY") \ .getOrCreate() spark.conf.set("viewsEnabled","true") # Use the Lakehouse runtime catalog spark.sql("USE `CATALOG_NAME`;") spark.sql("USE NAMESPACE DATASET_NAME;") # Configure spark for temp results spark.sql("CREATE namespace if not exists MATERIALIZATION_NAMESPACE"); spark.conf.set("materializationDataset","MATERIALIZATION_NAMESPACE") # List the tables in the dataset df = spark.sql("SHOW TABLES;") df.show(); # Query the tables sql = """SELECT * FROM DATASET_NAME.TABLE_NAME""" df = spark.read.format("bigquery").load(sql) df.show() sql = """SELECT * FROM DATASET_NAME.ICEBERG_TABLE_NAME""" df = spark.read.format("bigquery").load(sql) df.show() sql = """SELECT * FROM DATASET_NAME.READONLY_ICEBERG_TABLE_NAME""" df = spark.read.format("bigquery").load(sql) df.show()
מחליפים את מה שכתוב בשדות הבאים:
-
WAREHOUSE_DIRECTORY: ה-URI של התיקייה ב-Cloud Storage שמקושרת לטבלת Apache Iceberg שמנוהלת ב-BigQuery ולטבלת Apache Iceberg החיצונית. -
CATALOG_NAME: שם הקטלוג שבו אתם משתמשים. -
MATERIALIZATION_NAMESPACE: מרחב השמות לאחסון תוצאות זמניות.
-
מריצים את הסקריפט של Apache Spark באמצעות Managed Service for Apache Spark.
gcloud dataproc batches submit pyspark SCRIPT_PATH \ --version=2.2 \ --project=PROJECT_ID \ --region=REGION \ --deps-bucket=YOUR_BUCKET \
מחליפים את מה שכתוב בשדות הבאים:
-
SCRIPT_PATH: הנתיב לסקריפט שבו משתמשת המשימה באצווה. -
PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים להריץ את המשימה באצווה. -
REGION: האזור שבו פועל עומס העבודה. -
YOUR_BUCKET: המיקום של הקטגוריה ב-Cloud Storage להעלאת יחסי התלות של עומס העבודה. לא צריך את הקידומתgs://של ה-URI של הקטגוריה. אפשר לציין את הנתיב או את השם של הקטגוריה, לדוגמה,mybucketname1.
-