שימוש בקטלוג של זמן הריצה של Lakehouse עם טבלאות ב-BigQuery

ב-BigQuery אתם יכולים ליצור ולנהל טבלאות רגילות (מובְנות), טבלאות Apache Iceberg שמנוהלות ב-BigQuery וטבלאות Apache Iceberg חיצוניות. אחרי שהטבלאות נרשמות, אתם יכולים להגדיר סשן של Apache Spark עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לגשת לטבלאות האלה ולשלוח אליהן שאילתות ישירות מעומסי העבודה של Managed Service for Apache Spark.

לפני שמתחילים

  1. מפעילים את החיוב בפרויקט Google Cloud . כך בודקים אם החיוב מופעל בפרויקט
  2. מפעילים את BigQuery API ואת Dataproc API.

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש ב-Managed Service for Apache Spark עם קטלוג ייעודי לזמן ריצה של Lakehouse כמאגר מטא-נתונים, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

קישור לטבלה

  1. יוצרים קבוצת נתונים במסוף Google Cloud .

    CREATE SCHEMA `PROJECT_ID`.DATASET_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים ליצור את מערך הנתונים.
    • ‫DATASET_NAME: שם למערך הנתונים.
  2. יוצרים קישור למשאבים ב-Cloud.

  3. יוצרים טבלה רגילה ב-BigQuery.

    CREATE TABLE `PROJECT_ID`.DATASET_NAME.TABLE_NAME (name STRING,id INT64);

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫TABLE_NAME: שם לטבלה.
  4. הוספת נתונים לטבלה הרגילה ב-BigQuery.

    INSERT INTO `PROJECT_ID`.DATASET_NAME.TABLE_NAME VALUES ('test_name1', 123),('test_name2', 456),('test_name3', 789);
  5. יוצרים טבלת Apache Iceberg מנוהלת ב-BigQuery.

    לדוגמה, כדי ליצור טבלה, מריצים את ההצהרה הבאה ב-CREATE.

    CREATE TABLE `PROJECT_ID`.DATASET_NAME.ICEBERG_TABLE_NAME(
    name STRING,id INT64
    )
    WITH CONNECTION `CONNECTION_NAME`
    OPTIONS (
    file_format = 'PARQUET',
    table_format = 'ICEBERG',
    storage_uri = 'STORAGE_URI');

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ICEBERG_TABLE_NAME: שם לטבלת Apache Iceberg המנוהלת. לדוגמה, iceberg_managed_table.
    • ‫CONNECTION_NAME: שם החיבור. אתם יצרתם אותו בשלב הקודם. לדוגמה, myproject.us.myconnection.
    • ‫STORAGE_URI: ‏URI מלא של Cloud Storage. לדוגמה, gs://mybucket/table.
  6. מוסיפים נתונים לטבלת Apache Iceberg שמנוהלת ב-BigQuery.

    INSERT INTO `PROJECT_ID`.DATASET_NAME.ICEBERG_TABLE_NAME VALUES ('test_name1', 123),('test_name2', 456),('test_name3', 789);
  7. יוצרים טבלת Apache Iceberg חיצונית.

    לדוגמה, כדי ליצור טבלת Apache Iceberg חיצונית, מריצים את הצהרת CREATE הבאה.

    CREATE OR REPLACE EXTERNAL TABLE  `PROJECT_ID`.DATASET_NAME.READONLY_ICEBERG_TABLE_NAME
    WITH CONNECTION `CONNECTION_NAME`
    OPTIONS (
      format = 'ICEBERG',
      uris =
        ['BUCKET_PATH'],
      require_partition_filter = FALSE);

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫READONLY_ICEBERG_TABLE_NAME: שם לטבלה לקריאה בלבד.
    • ‫BUCKET_PATH: הנתיב לקטגוריה של Cloud Storage שמכילה את הנתונים של הטבלה החיצונית, בפורמט ['gs://bucket_name/[folder_name/]file_name'].
  8. מ-Apache Spark, שולחים שאילתה לטבלה הרגילה, לטבלת Apache Iceberg שמנוהלת ב-BigQuery ולטבלת Apache Iceberg החיצונית.

    from pyspark.sql import SparkSession
    
    # Create a spark session
    spark = SparkSession.builder \
    .appName("Lakehouse runtime catalog Iceberg") \
    .config("spark.sql.catalog.CATALOG_NAME", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.CATALOG_NAME.catalog-impl", "org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog") \
    .config("spark.sql.catalog.CATALOG_NAME.gcp_project", "PROJECT_ID") \
    .config("spark.sql.catalog.CATALOG_NAME.gcp_location", "LOCATION") \
    .config("spark.sql.catalog.CATALOG_NAME.warehouse", "WAREHOUSE_DIRECTORY") \
    .getOrCreate()
    spark.conf.set("viewsEnabled","true")
    
    # Use the Lakehouse runtime catalog
    spark.sql("USE `CATALOG_NAME`;")
    spark.sql("USE NAMESPACE DATASET_NAME;")
    
    # Configure spark for temp results
    spark.sql("CREATE namespace if not exists MATERIALIZATION_NAMESPACE");
    spark.conf.set("materializationDataset","MATERIALIZATION_NAMESPACE")
    
    # List the tables in the dataset
    df = spark.sql("SHOW TABLES;")
    df.show();
    
    # Query the tables
    sql = """SELECT * FROM DATASET_NAME.TABLE_NAME"""
    df = spark.read.format("bigquery").load(sql)
    df.show()
    
    sql = """SELECT * FROM DATASET_NAME.ICEBERG_TABLE_NAME"""
    df = spark.read.format("bigquery").load(sql)
    df.show()
    
    sql = """SELECT * FROM DATASET_NAME.READONLY_ICEBERG_TABLE_NAME"""
    df = spark.read.format("bigquery").load(sql)
    df.show()

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫WAREHOUSE_DIRECTORY: ה-URI של התיקייה ב-Cloud Storage שמקושרת לטבלת Apache Iceberg שמנוהלת ב-BigQuery ולטבלת Apache Iceberg החיצונית.
    • ‫CATALOG_NAME: שם הקטלוג שבו אתם משתמשים.
    • ‫MATERIALIZATION_NAMESPACE: מרחב השמות לאחסון תוצאות זמניות.
  9. מריצים את הסקריפט של Apache Spark באמצעות Managed Service for Apache Spark.

    gcloud dataproc batches submit pyspark SCRIPT_PATH \
      --version=2.2 \
      --project=PROJECT_ID \
      --region=REGION \
      --deps-bucket=YOUR_BUCKET \

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SCRIPT_PATH: הנתיב לסקריפט שבו משתמשת המשימה באצווה.
    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו רוצים להריץ את המשימה באצווה.
    • ‫REGION: האזור שבו פועל עומס העבודה.
    • ‫YOUR_BUCKET: המיקום של הקטגוריה ב-Cloud Storage להעלאת יחסי התלות של עומס העבודה. לא צריך את הקידומת gs:// של ה-URI של הקטגוריה. אפשר לציין את הנתיב או את השם של הקטגוריה, לדוגמה, mybucketname1.

המאמרים הבאים