יצירת טבלת Apache Iceberg עם מטא-נתונים בקטלוג של Lakehouse runtime

במאמר הזה מוסבר איך להריץ עומסי עבודה באצווה של Managed Service for Apache Spark SQL ו-PySpark כדי ליצור טבלת Apache Iceberg עם מטא-נתונים שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse. במאמרים הרצת קוד PySpark ב-notebook של BigQuery והרצת עומס עבודה של Apache Spark מוסבר איך להריץ קוד Spark בדרכים אחרות.

לפני שמתחילים

אם עדיין לא עשיתם את זה, יוצרים פרויקט ב- Google Cloud וקטגוריה ב-Cloud Storage.

  1. הגדרת הפרויקט

    1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Enable the Dataproc, BigQuery, and Cloud Storage APIs, if any are not already enabled.

      Roles required to enable APIs

      To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

      Enable the APIs

    4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    5. Enable the Dataproc, BigQuery, and Cloud Storage APIs, if any are not already enabled.

      Roles required to enable APIs

      To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

      Enable the APIs

  2. יוצרים קטגוריה של Cloud Storage בפרויקט.

    1. במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage.

      כניסה לדף Buckets

    2. לוחצים על Create.
    3. ממלאים את פרטי הקטגוריה בדף Create a bucket. כדי לעבור לשלב הבא לוחצים על Continue.
      1. בקטע Get started, מבצעים את הפעולות הבאות:
      2. בקטע Choose where to store your data, מבצעים את הפעולות הבאות:
        1. בוחרים Location type.
        2. בתפריט הנפתח Location type, בוחרים את המיקום שבו נתוני הקטגוריה יאוחסנו באופן קבוע.
        3. כדי להגדיר רפליקציה בין קטגוריות, בוחרים באפשרות Add cross-bucket replication via Storage Transfer Service ופועלים לפי השלבים הבאים:

          הגדרת רפליקציה בין קטגוריות

          1. בתפריט Bucket, בוחרים קטגוריה.
          2. בקטע Replication settings, לוחצים על Configure כדי לקבוע את ההגדרות של משימת הרפליקציה.

            מופיעה החלונית Configure cross-bucket replication.

            • כדי לסנן אובייקטים לשכפול לפי קידומת של שם האובייקט, מזינים את הקידומת שרוצים לכלול או להחריג אובייקטים ממנה, ואז לוחצים על Add a prefix.
            • כדי להגדיר סוג אחסון לאובייקטים שנוצרו ברפליקציה, בוחרים סוג אחסון בתפריט Storage class. אם מדלגים על השלב הזה, האובייקטים המשוכפלים ישתמשו כברירת מחדל בסוג האחסון של קטגוריית היעד.
            • לוחצים על סיום.
      3. בקטע Choose how to store your data, מבצעים את הפעולות הבאות:
        1. בוחרים סוג אחסון (storage class) שמוגדר כברירת מחדל לקטגוריה, או בוחרים ב-Autoclass לניהול אוטומטי של סוג האחסון של נתוני הקטגוריה.
        2. כדי להפעיל מרחב שמות היררכי, בקטע Optimize storage for data-intensive workloads בוחרים באפשרות Enable hierarchical namespace on this bucket.
      4. בקטע Choose how to control access to objects, בוחרים אם הקטגוריה אוכפת public access prevention או לא, ואז בוחרים access control method לאובייקטים של הקטגוריה.
      5. בקטע Choose how to protect object data, מבצעים את הפעולות הבאות:
        • בוחרים את האפשרויות שרוצים להגדיר לקטגוריה בקטע הגנה על נתונים.
          • כדי להפעיל את האפשרות מחיקה זמנית, לוחצים על תיבת הסימון Soft delete policy (For data recovery) ומציינים את מספר הימים שבהם רוצים לשמור את האובייקטים אחרי המחיקה.
          • כדי להגדיר ניהול גרסאות של אובייקטים, לוחצים על תיבת הסימון ניהול גרסאות של אובייקטים (לניהול גרסאות) ומציינים את המספר המקסימלי של גרסאות לכל אובייקט ואת מספר הימים שאחריהם פג התוקף של הגרסאות הלא עדכניות.
          • כדי להפעיל את מדיניות שמירת הנתונים על אובייקטים וקטגוריות, לוחצים על תיבת הסימון Retention (For compliance)‎ ואז מבצעים את הפעולות הבאות:
            • כדי להפעיל את נעילת שמירת האובייקטים, לוחצים על תיבת הסימון Enable object retention.
            • כדי להפעיל את Bucket Lock, לוחצים על תיבת הסימון Set bucket retention policy ובוחרים יחידת זמן ואת משך הזמן של תקופת השמירה.
        • כדי לבחור איך להצפין את נתוני האובייקטים, מרחיבים את הקטע Data encryption () ובוחרים שיטה ל-Data encryption.
    4. לוחצים על יצירה.

  3. מקצים את התפקיד BigQuery Data Editor (roles/bigquery.dataEditor) לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com. איך מקצים תפקיד יחיד

    דוגמה ל-Google Cloud CLI:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role roles/bigquery.dataEditor
    

    הערות:

    • ‫PROJECT_ID ו-PROJECT_NUMBER מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .

מיפוי משאבי OSS למשאבי BigQuery

שימו לב למיפוי הבא בין מונחי המשאבים בקוד פתוח לבין מונחי המשאבים ב-BigQuery:

משאב OSS משאב BigQuery
מרחב שמות, מסד נתונים קבוצת הנתונים
טבלה מחולקת למחיצות או לא מחולקת למחיצות טבלה
הצגה הצגה

יצירת טבלת Iceberg

בקטע הזה מוסבר איך ליצור טבלת Iceberg עם מטא-נתונים בקטלוג ייעודי לזמן ריצה של Lakehouse, באמצעות עומסי עבודה באצווה של Spark SQL ו-PySpark ב-Managed Service for Apache Spark.

Spark SQL

הרצת עומס עבודה של Spark SQL כדי ליצור טבלת Iceberg

בשלבים הבאים מוסבר איך להריץ עומס עבודה באצווה של Managed Service for Apache Spark SQL כדי ליצור טבלת Iceberg עם מטא-נתונים של טבלה שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse.

  1. מעתיקים את הפקודות הבאות של Spark SQL באופן מקומי או ב-Cloud Shell לקובץ iceberg-table.sql.

    USE CATALOG_NAME;
    CREATE NAMESPACE IF NOT EXISTS example_namespace;
    USE example_namespace;
    DROP TABLE IF EXISTS example_table;
    CREATE TABLE example_table (id int, data string) USING ICEBERG LOCATION 'gs://BUCKET/WAREHOUSE_FOLDER';
    INSERT INTO example_table VALUES (1, 'first row');
    ALTER TABLE example_table ADD COLUMNS (newDoubleCol double);
    DESCRIBE TABLE example_table;
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CATALOG_NAME: שם הקטלוג של Iceberg.
    • ‫BUCKET ו-WAREHOUSE_FOLDER: קטגוריה ותיקייה של Cloud Storage שמשמשות כספריית מחסן נתונים של Iceberg.
  2. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell מהספרייה שמכילה את iceberg-table.sql כדי לשלוח את עומס העבודה של Spark SQL.

    gcloud dataproc batches submit spark-sql iceberg-table.sql \
        --project=PROJECT_ID \
        --region=REGION \
        --deps-bucket=BUCKET_NAME \
        --version=2.2 \
        --subnet=SUBNET_NAME \
        --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"
      

    הערות:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .
    • ‫REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
    • ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage. לפני הרצת עומס העבודה באצווה, Spark מעלה את יחסי התלות של עומס העבודה לתיקייה /dependencies בקטגוריה הזו. הקובץ WAREHOUSE_FOLDER נמצא בקטגוריה הזו.
    • ‫--version: גרסה 2.2 ומעלה של סביבת זמן הריצה של Managed Service for Apache Spark.
    • ‫SUBNET_NAME: השם של רשת המשנה של VPC ב-REGION. אם לא מציינים את הדגל הזה, Managed Service for Apache Spark בוחר את רשת המשנה default באזור הסשן. ‫Managed Service for Apache Spark מפעיל גישה פרטית ל-Google‏ (PGA) ברשת המשנה. למידע על הדרישות לקישוריות לרשת, קראו את המאמר הגדרת הרשת של Managed Service for Apache Spark.
    • ‫LOCATION: מיקום נתמך ב-BigQuery. מיקום ברירת המחדל הוא "US".
    • --properties נכסים מסוג קטלוג.
  3. הצגת המטא-נתונים של הטבלה ב-BigQuery

    1. נכנסים לדף BigQuery במסוף Google Cloud .

      כניסה ל-BigQuery Studio

    2. לצפות במטא-נתונים של טבלת Iceberg.

PySpark

בשלבים הבאים מוסבר איך להריץ עומס עבודה באצווה של Managed Service for Apache Spark PySpark כדי ליצור טבלת Iceberg עם מטא-נתונים של טבלה שמאוחסנים בקטלוג ייעודי לזמן ריצה של Lakehouse.

  1. מעתיקים את קוד ה-PySpark הבא באופן מקומי או ב-Cloud Shell לקובץ iceberg-table.py.
    from pyspark.sql import SparkSession
    spark = SparkSession.builder.appName("iceberg-table-example").getOrCreate()
    
    catalog = "CATALOG_NAME"
    namespace = "NAMESPACE"
    
    spark.sql(f"USE `{catalog}`;")
    spark.sql(f"CREATE NAMESPACE IF NOT EXISTS `{namespace}`;")
    spark.sql(f"USE `{namespace}`;")
    
    # Create table and display schema
    spark.sql("DROP TABLE IF EXISTS example_iceberg_table")
    spark.sql("CREATE TABLE example_iceberg_table (id int, data string) USING ICEBERG") 
    spark.sql("DESCRIBE example_iceberg_table;")
    
    # Insert table data.
    spark.sql("INSERT INTO example_iceberg_table VALUES (1, 'first row');")
    
    # Alter table, then display schema. 
    spark.sql("ALTER TABLE example_iceberg_table ADD COLUMNS (newDoubleCol double);")
    spark.sql("DESCRIBE example_iceberg_table;")

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫CATALOG_NAME ו-NAMESPACE: השילוב של שם הקטלוג ומרחב השמות של Iceberg מזהה את הטבלה של Iceberg‏ (catalog.namespace.table_name).
  2. מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell מהספרייה שמכילה את iceberg-table.py כדי לשלוח את עומס העבודה של PySpark.
    gcloud dataproc batches submit pyspark iceberg-table.py \
        --project=PROJECT_ID \
        --region=REGION \
        --deps-bucket=BUCKET_NAME \
        --version=2.2 \
        --subnet=SUBNET_NAME \
        --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"
        

    הערות:

    • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info ב-Dashboard במסוף Google Cloud .
    • ‫REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
    • ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage. לפני הרצת עומס העבודה באצווה, Spark מעלה את יחסי התלות של עומס העבודה לתיקייה /dependencies בקטגוריה הזו.
    • ‫--version: גרסה 2.2 ומעלה של סביבת זמן הריצה של Managed Service for Apache Spark.
    • ‫SUBNET_NAME: השם של תת-רשת VPC ב-REGION. אם לא מציינים את הדגל הזה, Managed Service for Apache Spark בוחר את רשת המשנה default באזור של הסשן. ‫Managed Service for Apache Spark מפעיל את גישה פרטית ל-Google‏ (PGA) ברשת המשנה. לדרישות הקישוריות לרשת, ראו הגדרת הרשת של Managed Service for Apache Spark.
    • ‫LOCATION: מיקום נתמך ב-BigQuery. מיקום ברירת המחדל הוא "US".
    • ‫BUCKET ו-WAREHOUSE_FOLDER: קטגוריה ותיקייה של Cloud Storage שמשמשות כספריית המחסן של Iceberg.
    • --properties: מאפייני קטלוג.
  3. הצגת סכימת הטבלה ב-BigQuery.
    1. נכנסים לדף BigQuery במסוף Google Cloud . כניסה ל-BigQuery Studio
    2. לצפות במטא-נתונים של טבלת Iceberg.