ייבוא קובצי Parquet באחסון לקטלוג של זמן הריצה של Lakehouse באמצעות Dataflow

אתם יכולים להשתמש בתבנית של כלי ליצירת משימות ב-Dataflow כדי להוסיף קובצי Apache Parquet קיימים מאחסון מבוסס-ענן (Cloud Storage,‏ Amazon S3 או Azure Blob Storage) לטבלת Apache Iceberg ב-Lakehouse ללא גבולות.

בתהליך הזה משתמשים בטרנספורמציה IcebergAddFiles. אם קובצי ה-Parquet נמצאים ב-Cloud Storage, הטרנספורמציה הזו רושמת את הקבצים ב-Lakehouse בלי להעביר או לשכתב את הנתונים הבסיסיים. אם הקבצים נמצאים במערכת אחסון חיצונית כמו Amazon S3, הם מועתקים ל-Cloud Storage כדי לאפשר שאילתות מהירות יותר דרך Lakehouse, ואז נרשמים.

כדי להוסיף קובצי Parquet מאחסון מבוסס-ענן לטבלת Apache Iceberg ב-Lakehouse, צריך להשתמש בפרטי החיבור הבאים.

לפני שמתחילים

  1. מפעילים את ממשקי ה-API של Dataflow,‏ BigQuery ו-Lakehouse.

  2. כדי לקבל את ההרשאות שדרושות ליצירת המשאבים, צריך לבקש מהאדמין להקצות לכם את התפקידים הנדרשים בממשק של ניהול הזהויות והרשאות הגישה (IAM) בפרויקט.

  3. יוצרים קטלוג, מרחב שמות וטבלה ב-Lakehouse כדי לייבא אליהם נתונים.

  4. יוצרים קטגוריית אחסון מבוססת-ענן (Cloud Storage,‏ Amazon S3 או Azure Blob Storage) ומעלים את קובצי ה-Parquet לקטגוריה.

  5. אם אתם משתמשים בקטגוריית אחסון מבוססת-ענן שהיא לא Cloud Storage של Google, אתם צריכים ליצור קטגוריה של Cloud Storage כדי לאחסן את יומני השגיאות של המשימה.

תמיכה ומגבלות

כשמייבאים קובצי Parquet באחסון מבוסס-ענן ל-Lakehouse באמצעות Dataflow, חלות המגבלות הבאות:

  • נתוני המקור צריכים להיות בפורמט Apache Parquet ומאוחסנים ב-Cloud Storage, ב-Amazon S3 או ב-Azure Blob Storage.
  • התכונה הזו תומכת רק בצינורות עיבוד נתונים באצווה.

ייבוא קובצי Parquet ל-Lakehouse

כדי לייבא קובצי Parquet מאחסון מבוסס-ענן לטבלת Iceberg ב-Lakehouse, משתמשים בממשק המשתמש של הכלי ליצירת משימות ב-Dataflow.

  1. נכנסים לדף Lakehouse במסוף Google Cloud .

    מעבר אל Lakehouse

  2. בוחרים את הקטלוג, מרחב השמות והטבלה שאליהם רוצים לייבא נתונים.

  3. בדף Table details, לוחצים על Import table ובוחרים באפשרות From Apache Parquet files (Batch).

    נפתח הדף Job builder של Dataflow.

  4. בקטע מקורות:

    1. פותחים את רשומת המקור CreateGlobalInput שכבר נוצרה.

    2. בקטע של עורך הגדרת מקור YAML, מזינים נתיב אחד או יותר לקובצי Parquet ברצף elements.

      כדי לשפר את יעילות הייבוא, כשרושמים מספר גדול של קבצים, כדאי לציין כמה קבוצות של קבצים (globs). לדוגמה:

      reshuffle: true
      elements:
        -   gs://BUCKET_NAME/restaurant-data/2023/*.parquet
        -   gs://BUCKET_NAME/restaurant-data/2024/*.parquet
      
    3. לוחצים על סיום.

  5. בקטע Transforms:

    1. לוחצים על הקטע של הטרנספורמציה IcebergAddFiles כדי לפתוח אותו.

    2. בשדה Iceberg table, מזינים את מרחב השמות ואת שם הטבלה. לדוגמה: NAMESPACE .TABLE_NAME .

    3. אופציונלי: בשדה Manifest file size, מזינים את מספר קובצי הנתונים שרוצים לכלול בכל קובץ מניפסט. ערך ברירת המחדל הוא 10,000.

    4. בקטע Catalog properties, מגדירים את הפריטים הבאים:

      1. ‫warehouse: המיקום של הקטלוג ב-Cloud Storage. לדוגמה, gs://CATALOG_PATH.

      2. ‫header.x-goog-user-project: מזהה הפרויקט ב- Google Cloud : PROJECT_ID.

    5. אופציונלי: כדי לאפשר למשימה לעדכן את סכימת טבלת היעד כך שתתאים לקובצי Parquet, בוחרים אפשרות אחת או יותר ברשימה Schema evolution. מידע נוסף זמין במאמר הגדרת התפתחות הסכימה.

    6. לוחצים על סיום.

    7. אם אתם מעבירים נתונים מ-Amazon S3 או מ-Azure Blob Storage, אתם צריכים לספק הגדרות נוספות כדי להעתיק קובצי Parquet ל-Cloud Storage. אם הקבצים כבר נמצאים ב-Cloud Storage, אין צורך לעשות את זה.

      1. לוחצים על הקטע של הטרנספורמציה CopyFilesToGCS כדי לפתוח אותו.

      2. מגדירים את הערך של פרמטר ההגדרה gcs_file_path כדי לספק את הקטגוריה המלאה של Cloud Storage שאליה יועתקו הקבצים הזמניים. מומלץ להשתמש באותה קטגוריה של Cloud Storage שמשמשת את מחסן הנתונים של Lakehouse.

      3. לוחצים על סיום.

      4. לוחצים על הקטע Dataflow Options כדי לפתוח אותו.

      5. אם קובצי ה-Parquet נמצאים ב-Amazon S3, לוחצים על add additional pipeline options כדי לספק אפשרויות צינור עיבוד נתונים של Apache Beam שקשורות ל-S3. לדוגמה, s3_region_name,‏ s3_access_key_id,‏ s3_secret_access_key והערכים התואמים שלהם.

      6. אם קובצי ה-Parquet נמצאים ב-Azure Blob Storage, לוחצים על add additional pipeline options כדי לספק אפשרויות צינור עיבוד נתונים של Apache Beam שקשורות ל-Azure. לדוגמה, azure_connection_string,‏ blob_service_endpoint,‏ azure_managed_identity_client_id והערכים המתאימים שלהם.

  6. בקטע Sinks:

    1. לוחצים על הכיור Write results כדי לפתוח אותו.

    2. בשדה JSON location, מציינים את המיקום ב-Cloud Storage ואת שם הקובץ שבו ייכתבו תוצאות השגיאות. לדוגמה:

      gs://BUCKET_NAME/errors/errors.json
      
    3. לוחצים על סיום.

  7. בקטע Dataflow Options, לוחצים על Run job.

אם אתם צריכים להתאים אישית את צינור עיבוד הנתונים של Dataflow שמשמש לרישום קובצי Parquet, אתם יכולים לעשות את זה באמצעות הטופס של הכלי ליצירת משימות או עורך ה-YAML.

הגדרת התפתחות הסכימה

כברירת מחדל, הטרנספורמציה IcebergAddFiles לא משנה את הסכימה של טבלת היעד. באמצעות משימה באצווה, אתם יכולים להפעיל את התפתחות הסכימה כדי לבדוק את הכותרת התחתונה של כל קובץ Parquet ולעדכן את סכימת הטבלה לפני רישום הקבצים. אם טבלת היעד לא קיימת, המשימה יוצרת את הטבלה מהסכימות המשולבות של קובצי Parquet.

כדי להפעיל את התפתחות הסכימה בקטע הטרנספורמציה IcebergAddFiles, בוחרים אפשרות אחת או יותר מהרשימה Schema evolution:

  • ‫Add columns: הוספת עמודות מקובץ Parquet שלא נמצאות בטבלה כעמודות אופציונליות.
  • Make columns optional: הפיכת עמודת חובה בטבלה לעמודה אופציונלית, אם בקובץ חסרה העמודה או שהיא יכולה להכיל ערכי null.
  • הרחבת סוגי העמודות: הרחבת סוג הנתונים של עמודה, למשל מ-int ל-long.

אם לאחד מקובצי הנתונים יש סכימה לא תואמת, הצינור נכשל בלי לבצע שינויים בסכימה או לרשום קבצים. לדוגמה, סכימה לא תואמת אם היא דורשת שינוי שלא בחרתם או אם היא מתנגשת עם הטבלה או עם קובץ אחר.

כשבוחרים לפחות אפשרות אחת של התפתחות הסכימה, אפשר גם לציין עמודות שתמיד חייבות להיות נוכחות ולא ריקות, גם כשבוחרים באפשרות הפיכת עמודות לאופציונליות. מרחיבים את Required columns, לוחצים על Add item ומזינים ערך בשדה Column name. בשדות בתצוגת עץ, צריך להפריד בין שמות השדות באמצעות נקודות, למשל address.city. קבצים שחסרה בהם עמודה נדרשת או שיש בהם ערכי null נשלחים לפלט השגיאה.

בדיקת הפלט של המשימה

אחרי שהמשימה מסתיימת, אתם יכולים לוודא שהנתונים נרשמו בטבלת Iceberg על ידי שליחת שאילתה ב-BigQuery.

  1. ברשימת המשימות של Dataflow, מוודאים שסטטוס המשימה הוא Succeeded.

    מעבר לדף Jobs

  2. אם המשימה נכשלת או שיש בה שגיאות, בודקים את קובץ היומן של שגיאות ה-JSON ב-Cloud Storage כדי לקבל פרטים.

    כניסה לדף Buckets

  3. נכנסים לדף BigQuery Studio במסוף Google Cloud .

    כניסה ל-BigQuery

  4. בעורך השאילתות, מזינים שאילתת SQL כדי לבדוק את הטבלה. אפשר להשתמש במוסכמה PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME כדי לשלוח שאילתות.

    SELECT * FROM `PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME` LIMIT 10
    
  5. ‫לוחצים על Run.

  6. בודקים את תוצאות השאילתה כדי לוודא שהנתונים עובדו בצורה נכונה.

המאמרים הבאים