בחירת ארכיטקטורת הטבלה הנכונה היא קריטית כדי למקסם את הביצועים, להפחית את העלויות ולהבטיח גישה לנתונים בכל כלי הניתוח. בדף הזה מוסבר על סוגי הטבלאות השונים ונקודות הקצה להצגת נתונים שזמינות ב-Borderless Lakehouse. כך תוכלו לבחור את האפשרות הטובה ביותר בהתאם למנועי הכתיבה, לדרישות הקריאה ולצרכים שלכם מבחינת בקרת ניהול.
פורמטים של טבלאות לפי קטלוג או מנוע
בוחרים קטלוג או מנוע כדי לקבל מידע על פורמטים נתמכים של טבלאות, על הגדרת מאגר מטא-נתונים, על יכולות אופטימיזציה של אחסון ועל יכולת פעולה הדדית של מנועים.
קטלוג ייעודי לזמן ריצה של Lakehouse
הקטלוג ייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Iceberg דרך נקודת הקצה של קטלוג Iceberg REST, ומספק יכולת פעולה הדדית חלקה של קריאה וכתיבה בין מנועים שתואמים ל-Iceberg (Spark, Flink, Trino) לבין BigQuery, תוך הסתמכות על ממשק קטלוג Iceberg REST שהוא תקן בתעשייה.
פורמטים נתמכים של טבלאות
יש תמיכה בטבלאות Apache Iceberg V2 (זמינות כללית) ובטבלאות V3 (גרסת Preview). אין תמיכה בטבלאות Iceberg בגרסה 1. כדי להשתמש בטבלאות קיימות מגרסה 1 ב-Lakehouse, צריך לשדרג אותן לגרסה נתמכת. מידע נוסף זמין במאמר שדרוג טבלאות Iceberg V1 ל-V2.
התכונות העיקריות כוללות:
- Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse.
- אחסון: Cloud Storage.
- אופטימיזציה של האחסון: מנוהלת על ידכם, או אופציונלית על ידי Google (גרסת Preview).
- גישת קריאה וכתיבה:
- מנועי קוד פתוח: קריאה וכתיבה (GA)
- BigQuery: קריאה/כתיבה (גרסת Preview)
- תרחישי שימוש: אגם נתונים פתוח עם אחסון ברמה שמתאימה לארגונים וביצועים גבוהים לניתוח מתקדם, סטרימינג ו-AI.
Hive metastore
הקטלוג הייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Hive באמצעות נקודת קצה של Apache Hive metastore (HMS) שמותאמת לתאימות ל-Apache Spark ExternalCatalog, ומאפשר לכם לשתף נתונים בצורה חלקה בין Apache Spark, Apache Hive ו-BigQuery. אתם יוצרים את הטבלאות האלה ממנועי קוד פתוח ומאחסנים אותן ב-Cloud Storage. האפשרות הזו מתאימה אם אתם רוצים לנהל את תהליך ה-ETL באמצעות מנועים בקוד פתוח, בלי צורך במאגר מטא-נתונים נפרד של Hive באירוח עצמי, וצריכים רק גישת קריאה מ-BigQuery.
טבלאות שמנוהלות על ידי נקודת הקצה של Hive metastore הן טבלאות רגילות של Apache Hive ו-Spark (באמצעות Hive SerDes או מקורות נתונים של Spark), ולא טבלאות של Apache Iceberg. כדי ליצור ולנהל טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך להשתמש בנקודת הקצה של קטלוג Iceberg REST.
התכונות העיקריות כוללות:
- Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse (באמצעות
IMetastoreClientבהתאמה אישית). - אחסון: Cloud Storage (תמיכה בפורמטים כמו Parquet, ORC ו-Avro).
- אופטימיזציה של האחסון: מנוהלת על ידכם או על ידי צד שלישי.
- גישת קריאה וכתיבה:
- מנועי קוד פתוח (Spark ו-Hive): קריאה וכתיבה.
- BigQuery: לקריאה בלבד.
- תרחישי שימוש: העברת עומסי עבודה קיימים של Spark ו-Hive למאגר מטא-נתונים מנוהל ללא שרתים ב- Google Cloud.
פורמטים של טבלאות לפי מוצר
בעזרת התרשים הבא אפשר להשוות בין סוגי הטבלאות בקטלוג של Lakehouse runtime.
lakehouse
| Apache Iceberg (זמינות כללית) | גישה לנתונים חוצי-עננים (גרסת טרום-השקה) | Apache Hive (תצוגה מקדימה) | |
|---|---|---|---|
| Metastore | קטלוג ייעודי לזמן ריצה של Lakehouse | קטלוג ייעודי לזמן ריצה של Lakehouse | קטלוג ייעודי לזמן ריצה של Lakehouse |
| אחסון | Cloud Storage | Cloud Storage / Amazon S3 | Cloud Storage |
| אופטימיזציה של האחסון | מנוהל על ידי הלקוח, על ידי צד שלישי או על ידי Google (גרסת טרום-השקה (Preview)) | מנוהל על ידי לקוח או צד שלישי | מנוהל על ידי לקוח או צד שלישי |
| קריאה/כתיבה |
מנועי קוד פתוח (קריאה/כתיבה) BigQuery (קריאה/כתיבה [גרסת טרום-השקה (Preview)]) |
מנועי קוד פתוח (קריאה) BigQuery (קריאה) |
מנועי קוד פתוח (קריאה/כתיבה) BigQuery (קריאה בלבד) |
| פעולות מתקדמות | ללא | ללא | ללא |
| בקרת גישה | אבטחה ברמת הטבלה באמצעות IAM | אבטחה ברמת הטבלה באמצעות IAM | אבטחה ברמת הטבלה באמצעות IAM |
| תרחישי שימוש | Open lakehouse | להריץ שאילתות על נתונים אצל ספקי שירותי ענן אחרים בלי להעביר קבצים או לבנות צינורות עיבוד נתונים מורכבים של ETL. | העברת עומסי עבודה (workloads) קיימים של Spark ו-Hive ל-metastore מנוהל ללא שרת (serverless) |
היכולות של טבלאות Iceberg
בטבלה הבאה מפורטות היכולות של טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse.
| יכולת | תמיכה |
|---|---|
| קטלוג | קטלוג ייעודי לזמן ריצה של Lakehouse (תואם לקטלוג REST של Iceberg) |
| אחסון | Cloud Storage |
| אפשר לגשת אליו דרך נקודת הקצה (endpoint) של קטלוג REST של Iceberg | כן |
| יכולת פעולה הדדית של קריאה/כתיבה | |
| שאילתות קריאה ב-BigQuery (פונקציות SELECT, BQML, פונקציות AI) | נתמך (זמינות כללית) |
| BigQuery DML (INSERT, UPDATE, DELETE, MERGE) | יש ראיות (גרסת טרום-השקה) |
| קריאות של מנוע OSS | נתמך (GA) |
| כתיבה במנוע OSS | נתמך (GA) |
| כתיבת סטרימינג של מנוע OSS (Kafka, Spark, Dataflow עם יעד Iceberg I/O) | נתמך (GA) |
| יכולות מתקדמות ומנוהלות | |
| ניהול שולחן (דחיסה, איסוף אשפה) | יש ראיות (גרסת טרום-השקה) |
| BigQuery Change Data Capture (CDC) | יש ראיות (גרסת טרום-השקה) |
| מסע בזמן | |
| מסע בזמן (באמצעות מנועי OSS) | גמיש (מוגדר דרך מאפייני הטבלה) |
| מסע בזמן (באמצעות BigQuery) | מוגבלת ל-7 ימים |
| היסטוריית תמונות המצב וחזרה לתמונת מצב קודמת | נתמך (GA) |
| היכולות של Knowledge Catalog | |
| קטלוג, חיפוש וגילוי של מטא-נתונים | נתמך (GA) |
| שושלת נתונים | נתמך (זמינות כללית) |
| איכות הנתונים/יצירת פרופילים | נתמך (GA) |
| תובנות | נתמך (זמינות כללית) |
| יצירת תיאורים של עמודות וטבלאות באמצעות AI | נתמך (GA) |