השוואה בין סוגים של טבלאות

בחירה בארכיטקטורת הטבלה הנכונה היא קריטית לשיפור הביצועים, לצמצום העלויות ולהבטחת גישה לנתונים בכל כלי הניתוח. בדף הזה מוסבר על סוגי הטבלאות השונים ונקודות הקצה להצגת נתונים שזמינות ב-Borderless Lakehouse. כך תוכלו לבחור את האפשרות הטובה ביותר בהתאם למנועי הכתיבה, לדרישות הקריאה ולצרכים שלכם מבחינת בקרת ניהול.

טיפ: לרוב עומסי העבודה המודרניים של lakehouse, אנחנו ממליצים להשתמש בטבלאות Apache Iceberg שמנוהלות על ידי קטלוג זמן הריצה של Lakehouse ומוצגות דרך נקודת הקצה של קטלוג REST של Iceberg. ההגדרה הזו מספקת את יכולת הפעולה ההדדית הטובה ביותר בין מנועי קוד פתוח לבין BigQuery.

פורמטים של טבלאות לפי קטלוג או מנוע

בוחרים קטלוג או מנוע כדי לקבל מידע על פורמטים נתמכים של טבלאות, על הגדרות של מאגר מטא-נתונים, על יכולות אופטימיזציה של אחסון ועל יכולת פעולה הדדית של מנועים.

קטלוג של סביבת זמן ריצה של Lakehouse

קטלוג זמן הריצה של Lakehouse מנהל טבלאות Apache Iceberg דרך נקודת הקצה של קטלוג REST של Iceberg, ומספק יכולת פעולה הדדית חלקה של קריאה וכתיבה בין מנועים שתואמים ל-Iceberg ‏ (Spark,‏ Flink,‏ Trino) לבין BigQuery, תוך הסתמכות על ממשק קטלוג REST של Iceberg שהוא תקן בתעשייה.

פורמטים נתמכים של טבלאות

יש תמיכה בטבלאות Apache Iceberg V2 (זמינות כללית) ובטבלאות V3 (גרסת Preview). אין תמיכה בטבלאות Iceberg V1. לפני שמשתמשים בטבלאות קיימות מגרסה 1 עם Lakehouse, צריך לשדרג אותן לגרסה נתמכת. למידע נוסף: שדרוג טבלאות Iceberg V1 ל-V2.

התכונות העיקריות כוללות:

• ‫Metastore: קטלוג זמן הריצה של Lakehouse.
• אחסון: Cloud Storage.
• אופטימיזציה של האחסון: מנוהלת על ידכם, או על ידי Google (אופציונלי) (גרסת Preview).
• גישת קריאה וכתיבה:
  • מנועי קוד פתוח: קריאה וכתיבה (זמינות כללית)
  • ‫BigQuery: קריאה/כתיבה (גרסת Preview)
• תרחישי שימוש: אגם נתונים פתוח עם אחסון ברמה ארגונית וביצועים גבוהים לניתוח מתקדם, סטרימינג ו-AI.

Hive metastore

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

קטלוג זמן הריצה של Lakehouse מנהל טבלאות Apache Hive באמצעות נקודת קצה של Apache Hive metastore ‏ (HMS) שעברה אופטימיזציה לתאימות ל-Apache Spark ExternalCatalog, ומאפשר לכם לשתף נתונים בצורה חלקה בין Apache Spark,‏ Apache Hive ו-BigQuery. אתם יוצרים את הטבלאות האלה ממנועי קוד פתוח ומאחסנים אותן ב-Cloud Storage. האפשרות הזו מתאימה במיוחד אם אתם רוצים שמנועי קוד פתוח ינהלו את תהליך ה-ETL, בלי שתצטרכו מאגר מטא נתונים נפרד של Hive שמתארח באופן עצמאי, וכל מה שאתם צריכים זה הרשאת קריאה מ-BigQuery.

טבלאות שמנוהלות על ידי נקודת הקצה של Hive metastore הן טבלאות רגילות של Apache Hive ו-Spark (באמצעות Hive SerDes או מקורות נתונים של Spark), ולא טבלאות של Apache Iceberg. כדי ליצור ולנהל טבלאות Apache Iceberg בקטלוג של זמן הריצה של Lakehouse, צריך להשתמש בנקודת הקצה של קטלוג REST של Iceberg.

התכונות העיקריות כוללות:

• ‫Metastore: קטלוג זמן הריצה של Lakehouse (דרך IMetastoreClient מותאם אישית).
• אחסון: Cloud Storage (תמיכה בפורמטים כמו Parquet,‏ ORC ו-Avro).
• אופטימיזציה של האחסון: מנוהלת על ידכם או על ידי צד שלישי.
• גישת קריאה וכתיבה:
  • מנועי קוד פתוח (Spark ו-Hive): קריאה וכתיבה.
  • ‫BigQuery: קריאה בלבד.
• תרחישי שימוש: העברת עומסי עבודה (workloads) קיימים של Spark ו-Hive למאגר מטא-נתונים מנוהל ללא שרת (serverless) ב- Google Cloud.

פורמטים של טבלאות לפי מוצר

בעזרת התרשים הבא אפשר להשוות בין סוגי הטבלאות בקטלוג של Lakehouse runtime.

lakehouse

	‫Apache Iceberg (זמינות כללית)	גישה לנתונים חוצי-עננים (גרסת Preview)	‫Apache Hive (תצוגה מקדימה)
Metastore	קטלוג של סביבת זמן ריצה של Lakehouse	קטלוג של סביבת זמן ריצה של Lakehouse	קטלוג של סביבת זמן ריצה של Lakehouse
אחסון	Cloud Storage	Cloud Storage / Amazon S3	Cloud Storage
אופטימיזציה של האחסון	לקוח, מנוהל על ידי צד שלישי או מנוהל על ידי Google (גרסת Preview)	מנוהל על ידי לקוח או צד שלישי	מנוהל על ידי לקוח או צד שלישי
קריאה/כתיבה	מנועי קוד פתוח (קריאה/כתיבה) BigQuery (קריאה/כתיבה [גרסת Preview])	מנועי קוד פתוח (קריאה) BigQuery (קריאה)	מנועי קוד פתוח (קריאה/כתיבה) BigQuery (קריאה בלבד)
פעולות מתקדמות	ללא	ללא	ללא
בקרת גישה	אבטחה ברמת הטבלה באמצעות IAM	אבטחה ברמת הטבלה באמצעות IAM	אבטחה ברמת הטבלה באמצעות IAM
תרחישים לדוגמה	Open lakehouse	אפשר להריץ שאילתות על נתונים אצל ספקי ענן אחרים בלי להעביר קבצים או ליצור צינורות ETL מורכבים.	העברת עומסי עבודה (workloads) קיימים של Spark ו-Hive אל metastore מנוהל ללא שרת (serverless)

יכולות של טבלאות Iceberg

בטבלה הבאה מפורט מידע נוסף על היכולות שמוצעות בטבלאות Apache Iceberg בקטלוג של Lakehouse runtime.

יכולת	תמיכה
Catalog	קטלוג זמן הריצה של Lakehouse (תואם לקטלוג REST של Iceberg)
אחסון	Cloud Storage
אפשר לגשת אליו דרך נקודת הקצה (endpoint) של קטלוג REST של Iceberg	כן
יכולת פעולה הדדית של קריאה/כתיבה
שאילתות קריאה ב-BigQuery (SELECT, ‏ BQML, פונקציות AI)	נתמך (GA)
BigQuery DML (INSERT, UPDATE, DELETE, MERGE)	נתמך (גרסת טרום-השקה)
קריאות במנוע OSS	נתמך (GA)
כתיבות במנוע OSS	נתמך (GA)
כתיבת סטרימינג של מנוע OSS (Kafka, ‏ Spark, ‏ Dataflow עם יעד Iceberg I/O)	נתמך (GA)
יכולות מנוהלות ומתקדמות
ניהול שולחן (דחיסה, איסוף אשפה)	נתמך (גרסת טרום-השקה)
BigQuery Change Data Capture (CDC)	נתמך (גרסת טרום-השקה)
מסע בזמן
מסע בזמן (באמצעות מנועי OSS)	גמיש (מוגדר דרך מאפייני הטבלה)
מסע בזמן (באמצעות BigQuery)	מוגבלת ל-7 ימים
היסטוריית תמונות המצב וחזרה לתמונת מצב קודמת	נתמך (GA)
היכולות של Knowledge Catalog
קטלוג, חיפוש וגילוי של מטא-נתונים	נתמך (GA)
שושלת נתונים	נתמך (GA)
איכות הנתונים/פרופיל הנתונים	נתמך (GA)
תובנות	נתמך (GA)
יצירת תיאורים של עמודות וטבלאות על בסיס AI	נתמך (GA)

המאמרים הבאים

• איך מנהלים טבלאות Apache Iceberg

• איך מייבאים טבלאות Iceberg חיצוניות באמצעות Dataflow