השוואה בין סוגים של טבלאות

בחירה בארכיטקטורת הטבלה הנכונה מאפשרת לכם לשפר את הביצועים, להפחית את העלויות ולשמור על הגישה לנתונים בכל הכלים לניתוח נתונים. ב-Borderless Lakehouse יש כמה סוגי טבלאות ונקודות קצה (endpoints) להצגת נתונים, כדי שתוכלו לבחור את האפשרות שמתאימה למנועי הכתיבה, לדרישות הקריאה ולצרכים שלכם מבחינת אמצעי הבקרה לניהול.

פורמטים של טבלאות לפי קטלוג או מנוע

כדי לקבל מידע על הפורמטים הנתמכים של הטבלאות, הגדרת המטא-נתונים, יכולות האופטימיזציה של האחסון והתאימות של המנוע, בחרו קטלוג או מנוע.

קטלוג ייעודי לזמן ריצה של Lakehouse

הקטלוג הייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Iceberg באמצעות נקודת הקצה של קטלוג REST של Apache Iceberg, ומספק יכולת פעולה הדדית חלקה של קריאה וכתיבה בין מנועים שתואמים ל-Iceberg‏ (Apache Spark, ‏ Apache Flink ו-Trino) לבין BigQuery, תוך שימוש בממשק קטלוג REST של Iceberg שתואם לתקן המקובל בתחום.

פורמטים נתמכים של טבלאות

יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכולם) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg בגרסה 1. כדי להשתמש בטבלאות קיימות מגרסה 1 ב-Lakehouse, צריך לשדרג אותן לגרסה נתמכת. מידע נוסף זמין במאמר שדרוג טבלאות Iceberg מגרסה 1 לגרסה 2.

התכונות העיקריות כוללות:

  • ‫Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse.
  • אחסון: Cloud Storage.
  • אופטימיזציה של האחסון: מנוהלת על ידכם, על ידי צד שלישי או (מנוהלת על ידי Google, גרסת טרום-השקה (Preview)).
  • גישת קריאה וכתיבה:
    • מנועי קוד פתוח: קריאה וכתיבה (GA)
    • ‫BigQuery: קריאה/כתיבה (גרסת טרום-השקה (Preview))
  • תרחישי שימוש: פתיחת Lakehouse עם אחסון ברמה שמתאימה לארגונים ובביצועים גבוהים לניתוח נתונים מתקדם, לסטרימינג ול-AI.

Hive Metastore

הקטלוג הייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Hive באמצעות נקודת קצה של Apache Hive metastore‏ (HMS) שמותאמת ל-Spark ExternalCatalog, וכך מאפשר לשתף נתונים בצורה חלקה בין Spark,‏ Apache Hive ו-BigQuery. אתם יוצרים את הטבלאות האלה ממנועי קוד פתוח ומאחסנים אותן ב-Cloud Storage. האפשרות הזו מתאימה אם אתם רוצים לנהל את תהליך ה-ETL באמצעות מנועי קוד פתוח בלי צורך במאגר מטא-נתונים נפרד של Hive באירוח עצמי, ואתם צריכים רק גישת קריאה מ-BigQuery.

הטבלאות שמנוהלות על ידי נקודת הקצה של Hive metastore הן טבלאות רגילות של Apache Hive ו-Spark (באמצעות Hive SerDes או מקורות נתונים של Spark), ולא טבלאות של Apache Iceberg. כדי ליצור ולנהל טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך להשתמש בנקודת הקצה של קטלוג Apache Iceberg REST.

התכונות העיקריות כוללות:

  • ‫Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse (באמצעות IMetastoreClient בהתאמה אישית).
  • אחסון: Cloud Storage (תמיכה בפורמטים כמו Parquet,‏ ORC ו-Avro).
  • אופטימיזציה של האחסון: מנוהלת על ידכם או על ידי צד שלישי.
  • גישת קריאה וכתיבה:
    • מנועי קוד פתוח (Spark ו-Apache Hive): קריאה וכתיבה.
    • ‫BigQuery: לקריאה בלבד.
  • תרחישים לדוגמה: העברת עומסי עבודה קיימים של Spark ו-Apache Hive ל-metastore מנוהל בלי שרת (serverless) ב- Google Cloud.

פורמטים של טבלאות לפי מוצר

אתם יכולים להשתמש בתרשים הבא כדי להשוות בין סוגי הטבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse.

lakehouse

‫Apache Iceberg (זמינות כללית) גישה לנתונים חוצי-עננים (גרסת טרום-השקה) Apache Hive (GA)
Metastore קטלוג ייעודי לזמן ריצה של Lakehouse קטלוג ייעודי לזמן ריצה של Lakehouse קטלוג ייעודי לזמן ריצה של Lakehouse
אחסון Cloud Storage ‫Cloud Storage או Amazon S3 Cloud Storage
אופטימיזציה של האחסון בניהול הלקוח, בניהול צד שלישי או בניהול Google (גרסת טרום-השקה) בניהול הלקוח או בניהול צד שלישי בניהול הלקוח או בניהול צד שלישי
קריאה/כתיבה מנועי קוד פתוח (קריאה/כתיבה)

‫BigQuery (קריאה/כתיבה [גרסת טרום-השקה (Preview)])		 מנועי קוד פתוח (קריאה)

BigQuery (קריאה)		 מנועי קוד פתוח (קריאה/כתיבה)

‫BigQuery (קריאה בלבד)
פעולות מתקדמות ללא ללא ללא
בקרת גישה אבטחה ברמת הטבלה באמצעות IAM אבטחה ברמת הטבלה באמצעות IAM אבטחה ברמת הטבלה באמצעות IAM
תרחישי שימוש פתיחת lakehouse שאילתות על נתונים בספקי שירותי ענן אחרים בלי להעביר קבצים או לבנות צינורות עיבוד נתונים מורכבים של ETL העברת עומסי עבודה קיימים של Spark ו-Apache Hive ל-metastore מנוהל בלי שרת (serverless)

יכולות של טבלאות Iceberg

בטבלה הבאה מפורטות היכולות של טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse.

במאמר השוואה בין היכולות של טבלאות Iceberg מוסבר מה ההבדל בין טבלאות Apache Iceberg שמנוהלות על ידי קטלוג ייעודי לזמן ריצה של Lakehouse לבין טבלאות Apache Iceberg שמנוהלות על ידי BigQuery.

יכולת תמיכה
קטלוג קטלוג ייעודי לזמן ריצה של Lakehouse (תואם לקטלוג REST של Iceberg)
אחסון Cloud Storage
גישה דרך נקודת הקצה של קטלוג REST של Iceberg כן
יכולת פעולה הדדית של קריאה/כתיבה
שאילתות קריאה ב-BigQuery (SELECT, BigQuery ML, פונקציות AI) נתמך (GA)
‫BigQuery DML‏ (INSERT, UPDATE, DELETE, MERGE) יש ראיות (גרסת טרום-השקה)
קריאות של מנוע OSS נתמך (GA)
כתיבה במנוע OSS נתמך (GA)
כתיבה בסטרימינג של מנוע OSS‏ (Kafka, ‏ Spark,‏ Dataflow עם Iceberg I/O sink) נתמך (GA)
יכולות מתקדמות ומנוהלות
ניהול טבלה (דחיסה, איסוף אשפה) יש ראיות (גרסת טרום-השקה)
סימון נתונים שהשתנו (CDC) ב-BigQuery יש ראיות (גרסת טרום-השקה)
מסע בזמן
מסע בזמן (באמצעות מנועי OSS) גמיש (מוגדר דרך מאפייני הטבלה)
מסע בזמן (באמצעות BigQuery) מוגבלת ל-7 ימים
היסטוריית תמונות המצב וחזרה לתמונת המצב הקודמת נתמך (GA)
היכולות של Knowledge Catalog
קטלוג, חיפוש וגילוי של מטא-נתונים נתמך (GA)
שושלת נתונים נתמך (GA)
איכות הנתונים/יצירת פרופילים נתמך (GA)
תובנות נתמך (GA)
יצירת תיאורים של עמודות וטבלאות באמצעות AI נתמך (GA)

המאמרים הבאים