השוואה בין סוגים של טבלאות

ב-Borderless Lakehouse אתם יכולים לבחור מבין כמה פורמטים של טבלאות, כמו Apache Iceberg ו-Apache Hive, כדי לשפר את הביצועים, להוזיל את העלויות ולשמור על גישה לנתונים במנועים שונים. אתם יכולים להשוות בין ההגדרות האלה כדי לבחור את האפשרות שמתאימה למנועי הכתיבה, לדרישות הקריאה ולצרכי בקרת הניהול שלכם.

פורמטים של טבלאות לפי קטלוג או מנוע

כדי לקבל מידע על הפורמטים הנתמכים של הטבלאות, הגדרת המטא-נתונים, יכולות האופטימיזציה של האחסון ויכולת הפעולה ההדדית של המנוע, בחרו קטלוג או מנוע.

קטלוג ייעודי לזמן ריצה של Lakehouse

הקטלוג הייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Iceberg באמצעות נקודת הקצה של קטלוג REST של Apache Iceberg, ומספק יכולת פעולה הדדית חלקה של קריאה וכתיבה בין מנועים שתואמים ל-Iceberg (‏Apache Spark, ‏Apache Flink ו-Trino) לבין BigQuery, תוך שימוש בממשק קטלוג REST של Iceberg, שהוא הסטנדרט בתחום.

פורמטים נתמכים של טבלאות

יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכולם) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg בגרסה 1. כדי להשתמש בטבלאות קיימות בגרסה 1 ב-Lakehouse, צריך לשדרג אותן לגרסה נתמכת. מידע נוסף זמין במאמר שדרוג טבלאות Iceberg מגרסה 1 לגרסה 2.

התכונות העיקריות כוללות:

  • ‫Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse.
  • אחסון: Cloud Storage.
  • אופטימיזציה של האחסון: מנוהלת על ידכם, על ידי צד שלישי או על ידי Google (גרסת טרום-השקה).
  • גישת קריאה וכתיבה:
    • מנועי קוד פתוח: קריאה וכתיבה (GA)
    • ‫BigQuery: קריאה/כתיבה (גרסת טרום-השקה (Preview))
  • תרחישי שימוש: פתיחת Lakehouse עם אחסון בעל ביצועים גבוהים ברמה שמתאימה לארגונים לניתוח נתונים מתקדם, לסטרימינג ול-AI.

Hive Metastore

הקטלוג הייעודי לזמן ריצה של Lakehouse מנהל טבלאות Apache Hive באמצעות נקודת קצה של Apache Hive metastore‏ (HMS) שמותאמת ל-Spark ExternalCatalog, וכך מאפשר לשתף נתונים בצורה חלקה בין Spark,‏ Apache Hive ו-BigQuery. אתם יוצרים את הטבלאות האלה ממנועי קוד פתוח ומאחסנים אותן ב-Cloud Storage. האפשרות הזו מתאימה אם אתם רוצים שתהליך ה-ETL ינוהל על ידי מנועי קוד פתוח בלי צורך במטא-נתונים נפרדים של Hive באירוח עצמי, וצריכים רק גישת קריאה מ-BigQuery.

הטבלאות שמנוהלות על ידי נקודת הקצה של Hive metastore הן טבלאות רגילות של Apache Hive ו-Spark (באמצעות Hive SerDes או מקורות נתונים של Spark), ולא טבלאות של Apache Iceberg. כדי ליצור ולנהל טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך להשתמש בנקודת הקצה של קטלוג Apache Iceberg REST.

התכונות העיקריות כוללות:

  • ‫Metastore: קטלוג ייעודי לזמן ריצה של Lakehouse (באמצעות IMetastoreClient בהתאמה אישית).
  • אחסון: Cloud Storage (תמיכה בפורמטים כמו Parquet,‏ ORC ו-Avro).
  • אופטימיזציה של האחסון: מנוהלת על ידכם או על ידי צד שלישי.
  • גישת קריאה וכתיבה:
    • מנועי קוד פתוח (Spark ו-Apache Hive): קריאה וכתיבה.
    • ‫BigQuery: לקריאה בלבד.
  • תרחישים לדוגמה: העברת עומסי עבודה קיימים של Spark ו-Apache Hive ל-metastore מנוהל בלי שרת (serverless) ב- Google Cloud.

פורמטים של טבלאות לפי מוצר

אתם יכולים להשתמש בתרשים הבא כדי להשוות בין סוגי הטבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse.

lakehouse

‫Apache Iceberg (זמינות כללית) גישה לנתונים חוצי-עננים (GA) Apache Hive (GA)
Metastore קטלוג ייעודי לזמן ריצה של Lakehouse קטלוג ייעודי לזמן ריצה של Lakehouse קטלוג ייעודי לזמן ריצה של Lakehouse
אחסון Cloud Storage ‫Cloud Storage או Amazon S3 Cloud Storage
אופטימיזציה של האחסון בניהול הלקוח, בניהול צד שלישי או בניהול Google (גרסת טרום-השקה) בניהול הלקוח או בניהול צד שלישי בניהול הלקוח או בניהול צד שלישי
קריאה/כתיבה מנועי קוד פתוח (קריאה/כתיבה)

BigQuery (קריאה/כתיבה [גרסת טרום-השקה (Preview)])
מנועי קוד פתוח (קריאה)

BigQuery (קריאה)
מנועי קוד פתוח (קריאה/כתיבה)

‫BigQuery (קריאה בלבד)
פעולות מתקדמות ללא ללא ללא
בקרת גישה אבטחה ברמת הטבלה באמצעות IAM

אבטחה ברמת השורה וברמת העמודה
אבטחה ברמת הטבלה באמצעות IAM אבטחה ברמת הטבלה באמצעות IAM
תרחישי שימוש פתיחת lakehouse שליחת שאילתות על נתונים אצל ספקי שירותי ענן אחרים בלי להעביר קבצים או לבנות צינורות עיבוד נתונים מורכבים של ETL העברת עומסי עבודה קיימים של Spark ו-Apache Hive ל-metastore מנוהל בלי שרת (serverless)

יכולות של טבלאות Iceberg

בטבלה הבאה מפורט מידע נוסף על היכולות שמוצעות בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse.

כדי להשוות בין היכולות של טבלאות Apache Iceberg שמנוהלות על ידי קטלוג ייעודי לזמן ריצה של Lakehouse לבין טבלאות Apache Iceberg שמנוהלות על ידי BigQuery, קראו את המאמר השוואה בין היכולות של טבלאות Iceberg.

יכולת תמיכה
קטלוג קטלוג ייעודי לזמן ריצה של Lakehouse (תואם לקטלוג REST של Iceberg)
אחסון Cloud Storage
גישה דרך נקודת הקצה של קטלוג REST של Apache Iceberg כן
יכולת פעולה הדדית של קריאה/כתיבה
שאילתות קריאה ב-BigQuery (SELECT, BigQuery ML, פונקציות AI) יש תמיכה (GA)
‫BigQuery DML‏ (INSERT, UPDATE, DELETE, MERGE) יש ראיות (גרסת טרום-השקה)
קריאות של מנוע OSS יש תמיכה (GA)
כתיבה במנוע OSS יש תמיכה (GA)
כתיבה בסטרימינג של מנוע OSS‏ (Kafka, ‏ Spark,‏ Dataflow עם Iceberg I/O sink) יש תמיכה (GA)
יכולות מתקדמות ומנוהלות
ניהול טבלאות (דחיסה, איסוף אשפה) יש ראיות (גרסת טרום-השקה)
סימון נתונים שהשתנו (CDC) ב-BigQuery יש ראיות (גרסת טרום-השקה)
מסע בזמן
מסע בזמן (באמצעות מנועי OSS) גמיש (מוגדר דרך מאפייני הטבלה)
מסע בזמן (באמצעות BigQuery) מוגבלת ל-7 ימים
היסטוריית תמונות המצב וחזרה לתמונת המצב הקודמת יש תמיכה (GA)
משילות ואבטחה
אבטחה ברמת העמודה ואנונימיזציה של נתונים ב-BigQuery (כללי מדיניות נתונים בעמודות) יש תמיכה (GA)
אבטחה ברמת השורה ב-BigQuery (כללי מדיניות גישה ברמת השורה) יש תמיכה (GA)
היכולות של Knowledge Catalog
קטלוג, חיפוש וגילוי של מטא-נתונים יש תמיכה (GA)
שושלת נתונים יש תמיכה (GA)
איכות הנתונים/פרופילים יש תמיכה (GA)
תובנות יש תמיכה (GA)
יצירת תיאורים של עמודות וטבלאות באמצעות AI יש תמיכה (GA)

המאמרים הבאים