מה זה Lakehouse ללא גבולות?

בעזרת Borderless Lakehouse אתם יכולים ליצור ב-Google Cloud מאגרי נתונים פתוחים מסוג Lakehouse, על ידי שילוב של פורמט הטבלה הפתוח Apache Iceberg עם אחסון מנוהל. הארכיטקטורה הזו מפרידה בין האחסון למחשוב כדי לספק בסיס מאוחד לעומסי עבודה של ניתוח נתונים ו-AI.

כדי לנהל מטא-נתונים של טבלאות פתוחות, ב-Lakehouse משתמשים בקטלוג ייעודי לזמן ריצה של Lakehouse – שירות מטא-נתונים ללא שרת (serverless) שמרכז את החיפוש ומבטל את הצורך בסנכרון בין מאגרים. העיצוב הזה מאפשר למספר מנועים – כולל Managed Service for Apache Spark, ‏Apache Flink, ‏Apache Hive, ‏Trino ו-BigQuery – לגשת ישירות למקור קובע אחד בלי לשכפל נתונים.

יתרונות מרכזיים

  • ארכיטקטורה בלי שרת (serverless): ב-Lakehouse של Google Cloud אין צורך לנהל שרתים או תוכנה לניהול אשכולות, מה שמפחית את התקורה התפעולית ומאפשר התאמה אוטומטית לעומס לפי הביקוש. בעומסי עבודה של מחשוב, סשנים אינטראקטיביים ועיבוד באצווה בלי שרת (serverless) מסירים את התחרות על משאבים בין משימות, והופכים את תחזוקת התשתית לאוטומטית.
  • ניהול ופיקוח מאוחדים על נתונים: שילוב עם Knowledge Catalog מאפשר להגדיר ולאכוף באופן מרכזי כללי מדיניות פיקוח בכמה מנועים, ומאפשר חיפוש סמנטי, מעקב אחר שושלת נתונים ובדיקות איכות.
  • תוספי אחסון: Lakehouse של Google Cloud מרחיב את יכולות הניהול של Cloud Storage וכולל תכונות כמו חלוקה לרמות של סיווג אוטומטי ומפתחות הצפנה בניהול הלקוח (CMEK).
  • חוויה מנוהלת באופן מלא: כשמשלבים את Lakehouse של Google Cloud עם BigQuery, מקבלים חוויית ניתוח ו-AI מנוהלת באופן מלא.
  • זמינות גבוהה ותוכנית התאוששות מאסון (DR): ב-Lakehouse של Google Cloud יש אפשרויות לשכפול בין אזורים ולתוכנית התאוששות מאסון (גרסת טרום-השקה (Preview)) כדי לתמוך בזמינות גבוהה של הנתונים.

תרחישים לדוגמה

  • ‫Open lakehouse: משתמשים ב-Cloud Storage כשכבת האחסון, וב-Lakehouse של Google Cloud כממשק הניהול והפיקוח על נתוני Apache Iceberg.
  • שילוב של ניתוח נתונים וטרנזקציות: גישה לטבלאות Apache Iceberg לניתוח נתונים ישירות ב-AlloyDB ל-PostgreSQL (בגרסת טרום-השקה (Preview) [4]) כדי לשלב נתוני ניתוח עם עומסי עבודה של טרנזקציות.
  • גישה אחידה: מאפשרת למנועים שונים (Apache Spark, ‏ Apache Flink,‏ BigQuery) לקיים אינטראקציה עם אותן טבלאות Apache Iceberg עם מטא-נתונים עקביים.
  • ניתוח נתונים ו-AI חוצי-עננים: גישה לנתונים חוצי-עננים (גרסת טרום-השקה (Preview)) כדי לסנכרן מטא-נתונים מספקי שירותי ענן אחרים, וכך לשלוח שאילתות לגבי נתונים באמצעות BigQuery או מנועי קוד פתוח חיצוניים דרך נקודת הקצה של קטלוג Apache Iceberg REST, בלי להעביר את הנתונים.
  • ניתוח מערכי נתונים ציבוריים: אתם יכולים להריץ בקלות שאילתות על מערכי נתונים ציבוריים באיכות גבוהה באמצעות נקודת הקצה של קטלוג REST של Apache Iceberg, בלי לנהל את התשתית.
  • ‫Hive Metastore: אתם יכולים לחבר מנועי קוד פתוח כמו Apache Spark ו-Apache Hive לקטלוג הייעודי לזמן ריצה של Lakehouse באמצעות הקטלוג של Hive. כך אפשר להימנע מהוצאות התפעול של תחזוקת Hive Metastore‏ (HMS) באירוח עצמי, וגם לשתף נתונים בצורה חלקה ולשלוח שאילתות ישירות לטבלאות ב-BigQuery.

ממשקים וכלים

אתם יכולים לבצע פעולות במשאבי Lakehouse ב-Google Cloud באמצעות הכלים הבאים:

  • מסוףGoogle Cloud : משתמשים במסוף כדי ליצור קטלוגים, להציג את המאפיינים של הקטלוגים, להציג יומני ביקורת ולהגדיר הרשאות.
  • ‫BigQuery SQL: אתם יכולים להשתמש ב-DDL (שפת הגדרת נתונים) של SQL סטנדרטי כדי ליצור ולנהל טבלאות Apache Iceberg וטבלאות חיצוניות שמשולבות בקטלוג ייעודי לזמן ריצה של Lakehouse.
  • מנועי קוד פתוח: אתם יכולים להשתמש במנועים כמו Apache Spark,‏ Apache Flink ו-Apache Hive עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לקרוא ולכתוב נתונים.
  • סביבות פיתוח משולבות (IDE) ו-Notebooks: אתם יכולים להשתמש ב-Notebooks אינטראקטיביים של Apache Spark ובתוספים של סביבות פיתוח משולבות, כמו התוסף Data Agent Kit (DAK)‎ ל-VS Code, כדי לאמת את Google Cloud, לכתוב קוד באופן אינטראקטיבי ולנהל סשנים של Notebooks ישירות בסביבת הפיתוח.
  • כלים לתזמור ול-MLOps: שילוב של פייפליינים באצווה בלי שרת (serverless) ופעולות קטלוג עם תהליכי עבודה לתזמור באמצעות Managed Service for Apache Airflow (לשעבר Cloud Composer) ו-Kubeflow Pipelines ב-Vertex AI.
  • ‫Apache Iceberg REST Catalog API: משתמשים בנקודת הקצה של קטלוג REST של Apache Iceberg כדי ליצור אינטראקציה עם השירות באמצעות כלים שתואמים למפרט הפתוח של Apache Iceberg REST.
  • ‫תמיכה בטבלאות Apache Iceberg: יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכלל המשתמשים) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg V1.

המאמרים הבאים