סקירה כללית של Lakehouse Federation ב-AlloyDB

בדף הזה מוצג Lakehouse Federation ב-AlloyDB ל-PostgreSQL, פתרון מאוחד לניהול נתונים שמרחיב את יכולות השאילתות של AlloyDB. השילוב הזה מאפשר לכם להריץ שאילתות בצורה חלקה על מגוון משאבים של BigQuery, כולל:

בעזרת Lakehouse Federation, אתם יכולים להשתמש במנוע השאילתות של AlloyDB כדי להפעיל את עומסי העבודה הטרנזקציוניים והאנליטיים של האפליקציה שלכם מאותו ממשק. אפשר גם להפוך את הנתונים האלה למוחשיים או לייבא אותם ל-AlloyDB כדי לגשת אליהם מהר יותר לשימוש באפליקציות שלכם. כך תוכלו להשתמש ב-AlloyDB AI ובמנוע מבוסס-העמודות.

התכונה Lakehouse Federation for AlloyDB מאפשרת לכם לטעון ולשנות נתונים מ-BigQuery או מ-Iceberg לתוך AlloyDB כדי לתמוך באפליקציות התפעוליות שלכם או כדי לצרף נתונים היסטוריים לנתונים טרנזקציונליים בזמן אמת. תרחיש השימוש הזה תומך בניתוח נתונים מאוחד ובתצוגה מלאה של העסק שלכם בהקשר של האפליקציה.

אתם יכולים להשתמש ב-AlloyDB כמסד נתונים טרנזקציוני, וגם להחזיק כמויות גדולות של נתונים ב-BigQuery או ב-BigLake. בדרך כלל, האפליקציות שלכם משתלבות באופן עצמאי עם שתי המערכות האלה כדי לגשת לנתונים בשירותים השונים האלה. בעזרת Lakehouse Federation אתם יכולים להשתמש בתמיכה של AlloyDB בשאילתה לכמה מסדי נתונים, שמוטמעת כעטיפת נתונים חיצונית, כדי לגשת לנתונים ב-BigQuery וב-AlloyDB באמצעות ממשק SQL ב-AlloyDB. Google Cloud

Pushdown

אתם יכולים להשתמש בטכניקות של העברת סינון וצבירה, שמאיצות את השאילתות ומפחיתות את העלויות על ידי סינון או סיכום של נתונים ב-BigQuery לפני שהם מועברים או מעובדים על ידי AlloyDB. הגישה הזו מצמצמת את תעבורת הרשת ואת השימוש בזיכרון, ומאפשרת לכם לנתח מערכי נתונים גדולים במהירות וביעילות בלי לחרוג ממגבלות המשאבים.

העברת סינון למטה

העברת סינון למטה, שנקראת גם העברת פרדיקטים למטה, היא טכניקת אופטימיזציה שמעבירה את סינון הנתונים כמה שיותר קרוב לשכבת האחסון. במקום לקרוא טבלה גדולה לזיכרון ואז להשליך את השורות שלא צריך, מסד הנתונים מעביר את המסנן (באמצעות סעיף WHERE) למטה לסריקת הנתונים הראשונית.

באמצעות filter pushdown, אפשר להשתמש בשאילתות SQL עם פסקה WHERE כדי לגשת לקבוצת משנה של נתונים מהטבלה המרוחקת. אפשר גם ליצור את הנתונים האלה בטבלה מקומית או לצרף אותם כמחיצה מקומית לטבלת PostgreSQL.

מסננים נתמכים

הפעולות הבאות של השוואה וחישובים אריתמטיים מועברות ל-BigQuery באמצעות BigQuery API אם הן מופיעות בביטויים בסעיף הסינון (WHERE) של שאילתת PostgreSQL:

אופרטורים להשוואה

=, >, <, >=, <=, <>, ~~, !~~

אופרטורים אריתמטיים

+,‏ -,‏ *,‏ /

העברת נתונים מצטברים

העברת צבירה למטה היא אופטימיזציה מתקדמת של מסד נתונים שמבצעת חישובים – למשל, SUM,‏ COUNT,‏ AVG או GROUP BY – קרוב ככל האפשר לשכבת האחסון. בעוד שהעברת מסננים למטה מסירה שורות מיותרות, העברת צבירה למטה מסכמת את השורות הנדרשות לפני שמנוע מסד הנתונים מעבד אותן.

פונקציות מצטברות נתמכות

פונקציות הצבירה הבאות מועברות ל-BigQuery באמצעות BigQuery API, כשזה רלוונטי לסוגי הנתונים הנתמכים:

  • SUM
  • AVG
  • MIN
  • MAX
  • COUNT

עלויות וחיוב ב-BigQuery

ה-FDW של BigQuery תלוי ברכיבים הבאים:

  • תמחור של חישובים ב-BigQuery
  • תמחור של BigQuery Storage API

מידע נוסף על התמחור של BigQuery

מגבלות

  • יכול להיות שב-AlloyDB וב-BigQuery נעשה שימוש בהשוואות שונות, ולכן סדר הנתונים בשתי המערכות יהיה שונה. לכל חלק בשאילתה שמופעל מרחוק ב-BigQuery, כללי המיון הם בהתאם להגדרות של BigQuery.
  • שאילתות שמחזירות כמות גדולה מאוד של נתונים מ-BigQuery, אחרי העברת העיבוד למטה, לא עוברות אופטימיזציה.

המאמרים הבאים