מידע על מנוע AlloyDB מבוסס-עמודות

בדף הזה תוכלו לקרוא סקירה כללית על מנוע מבוסס-העמודות ש-AlloyDB ל-PostgreSQL מציע, וגם ללמוד איך להשתמש בו.

מנוע מבוסס-עמודות של AlloyDB מאיץ את העיבוד של שאילתות SQL של סריקות, צירופים וצבירות על ידי אספקת הרכיבים הבאים:

  • מאגר עמודות שמכיל נתונים של טבלה ותצוגה חומרית של עמודות נבחרות, מאורגנים מחדש בפורמט של עמודות. אפשר גם להוסיף ביטויים בשימוש נפוץ למאגר העמודות.

  • מנוע ביצוע ותכנון שאילתות בעמודות, לתמיכה בשימוש במאגר העמודות בשאילתות.

אפשר להשתמש במנוע מבוסס-עמודות במכונה הראשית, במכונה של מאגר לקריאה או בשתיהן. אפשר גם להשתמש בהוספה אוטומטית של עמודות כדי לנתח את עומס העבודה ולאכלס באופן אוטומטי את מאגר העמודות בעמודות שמספקות את שיפור הביצועים הכי טוב.

כדי להשתמש במנוע מבוסס-עמודות עם שאילתה ספציפית, כל העמודות בקטעי השאילתה האלה, כמו הצטרפויות וסריקות, צריכות להיות במאגר העמודות.

כברירת מחדל, מנוע העמודות מוגדר להשתמש ב-30% מהזיכרון של המכונה. בהתאם לעומס העבודה, לשימוש בזיכרון ולשאלה אם הגדרתם מאגר קריאה, יכול להיות שתבחרו להקטין את הקצאת הזיכרון של מנוע מבוסס-העמודות במופע הראשי ולהקצות יותר זיכרון למופע של מאגר הקריאה. כדי לראות ולעקוב אחרי השימוש בזיכרון על ידי מנוע העמודות, אפשר לעיין במאמר בנושא הצגת השימוש בזיכרון של מאגר העמודות. כדי לשנות את גודל הזיכרון שמשמש את מאגר העמודות, אפשר לעיין במאמר בנושא הגדרת הגודל של מאגר העמודות. כדי למצוא את גודל הזיכרון המומלץ של מנוע מבוסס-עמודות למופע שלכם, אפשר לעיין במאמר המלצה על גודל הזיכרון של מאגר העמודות.

סוגי שאילתות שמרוויחות מהשימוש במנוע העמודות

יש שאילתות שמומלץ להריץ באמצעות מנוע עמודות. הרשימה הבאה כוללת פעולות ודפוסי שאילתות שהכי מפיקים תועלת ממנוע העמודות:

  • סריקות של טבלאות

    • יש בו מסננים סלקטיביים, כמו סעיפים של WHERE.
    • היא משתמשת במספר קטן של עמודות מטבלה גדולה יותר או מתצוגה מגובהת.
    • הוא משתמש בביטויים כמו LIKE,‏ ILIKE,‏ SUBSTR ו-TRIM.

  • פונקציות צבירה

    • הם משתמשים רק בביטויים הבאים: SUM, MIN, MAX, AVG ו-COUNT.
    • הם מופיעים בתחילת השאילתה של סריקה עמודתית.
    • הן לא מקובצות, או שהן מקובצות לפי עמודות.

  • ‫ORDER-BY ו-SORT: רק כשהסמל ORDER-BY או SORT מופיע בתוצאות הסריקה של עמודות שהגישה אליהן מתבצעת ממנוע העמודות.

  • ‫LIMIT: רק אם האופרטור נמצא בתחילת השאילתה של סריקה עמודתית ולפני האופרטורים SORT או GROUP BY.

  • ‫INNER HASH JOIN רק אם המפתחות שבהם נעשה שימוש הם עמודות ולא נעשה שימוש במגדירי הצטרפות.

  • צירופים סלקטיביים רק אם הצירופים הם בתחילת השאילתה של סריקה עמודתית.

  • סינון שאילתות באמצעות ביטויי JSON.

למידע נוסף על השאילתות שמתאימות ביותר למנוע העמודות, על השאילתות שבהן נעשה שימוש במנוע העמודות ועל אופן השימוש בו, אפשר לעיין במאמר אימות השימוש במנוע העמודות באמצעות EXPLAIN.

איך משתמשים במנוע מבוסס-עמודות

כדי להשתמש במנוע מבוסס-עמודות במופע AlloyDB, מבצעים את השלבים הבאים ברמה גבוהה:

  1. מפעילים את המנוע במופע.

    הפעלת המנוע היא פעולה חד-פעמית שדורשת הפעלה מחדש.

  2. מוסיפים עמודות למאגר העמודות.

    כדי להוסיף עמודות למאגר העמודות, משתמשים באחת מהשיטות הבאות:

  3. אפשר לעקוב אחרי מה שנמצא בחנות העמודות באמצעות התצוגה g_columnar_relations, ואחרי הוספת העמודות אפשר להשתמש בהצהרה EXPLAIN כדי לאמת את השימוש במנוע העמודות בשאילתות SQL.

הוראות מפורטות לשימוש במנוע העמודות מופיעות במאמר הגדרת מנוע העמודות.

אילו נתונים אפשר להוסיף למאגר העמודות

יש מגבלות מסוימות על סוגי הנתונים ומקורות הנתונים שבהם אפשר להשתמש כשמוסיפים עמודות למאגר העמודות.

סוגי נתונים נתמכים

מנוע מבוסס-עמודות תומך רק בעמודות עם סוגי הנתונים המובנים הבאים:

  • array
  • bigint
  • boolean
  • bytea
  • char
  • date
  • decimal
  • double precision
  • enum
  • float4
  • float8
  • integer
  • json
  • jsonb
  • numeric
  • real
  • serial
  • short
  • smallint
  • text
  • timestamp
  • timestamptz
  • uuid
  • varchar
  • vector

מנוע מבוסס-עמודות מתעלם מניסיונות להוסיף באופן ידני עמודות עם סוגי נתונים לא נתמכים למאגר העמודות.

מקורות נתונים לא נתמכים

מנוע מבוסס-עמודות לא תומך בטבלאות או בתצוגות מהותיות עם המאפיינים הבאים כמקורות נתונים:

  • טבלאות מחולקות למחיצות (Partitions) שהן לא עלה

  • טבלאות בשפות זרות

מגבלות של מנוע מבוסס-עמודות

  • אם מריצים שאילתה אנליטית בעמודה שיש לה אינדקס, יכול להיות שהאופטימיזציה של AlloyDB תבחר להשתמש בחנות שורות.
  • עמודות שנוספו ידנית למאגר העמודות לא יוסרו באופן אוטומטי. כדי להסיר בכוח עמודות שהוספתם באופן ידני, משתמשים בפקודה google_columnar_engine_drop() במופע.
  • יכול להיות שהמערכת תוסיף או תסיר עמודות באופן דינמי בהתאם לשימוש בשאילתה.
  • לא כל סוגי הנתונים נתמכים במנוע מבוסס-עמודות. לרשימת סוגי הנתונים הנתמכים, ראו סוגי נתונים נתמכים.

  • עדכונים תכופים בשורות מבטלים את התוקף של נתונים בעמודות. כדי לאמת טבלה או תצוגה מהותית בחנות העמודות, אפשר להפחית את תדירות העדכון או לתזמן רענונים תכופים יותר של מנוע מבוסס-עמודות.

    כדי לבדוק אם הטבלה או התצוגה מושפעות, אפשר להשוות בין העמודות invalid_block_count ו-total_block_count ב-g_columnar_relations. אם יש שינויים תכופים או שינויים בהיקף גדול בטבלה או בתצוגה, הערך של invalid_block_count יהיה גבוה.

  • אי אפשר לאכלס טבלה מחולקת למחיצות ישירות במנוע מבוסס-עמודות. כדי להשתמש במנוע מבוסס-עמודות, צריך לאכלס כל אחת ממחיצות העלים של הטבלה בנפרד.

  • בטבלאות או בתצוגות עם מספר קטן של שורות, בדרך כלל פחות מ-5,000, מתכנן השאילתות עשוי לבחור להשתמש בחנות השורות במקום בחנות העמודות כדי לשפר את הביצועים, גם אם הנתונים נטענו בהצלחה למנוע העמודות.

המאמרים הבאים