מידע על מנוע AlloyDB מבוסס-עמודות

בדף הזה תוכלו לקרוא סקירה כללית על מנוע מבוסס-העמודות ש-AlloyDB ל-PostgreSQL מציע, וגם ללמוד איך להשתמש בו.

מנוע מבוסס-עמודות של AlloyDB מאיץ את העיבוד של שאילתות SQL של סריקות, צירופים וצבירות באמצעות הרכיבים הבאים:

  • מאגר עמודות שמכיל נתונים של טבלה ותצוגה חומרית עבור עמודות נבחרות, שארגנו מחדש בפורמט של עמודות. אפשר גם להוסיף ביטויים בשימוש תדיר למאגר העמודות.

  • מתכנן שאילתות מבוסס-עמודות ומנוע ביצוע כדי לתמוך בשימוש במאגר העמודות בשאילתות.

אפשר להשתמש במנוע העמודות במכונה הראשית, במכונה של מאגר לקריאה או בשתיהן. אפשר גם להשתמש בהוספה אוטומטית של עמודות כדי לנתח את עומס העבודה ולאכלס באופן אוטומטי את מאגר העמודות בעמודות שמספקות את שיפור הביצועים הכי טוב.

כדי להשתמש במנוע מבוסס-עמודות עם שאילתה ספציפית, כל העמודות בקטעי השאילתה האלה, כמו שאילתות איחוד וסריקות, צריכות להיות במאגר העמודות.

כברירת מחדל, מנוע העמודות מוגדר להשתמש ב-30% מהזיכרון של המכונה. בהתאם לעומס העבודה, לשימוש בזיכרון ולשאלה אם הגדרתם מאגר קריאה, יכול להיות שתבחרו להקטין את הקצאת הזיכרון של מנוע העמודות במופע הראשי ולהקצות יותר זיכרון למופע של מאגר הקריאה. כדי לראות ולעקוב אחרי השימוש בזיכרון על ידי מנוע העמודות, אפשר לעיין במאמר בנושא הצגת השימוש בזיכרון של מאגר העמודות. כדי לשנות את גודל הזיכרון שמשמש את מאגר העמודות, אפשר לעיין במאמר בנושא הגדרת הגודל של מאגר העמודות. כדי למצוא את גודל הזיכרון המומלץ של מנוע מבוסס-עמודות עבור המופע, אפשר לעיין במאמר המלצה על גודל הזיכרון של מאגר העמודות.

סוגי שאילתות שמועילות למנוע העמודות

שאילתות מסוימות יכולות להפיק תועלת ממנוע העמודות. הרשימה הבאה כוללת פעולות ודפוסי שאילתות שהכי מפיקים תועלת ממנוע העמודות:

  • סריקות של טבלאות

    • יש בו מסננים סלקטיביים, כמו סעיפים של WHERE.
    • היא משתמשת במספר קטן של עמודות מטבלה גדולה יותר או מתצוגה מגובהת.
    • היא משתמשת בביטויים כמו LIKE,‏ ILIKE,‏ SUBSTR ו-TRIM.

  • פונקציות צבירה

    • הם משתמשים רק בביטויים הבאים: SUM, MIN, MAX, AVG ו-COUNT.
    • הם מופיעים בתחילת השאילתה של סריקה עמודתית.
    • הן לא מקובצות, או שהן מקובצות לפי עמודות.

  • ‫ORDER-BY ו-SORT: רק אם ORDER-BY או SORT מופעלים בתוצאות הסריקה של עמודות שהגישה אליהן היא ממנוע מבוסס-עמודות.

  • ‫LIMIT: רק אם האופרטור נמצא בתחילת השאילתה של סריקה עמודתית ולפני האופרטורים SORT או GROUP BY.

  • INNER HASH JOIN רק אם המפתחות שבהם נעשה שימוש הם עמודות ולא נעשה שימוש במגדירי הצטרפות.

  • צירופים סלקטיביים רק אם הצירופים הם בתחילת השאילתה של סריקה עמודתית.

  • סינון שאילתות באמצעות ביטויי JSON.

מידע נוסף על השאילתות שמתאימות ביותר למנוע העמודות, על השאילתות שהשתמשו במנוע העמודות ועל אופן השימוש בו זמין במאמר אימות השימוש במנוע העמודות באמצעות EXPLAIN.

איך משתמשים במנוע מבוסס-עמודות

כדי להשתמש במנוע מבוסס-העמודות במופע של AlloyDB, מבצעים את השלבים הבאים ברמה גבוהה:

  1. מפעילים את המנוע במופע.

    הפעלת המנוע היא פעולה חד-פעמית שדורשת הפעלה מחדש.

  2. מוסיפים עמודות למאגר העמודות.

    כדי להוסיף עמודות למאגר העמודות, משתמשים באחת מהשיטות הבאות:

  3. אפשר לעקוב אחרי מה שנמצא בחנות העמודות באמצעות התצוגה g_columnar_relations view, ואחרי הוספת העמודות אפשר להשתמש בהצהרה EXPLAIN statement כדי לאמת את השימוש במנוע העמודות בשאילתות SQL.

הוראות מפורטות לשימוש במנוע העמודות מופיעות במאמר הגדרת מנוע העמודות.

אילו נתונים אפשר להוסיף למאגר העמודות

יש מגבלות מסוימות על סוגי הנתונים ומקורות הנתונים שבהם אפשר להשתמש כשמוסיפים עמודות למאגר העמודות.

סוגי נתונים נתמכים

מנוע העמודות יכול לאכלס ולרענן עמודות נתמכות בטבלה גם אם חלק מהעמודות מכילות סוגי נתונים שלא נתמכים. עמודות עם סוגי נתונים שלא נתמכים מושמטות במהלך תהליך האכלוס.

כשמריצים שאילתה, המנוע העמודתי מעבד טבלה אם כל העמודות הספציפיות שאליהן מתייחסים בחלק הזה של השאילתה מכילות סוגי נתונים נתמכים ומופיעות במנוע העמודתי.

בשילוב של כמה טבלאות בשאילתה, כמו בפעולות JOIN, אפשר להשתמש במנוע העמודות לכל טבלה בנפרד. כל עוד כל העמודות שאליהן יש גישה מהטבלה הספציפית בשאילתה הן מסוגי נתונים נתמכים ונמצאות במנוע העמודות, אפשר לעבד את הטבלה הזו באמצעות מנוע העמודות, גם אם בטבלאות אחרות בשילוב יש עמודות לא נתמכות.

מנוע מבוסס-עמודות תומך רק בעמודות עם סוגי הנתונים המובנים הבאים:

  • array
  • bigint
  • boolean
  • bytea
  • char
  • date
  • decimal
  • double precision
  • enum
  • float4
  • float8
  • integer
  • json
  • jsonb
  • numeric
  • real
  • serial
  • short
  • smallint
  • text
  • timestamp
  • timestamptz
  • uuid
  • varchar
  • vector

מנוע מבוסס-עמודות מתעלם מניסיונות להוסיף באופן ידני עמודות עם סוגי נתונים לא נתמכים למאגר העמודות.

מקורות נתונים לא נתמכים

מנוע מבוסס-עמודות לא תומך בטבלאות או בתצוגות מהותיות עם המאפיינים הבאים כמקורות נתונים:

  • טבלאות מחולקות למחיצות (Partitions) שאינן עלים

  • טבלאות בשפות זרות

מגבלות של מנוע מבוסס-עמודות

  • אם מריצים שאילתה אנליטית בעמודה שיש לה אינדקס, יכול להיות שהאופטימיזציה של AlloyDB תבחר להשתמש בחנות שורות.
  • עמודות שנוספו ידנית למאגר העמודות לא מוסרות באופן אוטומטי. כדי להסיר עמודות שנוספו ידנית, משתמשים בפקודה google_columnar_engine_drop() במופע.
  • יכול להיות שהמערכת תוסיף או תסיר עמודות באופן דינמי בהתאם לשימוש בשאילתה.
  • לא כל סוגי הנתונים נתמכים במנוע מבוסס-עמודות. לרשימת סוגי הנתונים הנתמכים, ראו סוגי נתונים נתמכים.

  • עדכונים תכופים בשורות מבטלים את תוקף הנתונים בעמודות. כדי לאמת טבלה או תצוגה חומרית בחנות העמודות, אפשר להקטין את תדירות העדכונים או לתזמן רענונים תכופים יותר של מנוע העמודות.

    כדי לבדוק אם הטבלה או התצוגה מושפעות, אפשר להשוות בין העמודות invalid_block_count ו-total_block_count בטבלה g_columnar_relations. אם יש שינויים תכופים או שינויים בהיקף גדול בטבלה או בתצוגה, הערך של invalid_block_count יהיה גבוה.

  • אי אפשר לאכלס טבלה עם מחיצות ישירות במנוע מבוסס-עמודות. כדי להשתמש במנוע מבוסס-עמודות, צריך לאכלס כל אחד מהמחיצות של טבלת העלים בנפרד.

  • בטבלאות או בתצוגות עם מספר קטן של שורות, בדרך כלל פחות מ-5,000, יכול להיות שמתכנן השאילתות יבחר להשתמש בחנות השורות במקום בחנות העמודות כדי לשפר את הביצועים, גם אם הנתונים נטענו בהצלחה למנוע העמודות.

המאמרים הבאים