בדף הזה מתועדת גרסה 18.3.0 של AlloyDB Omni באמצעות אפשרות הפריסה RPM orchestrator. בוחרים אפשרות פריסה אחרת.

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מעקב אחרי מנוע מבוסס-עמודות

בוחרים גרסת תיעוד:

בדף הזה מוסבר איך לעקוב אחרי השימוש במנוע מבוסס-העמודות.

אימות השימוש במנוע מבוסס-העמודות באמצעות `EXPLAIN`

כדי לראות את האופרטורים החדשים של המנוע מבוסס-העמודות שמופיעים בתוכנית לביצוע שאילתה שנוצרה, אתם יכולים לאמת את השימוש במנוע מבוסס-העמודות באמצעות ההצהרה EXPLAIN.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
         l_discount, l_tax
    FROM lineitem
   WHERE l_shipdate <= date '1992-08-06'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Append (actual rows=3941797 loops=1)
   Buffers: shared hit=9
   ->  Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
         Filter: (l_shipdate <= '1992-08-06'::date)
         Rows Removed by Columnar Filter: 56054083
         Columnar cache search mode: columnar filter only
         Buffers: shared hit=9
   ->  Seq Scan on lineitem (never executed)
  Filter: (l_shipdate <= '1992-08-06'::date)

‫Custom Scan (columnar scan) מציין שסריקה של מנוע מבוסס-עמודות נכללת בתוכנית לביצוע השאילתה.
‫Rows Removed by Columnar Filter מציג את מספר השורות שסוננו על ידי ההפעלה הווקטורית של העמודות.
הערך של Columnar cache search mode יכול להיות columnar filter only,‏ native או row store scan. המתכנן בוחר את מצב החיפוש באופן אוטומטי על סמך יכולת ההערכה של העלות והדחיפה למטה.

כשהמתכנן בוחר במצב native, הוא דוחף למטה חלק מהאופרטורים של העמודות לסריקה:

‫Rows Aggregated by Columnar Scan מציג את מספר השורות שצוברות.
‫Rows Sorted by Columnar Scan מציין את מספר השורות שממוינות.
Rows Limited by Columnar Scan מפרט את המספר המוגבל של השורות שנסרקו.

בצירופים, אופרטורים של סריקה עמודית יכולים להשתמש גם במצב Late Materialization.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_shipmode, o_orderpriority
    FROM orders, lineitem
   WHERE o_orderkey = l_orderkey
         AND l_shipmode in ('AIR', 'FOB')
         AND l_receiptdate >= date '1995-01-01'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Hash Join (actual rows=9865288 loops=1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Buffers: temp read=127738 written=127738
   ->  Append (actual rows=9865288 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
               Rows Removed by Columnar Filter: 50130592
               Columnar cache search mode: native
         ->  Index Scan using idx_lineitem_orderkey_fkidx on lineitem
             (never executed)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
   ->  Hash (actual rows=15000000 loops=1)
         Buckets: 1048576  Batches: 32  Memory Usage: 37006kB
         Buffers: temp written=83357
         ->  Append (actual rows=15000000 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=15000000
                   loops=1)
                     Rows Removed by Columnar Filter: 0
                     Columnar projection mode: late materialization
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)

‫Columnar projection mode יכול להיות late materialization. אופרטורים של עמודות בוחרים במצב הזה באופן אוטומטי כשהמתכנן מבצע אופטימיזציה של ההקרנה על ידי דחיית המטריאליזציה של ערכי עמודות מסוימים.

הצגת השימוש בשאילתות איחוד (join) וקטוריות במנוע מבוסס-עמודות

כדי לאמת את אופרטור השאילתה הווקטורית החדש, אפשר להשתמש בהצהרה EXPLAIN כדי לראות את האופרטור החדש Vectorized Hash Join שמופיע בתוכנית לביצוע שאילתה שנוצרה.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_quantity, l_extendedprice, l_discount, l_tax
    FROM lineitem, orders
    WHERE l_shipdate <= date '2022-08-06'
    AND  l_orderkey = o_orderkey
    AND  o_orderdate <= date '2025-03-07';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Vectorized Hash Join (actual rows=3934686 loops=1)
   Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
   (Peak Memory Usage: 27MB, Threads: 1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Rows Removed by Bloom Filter: 0
   Buffers: temp read=26728 written=26728
   ->  Append (actual rows=3934686 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
               Filter: (l_shipdate <= '2022-08-06'::date)
               Rows Removed by Columnar Filter: 56051366
               Columnar cache search mode: native
         ->  Seq Scan on lineitem (never executed)
               Filter: (l_shipdate <= '2022-08-06'::date)
   ->  Vectorized Hash (actual rows=7245824 loops=1)
         Build bloom filter, Memory Usage: 1024kB
         ->  Append (actual rows=7245824 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
                     Filter: (o_orderdate <= '2025-03-07'::date)
                     Rows Removed by Columnar Filter: 7754176
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)
                     Filter: (o_orderdate <= '2025-03-07'::date)

Vectorized Hash Join מציין שהחיבור בין שני היחסים השתמש בחיבור ה-hash הווקטורי.
‫Vectorized partitioning, Partitions: מציין את מספר המחיצות שאליהן פוצלו הנתונים.

הצגת מידע על טבלאות עם עמודות במאגר העמודות

כדי לראות מידע על הטבלאות או על התצוגות המהותיות עם עמודות במאגר העמודות, אפשר לשלוח שאילתה לתצוגה g_columnar_relations.

SELECT * FROM g_columnar_relations;

┌─[ RECORD 1 ]────────┬───────────────────┐
│ relation_name       │ tbl_parallel_test │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 581431259         │
│ columnar_unit_count │ 3                 │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 8337              │
├─[ RECORD 2 ]────────┼───────────────────┤
│ relation_name       │ lineitem          │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 423224944         │
│ columnar_unit_count │ 29                │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 115662            │
├─[ RECORD 3 ]────────┼───────────────────┤

הצגת מידע על העמודות במאגר העמודות

אתם יכולים לראות מידע על העמודות במאגר העמודות על ידי שליחת שאילתה לתצוגה g_columnar_columns, כולל גודל העמודות וזמן הגישה האחרון.

SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;

הצגת מאגר העמודות בממשק המשתמש באינטרנט

אפשר גם לראות את המלאי של מאגר הנתונים העמודתי בממשק המשתמש של AlloyDB Omni באינטרנט:

מתחברים לממשק המשתמש באינטרנט ובוחרים את האשכול.
בתפריט הניווט, לוחצים על Columnar Engine.
בטבלה Columnar Store data, בודקים את העמודות שמאוכלסות במאגר העמודות:
- ‫Database name: מסד הנתונים שמכיל את הקשר.
- שם הסכימה: הסכימה של הקשר.
- שם היחס: השם של הטבלה או של התצוגה המהותית.
- שם העמודה: השם של העמודה שנוצרה.
- ‫Column type: סוג הנתונים של העמודה ב-SQL.
- סטטוס: סטטוס המוכנות של העמודה במאגר העמודות (לדוגמה, Usable).
- גודל: הזיכרון שבשימוש של העמודה במאגר העמודות.
- גישות: מספר הפעמים שהייתה גישה לעמודה באמצעות סריקות עמודות.
- הגישה האחרונה: חותמת הזמן של הגישה האחרונה לסריקה עמודית.

הצגת נתונים סטטיסטיים של ביצוע שאילתות אחרונות במנוע מבוסס-עמודות

אתם יכולים לראות את הנתונים הסטטיסטיים של הרצת שאילתות אחרונות במנוע מבוסס-העמודות באמצעות התצוגה g_columnar_stat_statements. התצוגה הזו מוסיפה נתונים סטטיסטיים של המנוע מבוסס-העמודות לתצוגה pg_stat_statements שסופקה על ידי התוסף pg_stat_statements. כדי להשתמש בתצוגה הזו, צריך קודם להפעיל את התוסף pg_stat_statements.

מפעילים את התוסף pg_stat_statements:
```
CREATE EXTENSION pg_stat_statements;
```
מריצים את השאילתות שרוצים לראות את הנתונים הסטטיסטיים שלהן. אפשר לעשות את זה ידנית, או לחכות מספיק זמן כדי שהאפליקציות יריצו את השאילתות האלה כש-pg_stat_statements מופעל.

שליחת שאילתה לתצוגות g_columnar_stat_statements ו-pg_stat_statements. שימו לב שהשאילתה הבאה מאחזרת את כל הנתונים הסטטיסטיים של הביצועים בעמודות, כולל אלה שנאספו לפני שנוצרה התוספת pg_stat_statements. הערך 10 של userid מציין שהנתונים הסטטיסטיים נאספו לפני שהתוסף pg_stat_statements נוצר.

SELECT *
FROM pg_stat_statements(TRUE) AS pg_stats
     FULL JOIN g_columnar_stat_statements AS g_stats
     ON pg_stats.userid = g_stats.user_id AND
        pg_stats.dbid = g_stats.db_id AND
        pg_stats.queryid = g_stats.query_id
WHERE columnar_unit_read > 0;

┌─[ RECORD 1 ]────────┬───────────────────────────────
│ userid              │ 10                            │
│ dbid                │ 33004                         │
│ queryid             │ 6779068104316758833           │
│ query               │ SELECT  l_returnflag,        ↵│
│                     │         l_linestatus,        ↵│
│                     │         l_quantity,          ↵│
│                     │         l_extendedprice,     ↵│
│                     │         l_discount,          ↵│
│                     │         l_tax                ↵│
│                     │FROM  lineitem                ↵│
│                     │WHERE  l_shipdate <= date $1│
│ calls               │ 1                             │
│ total_time          │ 299.969983                    │
│ min_time            │ 299.969983                    │
│ max_time            │ 299.969983                    │
│ mean_time           │ 299.969983                    │
│ stddev_time         │ 0                             │
│ rows                │ 392164                        │
│ shared_blks_hit     │ 0                             │
│ shared_blks_read    │ 0                             │
│ shared_blks_dirtied │ 0                             │
│ shared_blks_written │ 0                             │
│ local_blks_hit      │ 0                             │
│ local_blks_read     │ 0                             │
│ local_blks_dirtied  │ 0                             │
│ local_blks_written  │ 0                             │
│ temp_blks_read      │ 0                             │
│ temp_blks_written   │ 0                             │
│ blk_read_time       │ 0                             │
│ blk_write_time      │ 0                             │
│ user_id             │ 10                            │
│ db_id               │ 33004                         │
│ query_id            │ 6779068104316758833           │
│ columnar_unit_read  │ 29                            │
│ page_read           │ 115662                        │
│ rows_filtered       │ 0                             │
│ columnar_scan_time  │ 0                             │
└─────────────────────┴───────────────────────────────┘

הצגת נתונים סטטיסטיים של שאילתות בעמודות בממשק המשתמש באינטרנט

אחרי שמפעילים את התוסף pg_stat_statements, אפשר גם לבדוק את הנתונים הסטטיסטיים של הרצת השאילתות בעמודות בממשק המשתמש של AlloyDB Omni באינטרנט:

מתחברים לממשק המשתמש באינטרנט ובוחרים את האשכול.
בתפריט הניווט, לוחצים על Columnar Engine.
בטבלה Columnar Queries, בודקים את הנתונים הסטטיסטיים של הביצוע של שאילתות ניתוח שהשתמשו במאגר העמודות:
- מזהה שאילתה: המזהה של השאילתה שעברה הסרת תוכן זדוני או רגיש.
- ‫Query: הטקסט של הצהרת ה-SQL אחרי הסרת תוכן זדוני או רגיש, שבו ערכים קבועים מוחלפים בפלייסהולדרים.
- מספר הקריאות: מספר הפעמים שהשאילתה בוצעה.
- מספר ממוצע של שורות שנשלפו: המספר הממוצע של שורות שהוחזרו בכל הפעלה.
- זמן אחזור ממוצע: זמן האחזור הממוצע של ביצוע השאילתה.
- ‫Max latency: זמן האחזור המקסימלי של הביצוע שתועד לשאילתה.
- יחידות עמודתיות שנקראו: מספר היחידות העמודתיות שנקראו ממאגר העמודות.
- דפים שנקראו: מספר הדפים שנקראו במהלך הביצוע.

הצגת השימוש בזיכרון של מאגר העמודות

כדי לראות את כמות ה-RAM הפנוי שזמין למנוע מבוסס-העמודות, אפשר לשלוח שאילתה לפונקציה google_columnar_engine_memory_available. המספר השלם שמופיע בפלט מציין את נפח הזיכרון הזמין במגה-בייט (MB).

SELECT google_columnar_engine_memory_available();

הצגת ההגדרות וגודל הזיכרון של מאגר העמודות בממשק המשתמש באינטרנט

אפשר גם לבדוק את צריכת הזיכרון של מאגר העמודות ואת הגדרות התצורה בממשק המשתמש של AlloyDB Omni באינטרנט:

מתחברים לממשק המשתמש באינטרנט ובוחרים את האשכול.
בתפריט הניווט, לוחצים על Columnar Engine.
בודקים את הקטע Columnar Store settings, שבו מוצגים האינדיקטורים הבאים של הסטטוס והזיכרון:
- מנוע מבוסס-עמודות: מציין אם המנוע מבוסס-העמודות פעיל (לדוגמה, Enabled).
- גודל הזיכרון: נפח הזיכרון של מאגר העמודות שנמצא בשימוש מתוך כלל הזיכרון שהוקצה לעמודות (לדוגמה, 2.0 MB used of 1024.0 MB).
- ארגון אוטומטי בעמודות: מציין אם הארגון האוטומטי בעמודות מופעל (לדוגמה, Enabled).
- תדירות ההרצה: מציגה את מרווח הזמן המתוזמן להרצות אוטומטיות של המרת נתונים לעמודות (לדוגמה, Every 5 minutes).
- סריקה עמודית: מציינת אם הפעלת הסריקה העמודית מופעלת (לדוגמה, Enabled).

הצגת המטמון של נפח האחסון במנוע מבוסס-עמודות

כדי להציג ולנטר נתונים על מטמון האחסון של המנוע מבוסס-העמודות, אתם יכולים להשתמש בפקודות הבאות:

פקודה	תיאור
`SELECT google_columnar_engine_storage_cache_used();`	מחזירה את הגודל של מטמון האחסון של המנוע מבוסס-העמודות שנמצא בשימוש.
`SELECT google_columnar_engine_storage_cache_available();`	מחזירה את הגודל של מטמון האחסון שלא בשימוש במנוע מבוסס-העמודות.
`SHOW google_columnar_engine.storage_cache_size;`	הפונקציה מחזירה את הנפח הכולל של המטמון שהוגדר למנוע מבוסס-העמודות.

מעקב אחרי מנוע מבוסס-עמודות קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

אימות השימוש במנוע מבוסס-העמודות באמצעות EXPLAIN