במאמר הזה מתוארת גרסה 17.5.0 של AlloyDB Omni באמצעות אפשרות הפריסה containers. בוחרים אפשרות פריסה אחרת.

מעקב אחרי מנוע מבוסס-עמודות

בחירת גרסה של מאמר העזרה:

בדף הזה מוסבר איך לעקוב אחרי השימוש במנוע העמודות.

אימות השימוש במנוע העמודות באמצעות `EXPLAIN`

כדי לראות את האופרטורים החדשים של העמודות שמופיעים בתוכנית השאילתה שנוצרה, אפשר להשתמש בהצהרת EXPLAIN כדי לאמת את השימוש במנוע העמודות.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
         l_discount, l_tax
    FROM lineitem
   WHERE l_shipdate <= date '1992-08-06'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Append (actual rows=3941797 loops=1)
   Buffers: shared hit=9
   ->  Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
         Filter: (l_shipdate <= '1992-08-06'::date)
         Rows Removed by Columnar Filter: 56054083
         Columnar cache search mode: columnar filter only
         Buffers: shared hit=9
   ->  Seq Scan on lineitem (never executed)
  Filter: (l_shipdate <= '1992-08-06'::date)

‫Custom Scan (columnar scan) מציין שסריקה של columnar-engine כלולה בתוכנית השאילתה.
ב-Rows Removed by Columnar Filter מוצג מספר השורות שסוננו על ידי ההפעלה הווקטורית של העמודות.
הערך של Columnar cache search mode יכול להיות columnar filter only,‏ native או row store scan. הכלי לתכנון בוחר באופן אוטומטי את מצב החיפוש על סמך יכולת ההערכה של העלויות וההעברה של תנאי הסינון.

כשמתכנן השאילתות בוחר במצב native, הוא מעביר חלק מהאופרטורים של העמודות לסריקה:

‫Rows Aggregated by Columnar Scan מציין את מספר השורות שמצטברות.
‫Rows Sorted by Columnar Scan מציג את מספר השורות שממוינות.
Rows Limited by Columnar Scan מציג את המספר המוגבל של השורות שנסרקו.

במקרים של הצטרפות, אופרטורים של סריקת עמודות יכולים להשתמש גם במצב Late Materialization.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_shipmode, o_orderpriority
    FROM orders, lineitem
   WHERE o_orderkey = l_orderkey
         AND l_shipmode in ('AIR', 'FOB')
         AND l_receiptdate >= date '1995-01-01'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Hash Join (actual rows=9865288 loops=1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Buffers: temp read=127738 written=127738
   ->  Append (actual rows=9865288 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
               Rows Removed by Columnar Filter: 50130592
               Columnar cache search mode: native
         ->  Index Scan using idx_lineitem_orderkey_fkidx on lineitem
             (never executed)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
   ->  Hash (actual rows=15000000 loops=1)
         Buckets: 1048576  Batches: 32  Memory Usage: 37006kB
         Buffers: temp written=83357
         ->  Append (actual rows=15000000 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=15000000
                   loops=1)
                     Rows Removed by Columnar Filter: 0
                     Columnar projection mode: late materialization
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)

Columnar projection mode יכול להיות late materialization. אופרטורים של עמודות בוחרים במצב הזה באופן אוטומטי כשהכלי לתכנון מבצע אופטימיזציה של ההקרנה על ידי דחיית המימוש של חלק מערכי העמודות.

הצגת השימוש בצירוף וקטורי של מנוע מבוסס-עמודות

כדי לאמת את אופרטור הצירוף הווקטורי החדש, אפשר להשתמש בהצהרת EXPLAIN כדי לראות את האופרטור החדש Vectorized Hash Join שמופיע בתוכנית השאילתה שנוצרה.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_quantity, l_extendedprice, l_discount, l_tax
    FROM lineitem, orders
    WHERE l_shipdate <= date '2022-08-06'
    AND  l_orderkey = o_orderkey
    AND  o_orderdate <= date '2025-03-07';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Vectorized Hash Join (actual rows=3934686 loops=1)
   Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
   (Peak Memory Usage: 27MB, Threads: 1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Rows Removed by Bloom Filter: 0
   Buffers: temp read=26728 written=26728
   ->  Append (actual rows=3934686 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
               Filter: (l_shipdate <= '2022-08-06'::date)
               Rows Removed by Columnar Filter: 56051366
               Columnar cache search mode: native
         ->  Seq Scan on lineitem (never executed)
               Filter: (l_shipdate <= '2022-08-06'::date)
   ->  Vectorized Hash (actual rows=7245824 loops=1)
         Build bloom filter, Memory Usage: 1024kB
         ->  Append (actual rows=7245824 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
                     Filter: (o_orderdate <= '2025-03-07'::date)
                     Rows Removed by Columnar Filter: 7754176
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)
                     Filter: (o_orderdate <= '2025-03-07'::date)

‫Vectorized Hash Join מציין שההצטרפות בין שני היחסים נעשתה באמצעות הצטרפות גיבוב וקטורית.
‫Vectorized partitioning, Partitions: מציג את מספר המחיצות שאליהן פוצלו הנתונים.

הצגת מידע על טבלאות עם עמודות במאגר העמודות

אפשר להציג מידע על הטבלאות או על התצוגות המגובות בחומר עם עמודות בחנות העמודות על ידי שליחת שאילתה לתצוגה g_columnar_relations.

SELECT * FROM g_columnar_relations;

┌─[ RECORD 1 ]────────┬───────────────────┐
│ relation_name       │ tbl_parallel_test │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 581431259         │
│ columnar_unit_count │ 3                 │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 8337              │
├─[ RECORD 2 ]────────┼───────────────────┤
│ relation_name       │ lineitem          │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 423224944         │
│ columnar_unit_count │ 29                │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 115662            │
├─[ RECORD 3 ]────────┼───────────────────┤

הצגת מידע על העמודות במאגר העמודות

כדי לראות מידע על העמודות במאגר העמודות, אפשר להריץ שאילתה בתצוגה g_columnar_columns, כולל הגודל של העמודות וזמן הגישה האחרון.

SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;

הצגת נתוני ביצוע של מנוע מבוסס-עמודות לשאילתות מהזמן האחרון

אפשר להציג נתונים סטטיסטיים של ביצוע מנוע עמודות עבור שאילתות מהזמן האחרון באמצעות התצוגה g_columnar_stat_statements. בתצוגה הזו נוספת סטטיסטיקה של מנוע מבוסס-עמודות לpg_stat_statements התצוגה שמוצגת על ידי התוסף pg_stat_statements. כדי להשתמש בתצוגה הזו, צריך קודם להפעיל את התוסף pg_stat_statements.

מפעילים את התוסף pg_stat_statements:
```
CREATE EXTENSION pg_stat_statements;
```
מריצים את השאילתות שרוצים לראות את הנתונים הסטטיסטיים שלהן. אפשר לעשות את זה באופן ידני, או לחכות מספיק זמן כדי שהאפליקציות יריצו את השאילתות האלה עם pg_stat_statements מופעל.

מריצים שאילתה בתצוגות המפורטות g_columnar_stat_statements ו-pg_stat_statements. שימו לב שהשאילתה הבאה מאחזרת את כל נתוני הביצוע של העמודות, כולל אלה שנאספו לפני שנוצר התוסף pg_stat_statements. הערך 10 של userid מציין שהנתונים הסטטיסטיים נאספו לפני שנוצר התוסף pg_stat_statements.

SELECT *
FROM pg_stat_statements(TRUE) AS pg_stats
     FULL JOIN g_columnar_stat_statements AS g_stats
     ON pg_stats.userid = g_stats.user_id AND
        pg_stats.dbid = g_stats.db_id AND
        pg_stats.queryid = g_stats.query_id
WHERE columnar_unit_read > 0;

┌─[ RECORD 1 ]────────┬───────────────────────────────
│ userid              │ 10                            │
│ dbid                │ 33004                         │
│ queryid             │ 6779068104316758833           │
│ query               │ SELECT  l_returnflag,        ↵│
│                     │         l_linestatus,        ↵│
│                     │         l_quantity,          ↵│
│                     │         l_extendedprice,     ↵│
│                     │         l_discount,          ↵│
│                     │         l_tax                ↵│
│                     │FROM  lineitem                ↵│
│                     │WHERE  l_shipdate <= date $1│
│ calls               │ 1                             │
│ total_time          │ 299.969983                    │
│ min_time            │ 299.969983                    │
│ max_time            │ 299.969983                    │
│ mean_time           │ 299.969983                    │
│ stddev_time         │ 0                             │
│ rows                │ 392164                        │
│ shared_blks_hit     │ 0                             │
│ shared_blks_read    │ 0                             │
│ shared_blks_dirtied │ 0                             │
│ shared_blks_written │ 0                             │
│ local_blks_hit      │ 0                             │
│ local_blks_read     │ 0                             │
│ local_blks_dirtied  │ 0                             │
│ local_blks_written  │ 0                             │
│ temp_blks_read      │ 0                             │
│ temp_blks_written   │ 0                             │
│ blk_read_time       │ 0                             │
│ blk_write_time      │ 0                             │
│ user_id             │ 10                            │
│ db_id               │ 33004                         │
│ query_id            │ 6779068104316758833           │
│ columnar_unit_read  │ 29                            │
│ page_read           │ 115662                        │
│ rows_filtered       │ 0                             │
│ columnar_scan_time  │ 0                             │
└─────────────────────┴───────────────────────────────┘

הצגת השימוש בזיכרון של חנות העמודות

כדי לראות את כמות ה-RAM הלא מנוצל שזמין למנוע מבוסס-עמודות, אפשר להריץ שאילתה על הפונקציה google_columnar_engine_memory_available. הפלט של המספר השלם מראה את הזיכרון הזמין במגה-בייט (MB).

SELECT google_columnar_engine_memory_available();

הצגת מטמון האחסון של מנוע מבוסס-עמודות

כדי להציג ולעקוב אחרי נתונים על מטמון האחסון של מנוע מבוסס-עמודות, אפשר להשתמש בפקודות הבאות:

פקודה	תיאור
`SELECT google_columnar_engine_storage_cache_used();`	מחזירה את הגודל של המטמון של מנוע מבוסס-עמודות שנמצא בשימוש.
`SELECT google_columnar_engine_storage_cache_available();`	הפונקציה מחזירה את הגודל של מטמון האחסון של מנוע מבוסס-עמודות שלא נעשה בו שימוש.
`SHOW google_columnar_engine.storage_cache_size;`	הפונקציה מחזירה את הכמות הכוללת של גודל מטמון האחסון שהוגדר למנוע מבוסס-עמודות.

מעקב אחרי מנוע מבוסס-עמודות קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

אימות השימוש במנוע העמודות באמצעות EXPLAIN