אימות השימוש במנוע מבוסס-העמודות באמצעות EXPLAIN
כדי לראות את האופרטורים החדשים של המנוע מבוסס-העמודות שמופיעים בתוכנית לביצוע שאילתה שנוצרה, אתם יכולים לאמת את השימוש במנוע מבוסס-העמודות באמצעות ההצהרה EXPLAIN.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
-
Custom Scan (columnar scan)מציין שסריקה של מנוע מבוסס-עמודות נכללת בתוכנית לביצוע השאילתה. -
Rows Removed by Columnar Filterמציג את מספר השורות שסוננו על ידי ההפעלה הווקטורית של העמודות. - הערך של
Columnar cache search modeיכול להיותcolumnar filter only, nativeאוrow store scan. המתכנן בוחר את מצב החיפוש באופן אוטומטי על סמך יכולת ההערכה של העלות והדחיפה למטה.
כשהמתכנן בוחר במצב native, הוא דוחף למטה חלק מהאופרטורים של העמודות לסריקה:
-
Rows Aggregated by Columnar Scanמציג את מספר השורות שצוברות. -
Rows Sorted by Columnar Scanמציג את מספר השורות שממוינות. Rows Limited by Columnar Scanמפרט את המספר המוגבל של השורות שנסרקו.
בנוסף, כשמשתמשים ב-joins, אופרטורים של סריקת עמודות יכולים להשתמש במצב Late Materialization.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode יכול להיות late materialization.
אופרטורים של עמודות בוחרים במצב הזה באופן אוטומטי כשהמתכנן מבצע אופטימיזציה של ההקרנה על ידי דחיית המטריאליזציה של ערכי עמודות מסוימים.
הצגת השימוש בשאילתות איחוד (join) וקטוריות במנוע מבוסס-עמודות
כדי לאמת את אופרטור הצירוף הווקטורי החדש, משתמשים בהצהרת EXPLAIN כדי לראות את האופרטור החדש Vectorized Hash Join שמופיע בתוכנית לביצוע שאילתה שנוצרה.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_quantity, l_extendedprice, l_discount, l_tax
FROM lineitem, orders
WHERE l_shipdate <= date '2022-08-06'
AND l_orderkey = o_orderkey
AND o_orderdate <= date '2025-03-07';
QUERY PLAN
---------------------------------------------------------------------------------------
Vectorized Hash Join (actual rows=3934686 loops=1)
Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
(Peak Memory Usage: 27MB, Threads: 1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Rows Removed by Bloom Filter: 0
Buffers: temp read=26728 written=26728
-> Append (actual rows=3934686 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
Filter: (l_shipdate <= '2022-08-06'::date)
Rows Removed by Columnar Filter: 56051366
Columnar cache search mode: native
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '2022-08-06'::date)
-> Vectorized Hash (actual rows=7245824 loops=1)
Build bloom filter, Memory Usage: 1024kB
-> Append (actual rows=7245824 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
Filter: (o_orderdate <= '2025-03-07'::date)
Rows Removed by Columnar Filter: 7754176
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Filter: (o_orderdate <= '2025-03-07'::date)
-
Vectorized Hash Joinמציין שההצטרפות בין שני היחסים השתמשה בהצטרפות גיבוב וקטורית. Vectorized partitioning, Partitions:מציג את מספר המחיצות שהנתונים פוצלו אליהן.
הצגת מידע על טבלאות עם עמודות במאגר העמודות
כדי לראות מידע על הטבלאות או על התצוגות המהותיות עם עמודות במאגר העמודות, אפשר לשלוח שאילתה לתצוגה g_columnar_relations.
SELECT * FROM g_columnar_relations; ┌─[ RECORD 1 ]────────┬───────────────────┐ │ relation_name │ tbl_parallel_test │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 581431259 │ │ columnar_unit_count │ 3 │ │ invalid_block_count │ 0 │ │ total_block_count │ 8337 │ ├─[ RECORD 2 ]────────┼───────────────────┤ │ relation_name │ lineitem │ │ schema_name │ public │ │ database_name │ advisor │ │ status │ Usable │ │ size │ 423224944 │ │ columnar_unit_count │ 29 │ │ invalid_block_count │ 0 │ │ total_block_count │ 115662 │ ├─[ RECORD 3 ]────────┼───────────────────┤
הצגת מידע על העמודות במאגר העמודות
כדי לראות מידע על העמודות במאגר העמודות, אפשר להריץ שאילתה בתצוגה g_columnar_columns, כולל הגודל של העמודות וזמן הגישה האחרון.
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
הצגת נתונים סטטיסטיים של ביצוע מנוע עמודות עבור שאילתות אחרונות
אפשר לראות נתונים סטטיסטיים של ביצוע מנוע בעמודות לגבי שאילתות מהזמן האחרון באמצעות התצוגה g_columnar_stat_statements. התצוגה הזו מוסיפה נתונים סטטיסטיים של המנוע מבוסס-העמודות לתצוגה pg_stat_statements שסופקה על ידי התוסף pg_stat_statements. כדי להשתמש בתצוגה הזו, צריך קודם להפעיל את התוסף pg_stat_statements.
- מפעילים את התוסף
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- מריצים את השאילתות שרוצים לראות את הנתונים הסטטיסטיים שלהן.
אפשר לעשות את זה ידנית, או לחכות מספיק זמן כדי שהאפליקציות יריצו את השאילתות האלה כש-
pg_stat_statementsמופעל. - שליחת שאילתה לתצוגות
g_columnar_stat_statementsו-pg_stat_statements. שימו לב: השאילתה הבאה מאחזרת את כל נתוני הביצוע של העמודות, כולל אלה שנאספו לפני שנוצר התוסףpg_stat_statements. הערך10שלuseridמציין שהנתונים הסטטיסטיים נאספו לפני שהתוסףpg_stat_statementsנוצר.SELECT * FROM pg_stat_statements(TRUE) AS pg_stats FULL JOIN g_columnar_stat_statements AS g_stats ON pg_stats.userid = g_stats.user_id AND pg_stats.dbid = g_stats.db_id AND pg_stats.queryid = g_stats.query_id WHERE columnar_unit_read > 0; ┌─[ RECORD 1 ]────────┬─────────────────────────────── │ userid │ 10 │ │ dbid │ 33004 │ │ queryid │ 6779068104316758833 │ │ query │ SELECT l_returnflag, ↵│ │ │ l_linestatus, ↵│ │ │ l_quantity, ↵│ │ │ l_extendedprice, ↵│ │ │ l_discount, ↵│ │ │ l_tax ↵│ │ │FROM lineitem ↵│ │ │WHERE l_shipdate <= date $1│ │ calls │ 1 │ │ total_time │ 299.969983 │ │ min_time │ 299.969983 │ │ max_time │ 299.969983 │ │ mean_time │ 299.969983 │ │ stddev_time │ 0 │ │ rows │ 392164 │ │ shared_blks_hit │ 0 │ │ shared_blks_read │ 0 │ │ shared_blks_dirtied │ 0 │ │ shared_blks_written │ 0 │ │ local_blks_hit │ 0 │ │ local_blks_read │ 0 │ │ local_blks_dirtied │ 0 │ │ local_blks_written │ 0 │ │ temp_blks_read │ 0 │ │ temp_blks_written │ 0 │ │ blk_read_time │ 0 │ │ blk_write_time │ 0 │ │ user_id │ 10 │ │ db_id │ 33004 │ │ query_id │ 6779068104316758833 │ │ columnar_unit_read │ 29 │ │ page_read │ 115662 │ │ rows_filtered │ 0 │ │ columnar_scan_time │ 0 │ └─────────────────────┴───────────────────────────────┘
הצגת השימוש בזיכרון של מאגר העמודות
כדי לראות את כמות ה-RAM שלא נמצא בשימוש שזמינה למנוע העמודות, אפשר להריץ שאילתה על הפונקציה google_columnar_engine_memory_available. המספר השלם שמופיע בפלט מציין את נפח הזיכרון הזמין במגה-בייט (MB).
SELECT google_columnar_engine_memory_available();
הצגת מטמון האחסון של מנוע מבוסס-עמודות
כדי להציג ולנטר נתונים על מטמון האחסון של המנוע מבוסס-העמודות, אתם יכולים להשתמש בפקודות הבאות:
| פקודה | תיאור |
|---|---|
SELECT google_columnar_engine_storage_cache_used(); |
הפונקציה מחזירה את הגודל של המטמון של מנוע מבוסס-עמודות שנמצא בשימוש. |
SELECT google_columnar_engine_storage_cache_available(); |
מחזירה את הגודל של מטמון האחסון שלא בשימוש במנוע מבוסס-העמודות. |
SHOW google_columnar_engine.storage_cache_size; |
הפונקציה מחזירה את הכמות הכוללת של מטמון האחסון שהוגדר למנוע מבוסס-עמודות. |