מעקב אחרי המנוע מבוסס-העמודות עוזר לוודא שהשאילתות משתמשות במאגר הנתונים מבוסס-העמודות, ולהחליט אם לשנות את התוכן או את גודל הזיכרון שלו. אפשר לבדוק את התוכניות לביצוע שאילתות באמצעות ההצהרה EXPLAIN, ולראות את הטבלאות, העמודות והאינדקסים של מאגר העמודות, וגם את הנתונים הסטטיסטיים של הביצוע והשימוש בזיכרון. כדי לשנות את ההגדרות של המנוע מבוסס-העמודות, קראו את המאמר כוונון המנוע מבוסס-העמודות.
אימות השימוש במנוע מבוסס-העמודות באמצעות EXPLAIN
כדי לוודא שהמנוע מבוסס-העמודות פועל, אפשר להשתמש בהצהרה EXPLAIN כדי לראות את האופרטורים החדשים מבוססי-העמודות שמופיעים בתוכנית לביצוע שאילתה שנוצרה.
לקוח psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)מציין שסריקה של מנוע מבוסס-עמודות נכללת בתוכנית לביצוע שאילתה.-
Rows Removed by Columnar Filterמציג את מספר השורות שסוננו על ידי ההפעלה הווקטורית של העמודות. - הערך של
Columnar cache search modeיכול להיותcolumnar filter only,nativeאוrow store scan. המתכנן בוחר את מצב החיפוש באופן אוטומטי על סמך יכולת ההערכה של העלות והדחיפה למטה.
כשהמתכנן בוחר במצב native, הוא דוחף למטה חלק מהאופרטורים העמודתיים לסריקה:
-
Rows Aggregated by Columnar Scanמציג את מספר השורות שצוברות. -
Rows Sorted by Columnar Scanמציין את מספר השורות שממוינות. Rows Limited by Columnar Scanמפרט את המספר המוגבל של השורות שנסרקו.
בצירופים, אופרטורים של סריקה עמודית יכולים להשתמש גם במצב Late Materialization.
לקוח psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode יכול להיות late materialization.
אופרטורים של עמודות בוחרים במצב הזה באופן אוטומטי כשהמתכנן מבצע אופטימיזציה של ההקרנה על ידי דחיית המטריאליזציה של ערכי עמודות מסוימים.
הצגת השימוש בשאילתות איחוד (join) וקטוריות במנוע מבוסס-עמודות
כדי לאמת את אופרטור השאילתה הווקטורית החדש, אפשר להשתמש בהצהרה EXPLAIN כדי לראות את האופרטור החדש Vectorized Hash Join שמופיע בתוכנית לביצוע שאילתה שנוצרה.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_quantity, l_extendedprice, l_discount, l_tax
FROM lineitem, orders
WHERE l_shipdate <= date '2022-08-06'
AND l_orderkey = o_orderkey
AND o_orderdate <= date '2025-03-07';
QUERY PLAN
---------------------------------------------------------------------------------------
Vectorized Hash Join (actual rows=3934686 loops=1)
Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
(Peak Memory Usage: 27MB, Threads: 1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Rows Removed by Bloom Filter: 0
Buffers: temp read=26728 written=26728
-> Append (actual rows=3934686 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
Filter: (l_shipdate <= '2022-08-06'::date)
Rows Removed by Columnar Filter: 56051366
Columnar cache search mode: native
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '2022-08-06'::date)
-> Vectorized Hash (actual rows=7245824 loops=1)
Build bloom filter, Memory Usage: 1024kB
-> Append (actual rows=7245824 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
Filter: (o_orderdate <= '2025-03-07'::date)
Rows Removed by Columnar Filter: 7754176
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Filter: (o_orderdate <= '2025-03-07'::date)
- הערך
Vectorized Hash Joinמציין שהצירוף בין שני היחסים השתמש בצירוף ה-hash הווקטורי. -
Vectorized partitioning, Partitions:מציג את מספר המחיצות שאליהן פוצלו הנתונים.
שימוש באפשרות COLUMNAR_ENGINE עבור EXPLAIN
הפקודה EXPLAIN תומכת באפשרות COLUMNAR_ENGINE. כשמציינים את הפקודה, היא מדפיסה הודעות Columnar Check בתוכנית EXPLAIN כדי להראות מה גרם למתכנן או למבצע לבחור בחירות מסוימות שקשורות למנוע מבוסס-העמודות בתוכנית. הפקודה גם מדפיסה פרטים נוספים שספציפיים למנוע מבוסס-העמודות. ההודעה משויכת לצומת הסריקה שאינו עמודתי. בדרך כלל היא מציינת את הסיבה הראשונה שמונעת בחירה בסריקה עמודית. לדוגמה, the table is too small, a needed column of the table is not in the CE store או a needed column has a CE unsupported data type.
בדוגמה הבאה, הפלט של הפקודה מדפיס הודעת Columnar Check:
לקוח psql
EXPLAIN (COLUMNAR_ENGINE, COSTS OFF) SELECT * FROM sample_small_table WHERE col1 > 10000;
QUERY PLAN
--------------------------------------
Seq Scan on sample_small_table
Filter: (col1 > 10000)
Columnar Check: table is too small
בהתאם להודעה, המשתמש יכול לבצע אחת מהפעולות הבאות:
- מטפלים בסיבה הספציפית ומריצים מחדש את הפקודה כדי לאשר את התוכנית העמודתית.
- חוזרים על אותו תהליך. יכולות להיות כמה סיבות, והפסוקית מנסה לפרט רק את הראשונה.
בדוגמה הבאה מוצגים פרטים נוספים שספציפיים למנוע מבוסס-העמודות:
לקוח psql
EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
QUERY PLAN
---------------------------------------------------------------------------------------------
Aggregate (actual rows=1 loops=1)
Output: sum(c1)
-> Append (actual rows=79999 loops=1)
-> Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
Rows Removed by Columnar Filter: 1
Rows Aggregated by Columnar Scan: 79999
Bytes fetched from storage cache: 1392655
Columnar cache search mode: native
-> Seq Scan on public.counter_table (never executed)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)
הצגת מידע על טבלאות עם עמודות במאגר העמודות
כדי לראות מידע על הטבלאות או על התצוגות המהותיות עם עמודות במאגר העמודות, אפשר לשלוח שאילתה לתצוגה g_columnar_relations.
לקוח psql
SELECT * FROM g_columnar_relations;
-[ RECORD 1 ]------------------+--------------------- database_name | postgres schema_name | public relation_name | uuid_mod_test_stored status | Usable size | 700672237 invalid_block_count | 0 block_count_in_cc | 123907 total_block_count | 123907 auto_refresh_trigger_count | 0 auto_refresh_failure_count | 0 auto_refresh_trigger_timestamp | NULL auto_refresh_start_timestamp | NULL auto_refresh_end_timestamp | NULL auto_refresh_recent_status | NONE YET
הצגת מידע על העמודות במאגר העמודות
אתם יכולים לראות מידע על העמודות במאגר העמודות על ידי שליחת שאילתה לתצוגה g_columnar_columns, כולל גודל העמודות וזמן הגישה האחרון.
לקוח psql
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
הצגת נתונים סטטיסטיים של ביצוע שאילתות אחרונות במנוע מבוסס-עמודות
אתם יכולים לראות את הנתונים הסטטיסטיים של הרצת שאילתות אחרונות במנוע מבוסס-העמודות באמצעות התצוגה g_columnar_stat_statements. התצוגה הזו מספקת נתונים סטטיסטיים ספציפיים למנוע מבוסס-עמודות, וצריך להפעיל את התוסף pg_stat_statements כדי להשתמש בה.
לקוח psql
כדי לראות את הנתונים הסטטיסטיים האלה:
- מפעילים את התוסף
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- מריצים את השאילתות שרוצים לראות את הנתונים הסטטיסטיים שלהן. אתם יכולים לעשות את זה באופן ידני, או לתת לאפליקציות לפעול במשך זמן מה כדי ליצור נתונים.
- שולחים שאילתה לתצוגה
g_columnar_stat_statementsכדי לראות את הנתונים הסטטיסטיים שנאספו.SELECT * FROM g_columnar_stat_statements WHERE page_read > 0;
הפלט אמור להיראות כך:
-[ RECORD 1 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | 6672321263128921833 columnar_unit_read | 32 page_read | 128003 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0 -[ RECORD 2 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | -816808861243589285 columnar_unit_read | 30 page_read | 119811 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0
הצגת השימוש בזיכרון של מאגר העמודות
כדי לראות את כמות ה-RAM הפנוי שזמין למנוע מבוסס-העמודות, אפשר לשלוח שאילתה לפונקציה google_columnar_engine_memory_available(). המספר השלם שמתקבל מייצג את הזיכרון הזמין במגה-בייט (MB).
SELECT google_columnar_engine_memory_available();
הצגת מידע על אינדקסים במאגר העמודות
כדי לראות מידע על הסטטוס, הגודל ומדדים שונים שקשורים לביצועים של אינדקסים טבלאיים, אפשר לשלוח שאילתה לתצוגה g_columnar_indexes.
לקוח psql
SELECT
database_name, schema_name, index_name, status, size,
total_partition_count, non_leaf_partition_count, leaf_partition_count,
invalid_block_count, block_count_in_cc, total_block_count,
creation_time, auto_refresh_trigger_count,
auto_refresh_failure_count, auto_refresh_trigger_timestamp,
auto_refresh_start_timestamp, auto_refresh_end_timestamp,
auto_refresh_recent_status
FROM g_columnar_indexes;
בטבלה הבאה מתוארים השדות של התצוגה g_columnar_indexes.
| שדה | סוג נתונים | תיאור |
|---|---|---|
database_name |
NAME |
שם מסד הנתונים שבו נמצא האינדקס |
schema_name |
NAME |
שם הסכימה שאליה שייך האינדקס |
index_name |
NAME |
שם האינדקס |
status |
NAME |
סטטוס האינדקס במנוע מבוסס-העמודות |
size |
BIGINT |
גודל האינדקס במנוע מבוסס-העמודות |
total_partition_count |
BIGINT |
מספר המחיצות הכולל של האינדקס במנוע מבוסס-העמודות |
non_leaf_partition_count |
BIGINT |
המספר הכולל של המחיצות שאינן עלים באינדקס במנוע מבוסס-העמודות |
leaf_partition_count |
BIGINT |
מספר המחיצות הכולל של העלה הירוק של האינדקס במנוע מבוסס-עמודות |
invalid_block_count |
BIGINT |
מספר הבלוקים הלא תקינים הכולל במנוע מבוסס-העמודות של האינדקס |
block_count_in_cc |
BIGINT |
מספר הבלוקים הכולל של האינדקס במנוע מבוסס-העמודות |
total_block_count |
BIGINT |
המספר הכולל של הבלוקים באינדקס |
creation_time |
BIGINT |
זמן יצירת האינדקס במנוע מבוסס-העמודות |
auto_refresh_trigger_count |
BIGINT |
המספר הכולל של רענונים אוטומטיים שהופעלו מאז ההפעלה של PostgreSQL |
auto_refresh_failure_count |
BIGINT |
מספר הכשלים הכולל ברענון האוטומטי מאז ההפעלה של PostgreSQL |
auto_refresh_trigger_timestamp |
BIGINT |
חותמת הזמן של הרענון האוטומטי האחרון שהופעל |
auto_refresh_start_timestamp |
BIGINT |
חותמת הזמן של הרענון האוטומטי האחרון שהתחיל |
auto_refresh_end_timestamp |
BIGINT |
חותמת הזמן של הרענון האוטומטי האחרון שהושלם |
auto_refresh_recent_status |
TEXT |
הסטטוס של הרענון האוטומטי האחרון |