מעקב אחרי מנוע מבוסס-עמודות

בדף הזה מוסבר איך לעקוב אחרי השימוש במנוע העמודות.

אימות השימוש במנוע העמודות באמצעות `EXPLAIN`

כדי לאמת את השימוש במנוע העמודות, אפשר להשתמש בהצהרה EXPLAIN כדי לראות את האופרטורים החדשים של העמודות שמופיעים בתוכנית השאילתה שנוצרה.

לקוח psql

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
         l_discount, l_tax
    FROM lineitem
   WHERE l_shipdate <= date '1992-08-06'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Append (actual rows=3941797 loops=1)
   Buffers: shared hit=9
   ->  Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
         Filter: (l_shipdate <= '1992-08-06'::date)
         Rows Removed by Columnar Filter: 56054083
         Columnar cache search mode: columnar filter only
         Buffers: shared hit=9
   ->  Seq Scan on lineitem (never executed)
  Filter: (l_shipdate <= '1992-08-06'::date)

‫Custom Scan (columnar scan) מציין שסריקה של מנוע עמודות נכללת בתוכנית השאילתה.
ב-Rows Removed by Columnar Filter מוצג מספר השורות שסוננו על ידי ההפעלה הווקטורית של העמודות.
הערך של Columnar cache search mode יכול להיות columnar filter only,‏ native או row store scan. הכלי לתכנון בוחר באופן אוטומטי את מצב החיפוש על סמך יכולת ההערכה של העלויות וההעברה של תנאי הסינון.

כשמתכנן השאילתות בוחר במצב native, הוא מעביר חלק מהאופרטורים של העמודות לסריקה:

‫Rows Aggregated by Columnar Scan מציין את מספר השורות שמצטברות.
‫Rows Sorted by Columnar Scan מציג את מספר השורות שממוינות.
Rows Limited by Columnar Scan מציג את המספר המוגבל של השורות שנסרקו.

במקרים של הצטרפות, אופרטורים של סריקת עמודות יכולים להשתמש גם במצב Late Materialization.

לקוח psql

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_shipmode, o_orderpriority
    FROM orders, lineitem
   WHERE o_orderkey = l_orderkey
         AND l_shipmode in ('AIR', 'FOB')
         AND l_receiptdate >= date '1995-01-01'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Hash Join (actual rows=9865288 loops=1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Buffers: temp read=127738 written=127738
   ->  Append (actual rows=9865288 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
               Rows Removed by Columnar Filter: 50130592
               Columnar cache search mode: native
         ->  Index Scan using idx_lineitem_orderkey_fkidx on lineitem
             (never executed)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
   ->  Hash (actual rows=15000000 loops=1)
         Buckets: 1048576  Batches: 32  Memory Usage: 37006kB
         Buffers: temp written=83357
         ->  Append (actual rows=15000000 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=15000000
                   loops=1)
                     Rows Removed by Columnar Filter: 0
                     Columnar projection mode: late materialization
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)

Columnar projection mode יכול להיות late materialization. אופרטורים של עמודות בוחרים במצב הזה באופן אוטומטי כשהכלי לתכנון מבצע אופטימיזציה של ההקרנה על ידי דחיית המימוש של חלק מערכי העמודות.

הצגת השימוש בצירוף וקטורי של מנוע מבוסס-עמודות

כדי לאמת את אופרטור הצירוף הווקטורי החדש, אפשר להשתמש בהצהרת EXPLAIN כדי לראות את האופרטור החדש Vectorized Hash Join שמופיע בתוכנית השאילתה שנוצרה.

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_quantity, l_extendedprice, l_discount, l_tax
    FROM lineitem, orders
    WHERE l_shipdate <= date '2022-08-06'
    AND  l_orderkey = o_orderkey
    AND  o_orderdate <= date '2025-03-07';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Vectorized Hash Join (actual rows=3934686 loops=1)
   Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
   (Peak Memory Usage: 27MB, Threads: 1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Rows Removed by Bloom Filter: 0
   Buffers: temp read=26728 written=26728
   ->  Append (actual rows=3934686 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
               Filter: (l_shipdate <= '2022-08-06'::date)
               Rows Removed by Columnar Filter: 56051366
               Columnar cache search mode: native
         ->  Seq Scan on lineitem (never executed)
               Filter: (l_shipdate <= '2022-08-06'::date)
   ->  Vectorized Hash (actual rows=7245824 loops=1)
         Build bloom filter, Memory Usage: 1024kB
         ->  Append (actual rows=7245824 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
                     Filter: (o_orderdate <= '2025-03-07'::date)
                     Rows Removed by Columnar Filter: 7754176
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)
                     Filter: (o_orderdate <= '2025-03-07'::date)

‫Vectorized Hash Join מציין שההצטרפות בין שני היחסים נעשתה באמצעות הצטרפות גיבוב וקטורית.
‫Vectorized partitioning, Partitions: מציג את מספר המחיצות שאליהן פוצלו הנתונים.

שימוש באפשרות `COLUMNAR_ENGINE` בשביל `EXPLAIN`

הפקודה EXPLAIN תומכת באפשרות COLUMNAR_ENGINE. אם מציינים את האפשרות הזו, הפקודה מדפיסה הודעות Columnar Check בתוכנית EXPLAIN כדי להראות מה אולי הוביל את הכלי לתכנון או את מנהל ההפעלה לבצע בחירות מסוימות שקשורות למנוע מבוסס-עמודות עבור התוכנית. הפקודה גם מדפיסה פרטים נוספים שספציפיים למנוע מבוסס-עמודות. ההודעה משויכת לצומת סריקה לא עמודתי. בדרך כלל מצוינת הסיבה הראשונה שמונעת את הבחירה בסריקה עמודתית לסריקה. דוגמאות לסיבות: the table is too small, a needed column of the table is not in the CE store או a needed column has a CE unsupported data type.

בדוגמה הבאה של פלט הפקודה מודפסת ההודעה Columnar Check:

לקוח psql

EXPLAIN (COLUMNAR_ENGINE, COSTS OFF)
SELECT * FROM sample_small_table
WHERE col1 > 10000;
              QUERY PLAN
--------------------------------------
 Seq Scan on sample_small_table
   Filter: (col1 > 10000)
   Columnar Check: table is too small

בהתאם להודעה, המשתמש יכול לבצע אחת מהפעולות הבאות:

מטפלים בסיבה הספציפית ואז מריצים מחדש את הפקודה כדי לאשר את התוכנית העמודתית.
חוזרים על אותו תהליך. יכולות להיות יותר מסיבה אחת, והסעיף מנסה לציין רק את הראשונה.

בדוגמה הבאה מוצגים פרטים נוספים שנדפסים וספציפיים למנוע מבוסס-עמודות:

לקוח psql

EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
                                         QUERY PLAN
---------------------------------------------------------------------------------------------
 Aggregate (actual rows=1 loops=1)
   Output: sum(c1)
   ->  Append (actual rows=79999 loops=1)
         ->  Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
               Output: c1
               Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
               Rows Removed by Columnar Filter: 1
               Rows Aggregated by Columnar Scan: 79999
               Bytes fetched from storage cache: 1392655
               Columnar cache search mode: native
         ->  Seq Scan on public.counter_table (never executed)
               Output: c1
               Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)

הצגת מידע על טבלאות עם עמודות במאגר העמודות

אפשר להציג מידע על הטבלאות או על התצוגות המגובות בחומר עם עמודות בחנות העמודות על ידי שליחת שאילתה לתצוגה g_columnar_relations.

לקוח psql

SELECT * FROM g_columnar_relations;

-[ RECORD 1 ]------------------+---------------------
database_name                  | postgres
schema_name                    | public
relation_name                  | uuid_mod_test_stored
status                         | Usable
size                           | 700672237
invalid_block_count            | 0
block_count_in_cc              | 123907
total_block_count              | 123907
auto_refresh_trigger_count     | 0
auto_refresh_failure_count     | 0
auto_refresh_trigger_timestamp | NULL
auto_refresh_start_timestamp   | NULL
auto_refresh_end_timestamp     | NULL
auto_refresh_recent_status     | NONE YET

הצגת מידע על העמודות במאגר העמודות

כדי לראות מידע על העמודות במאגר העמודות, אפשר להריץ שאילתה בתצוגה g_columnar_columns, כולל הגודל של העמודות וזמן הגישה האחרון.

לקוח psql

SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;

הצגת נתוני ביצוע של מנוע מבוסס-עמודות לשאילתות מהזמן האחרון

אפשר להציג נתונים סטטיסטיים של ביצוע מנוע עמודות עבור שאילתות מהזמן האחרון באמצעות התצוגה g_columnar_stat_statements. בתצוגה הזו מוצגים נתונים סטטיסטיים ספציפיים למנוע בעמודות, ונדרשת הפעלת התוסף pg_stat_statements.

לקוח psql

כדי לראות את הנתונים הסטטיסטיים האלה, מבצעים את השלבים הבאים:

מפעילים את התוסף pg_stat_statements:
```
CREATE EXTENSION pg_stat_statements;
```
מריצים את השאילתות שרוצים לראות את הנתונים הסטטיסטיים שלהן. אפשר לעשות את זה באופן ידני, או להפעיל את האפליקציות למשך זמן מסוים כדי ליצור נתונים.

מריצים שאילתה בתצוגה g_columnar_stat_statements כדי לראות את הנתונים הסטטיסטיים שנאספו.

SELECT * FROM g_columnar_stat_statements WHERE page_read > 0;

הפלט אמור להיראות כך:

-[ RECORD 1 ]--------------------------+--------------------
user_id                              | 16391
db_id                                | 1008530
query_id                             | 6672321263128921833
columnar_unit_read                   | 32
page_read                            | 128003
rows_filtered                        | 0
columnar_scan_time                   | 0
vectorized_join_time                 | 0
vectorized_aggregation_time          | 0
vectorized_aggregation_vj_time       | 0
-[ RECORD 2 ]--------------------------+--------------------
user_id                              | 16391
db_id                                | 1008530
query_id                             | -816808861243589285
columnar_unit_read                   | 30
page_read                            | 119811
rows_filtered                        | 0
columnar_scan_time                   | 0
vectorized_join_time                 | 0
vectorized_aggregation_time          | 0
vectorized_aggregation_vj_time       | 0

הצגת השימוש בזיכרון של חנות העמודות

כדי לראות את כמות ה-RAM הלא מנוצל שזמין למנוע מבוסס-עמודות, אפשר להריץ שאילתה על הפונקציה google_columnar_engine_memory_available(). המספר השלם שמתקבל הוא הזיכרון הזמין במגה-בייט (MB).

SELECT google_columnar_engine_memory_available();

הצגת מידע על אינדקסים במאגר העמודות

אפשר להציג מידע על הסטטוס, הגודל ומדדים שונים שקשורים לביצועים של אינדקסים עמודתיים על ידי שליחת שאילתה לתצוגה g_columnar_indexes.

לקוח psql

SELECT
     database_name, schema_name, index_name, status, size,
     total_partition_count, non_leaf_partition_count, leaf_partition_count,
     invalid_block_count, block_count_in_cc, total_block_count,
     creation_time, auto_refresh_trigger_count,
     auto_refresh_failure_count, auto_refresh_trigger_timestamp,
     auto_refresh_start_timestamp, auto_refresh_end_timestamp,
     auto_refresh_recent_status
FROM g_columnar_indexes;

בטבלה הבאה מתוארים השדות בתצוגה g_columnar_indexes.

שדה	סוג נתונים	תיאור
database_name	שם
schema_name	שם	שם הסכימה שאליה האינדקס שייך
index_name	שם	שם האינדקס
סטטוס	שם	סטטוס האינדקס במנוע מבוסס-עמודות
size	BIGINT	גודל האינדקס במנוע מבוסס-העמודות
total_partition_count	BIGINT	המספר הכולל של המחיצות של האינדקס במנוע מבוסס-עמודות
non_leaf_partition_count	BIGINT	המספר הכולל של מחיצות שאינן עלים באינדקס במנוע מבוסס-עמודות
leaf_partition_count	BIGINT	המספר הכולל של מחיצות העלים של האינדקס במנוע מבוסס-עמודות
invalid_block_count	BIGINT	המספר הכולל של בלוקים לא תקינים במנוע מבוסס-עמודות של האינדקס
block_count_in_cc	BIGINT	המספר הכולל של בלוקים של אינדקס במנוע מבוסס-עמודות
total_block_count	BIGINT	המספר הכולל של בלוקים באינדקס
creation_time	BIGINT	זמן יצירת האינדקס במנוע מבוסס-עמודות
auto_refresh_trigger_count	BIGINT	המספר הכולל של רענונים אוטומטיים שהופעלו מאז הפעלת postgres.
auto_refresh_failure_count	BIGINT	המספר הכולל של כשלים ברענון אוטומטי מאז הפעלת postgres
auto_refresh_trigger_timestamp	BIGINT	חותמת הזמן של הרענון האוטומטי האחרון שהופעל
auto_refresh_start_timestamp	BIGINT	חותמת הזמן של הרענון האוטומטי האחרון שהופעל
auto_refresh_end_timestamp	BIGINT	חותמת הזמן של הרענון האוטומטי האחרון שהושלם.
auto_refresh_recent_status	TEXT	הסטטוס של הרענון האוטומטי האחרון

מעקב אחרי מנוע מבוסס-עמודות קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

אימות השימוש במנוע העמודות באמצעות EXPLAIN

לקוח psql

לקוח psql

הצגת השימוש בצירוף וקטורי של מנוע מבוסס-עמודות

שימוש באפשרות COLUMNAR_ENGINE בשביל EXPLAIN

לקוח psql

לקוח psql

הצגת מידע על טבלאות עם עמודות במאגר העמודות

לקוח psql

הצגת מידע על העמודות במאגר העמודות

לקוח psql

הצגת נתוני ביצוע של מנוע מבוסס-עמודות לשאילתות מהזמן האחרון

לקוח psql

הצגת השימוש בזיכרון של חנות העמודות

הצגת מידע על אינדקסים במאגר העמודות

לקוח psql

מעקב אחרי מנוע מבוסס-עמודות

אימות השימוש במנוע העמודות באמצעות `EXPLAIN`

שימוש באפשרות `COLUMNAR_ENGINE` בשביל `EXPLAIN`