Esta página descreve como monitorizar a utilização do motor de colunas.
Valide a utilização do motor de colunas através do EXPLAIN
Pode validar a utilização do motor de colunas através da declaração EXPLAIN para observar os novos operadores de colunas que aparecem no plano de consulta gerado de uma consulta.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
l_discount, l_tax
FROM lineitem
WHERE l_shipdate <= date '1992-08-06'
;
QUERY PLAN
-----------------------------------------------------------------------------
Append (actual rows=3941797 loops=1)
Buffers: shared hit=9
-> Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
Filter: (l_shipdate <= '1992-08-06'::date)
Rows Removed by Columnar Filter: 56054083
Columnar cache search mode: columnar filter only
Buffers: shared hit=9
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '1992-08-06'::date)
Custom Scan (columnar scan)indica que a análise do motor de colunas está a ser incluída no plano de consulta.Rows Removed by Columnar Filterindica o número de linhas filtradas pela execução vetorizada colunar.Columnar cache search modepode sercolumnar filter only,nativeourow store scan. O planeador escolhe o modo de pesquisa automaticamente com base na capacidade de avaliação de custos e de redução.
Quando o planeador escolhe o modo native, envia alguns dos operadores
colunares para a análise:
Rows Aggregated by Columnar Scanindica o número de linhas que são agregadas.Rows Sorted by Columnar Scanindica o número de linhas que estão ordenadas.Rows Limited by Columnar Scanapresenta o número limitado de linhas que foram analisadas.
Com as junções, os operadores de análise de colunas também podem usar o modo Late Materialization.
Cliente psql
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_shipmode, o_orderpriority
FROM orders, lineitem
WHERE o_orderkey = l_orderkey
AND l_shipmode in ('AIR', 'FOB')
AND l_receiptdate >= date '1995-01-01'
;
QUERY PLAN
-----------------------------------------------------------------------------
Hash Join (actual rows=9865288 loops=1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Buffers: temp read=127738 written=127738
-> Append (actual rows=9865288 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
Rows Removed by Columnar Filter: 50130592
Columnar cache search mode: native
-> Index Scan using idx_lineitem_orderkey_fkidx on lineitem
(never executed)
Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
(l_receiptdate >= '1995-01-01'::date))
-> Hash (actual rows=15000000 loops=1)
Buckets: 1048576 Batches: 32 Memory Usage: 37006kB
Buffers: temp written=83357
-> Append (actual rows=15000000 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=15000000
loops=1)
Rows Removed by Columnar Filter: 0
Columnar projection mode: late materialization
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Columnar projection mode pode ser late materialization.
Os operadores de colunas escolhem este modo automaticamente quando o planeador otimiza a projeção adiando a materialização de alguns valores de colunas.
Veja a utilização da junção vetorizada do motor colunar
Pode validar o novo operador de junção vetorizado usando a declaração EXPLAIN para observar o novo operador Vectorized Hash Join que aparece no plano de consulta gerado de uma consulta.
EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
SELECT l_quantity, l_extendedprice, l_discount, l_tax
FROM lineitem, orders
WHERE l_shipdate <= date '2022-08-06'
AND l_orderkey = o_orderkey
AND o_orderdate <= date '2025-03-07';
QUERY PLAN
---------------------------------------------------------------------------------------
Vectorized Hash Join (actual rows=3934686 loops=1)
Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
(Peak Memory Usage: 27MB, Threads: 1)
Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
Rows Removed by Bloom Filter: 0
Buffers: temp read=26728 written=26728
-> Append (actual rows=3934686 loops=1)
-> Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
Filter: (l_shipdate <= '2022-08-06'::date)
Rows Removed by Columnar Filter: 56051366
Columnar cache search mode: native
-> Seq Scan on lineitem (never executed)
Filter: (l_shipdate <= '2022-08-06'::date)
-> Vectorized Hash (actual rows=7245824 loops=1)
Build bloom filter, Memory Usage: 1024kB
-> Append (actual rows=7245824 loops=1)
-> Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
Filter: (o_orderdate <= '2025-03-07'::date)
Rows Removed by Columnar Filter: 7754176
Columnar cache search mode: native
-> Seq Scan on orders (never executed)
Filter: (o_orderdate <= '2025-03-07'::date)
Vectorized Hash Joinindica que a junção entre as duas relações usou a junção de hash vetorizada.Vectorized partitioning, Partitions:indica o número de partições em que os dados foram divididos.
Use a opção COLUMNAR_ENGINE para EXPLAIN
O comando EXPLAIN suporta a opção COLUMNAR_ENGINE. Quando especificado, o comando imprime Columnar Check mensagens no plano EXPLAIN para mostrar o que pode ter levado o planeador ou o executor a fazer determinadas escolhas relacionadas com o motor de colunas para o plano. O comando também imprime detalhes adicionais específicos do motor colunar. A mensagem está associada ao nó de análise não colunar. Normalmente, indica a primeira causa que impede que seja escolhida uma análise de colunas para uma análise. Alguns exemplos de causas são the table is too small, a needed column of the table is not in the CE store ou a needed column has a CE unsupported data type.
O exemplo de saída seguinte do comando imprime uma mensagem Columnar Check:
Cliente psql
EXPLAIN (COLUMNAR_ENGINE, COSTS OFF)
SELECT * FROM sample_small_table
WHERE col1 > 10000;
QUERY PLAN
--------------------------------------
Seq Scan on sample_small_table
Filter: (col1 > 10000)
Columnar Check: table is too small
Com base na mensagem, o utilizador pode fazer uma das seguintes ações:
- Resolva a causa específica e, em seguida, volte a executar o comando para confirmar o plano colunar.
- Iterar sobre o mesmo processo. Pode haver mais do que uma causa, e a cláusula tenta apenas listar a primeira.
O exemplo seguinte mostra detalhes adicionais que são impressos e que são específicos do motor de colunas:
Cliente psql
EXPLAIN (ANALYZE, COLUMNAR_ENGINE, COSTS OFF, TIMING OFF, SUMMARY OFF, VERBOSE) SELECT SUM(c1) FROM counter_table WHERE c2 > 0 and c2 < 80000;
QUERY PLAN
---------------------------------------------------------------------------------------------
Aggregate (actual rows=1 loops=1)
Output: sum(c1)
-> Append (actual rows=79999 loops=1)
-> Custom Scan (columnar scan) on public.counter_table (actual rows=79999 loops=1)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
Rows Removed by Columnar Filter: 1
Rows Aggregated by Columnar Scan: 79999
Bytes fetched from storage cache: 1392655
Columnar cache search mode: native
-> Seq Scan on public.counter_table (never executed)
Output: c1
Filter: ((counter_table.c2 > 0) AND (counter_table.c2 < 80000))
(13 rows)
Veja informações sobre tabelas com colunas no arquivo de colunas
Pode ver informações sobre as tabelas ou as vistas materializadas com colunas
no arquivo de colunas consultando a vista g_columnar_relations.
Cliente psql
SELECT * FROM g_columnar_relations; -[ RECORD 1 ]------------------+--------------------- database_name | postgres schema_name | public relation_name | uuid_mod_test_stored status | Usable size | 700672237 invalid_block_count | 0 block_count_in_cc | 123907 total_block_count | 123907 auto_refresh_trigger_count | 0 auto_refresh_failure_count | 0 auto_refresh_trigger_timestamp | NULL auto_refresh_start_timestamp | NULL auto_refresh_end_timestamp | NULL auto_refresh_recent_status | NONE YET
Veja informações sobre as colunas na base de dados de colunas
Pode ver informações sobre as colunas no arquivo de colunas consultando a vista g_columnar_columns, incluindo o tamanho dessas colunas e a hora do último acesso.
Cliente psql
SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;
Veja estatísticas de execução do motor colunar para consultas recentes
Pode ver estatísticas de execução do motor em formato de colunas para consultas recentes através da vista g_columnar_stat_statements. Esta vista apresenta estatísticas específicas do motor em formato de colunas e requer que a extensão pg_stat_statements esteja ativada.
Cliente psql
Para ver estas estatísticas, siga estes passos:
- Ative a extensão
pg_stat_statements:CREATE EXTENSION pg_stat_statements;
- Execute as consultas para as quais quer ver estatísticas. Pode fazê-lo manualmente ou permitir que as suas aplicações sejam executadas durante algum tempo para gerar dados.
- Consulte a vista
g_columnar_stat_statementspara ver as estatísticas recolhidas.SELECT * FROM g_columnar_stat_statements WHERE page_read > 0;
O resultado é semelhante ao seguinte:
-[ RECORD 1 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | 6672321263128921833 columnar_unit_read | 32 page_read | 128003 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0 -[ RECORD 2 ]--------------------------+-------------------- user_id | 16391 db_id | 1008530 query_id | -816808861243589285 columnar_unit_read | 30 page_read | 119811 rows_filtered | 0 columnar_scan_time | 0 vectorized_join_time | 0 vectorized_aggregation_time | 0 vectorized_aggregation_vj_time | 0
Veja a utilização de memória do armazenamento de colunas
Para ver a quantidade de RAM não utilizada disponível para o motor de colunas, pode consultar a função google_columnar_engine_memory_available(). O número inteiro resultante mostra a memória disponível em megabytes (MB).
SELECT google_columnar_engine_memory_available();
Veja informações sobre os índices no arquivo de colunas
Pode ver informações sobre o estado, o tamanho e várias métricas relacionadas com o desempenho de índices de colunas consultando a vista g_columnar_indexes.
Cliente psql
SELECT
database_name, schema_name, index_name, status, size,
total_partition_count, non_leaf_partition_count, leaf_partition_count,
invalid_block_count, block_count_in_cc, total_block_count,
creation_time, auto_refresh_trigger_count,
auto_refresh_failure_count, auto_refresh_trigger_timestamp,
auto_refresh_start_timestamp, auto_refresh_end_timestamp,
auto_refresh_recent_status
FROM g_columnar_indexes;
A tabela seguinte descreve os campos da vista g_columnar_indexes.
| Campo | Tipo de dados | Descrição |
|---|---|---|
| database_name | NOME | |
| schema_name | NOME | Nome do esquema ao qual o índice pertence |
| index_name | NOME | Nome do índice |
| estado | NOME | Estado do índice no motor colunar |
| tamanho | BIGINT | Tamanho do índice no motor de colunas |
| total_partition_count | BIGINT | Número total de partições do índice no motor de colunas |
| non_leaf_partition_count | BIGINT | Número total de partições não folha do índice no motor de colunas |
| leaf_partition_count | BIGINT | Número total de partições de folhas do índice no motor de colunas |
| invalid_block_count | BIGINT | Número total de blocos inválidos no motor colunar para o índice |
| block_count_in_cc | BIGINT | Número total de blocos de índice no motor de colunas |
| total_block_count | BIGINT | Número total de blocos do índice |
| creation_time | BIGINT | Hora de criação do índice no motor de colunas |
| auto_refresh_trigger_count | BIGINT | O número total de atualizações automáticas acionadas desde o início do postgres. |
| auto_refresh_failure_count | BIGINT | Número total de falhas de atualização automática desde o início do postgres |
| auto_refresh_trigger_timestamp | BIGINT | Data/hora da atualização automática mais recente que foi acionada |
| auto_refresh_start_timestamp | BIGINT | Data/hora da atualização automática mais recente que foi iniciada |
| auto_refresh_end_timestamp | BIGINT | Data/hora da atualização automática mais recente que foi concluída. |
| auto_refresh_recent_status | TEXT | Estado da atualização automática mais recente |