Visão geral do mecanismo colunar do Spanner

Esta página oferece uma visão geral do mecanismo colunar do Spanner e descreve como usá-lo.

Os bancos de dados operacionais geralmente extraem, transformam e carregam (ETL) dados em um sistema OLAP para análise. Esse sistema geralmente faz parte de um data warehouse. Com o Data Boost para Spanner, o Spanner já separa a computação analítica, o que garante a estabilidade transacional.

O mecanismo colunar é uma técnica de armazenamento que os sistemas de análise usam para acelerar as verificações em comparação com as verificações baseadas em lote. O mecanismo colunar do Spanner permite executar análises com desempenho significativamente melhorado nos dados operacionais mais recentes. O mecanismo colunar do Spanner aumenta o desempenho da verificação em até 200 vezes, eliminando a necessidade de ETL e mantendo uma consistência forte.

O formato Ressi do Spanner usa um layout de coluna de atributos de partição (PAX, na sigla em inglês) para verificações eficientes em um bloco de dados. No entanto, esse formato coloca todas as colunas de uma linha em um determinado bloco para pesquisas rápidas de linha única. Ao contrário do Ressi, o mecanismo colunar do Spanner dedica execuções de blocos a uma única coluna. Essa abordagem é mais eficiente para verificações sequenciais, já que o Spanner só precisa ler as colunas referenciadas na consulta.

O Spanner cria a representação colunar em segundo plano (como parte das compactações) e mescla automaticamente a representação com as atualizações mais recentes no momento da consulta para fornecer uma consistência forte. As consultas que não se beneficiam do armazenamento colunar podem continuar usando o PAX.

As cargas de trabalho que se beneficiariam do uso do mecanismo colunar incluem o seguinte:

  • Relatórios operacionais extraem Business Intelligence atualizada dos dados operacionais mais recentes.
  • Análises servidas alimentam painéis e detalhamentos personalizados com latência interativa.
  • A análise federada combina dados do Spanner e de outras fontes no BigQuery.

Os backups de instâncias do Spanner não incluem o formato colunar.

Práticas recomendadas para usar o mecanismo colunar

Esta seção descreve as práticas recomendadas ao usar o mecanismo colunar.

Otimização de verificação grande

O mecanismo colunar otimiza consultas que verificam grandes quantidades de dados. Para verificações de dados menores ou consultas com cláusulas LIMIT satisfeitas rapidamente, as verificações baseadas em linhas podem ser mais eficientes.

Colunas essenciais

Se você usar SELECT *, o Spanner vai ler todas as colunas do armazenamento colunar. Para maximizar o desempenho, especifique apenas as colunas necessárias. Por exemplo, SELECT column1, column2 FROM ....

Identificação de gargalos de desempenho

O mecanismo colunar é eficaz para cargas de trabalho vinculadas à verificação. Para identificar uma carga de trabalho vinculada à verificação, confira o plano de consulta para um nível de latência alto no nó Verificação de tabela. Se a consulta não estiver vinculada à verificação, priorize outras otimizações primeiro. O mecanismo colunar pode oferecer benefícios mais tarde se as otimizações tornarem a consulta vinculada à verificação.

Cobertura colunar ideal

Depois de ativar o mecanismo colunar em um banco de dados que já contém dados, o processo de compactação automática do Spanner converte os dados para o armazenamento colunar de forma assíncrona em segundo plano. Para saber o quanto a consulta se beneficia, confira a porcentagem deCompartilhamento de leitura colunar no plano de consulta.

Gerenciamento de dados de alta rotatividade

Taxas de gravação altas de atualizações ou inserções aleatórias podem afetar o desempenho do mecanismo colunar. As cargas de trabalho somente de anexação têm impacto mínimo ao usar o mecanismo colunar. A compactação é um processo em segundo plano, que normalmente é distribuído por vários dias, mas pode acontecer mais cedo se o tamanho do banco de dados aumentar substancialmente. Como alternativa, projete o esquema para favorecer gravações somente de anexação no nível de divisão. Para mais informações, consulte a fragmentação de dados ordenados por carimbo de data/hora no Spanner.

Isolamento da carga de trabalho

Há duas técnicas que podem ser usadas para isolar consultas analíticas de transações:

Preços

A cobrança do mecanismo colunar do Spanner é baseada no uso do armazenamento. Depois de ativar o mecanismo colunar do Spanner e o Spanner concluir a compactação de dados, o uso do armazenamento aumenta para incluir a nova representação colunar. O mecanismo colunar fornece métricas de armazenamento que permitem monitorar o impacto no armazenamento. Para mais informações, consulte Métricas de armazenamento de dados colunares.

O mecanismo colunar do Spanner não é afetado pela sobrecarga de 8 bytes por célula.

Limitações de visualização

  • O mecanismo colunar oferece suporte apenas à interface do GoogleSQL.

A seguir