Informações gerais do BigQuery

O BigQuery é uma plataforma de dados totalmente gerenciada e pronta para IA que ajuda você a gerenciar e analisar seus dados. A arquitetura sem servidor permite usar linguagens como SQL e Python para responder às maiores dúvidas da sua organização sem nenhum gerenciamento de infraestrutura.

Como analista de dados, engenheiro de dados, administrador de data warehouse ou cientista de dados, você pode usar o BigQuery para os seguintes casos de uso principais:

  • Fluxos de trabalho assistidos por IA:use IA generativa, busca vetorial e recursos de assistência do Gemini para explorar, transformar e integrar modelos de linguagem grande (LLMs) aos seus fluxos de trabalho de dados.
  • Machine learning e análise preditiva:crie, treine e implante modelos nos seus dados usando SQL ou Python.
  • Business intelligence e análise ad hoc:consulte terabytes em segundos e petabytes em minutos para tomar decisões de negócios importantes.
  • Análise geoespacial:analise e visualize dados com base na localização usando sistemas de informações geográficas (GIS).
  • Governança de dados e pesquisa semântica:descubra, selecione e valide recursos de dados e IA usando recursos integrados do Knowledge Catalog.
  • Ingestão ingestão de dados dados:transmita dados estruturados e não estruturados em tempo real, com suporte para formatos de tabela aberta, como Apache Iceberg, Delta e Apache Hudi.

Arquitetura do BigQuery

A arquitetura do BigQuery consiste em duas partes: uma camada de armazenamento que ingere, armazena e otimiza dados e uma camada de computação que fornece recursos de análise. Essas camadas de computação e armazenamento operam com eficiência de maneira independente umas das outras, graças à rede em escala de petabits do Google, que permite a comunicação necessária entre elas.

Os bancos de dados legados geralmente precisam compartilhar recursos entre operações de leitura e gravação e operações analíticas. Isso pode resultar em conflitos de recursos e tornar as consultas mais lentas enquanto os dados são gravados ou lidos a partir do armazenamento. Os pools de recursos compartilhados podem ficar ainda mais sobrecarregados quando são necessários recursos para tarefas de gerenciamento de banco de dados, como atribuição ou revogação de permissões. Com a separação das camadas de computação e armazenamento do BigQuery, cada uma delas pode alocar recursos dinamicamente sem afetar o desempenho ou a disponibilidade da outra.

A arquitetura do BigQuery separa recursos com a rede de petabits.

Esse princípio de separação permite que o BigQuery inove mais rapidamente porque as melhorias de armazenamento e computação podem ser implantadas de forma independente, sem tempo de inatividade ou impacto negativo no desempenho do sistema. Também é essencial oferecer um data warehouse sem servidor totalmente gerenciado, em que a equipe de engenharia do BigQuery consiga lidar com atualizações e manutenção. Como resultado, você não precisará provisionar ou escalonar recursos manualmente e ficará livre para se concentrar na entrega de valor em vez de nas tarefas tradicionais de gerenciamento de bancos de dados.

As interfaces do BigQuery incluem a interface do console do Google Cloud e a ferramenta de linha de comando do BigQuery. Desenvolvedores e cientistas de dados podem usar bibliotecas de cliente com uma programação familiar, incluindo Python, Java, JavaScript e Go, além da API REST e da API RPC do BigQuery para transformar e gerenciar dados. Os drivers ODBC e JDBC fornecem interação com aplicativos atuais, incluindo ferramentas e utilitários de terceiros.

Noções básicas sobre o BigQuery

Comece a explorar o BigQuery em minutos. Aproveite o nível de uso sem custo financeiro do BigQuery ou o sandbox sem custo financeiro para começar a carregar e consultar dados.

Conhecer o BigQuery

A infraestrutura sem servidor do BigQuery permite que você se concentre nos dados em vez de gerenciar recursos. O BigQuery combina um data warehouse baseado na nuvem e ferramentas de análise avançadas.

armazenamento do BigQuery;

O BigQuery armazena dados usando um formato de armazenamento em colunas otimizado para consultas analíticas. O BigQuery apresenta dados em tabelas, linhas e colunas e oferece suporte total à semântica de transações de banco de dados (ACID). O armazenamento do BigQuery é replicado automaticamente em vários locais para proporcionar alta disponibilidade.

Saiba mais em Visão geral do armazenamento do BigQuery.

Análise do BigQuery

Os usos de análises descritivas e prescritivas incluem Business Intelligence, análise ad-hoc, análise geoespacial e machine learning. É possível consultar dados armazenados no BigQuery ou executar consultas em dados onde eles residem usando tabelas externas ou consultas federadas, incluindo o Cloud Storage, Bigtable, Spanner ou Planilhas Google armazenados no Google Drive.

Saiba mais em Visão geral das análises do BigQuery.

Administração do BigQuery

O BigQuery oferece gerenciamento centralizado de dados e recursos de computação, enquanto o Identity and Access Management (IAM) ajuda a proteger esses recursos com o modelo de acesso usado em todo o Google Cloud. As Google Cloud práticas recomendadas de segurança oferecem uma abordagem sólida e flexível que pode incluir segurança de perímetro ou uma abordagem de defesa em profundidade mais complexa e granular.

  • A introdução à segurança e à governança de dados ajuda a entender a governança de dados e quais controles são necessários para proteger os recursos do BigQuery.
  • Jobs são ações que o BigQuery executa em seu nome para carregar, exportar, consultar ou copiar dados.
  • As reservas permitem alternar entre preços sob demanda e baseados em capacidade.

Para mais informações, consulte Introdução ao BigQuery.

Recursos do BigQuery

Explore os recursos do BigQuery:

APIs, ferramentas e referências

Materiais de referência para desenvolvedores e analistas do BigQuery:

Recursos do Gemini no BigQuery

O Gemini no BigQuery faz parte do pacote de produtos Gemini para Google Cloud, que oferece assistência com tecnologia de IA para ajudar você a trabalhar com seus dados.

O Gemini no BigQuery oferece assistência de IA para ajudar você a fazer o seguinte:

  • Explorar e entender seus dados com insights de dados. Os insights de dados oferecem uma maneira automatizada e intuitiva de descobrir padrões e realizar análises estatísticas usando consultas úteis geradas com base nos metadados das suas tabelas. Esse recurso é especialmente útil para resolver os desafios de inicialização a frio da exploração inicial de dados. Para mais informações, consulte Gerar insights de dados no BigQuery.
  • Converse com seus dados usando a análise de conversação. Com a análise conversacional, você pode conversar com seus dados em linguagem natural. É possível criar agentes de dados configurados com metadados personalizados, instruções, termos de glossário e consultas verificadas para estabelecer a lógica de negócios. Também é possível iniciar conversas diretas com fontes de dados, incluindo tabelas, visualizações, gráficos e tabelas do Lakehouse. Para mais informações, consulte Visão geral da análise de conversas.
  • Descobrir, transformar, consultar e visualizar dados com a tela de dados do BigQuery. Você pode usar a linguagem natural com o Gemini no BigQuery para encontrar, unir e consultar recursos de tabela, visualizar resultados e colaborar com outras pessoas durante todo o processo. Para mais informações, consulte Analisar com a tela de dados.
  • Receber ajuda com a análise de dados em SQL e Python. Você pode usar o Gemini no BigQuery para gerar ou sugerir código em SQL ou Python e explicar uma consulta SQL atual. Você também pode usar consultas em linguagem natural para começar a análise de dados. Para saber como gerar, completar e resumir código, consulte a seguinte documentação:
  • Preparar os dados para análise. A preparação de dados no BigQuery apresenta recomendações de transformação geradas com IA e contextuais para limpar dados para análise. Para mais informações, consulte Preparar dados com o Gemini.
  • Criar e modificar pipelines de dados com o Agente de Engenharia de Dados. O agente de engenharia de dados ajuda a criar, modificar e resolver problemas em pipelines de dados usando comandos em linguagem natural. Além da lógica SQL, o agente gera proativamente metadados semânticos, como descrições de campos, visões gerais de tabelas e aspectos genéricos, como informações de sistema e tipo, garantindo que seus recursos de dados sejam detectáveis desde o momento da criação. Para mais informações, consulte Usar o Agente de Engenharia de Dados para criar e modificar pipelines de dados.
  • Personalizar suas conversões de SQL com regras de conversão. (Prévia) Crie regras de conversão aprimoradas com o Gemini para personalizar as conversões de SQL usando o conversor de SQL interativo. É possível descrever mudanças na saída da conversão de SQL usando comandos em linguagem natural ou especificar padrões de SQL para encontrar e substituir. Para mais informações, consulte Criar uma regra de conversão.

Para saber como configurar o Gemini no BigQuery, consulte Configurar o Gemini no BigQuery.

Papéis e recursos do BigQuery

O BigQuery atende às necessidades dos profissionais de dados com relação aos seguintes papéis e responsabilidades.

Analista de dados

Orientação da tarefa para ajudar se você precisar fazer o seguinte:

Administrador de dados

Orientação da tarefa para ajudar se você precisar fazer o seguinte:

Para mais informações, consulte Introdução à administração do BigQuery.

Para fazer um tour pelos recursos de administração de dados do BigQuery diretamente no console do Google Cloud , clique em Fazer o tour.

Faça o tour

Cientista de dados

Orientação da tarefa para ajudar se você precisar usar o machine learning do BigQuery ML para fazer o seguinte:

Desenvolvedor de dados

Orientação da tarefa para ajudar se você precisar fazer o seguinte:

A seguir