O BigQuery é um data warehouse de análise de baixo custo, totalmente gerenciado e em escala de petabytes criado pelo Google. Com o conector do BigQuery do Data Studio, é possível acessar dados das suas tabelas do BigQuery no Data Studio.
Antes de começar
Para acessar os dados do BigQuery no Data Studio, você precisa fornecer uma conta do Cloud Billing. O BigQuery é um produto pago, e você gera custos de utilização do BigQuery ao acessá-lo usando o Data Studio. Saiba mais sobre os preços do BigQuery.
Como se conectar ao BigQuery
Você pode conectar o Data Studio a uma tabela, uma visualização ou uma consulta personalizada no Google BigQuery.
Etapas para se conectar
Clique em Criar e selecione Relatório.
O editor de relatórios aparece, e o painel Adicionar dados ao relatório é aberto.
Para criar uma nova fonte de dados incorporada, selecione o BigQuery do BigQuery.
- Para selecionar uma fonte de dados reutilizável, clique na guia Minhas fontes de dados e selecione uma fonte de qualquer tipo que você já tenha criado ou que tenha sido compartilhada com você.
Configure a conexão da fonte de dados aos seus dados do BigQuery. É possível se conectar a uma tabela ou visualização do BigQuery ou usar uma consulta SQL personalizada.
Clique em Adicionar.
Em instantes, uma tabela conectada à fonte de dados vai aparecer na tela do relatório.
Explicação sobre fontes de dados incorporadas e reutilizáveis
As fontes de dados podem ser incorporadas ou reutilizáveis. Os relatórios incluem os dois tipos.
As fontes de dados criadas ao editar um relatório são incorporadas nele. Você pode editá-las nele. Elas facilitam a colaboração em relatórios e fontes de dados. Qualquer pessoa que possa editar o relatório também pode editar a fonte de dados e modificar a conexão dela. Quando você compartilha ou copia o relatório, todas as fontes de dados incorporadas também são compartilhadas ou copiadas.
As fontes de dados criadas na página inicial são reutilizáveis. Você pode reutilizar essas fontes de dados em diferentes relatórios. Com elas, você pode criar e compartilhar um modelo de dados consistente em toda a organização. Só as pessoas com quem você compartilha a fonte de dados reutilizável podem fazer edições nela. Somente o proprietário das credenciais da fonte de dados pode modificar a conexão.
Saiba mais sobre fontes de dados.
Iniciante no Data Studio?
Use o painel de propriedades para mudar os dados e o estilo da tabela. Use a barra de ferramentas para adicionar mais gráficos, controles e outros componentes ao seu relatório.
Conheça o Data Studio
- Conclua o tutorial Criar um relatório
- Como usar o editor de relatórios.
Como se conectar a uma tabela ou visualização do BigQuery
As tabelas do BigQuery contêm registros individuais organizados em linhas. Cada registro é composto de colunas (também chamadas de campos ). Uma visualização do BigQuery é uma tabela virtual definida por uma consulta SQL executada no console do BigQuery.
Para se conectar a uma tabela ou visualização, você precisa fornecer as seguintes informações:
- Um projeto do BigQuery
- Um conjunto de dados
- Uma tabela ou visualização
Projeto
Os projetos organizam seus recursos do BigQuery e fornecem as informações necessárias para o faturamento se os relatórios excederem as cotas sem custo financeiro do BigQuery. É possível usar o mesmo projeto para faturamento e gerenciamento de dados ou usar um projeto para os dados e fazer o faturamento em outro. Saiba mais sobre os projetos do Google Cloud.
Escolha uma das seguintes opções para selecionar seu projeto:
- PROJETOS RECENTES
- MEUS PROJETOS
- PROJETOS COMPARTILHADOS
Projetos recentes
A opção PROJETOS RECENTES mostra os projetos que você acessou recentemente no Google Cloud console. Também é possível inserir o ID do projeto manualmente. O projeto escolhido é usado para faturamento e acesso aos dados. Depois de selecionar um projeto, escolha um conjunto de dados.
Meus projetos
Com a opção MEUS PROJETOS , você pode selecionar qualquer projeto a que tenha acesso. Também é possível inserir o ID do projeto manualmente. O projeto escolhido é usado para faturamento e acesso aos dados. Depois de selecionar um projeto, escolha um conjunto de dados.
Se você tiver acesso a muitos projetos, é possível que nem todos apareçam na lista. Quando a lista exceder o número máximo de itens, você poderá inserir um projeto não exibido digitando o nome dele no campo de entrada.
Projetos compartilhados
A opção PROJETOS COMPARTILHADOS permite acessar um projeto compartilhado com você. Você pode selecionar projetos diferentes para dados e faturamento.
Conjuntos de dados
Os conjuntos de dados são usados para organizar e controlar o acesso aos seus dados. Pesquise o nome de um conjunto de dados ou selecione um na lista.
Conjuntos de dados públicos
Os conjuntos de dados públicos do BigQuery são amostras públicas em que o conjunto é compartilhado, mas o projeto não. Para consultar esses dados, é preciso especificar seu próprio projeto de faturamento, que será usado para faturar os custos de processamento dos dados compartilhados.
Tabela
Você pode conectar uma fonte de dados do Data Studio a uma única tabela ou visualização.
Conectar a uma tabela particionada por data
O Data Studio pode aproveitar as tabelas particionadas por data do BigQuery. Quando você se conecta a uma tabela particionada em um campo DATE, DATETIME ou TIMESTAMP, o Data Studio pode usar esse campo como a dimensão do período para gráficos baseados nesta fonte de dados.
Saiba mais sobre como conectar o Data Studio a tabelas particionadas por data do BigQuery.
Como se conectar ao BigQuery usando uma consulta SQL personalizada
A opção CONSULTA PERSONALIZADA permite que você se conecte aos seus dados escrevendo SQL. A sintaxe da consulta personalizada segue o dialeto SQL padrão. Para usar o dialeto SQL legado do BigQuery, selecione a opção Usar SQL legado.
Use a interface do usuário do BigQuery para criar e testar a consulta. Em seguida, copie e cole na caixa de consulta personalizada do Data Studio.
Projeto de faturamento
Com a opção Projeto de faturamento , você pode fornecer um projeto de faturamento para sua consulta personalizada pesquisando ou inserindo o ID do projeto manualmente. Se a sua organização tiver muitos projetos do BigQuery, talvez seja necessário usar o método de entrada manual para localizar o projeto.
Se quiser usar um projeto para faturamento e outro para seus dados, selecione ou insira o projeto de faturamento na interface do usuário e inclua o projeto de dados na cláusula SELECT...FROM da consulta personalizada.
Parâmetros de consulta
Os parâmetros permitem criar relatórios mais responsivos e personalizáveis. Você pode retornar parâmetros de uma fonte de dados do BigQuery à consulta relacionada. Para usar um parâmetro na consulta personalizada, siga as diretrizes de sintaxe descritas em Executar consultas parametrizadas no BigQuery.
Saiba mais sobre como usar parâmetros em consultas personalizadas.
Limites de consultas personalizadas
O Data Studio usa seu SQL personalizado como uma instrução SELECT interna a cada consulta gerada para o banco de dados. Na prática, a consulta personalizada gera uma nova tabela virtual, que o Data Studio consulta com seu próprio SQL "externo" gerado. Por isso, as consultas personalizadas no Data Studio estão sujeitas às seguintes restrições:
As consultas SQL personalizadas só podem ter uma instrução
Por exemplo, o seguinte não funciona porque tem várias instruções SQL:
DECLARE cost_per_tb_in_dollar FLOAT64 DEFAULT 4.2;
SELECT total_bytes_billed / (1024 * 1024)* cost_per_tb_in_dollar)/(1024*1024))) FROM billing-table;
Usar nomes de campo sem ambiguidade em junções de dados
As consultas de junção personalizadas não conseguem processar nomes de coluna duplicados. Os gráficos que usam uma fonte de dados baseada em uma consulta personalizada com campos duplicados vão retornar um erro de configuração do usuário semelhante ao seguinte:
Para evitar esse problema, use nomes de campo sem ambiguidade nas consultas personalizadas.
Por exemplo, digamos que você esteja unindo duas tabelas com esquemas idênticos, unindo um campo Criteria_ID encontrado nas duas tabelas.
SELECT * FROM (
SELECT Criteria_ID, Parent_ID, Name FROM 'table_1'
) As table_1
LEFT JOIN (
SELECT Criteria_ID, Parent_ID, Name FROM 'table_2'
) As table_2
ON
table_1.Criteria_ID = table_2.Criteria_ID
Essa consulta inclui os seguintes nomes de coluna duplicados:
Criteria_IDParent_IDName
Para evitar o erro Field is ambiguous, renomeie explicitamente os campos duplicados usando a palavra-chave AS:
SELECT *
FROM (
SELECT
Criteria_ID AS Criteria_ID_1,
Parent_ID AS Parent_ID_1,
Name AS NAME_1
FROM
'table_1' ) AS table_1
LEFT JOIN (
SELECT
Criteria_ID AS Criteria_ID_2,
Parent_ID AS Parent_ID_2,
Name AS NAME_2
FROM
'table_2' ) AS table_2
ON
table_1.Criteria_ID_1 = table_2.Criteria_ID_2;
Se precisar renomear apenas alguns campos, selecione todos, com exceção daqueles que você quer renomear. Por exemplo:
SELECT * EXCEPT (city), city AS city_1 FROM 'table_1'
Tempo limite da consulta
As consultas personalizadas no Data Studio podem atingir o tempo limite depois de três a cinco minutos. Se as consultas personalizadas atingirem o tempo limite, tente as seguintes abordagens para resolver o problema:
- Simplifique a consulta para que ela seja executada mais rapidamente.
- Execute a consulta no banco de dados e armazene os resultados em uma tabela separada. Em seguida, conecte-se a essa tabela na fonte de dados.
Tabelas de vários dias
Com o BigQuery, é possível fazer consultas em várias tabelas, em que cada tabela tem um único dia de dados. As tabelas têm o formato YYYYMMDD. Quando o Data Studio encontra uma tabela que tem o formato YYYYMMDD, ela é marcada como uma tabela de vários dias, e só o nome prefixo_YYYYMMDD é exibido na instrução SELECT da tabela.
Quando um gráfico é feito para visualizar essa tabela, o Data Studio cria automaticamente um período padrão dos últimos 28 dias e consulta corretamente as últimas 28 tabelas. Para definir essa configuração, edite o relatório, selecione o gráfico e ajuste as propriedades do Período na guia DADOS do gráfico.
Visualizar o SQL emitido para o BigQuery
Métrica de contagem de registros
As fontes de dados do BigQuery fornecem automaticamente uma métrica padrão de contagem de registros. Você pode usar isso para detalhar suas dimensões e mostrar o número de registros que estão sendo agregados pelos gráficos.
Suporte para VPC Service Controls
O Data Studio pode se conectar a projetos do BigQuery protegidos por perímetros do VPC Service Controls (VPC-SC) usando níveis de acesso com base no IP do leitor. O conector do BigQuery transmite o endereço IP do visualizador de relatórios para o BigQuery, que poderá aplicar os níveis de acesso com base em IP que tiverem sido configurados.
Visualizar polígonos GEOGRAPHY do BigQuery
Você pode mostrar polígonos GEOGRAPHY usando uma visualização do Google Maps no seu relatório. Consulte Visualizar polígonos GEOGRAPHY do BigQuery com o Data Studio para assistir um tutorial.
Analisar consultas do Data Studio com rótulos de job
Todas as consultas enviadas pelo Data Studio ao BigQuery têm o rótulo de job requestor:looker_studio do BigQuery. É possível usar esse rótulo para identificar consultas do BigQuery relacionadas ao Data Studio.Para mais informações sobre rótulos no BigQuery, consulte a página de documentação do BigQuery sobre como visualizar rótulos.
Se você é proprietário da fonte de dados do BigQuery, também pode conferir os detalhes do job clicando no ícone Com tecnologia do BigQuery.
Para mais informações sobre como acompanhar a performance e o custo dos gráficos e relatórios do Data Studio, consulte a página de documentação do BigQuery sobre como analisar dados com o Data Studio.
Caixa de diálogo do BigQuery
Se você tiver credenciais de proprietário na fonte de dados do BigQuery, o Data Studio vai mostrar um ícone do BigQuery no canto superior direito de qualquer gráfico que use o BigQuery. Passe o cursor sobre o gráfico e clique no ícone do BigQuery para abrir a caixa de diálogo BigQuery. A caixa de diálogo mostra um link para a página de detalhes do job do BigQuery. A página de detalhes do job do BigQuery inclui as seguintes informações:
- A consulta SQL do gráfico
- Os dados retornados pela consulta SQL
- Uma detalhamento por estágio das etapas da consulta
- Estatísticas de consulta, como tempo de execução total e slots usados
Melhorar a performance com a API BigQuery Storage Read
Para consultas que usam resultados paginados, ativar a API BigQuery Storage Read pode levar a tempos de consulta aprimorados. O Data Studio usa automaticamente a API Storage Read quando isso melhora os tempos de execução da consulta.
Para ativar a API BigQuery Storage Read, conceda as seguintes permissões ao usuário do BigQuery conectado ao Data Studio:
bigquery.readsessions.createbigquery.readsessions.getData
Cotas e limites gerais
O número máximo de linhas que podem ser retornadas usando o conector do BigQuery é de 2 milhões. O Data Studio indica quando há mais de 2 milhões de linhas de dados, mas não especifica o número de linhas.
Além disso, as fontes de dados do BigQuery estão sujeitas aos mesmos limites de taxa e cota do próprio BigQuery.
Para fontes de dados do BigQuery, MEDIAN é implementada usando a função APPROX_QUANTILES do BigQuery. Aplicar MEDIAN a dados do BigQuery pode retornar resultados ligeiramente diferentes do que aplicar MEDIAN aos mesmos dados de outros tipos de fontes.
O conector do BigQuery não oferece suporte a chaves de criptografia gerenciadas pelo cliente (CMEK). Se o Google Cloud projeto estiver sujeito a uma política da organização que exige CMEK, o Data Studio não poderá consultar os dados e retornará um erro CONDITION_NOT_MET.