O BigQuery é o armazém de dados de análise de baixo custo, com capacidade para petabytes de dados e totalmente gerido da Google. O conetor do Data Studio para o BigQuery permite-lhe aceder aos dados das tabelas do BigQuery no Data Studio.
Antes de começar
Para aceder aos dados do BigQuery no Data Studio, tem de fornecer uma conta de faturação da Google Cloud. O BigQuery é um produto pago e pode incorrer em custos de utilização do BigQuery quando acede ao BigQuery através do Data Studio. Saiba mais sobre os preços do BigQuery.
Como estabelecer ligação ao BigQuery
Pode ligar o Data Studio a uma tabela, uma vista ou uma consulta personalizada no Google BigQuery.
Passos para estabelecer ligação
Clique em Criar e, de seguida, selecione Relatório.
É apresentado o editor de relatórios e abre-se o painel Adicionar dados a relatório.
Para criar uma nova origem de dados incorporada, selecione o BigQuery BigQuery.
- Para selecionar uma origem de dados reutilizável existente, clique no separador As minhas origens de dados e, de seguida, selecione uma origem de dados de qualquer tipo que tenha criado anteriormente ou que tenha sido partilhada consigo.
Configure a ligação da origem de dados aos seus dados do BigQuery. Pode estabelecer ligação a uma tabela ou vista do BigQuery, ou pode estabelecer ligação através de uma consulta SQL personalizada.
Clique em Adicionar.
Em breve, é apresentada uma tabela ligada à origem de dados na tela do relatório.
Explicação das origens de dados incorporadas versus reutilizáveis
As origens de dados podem ser incorporadas ou reutilizáveis. Os relatórios podem incluir origens de dados incorporadas e reutilizáveis.
As origens de dados que cria enquanto edita um relatório são incorporadas no relatório. Para editar uma origem de dados incorporada, tem de o fazer nesse relatório. As origens de dados incorporadas facilitam a colaboração em relatórios e origens de dados. Qualquer pessoa que possa editar o relatório também pode editar a origem de dados, bem como modificar a respetiva ligação. Quando partilha ou copia o relatório, as origens de dados incorporadas também são partilhadas ou copiadas.
As origens de dados que cria a partir da página inicial são reutilizáveis. Pode reutilizar estas origens de dados em diferentes relatórios. As origens de dados reutilizáveis permitem-lhe criar e partilhar um modelo de dados consistente na sua organização. Apenas as pessoas com quem partilha a origem de dados reutilizável podem editá-la. Apenas o proprietário das credenciais da origem de dados pode modificar a ligação.
Saiba mais sobre as origens de dados.
É a primeira vez que usa o Data Studio?
Use o painel de propriedades para alterar os dados e o estilo da tabela. Use a barra de ferramentas para adicionar mais gráficos, controlos e outros componentes ao relatório.
Estabeleça ligação a uma tabela ou vista do BigQuery
Uma tabela do BigQuery contém registos individuais organizados em linhas. Cada registo é composto por colunas (também denominadas campos ). Uma vista do BigQuery é uma tabela virtual definida por uma consulta SQL executada na consola do BigQuery.
Para estabelecer ligação a uma tabela ou vista, tem de fornecer as seguintes informações:
- Um projeto do BigQuery
- Um conjunto de dados
- Uma tabela ou vista
Projeto
Os projetos organizam os seus recursos do BigQuery e fornecem as informações necessárias para a faturação se os seus relatórios excederem as quotas sem custo financeiro do BigQuery. Pode usar o mesmo projeto para a faturação e a gestão de dados, ou pode usar um projeto para os dados e faturar outro projeto. Saiba mais sobre os projetos da Google Cloud.
Escolha uma das seguintes opções para selecionar o seu projeto:
- PROJETOS RECENTES
- OS MEUS PROJETOS
- PROJETOS PARTILHADOS
Projetos recentes
A opção PROJETOS RECENTES mostra os projetos aos quais acedeu recentemente na Google Cloud consola. Também pode introduzir o ID do projeto manualmente. O projeto que escolher é usado para a faturação e para o acesso aos dados. Depois de selecionar um projeto, seleciona um conjunto de dados.
Os meus projetos
A opção OS MEUS PROJETOS permite-lhe selecionar qualquer projeto ao qual tenha acesso. Também pode introduzir o ID do projeto manualmente. O projeto que escolher é usado para a faturação e para o acesso aos dados. Depois de selecionar um projeto, seleciona um conjunto de dados.
Se tiver acesso a muitos projetos, é possível que nem todos apareçam na lista. Quando a lista excede o número máximo de itens, pode introduzir o projeto não listado escrevendo-o diretamente no campo de entrada.
Projetos partilhados
A opção PROJETOS PARTILHADOS permite-lhe aceder a um projeto que foi partilhado consigo. Pode selecionar projetos diferentes para os dados e a faturação.
Conjuntos de dados
Os conjuntos de dados são usados para organizar e controlar o acesso aos seus dados. Selecione um conjunto de dados na lista ou pesquise um conjunto de dados pelo nome.
Conjuntos de dados públicos
Os conjuntos de dados públicos do BigQuery são exemplos públicos em que o conjunto de dados é partilhado, mas o projeto não. Para consultar estes dados, tem de especificar o seu próprio projeto de faturação, que é usado para faturar os custos de tratamento dos dados partilhados.
Tabela
Pode ligar uma origem de dados do Data Studio a uma única tabela ou vista.
Estabeleça ligação a uma tabela com partição por data
O Data Studio pode tirar partido das tabelas com partição por data do BigQuery. Quando estabelece ligação a uma tabela com partição num campo DATE, DATETIME ou TIMESTAMP, o Data Studio pode usar esse campo como a dimensão de intervalo de datas para os gráficos baseados nesta origem de dados.
Saiba como ligar o Data Studio a tabelas com partição por data do BigQuery.
Estabeleça ligação ao BigQuery através de uma consulta SQL personalizada
A opção CONSULTA PERSONALIZADA permite-lhe estabelecer ligação aos seus dados escrevendo SQL. A sintaxe da consulta personalizada segue o dialeto SQL padrão. Para usar o dialeto SQL antigo do BigQuery, selecione a opção Usar SQL antigo.
Utilize a interface do utilizador do BigQuery para compor e testar a consulta e, em seguida, copie e cole essa consulta na caixa de consulta personalizada do Data Studio.
Projeto de faturação
A opção Projeto de faturação permite-lhe fornecer um projeto de faturação para a sua consulta personalizada pesquisando ou introduzindo manualmente o ID do projeto. Se a sua organização tiver muitos projetos do BigQuery, pode ter de usar o método de introdução manual para localizar o projeto.
Para usar um projeto para a faturação e um projeto diferente para os seus dados, selecione ou introduza o projeto de faturação na interface do utilizador e, de seguida, inclua o projeto de dados na cláusula SELECT...FROM da consulta personalizada.
Parâmetros de consulta
Os parâmetros permitem-lhe criar relatórios mais reativos e personalizáveis. Pode transmitir parâmetros numa origem de dados do BigQuery para a consulta subjacente. Para usar um parâmetro na sua consulta personalizada, siga as diretrizes de sintaxe para executar consultas parametrizadas no BigQuery.
Saiba como usar parâmetros em consultas personalizadas.
Limites de consultas personalizadas
O Data Studio usa o seu SQL personalizado como uma instrução SELECT interna para cada consulta gerada na base de dados. Na prática, a consulta personalizada gera uma nova tabela virtual, que o Data Studio consulta com o seu próprio SQL "externo" gerado. Por este motivo, as consultas personalizadas no Data Studio estão sujeitas às seguintes restrições:
As consultas SQL personalizadas só podem ter uma única instrução
Por exemplo, a seguinte consulta não funciona porque tem várias instruções SQL:
DECLARE cost_per_tb_in_dollar FLOAT64 DEFAULT 4.2;
SELECT total_bytes_billed / (1024 * 1024)* cost_per_tb_in_dollar)/(1024*1024))) FROM billing-table;
Use nomes de campos não ambíguos em associações
As consultas de associação personalizadas não conseguem tratar nomes de colunas duplicados. Os gráficos que usam uma origem de dados baseada numa consulta personalizada que inclui campos duplicados devolvem um erro de configuração do utilizador semelhante ao seguinte:
Para evitar este problema, certifique-se de que usa nomes de campos não ambíguos nas suas consultas personalizadas.
Por exemplo, suponhamos que está a associar duas tabelas com esquemas idênticos, associando-as num campo Criteria_ID encontrado em ambas as tabelas.
SELECT * FROM (
SELECT Criteria_ID, Parent_ID, Name FROM 'table_1'
) As table_1
LEFT JOIN (
SELECT Criteria_ID, Parent_ID, Name FROM 'table_2'
) As table_2
ON
table_1.Criteria_ID = table_2.Criteria_ID
Esta consulta inclui os seguintes nomes de colunas duplicados:
Criteria_IDParent_IDName
Para evitar o erro Field is ambiguous, pode mudar explicitamente o nome dos campos duplicados com a palavra-chave AS:
SELECT *
FROM (
SELECT
Criteria_ID AS Criteria_ID_1,
Parent_ID AS Parent_ID_1,
Name AS NAME_1
FROM
'table_1' ) AS table_1
LEFT JOIN (
SELECT
Criteria_ID AS Criteria_ID_2,
Parent_ID AS Parent_ID_2,
Name AS NAME_2
FROM
'table_2' ) AS table_2
ON
table_1.Criteria_ID_1 = table_2.Criteria_ID_2;
Se precisar de mudar o nome de apenas alguns campos, pode selecionar tudo, exceto os que quer mudar o nome, por exemplo:
SELECT * EXCEPT (city), city AS city_1 FROM 'table_1'
Limite de tempo da consulta
As consultas personalizadas no Data Studio podem atingir o limite de tempo após três a cinco minutos. Se as consultas personalizadas atingirem o limite de tempo, experimente as seguintes abordagens para resolver o problema:
- Simplifique a consulta para que seja executada mais rapidamente.
- Execute a consulta na base de dados e armazene os resultados numa tabela separada. Em seguida, estabeleça ligação a essa tabela na origem de dados.
Tabelas de vários dias
O BigQuery suporta consultas em várias tabelas, em que cada tabela tem os dados de um único dia. As tabelas têm o formato YYYYMMDD. Quando o Data Studio encontra uma tabela com o formato YYYYMMDD, a tabela é marcada como uma tabela de vários dias e apenas o prefixo do nome_AAAAMMDD é apresentado na seleção de tabelas.
Quando é criado um gráfico para visualizar esta tabela, o Data Studio cria automaticamente um intervalo de datas predefinido dos últimos 28 dias e, em seguida, consulta corretamente as últimas 28 tabelas. Pode configurar esta definição editando o relatório, selecionando o gráfico e, de seguida, ajustando as propriedades do Intervalo de datas no separador DADOS do gráfico.
Veja o SQL emitido para o BigQuery
Pode ver todo o SQL do BigQuery que o Data Studio gerou na interface do utilizador do histórico de consultas do BigQuery.
Métrica Contagem de registos
As origens de dados do BigQuery fornecem automaticamente uma métrica Contagem de registos predefinida. Pode usá-la para detalhar as dimensões de modo a mostrar o número de registos que estão a ser agregados pelos gráficos.
Suporte para o VPC Service Controls
O Data Studio pode estabelecer ligação a projetos do BigQuery protegidos por perímetros do VPC Service Controls (VPC-SC) através de níveis de acesso baseados no IP do visualizador. O conetor do BigQuery transmite o endereço IP do visualizador do relatório para o BigQuery, que pode aplicar os níveis de acesso baseados no IP configurados.
Visualize polígonos GEOGRAPHY do BigQuery
Pode apresentar polígonos GEOGRAPHY usando uma visualização do Google Maps no relatório. Consulte o tutorial Visualize polígonos GEOGRAPHY do BigQuery com o Data Studio.
Analise as consultas do Data Studio com etiquetas de tarefas
Todas as consultas enviadas pelo Data Studio para o BigQuery têm a etiqueta de tarefa do BigQuery requestor:looker_studio. Pode usar esta etiqueta de tarefa para identificar as consultas do BigQuery relacionadas com o Data Studio.Para mais informações sobre as etiquetas no BigQuery, consulte a página da documentação do BigQuery Ver etiquetas.
Se for o proprietário da origem de dados do BigQuery, também pode ver os detalhes da tarefa clicando no ícone Tecnologia do BigQuery.
Para mais informações sobre o acompanhamento do desempenho e do custo dos gráficos e relatórios do Data Studio, consulte a página da documentação do BigQuery Analise dados com o Data Studio.
Diálogo do BigQuery
Se tiver credenciais de proprietário na origem de dados do BigQuery, o Data Studio apresenta um ícone do BigQuery no canto superior direito de qualquer gráfico que use o BigQuery. Passe o cursor do rato sobre o gráfico e, de seguida, clique no ícone do BigQuery para abrir o diálogo BigQuery. O diálogo apresenta um link para a página de detalhes da tarefa do BigQuery. A página de detalhes da tarefa do BigQuery inclui as seguintes informações:
- A consulta SQL do gráfico
- Os dados devolvidos pela consulta SQL
- Uma análise por fase dos passos da consulta
- Estatísticas da consulta, como o tempo de execução total e as slots usadas
Melhore o desempenho com a API Storage Read do BigQuery
Para as consultas que usam resultados paginados, a ativação da API Storage Read do BigQuery pode melhorar os tempos de consulta. O Data Studio usa automaticamente a API Storage Read quando tal melhora os tempos de execução das consultas.
Para ativar a API Storage Read do BigQuery, conceda as seguintes autorizações ao utilizador do BigQuery que está ligado ao Data Studio:
bigquery.readsessions.createbigquery.readsessions.getData
Quotas e limites gerais
Em geral, as origens de dados do BigQuery estão sujeitas aos mesmos limites de taxa e limites de quota que o próprio BigQuery.
Número máximo de linhas
O número máximo de linhas que podem ser devolvidas através do conetor do BigQuery é de 2 milhões de linhas. O Data Studio indica quando existem mais de 2 milhões de linhas de dados, mas não especifica o número de linhas.
Número máximo de tabelas
Para as ligações do BigQuery, existe um limite de 5000 tabelas por conjunto de dados quando usa o conetor do Data Studio. Se este limite for excedido, a IU pode deixar de responder quando o Data Studio carrega a lista de tabelas do conjunto de dados.
Se atingir este limite, pode usar uma das seguintes soluções alternativas:
- Utilizar uma consulta personalizada: estabeleça ligação ao BigQuery através de uma consulta SQL personalizada em vez de estabelecer ligação a uma tabela. Por exemplo:
SELECT * FROM project.dataset.table. - Estabeleça ligação a partir do BigQuery: na consola do BigQuery, use as opções Exportar ou Explorar dados e, de seguida, selecione Abrir com o Looker Studio.
- Faça a gestão dos conjuntos de dados: reorganize as tabelas em conjuntos de dados mais pequenos com menos de 5000 tabelas ou crie um conjunto de dados de relatórios dedicado com apenas as tabelas ou vistas necessárias.
Funções MEDIAN e PERCENTILE
Para as origens de dados do BigQuery, MEDIAN e PERCENTILE são implementadas através da função APPROX_QUANTILES do BigQuery. A aplicação de MEDIAN ou PERCENTILE aos dados do BigQuery pode devolver resultados ligeiramente diferentes da aplicação de MEDIAN ou PERCENTILE aos mesmos dados de outros tipos de origens de dados.
Chaves de encriptação geridas pelo cliente (CMEK)
O conetor do BigQuery não suporta chaves de encriptação geridas pelo cliente (CMEK). Se o seu Google Cloud projeto estiver sujeito a uma política da organização que requer CMEK, o Data Studio não consegue consultar os dados e devolve um erro CONDITION_NOT_MET.
Tipo de dados TIME
O Data Studio não suporta o tipo de dados TIME do BigQuery. Todos os campos TIME no seu conjunto de dados são convertidos em campos TEXT no Data Studio. Para visualizar os dados de tempo nos relatórios, pode usar uma das seguintes soluções alternativas para converter os dados TIME num tipo de dados DATETIME:
Solução alternativa 1: use uma consulta personalizada
Use uma consulta personalizada do BigQuery como origem de dados no Data Studio. Combine o campo TIME com uma data "falsa" para criar um valor DATETIME suportado pelo Data Studio.
Consulta SQL personalizada
SELECT
*,
-- Combine a dummy date (1970-01-01) with your TIME field
DATETIME(DATE "1970-01-01", your_time_field) AS time_as_datetime
FROM
`your_project.your_dataset.your_table`
- Resultado: o Data Studio trata
time_as_datetimecomo um tipo de dados Data e hora. - Personalização: para ocultar a data falsa e apresentar apenas a parte da hora: no relatório, edite o Formato de apresentação do campo time_as_datetime e selecione um formato, como Hora ou Minuto, ou forneça um formato personalizado, como h:mm:ss. Saiba mais sobre os formatos de apresentação dos campos.
Solução alternativa 2: use um campo calculado
Se não quiser alterar a consulta SQL, pode tratar da conversão diretamente no Data Studio usando um campo calculado. Este exemplo pressupõe que o campo TIME do BigQuery contém dados no formato "hora:minuto:segundo" (por exemplo, 23:59:59).
Fórmula do campo calculado
PARSE_DATETIME("%H:%M:%S", CAST(your_time_field AS TEXT))
- Resultado: a função
PARSE_DATETIMEconverte a string num objeto Data e hora. A funçãoCASTgarante queyour_time_fieldé tratado comoTEXT. Uma vez que não é especificada nenhuma data na string, o Data Studio predefine automaticamente a parte da data para 1 de janeiro de 1970. Saiba mais sobre a função PARSEDATE. - Personalização: tal como na solução alternativa da consulta personalizada, pode alterar o Formato de apresentação do campo no separador Configuração do gráfico para garantir que apenas as informações de tempo relevantes são apresentadas nos gráficos.