Visualizar consultas SQL

Este documento mostra como visualizar a saída de uma consulta SQL em um espaço de trabalho do Dataform antes de executar a consulta no BigQuery.

Sobre a visualização de consultas no Dataform

Ao desenvolver uma consulta em um arquivo SQLX ou JavaScript com o Dataform Core, o Dataform compila a consulta em SQL em tempo real. Para testar a saída da consulta SQL compilada antes de executá-la no BigQuery, você pode visualizar a consulta no espaço de trabalho do Dataform.

Ao visualizar uma consulta, o Dataform executa um job no BigQuery para executar a consulta compilada em uma tabela de destino temporária e mostrar os resultados da consulta no espaço de trabalho. Você pode inspecionar a saída da consulta antes de acionar a execução para publicar a tabela no BigQuery. A tabela temporária com a consulta visualizada é excluída automaticamente em até 24 horas. Para mais informações sobre jobs do BigQuery, consulte Gerenciar jobs.

A execução da visualização de consultas no Dataform gera faturamento no BigQuery. Para mais informações sobre os preços do BigQuery, consulte Preços do BigQuery.

Durante a visualização da consulta, o Dataform usa as credenciais de usuário da sua Conta do Google para executar jobs no BigQuery. Durante a execução do fluxo de trabalho, o modo estrito de atuação como exige que o Dataform use uma conta de serviço personalizada ou credenciais de usuário da Conta do Google para criar ou atualizar recursos no BigQuery.

O Dataform mostra os resultados de todas as consultas visualizadas durante a sessão atual do navegador no painel Resultados da consulta no espaço de trabalho. No painel Resultados da consulta, é possível conferir as seguintes informações sobre cada consulta visualizada durante a sessão atual do navegador:

  • Informações do job
    • ID do job do BigQuery
    • Usuário que executa a visualização
    • Local em que o job é executado, extraído do seu arquivo de configurações do fluxo de trabalho
    • Horários de criação, início e término do job do BigQuery
    • Duração do job do BigQuery
    • Bytes processados
    • Bytes faturados no BigQuery
    • Prioridade de job
    • Uso do SQL legado na consulta
    • Tabela de destino temporária da consulta
  • Resultados da consulta
  • Representação JSON da saída da consulta

Além disso, no painel Resultados da consulta , é possível navegar até o arquivo de origem de cada consulta visualizada e até o BigQuery Studio para conferir o job de visualização.

Antes de começar

  1. Noconsole, acesse a página Dataform. Google Cloud

    Acessar o Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Crie uma consulta SQL, por exemplo, crie uma tabela.

Funções exigidas

Para receber as permissões necessárias para visualizar consultas, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Visualizar uma consulta

Para inspecionar os resultados da consulta no Dataform antes da execução, execute uma visualização de uma consulta no espaço de trabalho. Se o arquivo editado contiver várias consultas, selecione a consulta que você quer visualizar. É possível visualizar uma consulta por vez.

A execução de uma visualização é um pouco diferente para tabelas com declarações. Para mais informações, consulte Visualizar uma tabela com declarações.

Para visualizar uma consulta SQL e conferir os resultados da consulta em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Arquivos, expanda definitions/.
  2. Selecione um arquivo SQLX ou JavaScript.

  3. Clique em Executar.

    1. Se o arquivo contiver várias consultas, no menu, selecione a consulta que você quer visualizar.

  4. Inspecione os resultados da visualização no painel Resultados da consulta.

    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de visualização no espaço de trabalho SQL, clique no Mais menu > Conferir job no espaço de trabalho SQL.

Visualizar uma tabela com declarações

Em um arquivo de definição de tabela SQLX com declarações, é possível visualizar a consulta de criação de tabela e as consultas de declaração definidas.

O Dataform trata a consulta de definição de tabela como a consulta padrão. Para visualizar a consulta de criação de tabela, clique em Executar no espaço de trabalho. Para visualizar uma consulta de declaração, selecione-a no menu ao lado do botão Executar. É possível visualizar uma consulta por vez.

Para visualizar uma consulta em um arquivo de definição de tabela com declarações em um espaço de trabalho do Dataform, siga estas etapas:

  1. No painel Arquivos, expanda definitions/.
  2. Selecione um arquivo de definição de uma tabela com declarações.
  3. Execute uma visualização:
    • Para visualizar a consulta de criação de tabela, clique em Executar.
    • Para visualizar uma consulta de declaração, clique no ícone suspenso ao lado de Executar e selecione a consulta que você quer visualizar.
  4. Inspecione os resultados da visualização no painel Resultados da consulta.
    1. Para inspecionar os detalhes do job, selecione a guia Informações do job.
    2. Para inspecionar os resultados da consulta, selecione a guia Resultados.
    3. Para conferir a saída JSON da consulta, selecione a guia JSON.
    4. Para conferir o job de visualização no espaço de trabalho SQL, clique no Mais menu > Conferir job no espaço de trabalho SQL.

A seguir