Usar a ferramenta bq

Usar a ferramenta bq

Neste tutorial, você vai aprender a usar o bq, a ferramenta de interface de linha de comando (CLI) baseada em Python para o BigQuery, para criar um conjunto de dados, carregar dados de amostra e consultar tabelas. Depois de concluir este tutorial, você vai conhecer o bq e saber como trabalhar com o BigQuery usando uma CLI.

Para obter uma referência completa de todos os comandos e flags bq, consulte a referência da ferramenta de linha de comando bq.

---

Para seguir as instruções detalhadas desta tarefa diretamente no console do Google Cloud , clique em Orientação:

Orientações

---

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Se este guia estiver usando um projeto atual, verifique se você tem as permissões necessárias para concluir o guia. Se você criou um projeto, já tem as permissões necessárias.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Se este guia estiver usando um projeto atual, verifique se você tem as permissões necessárias para concluir o guia. Se você criou um projeto, já tem as permissões necessárias.

1. Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

   Para novos projetos, a API BigQuery é ativada automaticamente.

2. Opcional: ative o faturamento do projeto. Se você não quiser ativar o faturamento ou informar um cartão de crédito, as etapas deste documento ainda funcionarão. O BigQuery fornece um sandbox para executar as etapas. Para mais informações, consulte Ativar o sandbox do BigQuery.
   Observação: se o projeto tiver uma conta de faturamento e você quiser usar o sandbox do BigQuery, desative o faturamento no seu projeto.

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Funções exigidas

Para receber as permissões necessárias para criar um conjunto de dados, uma tabela, carregar e consultar dados, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Executar jobs de carregamento e de consulta: Usuário de jobs do BigQuery (roles/bigquery.jobUser)
• Criar um conjunto de dados, criar uma tabela, carregar dados em uma tabela e consultar uma tabela: Editor de dados do BigQuery (roles/bigquery.dataEditor)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Fazer o download do arquivo que contém os dados de origem

Você está fazendo o download de um arquivo que tem aproximadamente 7 MB de dados com os nomes mais comuns de bebês. Ele é fornecido pela Administração da Previdência Social dos EUA.

Para mais informações sobre os dados, consulte as Informações básicas sobre nomes populares da Administração da Previdência Social.

1. Faça o download dos dados da Administração de Previdência Social dos EUA abrindo o URL a seguir em uma nova guia do navegador:

   https://www.ssa.gov/OACT/babynames/names.zip
   

2. Extraia o arquivo.

   Para mais informações sobre o esquema do conjunto de dados, consulte o arquivo NationalReadMe.pdf extraído.

3. Para conferir os dados, abra o arquivo yob2024.txt. Esse arquivo contém valores separados por vírgula para nome, sexo atribuído no nascimento e número de crianças com esse nome. O arquivo não tem linha de cabeçalho.

4. Mova o arquivo para o diretório de trabalho.

   • Se você estiver trabalhando no Cloud Shell, clique em Mais Fazer upload, clique em Escolher arquivos, escolha o arquivo yob2024.txt e clique em Fazer upload.

   • Se estiver trabalhando em um shell local, copie ou mova o arquivo yob2024.txt para o diretório em que você está executando a ferramenta bq.

crie um conjunto de dados

1. Se você iniciou o Cloud Shell na documentação, insira o comando a seguir para definir o ID do projeto. Assim, você não precisa especificar o ID do projeto em cada comando da CLI.

   gcloud config set project PROJECT_ID
   

   Substitua PROJECT_ID pela ID do seu projeto.

1. Insira o comando a seguir para criar um conjunto de dados chamado babynames:

   bq mk --dataset babynames
   

   O resultado será semelhante ao seguinte:

   Dataset 'babynames' successfully created.
   

2. Verifique se o conjunto de dados babynames agora aparece no seu projeto:

   bq ls --datasets=true
   

   O resultado será assim:

     datasetId
   -------------
     babynames
   

Carregar dados em uma tabela

1. No conjunto de dados babynames, carregue o arquivo de origem yob2024.txt em uma nova tabela chamada names2024:

   bq load babynames.names2024 yob2024.txt name:string,assigned_sex_at_birth:string,count:integer
   

   O resultado será semelhante ao seguinte:

   Upload complete.
   Waiting on bqjob_r3c045d7cbe5ca6d2_0000018292f0815f_1 ... (1s) Current status: DONE
   

2. Confirme se a tabela names2024 agora aparece no conjunto de dados babynames:

   bq ls --format=pretty babynames
   

   O resultado será semelhante ao seguinte: Algumas colunas são omitidas para simplificar o resultado.

   +-----------+-------+
   |  tableId  | Type  |
   +-----------+-------+
   | names2024 | TABLE |
   +-----------+-------+
   

3. Confirme se o esquema da nova tabela names2024 é name: string, assigned_sex_at_birth: string e count: integer:

   bq show babynames.names2024
   

   O resultado será semelhante ao seguinte: Algumas colunas são omitidas para simplificar a saída.

     Last modified        Schema                      Total Rows   Total Bytes
   ----------------- ------------------------------- ------------ ------------
   14 Mar 17:16:45   |- name: string                    31904       607494
                     |- assigned_sex_at_birth: string
                     |- count: integer
   

Consultar os dados da tabela

1. Determine os nomes de meninas mais comuns nos dados:

   bq query \
       'SELECT
         name,
         count
       FROM
         babynames.names2024
       WHERE
         assigned_sex_at_birth = "F"
       ORDER BY
         count DESC
       LIMIT 5'
   

   O resultado será semelhante ao seguinte:

   +-----------+-------+
   |   name    | count |
   +-----------+-------+
   | Olivia    | 14718 |
   | Emma      | 13485 |
   | Amelia    | 12740 |
   | Charlotte | 12552 |
   | Mia       | 12113 |
   +-----------+-------+
   

2. Determine os nomes de meninos menos comuns nos dados:

   bq query \
       'SELECT
         name,
         count
       FROM
         babynames.names2024
       WHERE
         assigned_sex_at_birth = "M"
       ORDER BY
         count ASC
       LIMIT 5'
   

   O resultado será semelhante ao seguinte:

   +---------+-------+
   |  name   | count |
   +---------+-------+
   | Aaran   |     5 |
   | Aadiv   |     5 |
   | Aadarsh |     5 |
   | Aarash  |     5 |
   | Aadrik  |     5 |
   +---------+-------+
   

   A contagem mínima é 5, porque os nomes com menos de 5 ocorrências não são exibidos nos dados de origem.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud e os recursos.

Excluir o projeto

Se você usou o sandbox do BigQuery para consultar o conjunto de dados público, o faturamento não está ativado para seu projeto, e não é necessário excluir o projeto.

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: a exclusão de um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir os recursos

Se você usou um projeto atual, exclua os recursos criados:

1. Exclua o conjunto de dados babynames:

   bq rm --recursive=true babynames
   

   A flag --recursive exclui todas as tabelas do conjunto de dados, incluindo a tabela names2024.

   O resultado será semelhante ao seguinte:

   rm: remove dataset 'myproject:babynames'? (y/N)
   

2. Para confirmar o comando de exclusão, insira y.

A seguir

• Saiba mais sobre como usar a ferramenta bq.
• Saiba mais sobre o sandbox do BigQuery.
• Saiba como carregar dados no BigQuery.
• Saiba como consultar dados no BigQuery.