Usar a ferramenta bq

Usar a ferramenta bq

Neste tutorial, você vai aprender a usar o bq, a ferramenta de interface de linha de comando (CLI) baseada em Python para o BigQuery, para criar um conjunto de dados, carregar dados de amostra e consultar tabelas. Depois de concluir este tutorial, você vai conhecer o bq e saber como trabalhar com o BigQuery usando uma CLI.

Para obter uma referência completa de todos os comandos e flags bq, consulte a referência da ferramenta de linha de comando bq.

---

Para seguir as instruções detalhadas desta tarefa diretamente no console do Google Cloud , clique em Orientação:

Orientações

---

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Verify that billing is enabled for your Google Cloud project.

Se você não ativar o faturamento do projeto do Google Cloud usado neste tutorial, carregue e consulte os dados no sandbox do BigQuery. O sandbox do BigQuery ensina você a usar o BigQuery com um conjunto limitado de recursos sem custos financeiros.

2. Verifique se a API BigQuery está ativada.

   Ativar a API

   Se você criou um novo projeto, a API BigQuery será ativada automaticamente.

3. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Fazer o download do arquivo que contém os dados de origem

Você está fazendo o download de um arquivo que tem aproximadamente 7 MB de dados com os nomes mais comuns de bebês. Ele é fornecido pela Administração da Previdência Social dos EUA.

Para mais informações sobre os dados, consulte as Informações básicas sobre nomes populares da Administração da Previdência Social.

1. Faça o download dos dados da Administração de Previdência Social dos EUA abrindo o URL a seguir em uma nova guia do navegador:

   https://www.ssa.gov/OACT/babynames/names.zip
   

2. Extraia o arquivo.

   Para mais informações sobre o esquema do conjunto de dados, consulte o arquivo NationalReadMe.pdf extraído.

3. Para conferir os dados, abra o arquivo yob2024.txt. Esse arquivo contém valores separados por vírgula para nome, sexo atribuído no nascimento e número de crianças com esse nome. O arquivo não tem linha de cabeçalho.

4. Mova o arquivo para o diretório de trabalho.

   • Se você estiver trabalhando no Cloud Shell, clique em Mais Fazer upload, clique em Escolher arquivos, escolha o arquivo yob2024.txt e clique em Fazer upload.

   • Se estiver trabalhando em um shell local, copie ou mova o arquivo yob2024.txt para o diretório em que você está executando a ferramenta bq.

crie um conjunto de dados

1. Se você iniciou o Cloud Shell na documentação, insira o comando a seguir para definir o ID do projeto. Assim, você não precisa especificar o ID do projeto em cada comando da CLI.

   gcloud config set project PROJECT_ID
   

   Substitua PROJECT_ID pela ID do seu projeto.

1. Insira o comando a seguir para criar um conjunto de dados chamado babynames:

   bq mk --dataset babynames
   

   O resultado será semelhante ao seguinte:

   Dataset 'babynames' successfully created.
   

2. Verifique se o conjunto de dados babynames agora aparece no seu projeto:

   bq ls --datasets=true
   

   O resultado será assim:

     datasetId
   -------------
     babynames
   

Carregar dados em uma tabela

1. No conjunto de dados babynames, carregue o arquivo de origem yob2024.txt em uma nova tabela chamada names2024:

   bq load babynames.names2024 yob2024.txt name:string,assigned_sex_at_birth:string,count:integer
   

   O resultado será semelhante ao seguinte:

   Upload complete.
   Waiting on bqjob_r3c045d7cbe5ca6d2_0000018292f0815f_1 ... (1s) Current status: DONE
   

2. Confirme se a tabela names2024 agora aparece no conjunto de dados babynames:

   bq ls --format=pretty babynames
   

   O resultado será semelhante ao seguinte: Algumas colunas são omitidas para simplificar o resultado.

   +-----------+-------+
   |  tableId  | Type  |
   +-----------+-------+
   | names2024 | TABLE |
   +-----------+-------+
   

3. Confirme se o esquema da nova tabela names2024 é name: string, assigned_sex_at_birth: string e count: integer:

   bq show babynames.names2024
   

   O resultado será semelhante ao seguinte: Algumas colunas são omitidas para simplificar a saída.

     Last modified        Schema                      Total Rows   Total Bytes
   ----------------- ------------------------------- ------------ ------------
   14 Mar 17:16:45   |- name: string                    31904       607494
                     |- assigned_sex_at_birth: string
                     |- count: integer
   

Consultar os dados da tabela

1. Determine os nomes de meninas mais comuns nos dados:

   bq query \
       'SELECT
         name,
         count
       FROM
         babynames.names2024
       WHERE
         assigned_sex_at_birth = "F"
       ORDER BY
         count DESC
       LIMIT 5'
   

   O resultado será semelhante ao seguinte:

   +-----------+-------+
   |   name    | count |
   +-----------+-------+
   | Olivia    | 14718 |
   | Emma      | 13485 |
   | Amelia    | 12740 |
   | Charlotte | 12552 |
   | Mia       | 12113 |
   +-----------+-------+
   

2. Determine os nomes de meninos menos comuns nos dados:

   bq query \
       'SELECT
         name,
         count
       FROM
         babynames.names2024
       WHERE
         assigned_sex_at_birth = "M"
       ORDER BY
         count ASC
       LIMIT 5'
   

   O resultado será semelhante ao seguinte:

   +---------+-------+
   |  name   | count |
   +---------+-------+
   | Aaran   |     5 |
   | Aadiv   |     5 |
   | Aadarsh |     5 |
   | Aarash  |     5 |
   | Aadrik  |     5 |
   +---------+-------+
   

   A contagem mínima é 5, porque os nomes com menos de 5 ocorrências não são exibidos nos dados de origem.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud e os recursos.

Excluir o projeto

Se você usou o sandbox do BigQuery para consultar o conjunto de dados público, o faturamento não está ativado para seu projeto, e não é necessário excluir o projeto.

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: a exclusão de um projeto pode gerar os efeitos a seguir.

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Excluir os recursos

Se você usou um projeto atual, exclua os recursos criados:

1. Exclua o conjunto de dados babynames:

   bq rm --recursive=true babynames
   

   A flag --recursive exclui todas as tabelas do conjunto de dados, incluindo a tabela names2024.

   O resultado será semelhante ao seguinte:

   rm: remove dataset 'myproject:babynames'? (y/N)
   

2. Para confirmar o comando de exclusão, insira y.

A seguir

• Saiba mais sobre como usar a ferramenta bq.
• Saiba mais sobre o sandbox do BigQuery.
• Saiba como carregar dados no BigQuery.
• Saiba como consultar dados no BigQuery.