Criar e executar um notebook usando a galeria de notebooks

Criar e executar um notebook usando a galeria de notebooks

Comece a analisar dados usando a galeria de notebooks no BigQuery Studio.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Ative a API BigQuery.

   Funções necessárias para ativar APIs

   Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

   Ativar a API

   Para novos projetos, a API BigQuery é ativada automaticamente.

2. Opcional: ative o faturamento do projeto. Se você não quiser ativar o faturamento ou informar um cartão de crédito, as etapas deste documento ainda funcionarão. O BigQuery fornece um sandbox para executar as etapas. Para mais informações, consulte Ativar o sandbox do BigQuery.
   Observação: se o projeto tiver uma conta de faturamento e você quiser usar o sandbox do BigQuery, então desative o faturamento no seu projeto.

Funções exigidas

Para receber as permissões necessárias para criar notebooks de execução, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Usuário de sessão de leitura do BigQuery (roles/bigquery.readSessionUser)
• Usuário do BigQuery Studio (roles/bigquery.studioUser)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Se você não conhece os notebooks no BigQuery, consulte as permissões necessárias em a página Criar notebooks.

Galeria de notebooks

A galeria de notebooks é um hub central para descobrir e usar modelos de notebooks predefinidos. Esses modelos permitem realizar tarefas comuns, como preparação, análise de dados e visualização. Os modelos de notebooks também ajudam a explorar os recursos do BigQuery Studio, gerenciar fluxos de trabalho e promover práticas recomendadas.

É possível usar modelos da galeria de notebooks para simplificar todo o fluxo de trabalho de intenção para insights em cada estágio do ciclo de vida dos dados, desde a ingestão e a exploração até a análise avançada e o BigQuery ML.

A galeria de notebooks oferece modelos para todos os níveis de habilidade. A galeria inclui modelos fundamentais para SQL, Python, Apache Spark e DataFrames. Também é possível explorar tópicos como IA generativa e análise de dados multimodais no BigQuery.

Para mais informações sobre como usar modelos da galeria de notebooks, consulte Criar um notebook usando a galeria de notebooks.

Criar um notebook com um modelo da galeria de notebooks

O exemplo a seguir usa o modelo Introdução aos notebooks no BigQuery Studio. Este notebook mostra como realizar estas tarefas:

• Consultar dados: execute consultas usando células SQL.
• Visualizar resultados de consultas: crie visualizações sem código usando células de visualização.
• Limpar e transformar dados: classifique, deduplique e filtre seus dados usando a API BigQuery DataFrames (pandas).
• Executar previsões de IA: gere previsões usando a (AI.FORECAST função) no BigQuery DataFrames. A função AI.FORECAST usa o modelo de fundação TimesFM para gerar previsões diretamente de um conjunto de dados sem necessidade de treinamento de modelo.
• Plotar dados: plote dados usando as bibliotecas de visualização integradas do Python. Os dados são plotados usando a biblioteca de visualização BigQuery DataFrames, com tecnologia Matplotlib e Pandas.

Para usar o notebook, abra o modelo, converta-o em um notebook executável, conecte-se ao ambiente de execução do notebook e execute-o.

Abrir o modelo e convertê-lo em um notebook executável

Antes de usar um notebook criado com um modelo da galeria de notebooks, é necessário converter o modelo em um notebook executável.

Para abrir o modelo Introdução aos notebooks no BigQuery Studio na galeria de notebooks e convertê-lo em um notebook executável, siga estas etapas:

1. Acesse a página Studio.

   Acessar Studio

2. Clique na seta suspensa e escolha Notebook > Todos os modelos.

3. Como alternativa, na página inicial do BigQuery Studio, clique em Ver galeria de notebooks.

   

4. Clique no card Introdução aos notebooks no BigQuery Studio ou pesquise por ele na galeria.

5. Depois que o modelo for aberto, clique em Usar este modelo para converter o modelo em um notebook executável.

Conectar ao ambiente de execução padrão

Antes de executar o notebook, é necessário conectá-lo a um ambiente de execução da plataforma de agentes do Gemini Enterprise. Um ambiente de execução é um recurso de computação que executa o código no notebook. O ambiente de execução precisa estar na mesma região do notebook.

Para mais informações sobre ambientes de execução, consulte Ambientes de execução e modelos de ambiente de execução. Para mais informações sobre como configurar as configurações regionais, consulte Definir a região padrão para recursos de código assets.

Observação: Se você usar o VPC Service Controls, configure o Acesso privado do Google com o VPC Service Controls antes de se conectar a um ambiente de execução. Caso contrário, o serviço retornará o erro Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

Neste tutorial, você usa o ambiente de execução padrão. O padrão é predefinido e requer configuração mínima. Para se conectar ao ambiente de execução padrão, siga estas etapas:

1. Com o notebook aberto, clique em Conectar.

   Se você ainda não tiver um ambiente de execução ativo, poderá levar vários minutos para se conectar ao ambiente de execução padrão.

2. Quando o ambiente de execução estiver pronto, uma marca de seleção será exibida com gráficos de RAM e disco. Se você passar o cursor sobre os gráficos, verá o tipo de ambiente de execução e a configuração dele.

   

Executar o notebook

A introdução aos notebooks no BigQuery Studio contém texto, SQL, visualização e células de código . As células que não são de texto podem ser executadas individualmente ou é possível executar todas as células em ordem, da primeira à última.

Neste tutorial, você executa as células no notebook individualmente para visualizar os resultados em etapas. Para executar o notebook:

1. Na seção Consultar seus dados usando células SQL, passe o cursor sobre a célula SQL, e clique em Executar célula.

   

   Essa célula SQL consulta a tabela bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary no conjunto de dados públicos de qualidade do ar histórico e retorna a média diária de PM2,5 (uma métrica comum de qualidade do ar) para São Francisco nos últimos anos.

2. Veja os resultados. Os resultados da consulta são exibidos em um DataFrame.

   

   Observação: Para limpar ou copiar os resultados, clique em Ações de saída da célula de código.

3. Na seção Visualizar dados, passe o cursor sobre a célula de visualização e clique em Executar célula.

4. Confira a visualização gerada.

   

   O resultado mostra um gráfico de série temporal que plota os valores médios diários de PM2,5 no DataFrame df gerado anteriormente. Esse gráfico mostra a tendência nos níveis de PM2,5 ao longo do tempo.

5. Na seção Limpar os dados, passe o cursor sobre a célula de código e clique em Executar célula.

6. Veja os resultados. Os resultados são exibidos em um DataFrame.

   

   O código realiza as ações a seguir:

   • Importe a biblioteca bigframes.pandas.
   • Verifique se o campo date_local é um carimbo de data/hora.
   • Classifique os resultados por data, o que é necessário para a estimativa.
   • Remova as linhas duplicadas.
   • Solte as linhas em que avg_pm25 é null.
   • Filtre os outliers.
   • Mostre os resultados em um BigQuery DataFrames chamado df_cleaned.

7. Na seção Prever valores usando AI.FORECAST , passe o cursor sobre a célula SQL e clique em Executar célula.

8. Veja os resultados. Os resultados da consulta são exibidos em um DataFrame.

   

   Essa célula SQL executa uma consulta que usa a função AI.FORECAST para prever a média diária futura de PM2,5 usando o DataFrame df_cleaned gerado anteriormente.

9. Na seção Visualizar dados usando Python, passe o cursor sobre a célula de código, e clique em Executar célula.

10. Veja os resultados. Os resultados são exibidos em um gráfico.

    

    O código Python faz o seguinte:

    • Importe o módulo datetime.
    • Plote os dados históricos primeiro e receba os eixos.
    • Plote os dados previstos nos mesmos eixos.
    • Plote o intervalo de confiança.

    Essa visualização é semelhante à plotagem padrão do Python, mas df_cleaned.plot é um comando BigQuery DataFrames. O comando recupera apenas os dados necessários (uma amostra) para renderizar o gráfico, não o conjunto de dados inteiro.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No Google Cloud console, acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

Como alternativa, para manter o projeto e excluir os recursos usados neste tutorial, siga estas etapas:

1. Acesse a página Studio.

   Acessar Studio

2. No painel esquerdo, expanda seu projeto e clique em Notebooks.

3. No notebook que você está excluindo, clique em Abrir ações > Excluir.

4. Na caixa de diálogo Excluir notebook, clique em Excluir para confirmar.

A seguir

Para executar outros modelos de notebook de amostra na galeria de notebooks, consulte:

• Introdução aos notebooks para usuários de SQL
• Introdução aos notebooks para usuários de Python

Para saber mais sobre DataFrames, consulte:

• Introdução ao BigQuery DataFrames
• Referência da API BigQuery DataFrames

Para saber mais sobre IA generativa e funções de ML no BigQuery, consulte a Visão geral da IA generativa.