Usar o agente de ciência de dados do Colab Enterprise com o BigQuery

O Agente de Ciência de Dados (DSA, na sigla em inglês) para Colab Enterprise e BigQuery permite automatizar a análise de dados exploratória, realizar tarefas de machine learning e fornecer insights, tudo em um notebook do Colab Enterprise.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho sem custos financeiros.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Ative as APIs BigQuery, Gemini para Google Cloud, Dataform e Compute Engine, se ainda não estiverem ativadas.

   Funções necessárias para ativar APIs

   Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

   Ativar as APIs

   Para novos projetos, a API BigQuery é ativada automaticamente.

Se você não conhece o Colab Enterprise no BigQuery, consulte as etapas de configuração na página Criar notebooks.

Limitações

• A DSA só está disponível no ambiente do Colab Enterprise.
• A DSA aceita as seguintes fontes de dados:
  • Arquivos CSV
  • Tabelas do BigQuery
• O código produzido pelo DSA só é executado no ambiente de execução do notebook.
• A pesquisa de tabelas do BigQuery usando a função @mention é limitada ao projeto atual. Use o seletor de tabelas para pesquisar em vários projetos.
• A função @mention pesquisa apenas tabelas do BigQuery. Para pesquisar arquivos de dados que podem ser enviados, use o símbolo +.
• O PySpark no DSA gera apenas código do Serviço Gerenciado para Apache Spark 4.0. O DSA pode ajudar você a fazer upgrade para o Serviço Gerenciado para Apache Spark 4.0. Se você precisar de versões anteriores, escreva e execute o código PySpark diretamente no notebook.
• As chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) não são compatíveis.

Usar o agente de ciência de dados no BigQuery

As etapas a seguir mostram como usar o DSA no BigQuery.

1. Crie ou abra um notebook do Colab Enterprise.

2. Opcional: faça referência aos dados de uma das seguintes maneiras:

   • Faça upload de um arquivo CSV ou use o símbolo + no comando para pesquisar arquivos disponíveis.
   • Escolha uma ou mais tabelas do BigQuery no seletor de tabelas do seu projeto atual ou de outros projetos a que você tem acesso.
   • Faça referência a um nome de tabela do BigQuery no prompt neste formato: project_id:dataset.table.
   • Digite o símbolo @ para pesquisar um nome de tabela do BigQuery usando a função @mention.

3. Insira um comando que descreva a análise de dados que você quer realizar ou o protótipo que quer criar. O comportamento padrão é gerar código Python usando bibliotecas de código aberto, como sklearn, para realizar tarefas complexas de machine learning. Para usar uma ferramenta específica, inclua as seguintes palavras-chave no comando:

   • Se você quiser usar o BigQuery ML, inclua a palavra-chave "SQL".
   • Se você quiser usar "BigQuery DataFrames", especifique as palavras-chave "BigFrames" ou "BigQuery DataFrames".
   • Se você quiser usar o PySpark, inclua as palavras-chave "Apache Spark" ou "PySpark".

4. Escolha o modelo. O modelo padrão é o Gemini 3.0 Flash.

5. Envie o comando e analise os resultados.

Analisar um arquivo CSV

Para analisar um CSV usando o DSA no BigQuery, siga estas etapas.

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, expanda o projeto e clique em Notebooks.

3. Clique em Novo notebook > Notebook vazio.

   Como alternativa, na barra de guias, clique na seta suspensa arrow_drop_down ao lado do ícone Adicionar add_box e clique em Notebook > Notebook vazio.

4. Clique no botão spark Ativar/desativar o Gemini no Colab para abrir a caixa de diálogo de chat.

   Observação: para alternar entre mostrar a caixa de diálogo da conversa em um painel separado e no notebook, clique no ícone Mover.

5. Faça upload do arquivo CSV.

   1. Na caixa de diálogo da conversa, clique em Adicionar ao Gemini > Enviar.

   2. Se necessário, autorize sua Conta do Google.

   3. Acesse o local do arquivo CSV e clique em Abrir.

6. Como alternativa, digite o símbolo + no comando para pesquisar os arquivos disponíveis para upload.

7. Insira seu comando na janela de chat. Por exemplo: Identify trends and anomalies in this file.

8. Escolha o modelo. O modelo padrão é o Gemini 3.0 Flash.

9. Clique em send Enviar. Os resultados aparecem na janela de chat.

10. Você pode pedir ao agente para mudar o plano ou executá-lo clicando em Aceitar e executar. À medida que o plano é executado, o código e o texto gerados aparecem no notebook. Clique em Cancelar para interromper.

Analisar tabelas do BigQuery

Para analisar uma tabela do BigQuery, escolha uma ou mais tabelas no seletor de tabelas, forneça uma referência à tabela no comando ou pesquise uma tabela usando o símbolo @.

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No painel à esquerda, expanda o projeto e clique em Notebooks.

3. Clique em Novo notebook > Notebook vazio.

   Como alternativa, na barra de guias, clique na seta suspensa arrow_drop_down ao lado do ícone Adicionar add_box e clique em Notebook > Notebook vazio.

4. Clique no botão spark Ativar/desativar o Gemini no Colab para abrir a caixa de diálogo de chat.

   Observação: para alternar entre mostrar a caixa de diálogo da conversa em um painel separado e no notebook, clique no ícone Mover.

5. Insira seu comando na janela de chat.

6. Faça referência aos dados de uma das seguintes maneiras:

   1. Escolha uma ou mais tabelas usando o seletor de tabelas:

      1. Clique em Adicionar ao Gemini > Tabelas do BigQuery.

      2. Na janela Tabelas do BigQuery, selecione uma ou mais tabelas no seu projeto. É possível pesquisar tabelas em vários projetos e filtrá-las usando a barra de pesquisa.

   2. Inclua o nome de uma tabela do BigQuery diretamente no comando. Por exemplo: "Me ajude a realizar uma análise de dados exploratória e receber insights sobre os dados nesta tabela: project_id:dataset.table."

      Substitua:

      • project_id: ID do projeto;
      • dataset: o nome do conjunto de dados que contém a tabela que você está analisando.
      • table: o nome da tabela que você está analisando.

   3. Digite @ para pesquisar uma tabela do BigQuery no projeto atual.

7. Escolha o modelo. O modelo padrão é o Gemini 3.0 Flash.

8. Clique em send Enviar.

   Os resultados aparecem na janela de chat.

9. Você pode pedir ao agente para mudar o plano ou executá-lo clicando em Aceitar e executar. À medida que o plano é executado, o código e o texto gerados aparecem no notebook. Para outras etapas do plano, talvez seja necessário clicar em Aceitar e executar novamente. Clique em Cancelar para interromper.

Comandos de amostra

Independentemente da complexidade do comando usado, o DSA gera um plano que pode ser refinado para atender às suas necessidades.

Os exemplos a seguir mostram os tipos de comandos que você pode usar com a DSA.

Comandos em Python

O código Python é gerado por padrão, a menos que você use uma palavra-chave específica no comando, como "BigQuery ML" ou "SQL".

• "Investigar e preencher valores ausentes usando o algoritmo de machine learning k-Nearest Neighbors (KNN)."
• "Crie um gráfico de salário por nível de experiência. Use a coluna experience_level para agrupar os salários e crie um diagrama de caixa para cada grupo mostrando os valores da coluna salary_in_usd."
• "Use o algoritmo XGBoost para criar um modelo que determine a variável class de uma fruta específica. Divida os dados em conjuntos de treinamento e teste para gerar um modelo e determinar a acurácia dele. Crie uma matriz de confusão para mostrar as previsões entre cada classe, incluindo todas as previsões corretas e incorretas."
• "Previsão de target_variable de filename.csv para os próximos seis meses."

Comandos SQL e do BigQuery ML

• "Crie e avalie um modelo de classificação em bigquery-public-data.ml_datasets.census_adult_income usando o BigQuery SQL."
• "Usando SQL, preveja o tráfego futuro do meu site para o próximo mês com base em bigquery-public-data.google_analytics_sample.ga_sessions_*. Em seguida, crie uma representação gráfica dos valores históricos e estimados."
• "Agrupar clientes semelhantes para criar campanhas de marketing segmentadas usando um modelo KMeans e funções SQL do BigQuery ML. Use três atributos para clustering. Em seguida, visualize os resultados criando uma série de gráficos de dispersão em 2D. Use a tabela bigquery-public-data.ml_datasets.census_adult_income."
• "Gerar embeddings de texto no BigQuery ML usando o conteúdo da avaliação em bigquery-public-data.imdb.reviews."

Para uma lista de modelos e tarefas de machine learning compatíveis, consulte a documentação do BigQuery ML.

Comandos do DataFrame

• "Crie um DataFrame do pandas para os dados em project_id:dataset.table. Verifique se há valores nulos nos dados e, em seguida, crie uma representação gráfica da distribuição de cada coluna usando o tipo de gráfico. Use gráficos de violino para valores medidos e gráficos de barras para categorias."
• "Leia filename.csv e construa um DataFrame. Execute uma análise no DataFrame para determinar o que precisa ser feito com os valores. Por exemplo, se há valores ausentes que precisam ser substituídos ou removidos ou se há linhas duplicadas que precisam ser tratadas. Use o arquivo de dados para determinar a distribuição do dinheiro investido em USD por local da cidade. Crie um gráfico de barras com os 20 principais resultados em ordem decrescente, mostrando o local em relação ao valor médio investido (USD)."
• Crie e avalie um modelo de classificação em project_id:dataset.table usando BigQuery DataFrames.
• "Crie um modelo de previsão de série temporal em project_id:dataset.table usando DataFrames do BigQuery e visualize as avaliações do modelo."
• "Visualize os números de vendas do ano passado na tabela project_id:dataset.table do BigQuery usando o BigQuery DataFrames."
• "Encontre os atributos que melhor preveem as espécies de pinguins na tabela bigquery-public_data.ml_datasets.penguins usando o BigQuery DataFrames."

Comandos do PySpark

• "Criar e avaliar um modelo de classificação no project_id:dataset.table usando o Serviço Gerenciado para Apache Spark."
• "Agrupe clientes semelhantes para criar campanhas de marketing de segmentação, mas primeiro faça a redução de dimensionalidade usando um modelo de PCA. Use o PySpark para fazer isso na tabela project_id:dataset.table."

Desativar o Gemini no BigQuery

Para desativar o Gemini no BigQuery em um projeto do Google Cloud , um administrador precisa desativar a API Gemini para Google Cloud. Veja como desativar serviços.

Para desativar o Gemini no BigQuery para um usuário específico, um administrador precisa revogar o papel de usuário do Gemini para Google Cloud (roles/cloudaicompanion.user) desse usuário. Veja como revogar apenas um papel do IAM.

Observação: para desativar o uso do agente de ciência de dados sem desativar outros recursos do Gemini, entre em contato com [e-mail] ou preencha o formulário de desativação do agente de ciência de dados. Para saber como desativar o Agente de Ciência de Dados, consulte Desativar o Gemini no Colab Enterprise.

Preços

Os preços do Agente de Ciência de Dados são baseados nos dados de entrada e saída. Para mais informações, consulte os preços dos agentes em Como funcionam os preços do BigQuery.

Regiões compatíveis

Para conferir as regiões com disponibilidade para o Agente de Ciência de Dados do Colab Enterprise, consulte Locais.