Gerenciar dependências da API BigQuery

Para gerenciar o comportamento do BigQuery, entenda como cada API afeta os recursos do Google Cloud que dependem delas. Alguns serviços de API são ativados por padrão em todos os projetos Google Cloud que você cria, enquanto outros são ativados automaticamente para todos os projetos Google Cloud que usam o BigQuery. Você precisa ativar explicitamente os serviços de API restantes antes de usar a funcionalidade deles.

Desativar uma dependência incorretamente pode afetar a funcionalidade do BigQuery. Entenda essas dependências para tomar decisões embasadas ao ativar ou desativar serviços no seu projeto do Google Cloud .

Serviços ativados por padrão

Os seguintes serviços são ativados por padrão para todos os novos projetos do Google Cloud :

Serviço Quais recursos dependem dele Efeitos da desativação desse serviço
analyticshub.googleapis.com
  • Não é possível criar ou gerenciar trocas de dados, listagens, data clean rooms ou assinaturas.
  • Não é possível pesquisar e explorar trocas ou anúncios criados por outros provedores.
  • As assinaturas criadas vão continuar existindo, mas não poderão ser acessadas.
  • Os conjuntos de dados vinculados ficam acessíveis enquanto a API BigQuery estiver ativada.
  • Não é possível criar novas assinaturas
bigqueryconnection.googleapis.com
  • Não é possível gerenciar conexões externas.
  • Não é possível criar modelos remotos.
  • Não é possível criar funções remotas.
  • Não é possível consultar tabelas do BigLake e de objetos.
bigquerymigration.googleapis.com
  • Não é possível criar tarefas ou avaliações de migração.
  • As tarefas ou avaliações atuais não estão disponíveis.

Observação:geralmente, é possível desativar esse serviço depois de concluir a migração de dados.
bigquerydatapolicy.googleapis.com
  • Não é possível gerenciar suas políticas de mascaramento de dados.
  • As políticas de mascaramento de dados não são excluídas, mas as consultas a tabelas com mascaramento de dados aplicado falham.
bigquerydatatransfer.googleapis.com
  • Não é possível gerenciar as transferências de dados programadas.
  • As transferências de dados em andamento são interrompidas.
bigqueryreservation.googleapis.com
  • Não é possível criar nem gerenciar compromissos de capacidade, reservas ou atribuições.
  • Não é possível monitorar o uso de slots.
  • O failover de recuperação de desastres não está disponível.
  • O escalonamento automático de slots é interrompido.
bigquerystorage.googleapis.com
dataform.googleapis.com
  • Não é possível criar pipelines, consultas salvas, notebooks do Colab, telas de dados, preparações de dados ou projetos do Dataform.
  • Os pipelines, notebooks ou projetos do Dataform programados vão parar.
  • Todos os pipelines, consultas salvas, notebooks do Colab, telas de dados, preparações de dados ou projetos do Dataform ficam inacessíveis.
dataplex.googleapis.com
  • A pesquisa de recursos de dados do BigQuery não está disponível.
  • Não é possível compartilhar a pesquisa de detalhes do app.
  • Não é possível criar nem acessar insights de perfil, verificações de qualidade de dados ou sugestões de consultas criados anteriormente.
  • Não é possível ver os detalhes do recurso de dados em um gráfico de linhagem.
  • Não é possível pesquisar recursos de dados na tela de dados.

Efeito da desativação da API BigQuery

Ao desativar a API BigQuery, os seguintes serviços, que dependem dela, também são desativados:

  • binaryauthorization.googleapis.com
  • container.googleapis.com
  • cloudapis.googleapis.com
  • dataprep.googleapis.com
  • servicebroker.googleapis.com
  • telecomdatafabric.googleapis.com

Serviços ativados pela API BigQuery Unified

A API BigQuery Unified (bigqueryunified.googleapis.com) inclui uma coleção selecionada de serviços necessários para o funcionamento de vários recursos do BigQuery. Se você ativar a API BigQuery Unified, todos esses serviços serão ativados simultaneamente. O Google pode atualizar os serviços nessa coleção, e eles são ativados automaticamente em projetos com essa API ativada. É possível desativar serviços e APIs individuais.

Para instruções sobre como ativar bigqueryunified.googleapis.com, consulte Como ativar e desativar serviços.

Serviço Quais recursos dependem dele Efeitos da desativação desse serviço
aiplatform.googleapis.com
  • Não será possível executar seus notebooks.
  • Todos os modelos remotos do BigQuery ML vão parar de funcionar.
  • Seus notebooks atuais vão continuar acessíveis para edição.
bigqueryunified.googleapis.com
  • Oferece uma ativação com um clique dos serviços dependentes do BigQuery listados neste documento, exceto as APIs cloudaicompanion, composer e datalineage.
  • Garante que as novas dependências do BigQuery sejam ativadas no projeto.
  • As dependências futuras não são ativadas automaticamente no seu projeto.
compute.googleapis.com
  • O Google Compute Engine oferece um ambiente de execução para todos os recursos fornecidos pelo Serviço Gerenciado para Apache Spark e pela Gemini Enterprise Agent Platform.
  • Os notebooks do Colab, os modelos remotos de ML e os jobs do Apache Spark, SparkSQL e PySpark são interrompidos.
  • O código-fonte continua disponível.
  • A API Dataproc é desativada.
dataproc.googleapis.com
  • Não é possível criar clusters do Serviço Gerenciado para Apache Spark para executar análises de dados de código aberto.
  • Não é possível executar cargas de trabalho do Serviço Gerenciado para Apache Spark.
  • Não é possível executar o Spark em cargas de trabalho do BigQuery.
datastream.googleapis.com
  • Todos os fluxos de dados são pausados e não ficam acessíveis.

Serviços desativados por padrão

Você precisa ativar manualmente os seguintes serviços para que as capabilities correspondentes fiquem disponíveis:

Serviço Quais recursos dependem dele Efeitos da desativação desse serviço
cloudaicompanion.googleapis.com
  • Recursos do Gemini no BigQuery
composer.googleapis.com
  • Os DAGs do Serviço gerenciado para Apache Airflow não são listados na página "Agendamento" e são interrompidos.
  • Os ambientes do Airflow Gerenciado atuais ficam inoperantes, param de funcionar e retornam um estado de erro.
datalineage.googleapis.com
  • A linhagem de dados não é capturada para seu projeto.
  • Não é possível ver o gráfico de linhagem.

Ativar manualmente os recursos de código do BigQuery

Para gerenciar recursos de código no BigQuery, como notebooks e consultas salvas, é necessário ativar as seguintes APIs:

  • A API Compute Engine
  • A API Dataform
  • A API Vertex AI

Antes de março de 2024, essas APIs não eram ativadas automaticamente por padrão. Se você tiver scripts de automação anteriores a março de 2024 que dependiam do status dessas APIs, talvez seja necessário atualizá-los. Se essas APIs já estiverem ativadas, você verá novas pastas Notebooks e Consultas no painel Explorer do BigQuery.

Antes de começar

Para ativar manualmente o gerenciamento de recursos de código, você precisa ter o papel de proprietário (roles/owner) do Identity and Access Management (IAM).

Ativar manualmente os recursos de código do BigQuery

Para ativar as dependências de API necessárias para recursos de código, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No Studio, na barra de guias do painel do editor, clique na seta suspensa ao lado do sinal +, mantenha o ponteiro sobre Notebook e selecione Notebook vazio.

  3. Clique em Ativar APIs.

    Se essa opção não aparecer, verifique se você tem o papel de proprietário do IAM (roles/owner). Se um notebook vazio for aberto, significa que você já tem as APIs necessárias ativadas.

  4. No painel Ativar recursos principais, na seção APIs de recursos principais, faça o seguinte:

    1. Para ativar todas as dependências do BigQuery para streaming de dados, programação e notebooks, ao lado de API BigQuery Unified clique em Ativar.
    2. Opcional: para escolher quais APIs ativar, clique em Ver e ativar APIs individuais e em Ativar ao lado de cada API que você quer ativar.
    3. Quando as APIs estiverem ativadas, clique em Próxima.

  5. Opcional: defina as permissões do usuário na seção Permissões:

    • Para conceder aos participantes a capacidade de criar recursos de código e ler, editar e definir permissões para os recursos de código criados por eles, digite os nomes de usuários ou grupos no campo Usuário do BigQuery Studio.
    • Para conceder aos participantes a capacidade de ler, editar e definir permissões para todos os recursos de código compartilhados com eles, digite os nomes de usuário ou grupo deles no campo Administrador do BigQuery Studio.

  6. Clique em Próxima.

  7. Opcional: na seção Outras APIs, clique em Ativar tudo para ativar as APIs necessárias para criar procedimentos remotos do BigQuery usando o BigQuery DataFrames.

  8. Se você tiver optado por não ativar as outras APIs, clique em Fechar para fechar o painel Ativar recursos principais.

Restringir o acesso a recursos de código

Você pode ajudar a impedir a ativação de outras APIs definindo a restrição da política da organização Restringir o uso do Service Usage. É possível desativar as APIs selecionadas a qualquer momento.

A seguir