Gerenciar dependências da API BigQuery

É possível gerenciar o comportamento do BigQuery entendendo como cada API afeta os recursos do Google Cloud que dependem dessas APIs. Alguns serviços de API são ativados por padrão em todos os projetos do Google Cloud que você cria, enquanto outros são ativados automaticamente para todos os projetos do Google Cloud que usam o BigQuery. É preciso ativar explicitamente os serviços de API restantes antes de usar as funcionalidades deles.

Desativar uma dependência incorretamente pode afetar a funcionalidade do BigQuery. Entenda essas dependências para tomar decisões informadas ao ativar ou desativar serviços no projeto do Google Cloud .

Serviços ativados por padrão

Os seguintes serviços são ativados por padrão para cada novo projeto doGoogle Cloud :

Serviço	Nome da API	Quais recursos dependem dele	Efeitos da desativação deste serviço
BigQuery Sharing	analyticshub.googleapis.com	Publicar trocas de dados Publicar listagens e gerenciar assinaturas Data clean rooms	Não é possível criar ou gerenciar trocas de dados, listagens, data clean rooms ou assinaturas. Não é possível pesquisar e explorar trocas ou listagens criadas por outros provedores. As assinaturas criadas persistem, mas não podem ser acessadas. Os conjuntos de dados vinculados podem ser acessados desde que a API BigQuery esteja ativada. Não é possível criar novas assinaturas
API BigQuery Connection	bigqueryconnection.googleapis.com	Consultas federadas para dados armazenados fora do BigQuery Tabelas e conjuntos de dados externos Metastore do BigQuery	Não é possível gerenciar conexões externas. Não é possível criar modelos remotos. Não é possível criar funções remotas. Não é possível consultar tabelas do BigLake e tabelas de objetos.
Serviço de migração do BigQuery	bigquerymigration.googleapis.com	Avaliação da migração de dados Tradução de consultas SQL	Não é possível criar tarefas ou avaliações de migração. As tarefas ou avaliações atuais não estão disponíveis. Observação: geralmente, é possível desativar esse serviço após concluir a migração de dados.
Política de dados do BigQuery	bigquerydatapolicy.googleapis.com	Mascaramento de dados	Não é possível gerenciar suas políticas de mascaramento de dados. As políticas de mascaramento de dados não são excluídas, mas as consultas a tabelas com mascaramento de dados aplicado falham.
Serviço de transferência de dados do BigQuery	bigquerydatatransfer.googleapis.com	Transferências de dados programadas	Não é possível gerenciar as transferências de dados programadas. As transferências de dados atuais são interrompidas.
API BigQuery Reservation	bigqueryreservation.googleapis.com	Gerenciamento de carga de trabalho baseado em capacidade	Não é possível criar ou gerenciar compromissos de capacidade, reservas ou atribuições. Não é possível monitorar o uso de slots. O failover de recuperação de desastres não está disponível. O escalonamento automático de slots é interrompido.
API BigQuery Storage	bigquerystorage.googleapis.com	Ingestão de dados de streaming Carregamento de dados em lote Captura de dados alterados	Não é possível usar a API Storage Read ou a API Storage Write (gRPC) para acessar seus dados do BigQuery.
Dataform	dataform.googleapis.com	O Dataform fornece repositórios de código que são aproveitados pelos seguintes recursos: Pipelines do BigQuery Consultas salvas Notebooks do Colab Dataform Preparação de dados Tela de dados	Não é possível criar pipelines, consultas salvas, notebooks do Colab, telas de dados, preparações de dados ou projetos do Dataform. Os pipelines, notebooks ou projetos do Dataform programados são interrompidos. Todos os pipelines, consultas salvas, notebooks do Colab, telas de dados, preparações de dados ou projetos do Dataform ficam inacessíveis.
Knowledge Catalog	dataplex.googleapis.com	O Knowledge Catalog oferece recursos de catalogação e governança de dados que são usados por: Explorador de recursos no BigQuery Studio Preenchimento automático no editor de SQL do BigQuery Studio Pesquisa de listagens do BigQuery Sharing (antigo Analytics Hub) Insights do perfil Verificações de qualidade de dados Visualização da linhagem de dados Insights de tabelas e conjuntos de dados Tela de dados	A pesquisa de recursos de dados do BigQuery não está disponível. A pesquisa de listagem de compartilhamento não está disponível. Não é possível criar novos insights de perfil, verificações de qualidade de dados ou sugestões de consulta, nem acessar os que já foram criados. Não é possível ver detalhes de recursos de dados em um gráfico de linhagem. Não é possível pesquisar recursos de dados na tela de dados.

Efeito da desativação da API BigQuery

A desativação da API BigQuery também desativa os seguintes serviços que dependem dela:

• Autorização binária (binaryauthorization.googleapis.com)
• Google Kubernetes Engine (container.googleapis.com)
• Google Cloud APIs (cloudapis.googleapis.com)
• Dataprep by Trifacta (dataprep.googleapis.com)
• Open Service Broker para Google Cloud (servicebroker.googleapis.com)
• Telecom Data Fabric (telecomdatafabric.googleapis.com)

Serviços ativados pela API BigQuery Unified

A API BigQuery Unified (bigqueryunified.googleapis.com) inclui uma coleção selecionada de serviços necessários para o funcionamento de vários recursos do BigQuery. Se você ativar a API BigQuery Unified, todos esses serviços serão ativados simultaneamente. O Google pode atualizar os serviços nessa coleção, e eles são ativados automaticamente em projetos com essa API ativada. É possível desativar serviços e APIs individuais.

Para instruções sobre como ativar bigqueryunified.googleapis.com, consulte Como ativar e desativar serviços.

Serviço	Nome da API	Quais recursos dependem dele	Efeitos da desativação deste serviço
Vertex AI	aiplatform.googleapis.com	Notebooks do Colab Modelos remotos do BigQuery ML	Não será possível executar seus notebooks. Todos os modelos remotos do BigQuery ML deixam de funcionar. Seus notebooks atuais continuam acessíveis para edição.
API BigQuery Unified	bigqueryunified.googleapis.com	Ativa com um clique os serviços dependentes do BigQuery listados neste documento, exceto as APIs cloudaicompanion, composer e datalineage. Garante que as novas dependências do BigQuery estejam ativadas no seu projeto.	As dependências futuras não são ativadas automaticamente no seu projeto.
Compute Engine	compute.googleapis.com	O Google Compute Engine oferece um ambiente de execução para todos os recursos fornecidos pelo Serviço Gerenciado para Apache Spark e pela Gemini Enterprise Agent Platform.	Os notebooks do Colab, os modelos de ML remotos, o Apache Spark, o SparkSQL e os jobs do PySpark são interrompidos. O código-fonte permanece disponível. A API Dataproc é desativada.
Serviço Gerenciado para Apache Spark	dataproc.googleapis.com	Consultar dados com mecanismos de código aberto, como o Apache Spark. Use o Spark SQL ou o PySpark com o Serviço Gerenciado para Apache Spark. Use procedimentos armazenados para o Spark.	Não é possível criar clusters do Serviço Gerenciado para Apache Spark para executar análises de dados de código aberto. Não é possível executar cargas de trabalho do Serviço Gerenciado para Apache Spark. Não é possível executar cargas de trabalho do Spark no BigQuery.
Datastream	datastream.googleapis.com	Oferece captura de dados alterados e replicação para o BigQuery.	Todos os fluxos de dados são pausados e não podem ser acessados.

Serviços desativados por padrão

É preciso ativar manualmente os seguintes serviços para que os recursos correspondentes fiquem disponíveis:

Serviço	Nome da API	Quais recursos dependem dele	Efeitos da desativação deste serviço
API Gemini para Google Cloud	cloudaicompanion.googleapis.com	Recursos do Gemini no BigQuery	Os recursos de preenchimento, geração e explicação de código deixam de funcionar. Saiba como desativar o Gemini no BigQuery.
Serviço gerenciado para Apache Airflow	composer.googleapis.com	Programar cargas de trabalho	Os DAGs do Serviço Gerenciado para Apache Airflow não são listados na página de programação e são interrompidos. Os ambientes do Airflow Gerenciado atuais ficam inoperantes, param de funcionar e retornam um estado de erro.
API Data Lineage	datalineage.googleapis.com	Captura e visualização da linhagem de dados	A linhagem de dados não é capturada para seu projeto. Não é possível ver o gráfico de linhagem.

Ativar manualmente os recursos de código do BigQuery

Para gerenciar recursos de código no BigQuery, como notebooks e consultas salvas, é necessário ativar as seguintes APIs:

• A API Compute Engine
• A API Dataform
• A API Vertex AI

Antes de março de 2024, essas APIs não eram ativadas automaticamente por padrão. Se você tiver scripts de automação anteriores a março de 2024 que dependiam do status dessas APIs, talvez seja necessário atualizá-los. Se essas APIs já estiverem ativadas, você verá novas pastas Notebooks e Consultas no painel Explorer no BigQuery.

Antes de começar

Para ativar manualmente o gerenciamento de recursos de código, você precisa ter o papel de Proprietário (roles/owner) do Identity and Access Management (IAM).

Ativar manualmente os recursos de código do BigQuery

Para ativar as dependências de API necessárias para recursos de código, siga estas etapas:

1. Acessar a página do BigQuery.

   Acessar o BigQuery

2. No Studio, na barra de guias do painel do editor, clique na seta suspensa ao lado do sinal +, mantenha o ponteiro sobre Notebook e selecione Notebook vazio.

3. Clique em Ativar APIs.

   Se essa opção não aparecer, verifique se você tem o papel de proprietário do IAM (roles/owner) necessário. Se um notebook vazio for aberto, as APIs necessárias já estão ativadas.

4. No painel Ativar recursos principais, na seção APIs de recursos principais, faça o seguinte:

   1. Para ativar todas as dependências do BigQuery para streaming de dados, programação e notebooks, ao lado de API BigQuery Unified, clique em Ativar.
   2. Opcional: para escolher quais APIs ativar, clique em Ver e ativar APIs individuais e em Ativar ao lado de cada API que você quer ativar.
   3. Quando as APIs estiverem ativadas, clique em Avançar.

5. Opcional: defina as permissões do usuário na seção Permissões:

   • Para conceder aos participantes a capacidade de criar recursos de código e ler, editar e definir permissões para os recursos de código criados por eles, digite os nomes de usuários ou grupos no campo Usuário do BigQuery Studio.
   • Para conceder aos participantes a capacidade de ler, editar e definir permissões para todos os recursos de código compartilhados com eles, digite os nomes de usuário ou grupo deles no campo Administrador do BigQuery Studio.

6. Clique em Próxima.

7. Opcional: na seção Outras APIs, clique em Ativar tudo para ativar as APIs necessárias para criar procedimentos remotos do BigQuery usando o BigQuery DataFrames.

8. Se você tiver optado por não ativar as outras APIs, clique em Fechar para fechar o painel Ativar recursos principais.

Restringir o acesso aos recursos de código

Para impedir a ativação de outras APIs, defina a restrição da política da organização Restringir o uso do serviço de recursos. É possível desativar as APIs selecionadas a qualquer momento.

A seguir

• Para saber como gerenciar os serviços do Google Cloud , consulte Como ativar e desativar serviços.
• Para saber como gerenciar o acesso à API em um nível granular com restrições de política da organização, consulte Como restringir o uso de recursos.
• Para saber como controlar o acesso a serviços com papéis e permissões do Identity and Access Management (IAM) para o BigQuery, consulte Papéis e permissões do IAM do BigQuery.