Gerenciar jobs de conector

O Knowledge Catalog (antigo Dataplex Universal Catalog) permite gerenciar jobs de conector que executam importações de metadados programadas e sob demanda para manter o catálogo sincronizado com fontes de dados externas. É possível visualizar configurações de jobs, histórico de execuções e registros, atualizar as configurações de importação, desativar ou ativar execuções programadas, acionar manualmente execuções de jobs e excluir jobs.

Para mais informações sobre como os conectores funcionam, consulte Sobre os conectores de metadados.

Antes de começar

Para gerenciar jobs de conector, você precisa dos papéis do IAM adequados. Consulte Papéis do IAM para mais detalhes.

  • Para ver os jobs e o histórico de execuções:
  • Para editar, excluir ou acionar jobs manualmente:
    • Administrador do BigQuery (roles/bigquery.admin)
    • Administrador do Dataplex (roles/dataplex.admin) ou Editor do Dataplex (roles/dataplex.editor)

É preciso ativar o serviço de transferência de dados do BigQuery.

Além disso, é preciso conceder ao agente de serviço do serviço de transferência de dados do BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a permissão dataplex.entryGroups.import ou o papel Importador do grupo de entrada do Dataplex (roles/dataplex.entryGroupImporter). Isso pode ser concedido no nível do projeto ou do grupo de entradas.

Ver jobs do conector

  1. No console do Google Cloud , acesse a página Knowledge Catalog.

    Acessar o Knowledge Catalog

  2. No menu de navegação, na seção Gerenciar, clique em Conectores. A página Conectores lista todos os jobs de importação de metadados no seu projeto.

  3. Para ver os detalhes, o histórico de execução ou a configuração de um job específico, clique no nome de exibição dele na lista.

Ver o histórico e os registros de execução do job

Para qualquer job de conector, é possível ver o histórico de execuções, incluindo as bem-sucedidas e as com falha. As execuções de jobs com mais de 90 dias são excluídas automaticamente.

  1. Na página Conectores, clique no nome de exibição do job que você quer visualizar.
  2. Clique na guia Histórico de execuções. Essa guia mostra as execuções de jobs recentes.
  3. Para ver os registros de uma execução específica, encontre-a na lista e clique em Ver detalhes.

Geração de registros e monitoramento

Os conectores de metadados do Knowledge Catalog exportam registros e métricas para o Cloud Monitoring e o Cloud Logging, que fornecem observabilidade nas configurações de importação. É possível usar o Monitoring para configurar painéis para monitorar configurações de importação de metadados, avaliar o desempenho da execução e visualizar mensagens de erro para resolver falhas de execução. É possível usar o Logging para ver registros relacionados a uma execução ou configuração.

Atualizar um job de conector

É possível modificar a configuração de um job, incluindo a programação, o grupo de entrada de destino, as configurações de notificação e os objetos de origem a serem importados.

  1. Na página Conectores, clique no nome de exibição do job que você quer atualizar.
  2. Clique em Editar.
  3. Modifique a configuração do job conforme necessário.
  4. Clique em Salvar.

Desativar ou ativar um job de conector

Quando você desativa um job, o nome dele é atualizado com o status disabled, e nenhuma nova execução de job é programada. Todas as execuções em andamento são concluídas. A desativação de um job não remove os metadados já importados para o Knowledge Catalog.

  1. Na página Conectores, encontre o job que você quer desativar ou ativar.
  2. Clique em Ações e selecione Desativar ou Ativar.

Excluir um job de conector

Quando você exclui um job, nenhuma nova execução é programada, e todas as execuções em andamento são interrompidas. A exclusão de um job não remove os metadados já importados para o Knowledge Catalog.

  1. Na página Conectores, encontre o job que você quer excluir.
  2. Clique em Ações e selecione Excluir.
  3. Para confirmar, digite delete e clique em Excluir.

Acionar um job manualmente

É possível iniciar uma execução de job fora da programação regular. Isso às vezes é chamado de preenchimento.

  1. Na página Conectores, clique no nome de exibição do job que você quer executar.

  2. Clique em Executar transferência agora e selecione Executar transferência única.