Consulte os conetores suportados para a solução Application Integration.

Dataflow - Tarefa de criação de tarefas

A tarefa Dataflow - Criar tarefa permite-lhe criar uma tarefa no Cloud Dataflow para executar um pipeline de dados criado com um dos SDKs do Apache Beam.

O Cloud Dataflow é um serviço Google Cloud totalmente gerido para executar pipelines de processamento de dados de streaming e em lote.

Antes de começar

Certifique-se de que realiza as seguintes tarefas no seu projeto do Google Cloud antes de configurar a tarefa Dataflow - Create Job:

  1. Ative a API Dataflow (dataflow.googleapis.com).

    Ative a API Dataflow

  2. Crie um perfil de autenticação. A integração de aplicações usa um perfil de autenticação para se ligar a um ponto final de autenticação para a tarefa Dataflow - Create Job.

    Para informações sobre como conceder funções ou autorizações adicionais a uma conta de serviço, consulte o artigo Conceder, alterar e revogar o acesso.

Configure a tarefa do Dataflow - Criar tarefa

  1. Na Google Cloud consola, aceda à página Application Integration.

    Aceda à solução Application Integration

  2. No menu de navegação, clique em Integrações.

    A página Integrações é apresentada com todas as integrações disponíveis no projeto do Google Cloud.

  3. Selecione uma integração existente ou clique em Criar integração para criar uma nova.

    Se estiver a criar uma nova integração:

    1. Introduza um nome e uma descrição no painel Criar integração.
    2. Selecione uma região para a integração.
    3. Selecione uma conta de serviço para a integração. Pode alterar ou atualizar os detalhes da conta de serviço de uma integração em qualquer altura no painel Resumo da integração na barra de ferramentas de integração.
    4. Clique em Criar. A integração recém-criada é aberta no editor de integração.

  4. Na barra de navegação do editor de integração, clique em Tasks para ver a lista de tarefas e conetores disponíveis.
  5. Clique e coloque o elemento Dataflow - Create Job no editor de integração.
  6. Clique no elemento Dataflow - Create Job no estruturador para ver o painel de configuração da tarefa Dataflow - Create Job.
  7. Aceda a Autenticação e selecione um perfil de autenticação existente que quer usar.

    Opcional. Se não tiver criado um perfil de autenticação antes de configurar a tarefa, clique em + Novo perfil de autenticação e siga os passos mencionados em Crie um novo perfil de autenticação.

  8. Aceda a Entrada de tarefas e configure os campos de entrada apresentados através da seguinte tabela de parâmetros de entrada de tarefas.

    As alterações aos campos de entrada são guardadas automaticamente.

Parâmetros de entrada da tarefa

A tabela seguinte descreve os parâmetros de entrada da tarefa Dataflow - Create Job:

Propriedade Tipo de dados Descrição
Região String Localização do Cloud Dataflow para a tarefa.
ProjectsId String O ID do seu projeto do Google Cloud.
Localização String O ponto final regional que contém esta tarefa.
Pedido JSON Consulte a estrutura JSON do pedido.

Resultado da tarefa

A tarefa Dataflow - Create Job devolve a instância recém-criada de Job.

Estratégia de processamento de erros

Uma estratégia de processamento de erros para uma tarefa especifica a ação a realizar se a tarefa falhar devido a um erro temporário. Para obter informações sobre como usar uma estratégia de processamento de erros e conhecer os diferentes tipos de estratégias de processamento de erros, consulte o artigo Estratégias de processamento de erros.

Quotas e limites

Para informações sobre quotas e limites, consulte o artigo Quotas e limites.

O que se segue?