Consulte os conetores suportados para a solução Application Integration.

Acionador do Apache Kafka

O acionador do Apache Kafka é um acionador de eventos de conetores que lhe permite invocar uma integração com base nos eventos do Apache Kafka aos quais subscreveu na sua ligação do Apache Kafka.

Antes de começar

Se planeia criar ou configurar uma nova ligação para o trigger do Apache Kafka, certifique-se de que tem a seguinte função de gestão de identidades e acessos (IAM) no projeto:

  • Administrador do conetor (roles/connectors.admin)

    • Para informações sobre a concessão de funções, consulte o artigo Faça a gestão do acesso.

Conceda as seguintes funções do IAM à conta de serviço que quer usar para o trigger do Apache Kafka:

Limitação

O acionador do Apache Kafka está sujeito às seguintes limitações:

  • Não suporta o protocolo de segurança SASL_SSL para subscrições de eventos com um banco de dados de confiança privado.
  • Não suporta mTLS para subscrições de eventos.

Adicione o acionador do Apache Kafka

Para adicionar um acionador do Apache Kafka à sua integração, siga estes passos:

  1. Na Google Cloud consola, aceda à página Application Integration.

    Aceda à solução Application Integration

  2. No menu de navegação, clique em Integrações

    A página Lista de integrações é apresentada com todas as integrações disponíveis no projeto do Google Cloud.

  3. Selecione uma integração existente ou clique em Criar integração para criar uma nova.

    Se estiver a criar uma nova integração:

    1. Introduza um nome e uma descrição no painel Criar integração.
    2. Selecione uma região para a integração.
    3. Selecione uma conta de serviço para a integração. Pode alterar ou atualizar os detalhes da conta de serviço de uma integração em qualquer altura no painel Resumo da integração na barra de ferramentas de integração.
    4. Clique em Criar.

    A integração recém-criada é aberta no editor de integração.

  4. Na barra de navegação do editor de integração, clique em Acionadores para ver a lista de acionadores disponíveis.
  5. Clique e coloque o elemento Acionador do Apache Kafka no editor de integração.

    6. Para configurar o acionador do Apache Kafka, pode usar uma ligação do Apache Kafka existente disponível nos Integration Connectors ou criar uma nova ligação do Apache Kafka através da opção de criação de ligações inline.

Configure o acionador do Apache Kafka através de uma associação existente

Pode configurar o acionador do Apache Kafka através de uma ligação existente do Apache Kafka nos Integration Connectors. Tenha em atenção que o acionador do Apache Kafka é um acionador de eventos de conetor. Por isso, só pode usar uma ligação do Apache Kafka com a subscrição de eventos ativada para configurar o acionador.

Para obter informações sobre como configurar um trigger do Apache Kafka com uma nova ligação do Apache Kafka, consulte o artigo Configure o trigger do Apache Kafka com uma nova ligação

Para configurar um acionador do Apache Kafka através de uma ligação existente do Apache Kafka, siga estes passos:

  1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
  2. Clique em Configurar acionador.
  3. Forneça os seguintes detalhes de configuração na página Editor do acionador de eventos do conetor:
    1. Região: selecione a região da sua ligação do Apache Kafka.
    2. Ligação: selecione a ligação do Apache Kafka que quer usar.

      A integração de aplicações só apresenta as ligações do Apache Kafka que estão ativas e têm uma subscrição de eventos ativada.

    3. Nome do tópico: introduza o nome do tópico.
    4. ID do grupo de consumidores: opcionalmente, introduza o ID do grupo de consumidores que especifica o nome do grupo de consumidores ao qual o consumidor do Kafka pertence.
    5. Partição: introduza a partição se quiser subscrever uma partição específica. As partições são uma forma de dividir um tópico em várias partes e armazenar cada parte num nó diferente no cluster.
    6. Desvio inicial: selecione a estratégia de reposição do desvio:
      • Se selecionar mais antigo, a sua ligação consome mensagens não consumidas, incluindo mensagens produzidas antes da duração do grupo de consumidores.
      • Se selecionar mais recente, a sua ligação consome mensagens produzidas após a criação do grupo de consumidores.
    7. Conta de serviço: selecione uma conta de serviço com as funções do IAM necessárias para o acionador do Apache Kafka.
  4. Clique em Concluído.

Configure o acionador do Apache Kafka com uma nova ligação

Para configurar o acionador do Apache Kafka através de uma nova associação do Apache Kafka, siga estes passos:

  1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
  2. Clique em Configurar acionador do Apache Kafka.
  3. Ignore o campo Região.
  4. Clique em Associação e selecione a opção Criar associação na lista. É apresentado o painel Criar associação.
  5. No passo Localização, escolha a localização para a nova ligação do Apache Kafka:
    1. Região: selecione uma região na lista.
    2. Clicar em Seguinte.
  6. No passo Detalhes da ligação, forneça detalhes sobre a nova ligação do Apache Kafka:
    1. Versão do conetor: escolha uma versão disponível do conetor do Apache Kafka na lista.
    2. Nome da associação: introduza um nome para a associação do Apache Kafka.
    3. (Opcional) Descrição: introduza uma descrição para a associação.
    4. (Opcional) Ativar registo na nuvem: selecione esta caixa de verificação para armazenar todos os dados de registo da ligação.
    5. Conta de serviço: selecione uma conta de serviço com as funções do IAM necessárias para a ligação do Apache Kafka.
    6. A opção Ativar subscrição de eventos, entidades e ações está selecionada por predefinição para a ligação do Apache Kafka.
    7. Esquema de deteção de tipo: selecione MessageOnly.
    8. Serviço de registo: o serviço de registo de esquemas usado para trabalhar com esquemas de tópicos.
    9. Tipo de registo: tipo do esquema especificado para um tópico específico.
    10. Versão do registo: versão do esquema lido a partir de RegistryUrl para o tópico especificado.
    11. Utilizador do registo: nome de utilizador ou valor da chave de acesso para autorizar junto do servidor especificado em RegistryUrl.
    12. Palavra-passe do registo: o segredo do Secret Manager que contém o valor da chave da palavra-passe/segredo para autorizar com o servidor especificado em RegistryUrl.
    13. Opcionalmente, configure as definições do nó de associação:

      • Número mínimo de nós: introduza o número mínimo de nós de ligação.
      • Número máximo de nós: introduza o número máximo de nós de ligação.

      Um nó é uma unidade (ou uma réplica) de uma ligação que processa transações. São necessários mais nós para processar mais transações para uma ligação e, inversamente, são necessários menos nós para processar menos transações. Para compreender como os nós afetam os preços dos conectores, consulte o artigo Preços dos nós de ligação. Se não introduzir valores, por predefinição, os nós mínimos são definidos como 2 (para uma melhor disponibilidade) e os nós máximos são definidos como 50.

    14. Opcionalmente, clique em + ADICIONAR ETIQUETA para adicionar uma etiqueta à associação sob a forma de um par de chave e valor.
    15. Ativar SSL: este campo define se o SSL está ativado.
    16. Clicar em Seguinte.
  7. Na secção Destinos, introduza os detalhes do servidor de arranque do Kafka ao qual quer estabelecer ligação.
    1. Tipo de destino: selecione um Tipo de destino.
      • Para especificar o nome de anfitrião ou o endereço IP de destino, selecione Endereço do anfitrião e introduza o endereço no campo Anfitrião 1.
      • Para estabelecer uma ligação privada, selecione Anexo do ponto final e escolha o anexo necessário na lista Anexo do ponto final.

      Se quiser estabelecer uma ligação pública aos seus sistemas de back-end com segurança adicional, pode considerar configurar endereços IP estáticos de saída para as suas ligações e, em seguida, configurar as regras da firewall para permitir apenas os endereços IP estáticos específicos.

      Para especificar servidores de arranque do Kafka adicionais, clique em + ADICIONAR DESTINO.

    2. Clicar em Seguinte.
  8. Na secção Autenticação, introduza os detalhes de autenticação.
    1. Selecione um Tipo de autenticação e introduza os detalhes relevantes.

      Os seguintes tipos de autenticação são suportados pela ligação do Apache Kafka:

      • Nome de utilizador e palavra-passe
        • Nome de utilizador: o nome de utilizador do Apache Kafka a usar para a ligação.
        • Palavra-passe: o segredo do Secret Manager que contém a palavra-passe associada ao nome de utilizador do Apache Kafka.
        • Esquema de autenticação: o esquema usado para autenticação.

          Os seguintes esquemas de autenticação são suportados pela ligação do Apache Kafka:

          • Simples
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Não disponível

        Se quiser usar o início de sessão anónimo, selecione Não disponível.

    2. Clicar em Seguinte.
  9. Introduza a configuração de mensagens não entregues. Se configurar a fila de mensagens rejeitadas, a ligação escreve os eventos não processados no tópico Pub/Sub especificado. Introduza os seguintes detalhes:
    1. ID do projeto de mensagens não entregues: o ID do projeto do Google Cloud onde configurou o tópico Pub/Sub de mensagens não entregues.
    2. Tópico de mensagens não entregues: o tópico do Pub/Sub onde quer escrever os detalhes do evento não processado.
  10. Clicar em Seguinte.
  11. Rever: reveja os detalhes da ligação e da autenticação.
  12. Clique em Criar.

Saída do acionador

O trigger do Apache Kafka demora alguns minutos a concluir a configuração da subscrição de eventos. Pode ver o estado da subscrição de eventos no painel de configuração do acionador em Detalhes da subscrição de eventos.

O acionador do Apache Kafka indica o estado de uma subscrição de eventos através dos seguintes estados:

  • Creating: indica que o acionador está a subscrever a subscrição de eventos.
  • Active: indica que o acionador subscreveu com êxito uma subscrição de eventos.
  • Error: indica que existe um problema com a subscrição de eventos configurada.

Além do estado da subscrição de eventos, a secção Detalhes da subscrição de eventos também apresenta outros detalhes, como a região de ligação, o nome da ligação e o nome da subscrição de eventos.

Variável de saída do acionador

Para cada evento, o acionador do Apache Kafka gera uma variável de saída (no formato JSON) que pode usar nas tarefas a jusante.ConnectorEventPayload A variável vai ter a carga útil do seu evento do Apache Kafka. Por exemplo: 

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Veja as subscrições de eventos

Para ver e gerir todas as subscrições de eventos associadas a uma ligação nos Integration Connectors, faça o seguinte:

  1. Aceda à página Integration Connectors > Ligações.

    Aceda à página Ligações

  2. Clique na associação para a qual quer ver as subscrições.
  3. Clique no separador Subscrições de eventos.

    Esta apresenta todas as subscrições de eventos da associação.

Edite o acionador do Apache Kafka

Pode editar um acionador do Apache Kafka para alterar ou atualizar a configuração da ligação e os detalhes da subscrição de eventos.

Para editar um acionador do Apache Kafka, siga estes passos:

  1. Clique no elemento Acionador do Apache Kafka no editor de integração para abrir o painel de configuração do acionador.
  2. Clique em Configurar acionador do Apache Kafka.
  3. Faça o seguinte na página Editor de acionadores de eventos do conetor:
    1. Para manter a subscrição de eventos configurada anteriormente, clique em Manter. Caso contrário, clique em Eliminar.
    2. Atualize a configuração da associação e os detalhes da subscrição de eventos conforme pretendido.
    3. Clique em Concluído.

    4. Pode ver os detalhes atualizados da associação e da subscrição de eventos no painel de configuração do acionador em Detalhes da subscrição de eventos.

Quotas e limites

Para informações sobre quotas e limites, consulte o artigo Quotas e limites.

O que se segue?