Gatilho do Apache Kafka

O gatilho do Apache Kafka é um gatilho de evento de conector que permite invocar uma integração com base nos eventos do Apache Kafka aos quais você se inscreveu na conexão do Apache Kafka.

Antes de começar

Se você planeja criar ou configurar uma nova conexão para o gatilho do Apache Kafka, verifique se você tem o seguinte papel do Identity and Access Management (IAM) no projeto:

Administrador de conectores (roles/connectors.admin)

Para mais informações sobre como conceder papéis, consulte Gerenciar o acesso.

Conceda os seguintes papéis do IAM à conta de serviço que você quer usar para o gatilho do Apache Kafka:

Invocador do Application Integration (roles/integrations.integrationInvoker)

Para informações sobre como conceder papéis a uma conta de serviço, consulte Gerenciar o acesso a contas de serviço.

Adicionar o gatilho do Apache Kafka

Para adicionar um gatilho do Apache Kafka à integração, siga estas etapas:

No Google Cloud console do, acesse a página Application Integration.
Acessar o Application Integration
No menu de navegação, clique em Integrações.
A página Lista de integrações aparece listando todas as integrações disponíveis no projeto na nuvem do Google Cloud.
Selecione uma integração ou clique em Criar integração para criar uma.
Caso você esteja criando uma nova integração, siga estas etapas:
1. Insira um nome e uma descrição no painel Criar integração.
2. Selecione uma região para a integração.
  Observação: o menu suspenso Regiões lista apenas as regiões provisionadas no projeto do Google Cloud. Para provisionar uma nova região, clique em Ativar região. Consulte Ativar nova região para obter mais informações.
3. Selecione uma conta de serviço para a integração. É possível mudar ou atualizar os detalhes da conta de serviço de uma integração a qualquer momento no painel de informações Resumo da integração na barra de ferramentas de integração.
  Observação:a opção para selecionar uma conta de serviço só será exibida se você tiver ativado a governança de integração para a região selecionada.
4. Clique em Criar.
A integração recém-criada será aberta no editor de integração.
Na barra de navegação do editor de integração, clique em Gatilhos para conferir a lista de gatilhos disponíveis.
Clique e posicione o elemento gatilho do Apache Kafka no editor de integração.

Para configurar o gatilho do Apache Kafka, use uma conexão do Apache Kafka disponível no Integration Connectors ou crie uma conexão do Apache Kafka usando a opção de criação de conexão inline.

Configurar o gatilho do Apache Kafka usando uma conexão atual

É possível configurar o gatilho do Apache Kafka usando uma conexão do Apache Kafka nos Integration Connectors. Observe que o gatilho do Apache Kafka é um gatilho de evento de conector. Portanto, só é possível usar uma conexão do Apache Kafka com a assinatura de evento ativada para configurar o gatilho.

Para informações sobre como configurar um gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, consulte Configurar o gatilho do Apache Kafka usando uma nova conexão

Para configurar um gatilho do Apache Kafka usando uma conexão do Apache Kafka, siga estas etapas:

Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
Clique em Configurar gatilho.
Forneça os seguintes detalhes de configuração na página Editor de gatilho de evento de conector :
1. Região:selecione a região da conexão do Apache Kafka.
2. Conexão:selecione a conexão do Apache Kafka que você quer usar.
  O Application Integration mostra apenas as conexões do Apache Kafka que estão ativas e têm uma assinatura de evento ativada.
3. Nome do tópico: insira o nome do tópico. Observação: de acordo com a documentação do Apache Kafka, o comprimento máximo de um nome de tópico é de 249 caracteres.
4. ID do grupo de consumidores: opcionalmente, insira o ID do grupo de consumidores que especifica o nome do grupo de consumidores ao qual o consumidor do Kafka pertence. O comprimento máximo de um ID de grupo de consumidores é geralmente de 255 caracteres.
5. Partição: insira a partição se quiser se inscrever em uma partição específica. As partições são uma maneira de dividir um tópico em várias partes e armazenar cada parte em um nó diferente no cluster.
6. Deslocamento inicial: selecione a estratégia de redefinição de deslocamento:
  - Se você selecionar mais antigo, sua conexão vai consumir mensagens não consumidas, incluindo as mensagens produzidas antes do tempo de vida do grupo de consumidores.
  - Se você selecionar mais recente, sua conexão vai consumir mensagens produzidas após a criação do grupo de consumidores.
7. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para o gatilho do Apache Kafka.
Clique em Concluído.

Configurar o gatilho do Apache Kafka usando uma nova conexão

Para configurar o gatilho do Apache Kafka usando uma nova conexão do Apache Kafka, siga estas etapas:

Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
Clique em Configurar gatilho do Apache Kafka.
Ignore o campo Região.
Clique em Conexão e selecione a opção Criar conexão na lista. O painel Criar conexão aparece.
Na etapa Localização, escolha o local da nova conexão do Apache Kafka:
1. Região:selecione uma região na lista.
2. Clique em Próxima.
Na etapa Detalhes da conexão, forneça detalhes sobre a nova conexão do Apache Kafka:
1. Versão do conector:escolha uma versão disponível do conector do Apache Kafka na lista.
2. Nome da conexão:insira um nome para a conexão do Apache Kafka.
  Observação:os nomes de conexão precisam atender aos seguintes critérios:
  - Os nomes de conexões podem usar letras, números ou hifens.
  - As letras precisam ser minúsculas.
  - Os nomes das conexões precisam começar com uma letra e terminar com uma letra ou um número.
  - Os nomes das conexões não podem exceder 49 caracteres.
  - Para conectores que oferecem suporte à assinatura de eventos, os nomes de conexão não podem começar com o prefixo "goog".
3. (Opcional) Descrição: insira uma descrição para a conexão.
4. (Opcional) Ativar o Cloud Logging:marque essa caixa de seleção para armazenar todos os dados de registro da conexão.
5. Conta de serviço: selecione uma conta de serviço com os papéis do IAM necessários para a conexão do Apache Kafka.
6. A opção Ativar assinatura de eventos, entidade e ações é selecionada por padrão para a conexão do Apache Kafka.
  Observação: esse conector não oferece suporte à opção Enable only event subscription.
7. Esquema de detecção de tipo : selecione MessageOnly.
8. Serviço de registro: o serviço de registro de esquema usado para trabalhar com esquemas de tópicos.
9. Tipo de registro: tipo de esquema especificado para um tópico específico.
10. Versão do registro: versão do esquema lido de RegistryUrl para o tópico especificado.
11. Usuário do registro: valor do nome de usuário ou da chave de acesso para autorizar com o servidor especificado em RegistryUrl.
12. Senha do registro: o Secret do Secret Manager que contém o valor da senha/chave secreta para autorizar com o servidor especificado em RegistryUrl.
13. Opcionalmente, defina as Configurações do nó de conexão:
  - Número mínimo de nós: digite o número mínimo de nós de conexão.
  - Número máximo de nós: digite o número máximo de nós de conexão.
  Um nó é uma unidade (ou réplica) de uma conexão que processa transações. Mais nós são necessários para processar mais transações para uma conexão e, por outro lado, menos nós são necessários para processar menos transações. Para entender como os nós afetam os preços do conector, consulte Preços dos nós de conexão. Se você não inserir qualquer valor, por padrão, os nós mínimos serão definidos como 2 (para melhor disponibilidade) e os nós máximos serão definidos como 50.
14. Outra opção é clicar em + ADICIONAR MARCADOR para adicionar um marcador à conexão na forma de um par de chave-valor.
15. Ativar SSL: este campo define se o SSL está ativado.
16. Clique em Próxima.
Na seção Destinos, insira os detalhes do servidor de inicialização do Kafka ao qual você quer se conectar.
1. Tipo de destino: selecione um Tipo de destino.
  - Para especificar o nome do host ou o endereço IP de destino, selecione Endereço do host e insira o endereço no campo Host 1.
  - Para estabelecer uma conexão particular, selecione Endereço do host e adicione o anexo de endpoint criado para o SAP Gateway usando o protocolo HTTPS.
  Para estabelecer uma conexão pública com os sistemas de back-end com mais segurança, você pode considerar configurar endereços IP de saída estáticos para suas conexões, e então configurar suas regras de firewall para autorizar apenas os endereços IP estáticos específicos.
  
  Para especificar outros servidores de inicialização do Kafka, clique em + ADICIONAR DESTINO.
2. Clique em Próxima.
Na seção Autenticação, insira os detalhes da autenticação.
1. Selecione um Tipo de autenticação e insira os detalhes relevantes.
  Os seguintes tipos de autenticação oferecem suporte à conexão do Apache Kafka:
  - Nome de usuário e senha
    - Nome de usuário: o nome de usuário do Apache Kafka que vai ser usado para a conexão.
    - Senha: o Secret do Secret Manager que contém a senha associada ao nome de usuário do Apache Kafka.
    - Esquema de autenticação: o esquema usado para autenticação.
      A conexão do Apache Kafka oferece suporte aos seguintes esquemas de autenticação:
      - Plain
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - Não disponível
    Se você quiser usar o login anônimo, selecione Não disponível.
2. Clique em Próxima.
Insira a configuração de mensagens não entregues. Se você configurar mensagens não entregues, a conexão vai gravar os eventos não processados no tópico do Pub/Sub especificado. Insira os seguintes detalhes:
1. ID do projeto de mensagens não entregues: o ID do projeto na nuvem do Google Cloud em que você configurou o tópico do Pub/Sub de mensagens não entregues.
2. Tópico de mensagens inativas: o tópico do Pub/Sub em que você quer gravar os detalhes do evento não processado.
Clique em Próxima.
Revisão: revise os detalhes de conexão e autenticação.
Clique em Criar.

Saída do gatilho

O gatilho do Apache Kafka leva alguns minutos para concluir a configuração da assinatura de eventos. É possível conferir o status da assinatura de eventos no painel de configuração do gatilho em Detalhes da assinatura de eventos.

O gatilho do Apache Kafka indica o status de uma assinatura de eventos usando os seguintes estados:

Creating: indica que o gatilho está se inscrevendo na assinatura de eventos.
Active: indica que o gatilho foi inscrito com sucesso em uma assinatura de eventos.
Error: indica que há um problema com a assinatura de eventos configurada.

Além do status da assinatura de eventos, a seção Detalhes da assinatura de eventos também mostra outros detalhes, como região de conexão, nome da conexão e nome da assinatura de eventos.

Variável de saída do gatilho

Para cada evento, o gatilho do Apache Kafka gera uma variável de saída ConnectorEventPayload (no formato JSON) que pode ser usada nas tarefas downstream. A variável de saída terá o payload do evento do Apache Kafka. Exemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Conferir assinaturas de eventos

Para conferir e gerenciar todas as assinaturas de eventos associadas a uma conexão no Integration Connectors, faça o seguinte:

Acesse a página Integration Connectors > Conexões.
Acessar a página "Conexões"
Clique na conexão para a qual você quer conferir as assinaturas.
Clique na guia Assinaturas de eventos.
Isso mostra todas as assinaturas de eventos da conexão.

Editar o gatilho do Apache Kafka

É possível editar um gatilho do Apache Kafka para mudar ou atualizar a configuração de conexão e os detalhes da assinatura de eventos.

Para editar um gatilho do Apache Kafka, siga estas etapas:

Clique no elemento gatilho do Apache Kafka no editor de integração para abrir o painel de configuração do gatilho.
Clique em Configurar gatilho do Apache Kafka.
Faça o seguinte na página Editor de gatilho de evento de conector :
1. Para manter a assinatura de eventos configurada anteriormente, clique em Manter ou em Excluir.
  Aviso:a exclusão de uma assinatura de eventos afeta todas as integrações publicadas que usam a assinatura de eventos. Essa tarefa não pode ser desfeita.
2. Atualize a configuração de conexão e os detalhes da assinatura de eventos conforme desejado.
3. Clique em Concluído.

É possível conferir os detalhes atualizados da conexão e da assinatura de eventos no painel de configuração do gatilho em Detalhes da assinatura de eventos.

Cotas e limites

Para informações sobre o assunto, consulte Cotas e limites.

A seguir

Saiba mais sobre todas as tarefas e acionadores.
Saiba como testar e publicar uma integração .

Saiba mais sobre o tratamento de erros.
Saiba mais sobre os registros de execução de integração.