Nesta página, mostramos como resolver problemas ao criar ou configurar um cluster do Serviço Gerenciado para Apache Kafka.
Erros de criação de cluster do Kafka
Esta seção lista os erros que podem ocorrer ao criar um cluster do Kafka.
O serviço não tem permissão para acessar a chave do Cloud KMS
O problema a seguir ocorre quando o agente de serviço do Serviço Gerenciado para Apache Kafka não tem a permissão necessária para acessar a chave do Cloud KMS.
Service agent service-${PROJECT_NUMBER}@gcp-sa-managedkafka.iam.gserviceaccount.com
has not been granted the required role cloudkms.cryptoKeyEncrypterDecrypter to
encrypt data using the KMS key.`
Para resolver esse problema, conceda à conta de serviço o papel de Criptografador/Descriptografador do Cloud KMS CryptoKey na chave do Cloud KMS. Para mais informações, consulte Papéis necessários para configurar a CMEK.
O serviço não tem permissão para recuperar a sub-rede
O problema a seguir ocorre quando o agente de serviço do Serviço Gerenciado para Apache Kafka não tem o papel necessário para configurar a rede na rede VPC em que os clientes do Kafka são executados.
Service does not have permission to retrieve subnet. Please grant
service-${PROJECT_NUMBER}@gcp-sa-managedkafka.iam.gserviceaccount.com the
managedkafka.serviceAgent role in the IAM policy of the project
${SUBNET_PROJECT} and ensure the Compute Engine API is enabled in project
${SUBNET_PROJECT}`
Para resolver esse problema, conceda à conta de serviço o papel de Agente de serviço gerenciado do Kafka. Para mais informações, consulte Conectar um cluster em projetos.
Erros de rede
Esta seção lista os erros que podem ocorrer ao configurar a rede para um cluster do Kafka.
O serviço não conseguiu configurar a rede
O problema a seguir ocorre quando o Serviço Gerenciado para Apache Kafka não consegue conectar o cluster do Kafka à sua sub-rede da nuvem privada virtual.
Managed Service for Apache Kafka failed to set up networking in VPC subnet.
Para resolver esse problema, siga estas etapas:
Ative as APIs Compute Engine e Cloud DNS no projeto pai da rede VPC do consumidor.
Se o cluster do Serviço Gerenciado para Apache Kafka e a rede VPC do consumidor estiverem em projetos diferentes, configure as permissões necessárias. Consulte Conectar um cluster em projetos.
Verifique se nenhuma restrição de política da organização impede que o serviço crie os recursos necessários no projeto da rede VPC do consumidor.
Para mais informações, consulte Configurar a rede para o Serviço Gerenciado para Apache Kafka.
Os aplicativos cliente não podem se conectar
Se os aplicativos cliente não conseguirem se conectar ao cluster, verifique os seguintes problemas:
Verifique se os clientes estão usando o endereço de inicialização correto .
Verifique se os clientes do Kafka são executados em uma rede VPC configurada para acessar o cluster do Serviço Gerenciado para Apache Kafka.
Se você executar o cliente do Kafka em um computador ou notebook, poderá configurar uma instância do Compute Engine para usar como um proxy para acessar o cluster do Serviço Gerenciado para Apache Kafka. Para mais informações, consulte Configurar uma máquina cliente.
Erros de autenticação
Esta seção lista os erros que podem ocorrer quando os aplicativos cliente são autenticados no cluster do Kafka.
Falha na autenticação SASL
O problema a seguir ocorre quando um cliente não consegue se conectar ao cluster usando a autenticação SASL.
Exception in thread "main" java.util.concurrent.ExecutionException:
org.apache.kafka.common.errors.SaslAuthenticationException:
Authentication failed: Invalid username or password
Para resolver o problema, verifique as seguintes causas:
A senha está malformada e não representa um blob JSON de chave de conta de serviço válida quando decodificada em base64 ou um token de acesso válido.
A entidade principal de autenticação não tem a permissão
managedkafka.clusters.connectno cluster.O nome de usuário fornecido não corresponde à entidade principal da credencial.
Se um cliente tiver desconexões frequentes a cada 30 minutos, isso poderá ocorrer porque o cliente não oferece suporte à reautenticação periódica.
Os agentes do Serviço Gerenciado para Apache Kafka exigem que os clientes se reautentiquem a cada 30 minutos, imposto pela propriedade do agente connections.max.reauth.ms.
Verifique se a versão da biblioteca de cliente do Kafka é 2.2.0 ou mais recente e oferece suporte à reautenticação.
Para mais informações, consulte Configurar a autenticação SASL.
Erros operacionais
Esta seção lista os erros que podem ocorrer enquanto as cargas de trabalho do Kafka estão em execução.
Erros de falta de espaço em disco
Se um agente ficar sem espaço em disco, os agentes não poderão rolar segmentos ativos nem gravar novos segmentos, o que impede que os clientes produzam ou consumam mensagens. Os sintomas incluem o seguinte:
O desempenho do cliente é degradado inesperadamente. Por exemplo, os produtores têm erros de tempo limite e o atraso aumenta constantemente nos consumidores.
A utilização do disco do agente é muito alta (>85%).
As contagens de réplicas sincronizadas (ISR, na sigla em inglês) ficam abaixo do fator de replicação.
Os registros do cluster mostram erros como este:
Error processing append operation on partition PARTITION_ID. org.apache.kafka.common.errors.NotEnoughReplicasException: The size of the current ISR Set(10) is insufficient to satisfy the min.isr requirement of 2 for partition PARTITION_ID
Para evitar erros de falta de espaço em disco, monitore a capacidade do cluster e a replicação de partições. Para mais informações, consulte Monitorar clusters do Kafka para confiabilidade.
Se um agente ficar sem espaço em disco, aumente o tamanho do disco do agente. Considere também escalonar o cluster para adicionar novos agentes.
A compactação de registros combinada com um espaço de chave muito grande pode resultar em erros de falta de espaço em disco. Quando a compactação de registros está ativada, o Kafka armazena a mensagem mais recente para cada chave no armazenamento local. Assim, a utilização do disco do agente aumenta com o número de chaves exclusivas.