排解 Kafka 叢集錯誤

本頁面說明如何解決建立或設定 Managed Service for Apache Kafka 叢集時發生的問題。

Kafka 叢集建立錯誤

本節列出建立 Kafka 叢集時可能遇到的錯誤。

服務沒有存取 Cloud KMS 金鑰的權限

如果 Managed Service for Apache Kafka 服務代理缺少存取 Cloud KMS 金鑰的必要權限,就會發生下列問題。

Service agent service-${PROJECT_NUMBER}@gcp-sa-managedkafka.iam.gserviceaccount.com
has not been granted the required role cloudkms.cryptoKeyEncrypterDecrypter to
encrypt data using the KMS key.`

如要解決這個問題,請將 Cloud KMS 金鑰的 Cloud KMS CryptoKey 加密者/解密者角色授予服務帳戶。詳情請參閱「設定 CMEK 的必要角色」。

服務沒有擷取子網路的權限

如果 Managed Service for Apache Kafka 服務代理缺少必要角色,無法在 Kafka 用戶端執行的虛擬私有雲網路中設定網路,就會發生下列問題。

Service does not have permission to retrieve subnet. Please grant
service-${PROJECT_NUMBER}@gcp-sa-managedkafka.iam.gserviceaccount.com the
managedkafka.serviceAgent role in the IAM policy of the project
${SUBNET_PROJECT} and ensure the Compute Engine API is enabled in project
${SUBNET_PROJECT}`

如要解決這個問題,請將代管 Kafka 服務代理角色授予服務帳戶。詳情請參閱「跨專案連結叢集」。

網路錯誤

本節列出為 Kafka 叢集設定網路時可能遇到的錯誤。

服務無法設定網路

如果 Managed Service for Apache Kafka 無法將 Kafka 叢集連線至虛擬私有雲子網路,就會發生下列問題。

Managed Service for Apache Kafka failed to set up networking in VPC subnet.

如要解決這個問題,請按照下列步驟操作:

  • 在用戶虛擬私有雲網路的上層專案中,啟用 Compute Engine 和 Cloud DNS API。

  • 如果 Managed Service for Apache Kafka 叢集和用戶虛擬私有雲網路位於不同專案,請設定必要權限。請參閱「跨專案連結叢集」。

  • 確認沒有任何組織政策限制,會阻止服務在用戶虛擬私有雲網路的專案中建立必要資源。

詳情請參閱「設定 Managed Service for Apache Kafka 的網路」。

用戶端應用程式無法連線

如果用戶端應用程式無法連線至叢集,請檢查下列問題:

  • 確認用戶端使用正確的啟動程序位址。

  • 確認 Kafka 用戶端在虛擬私有雲網路中運作,且該網路已設為可存取 Managed Service for Apache Kafka 叢集。

  • 如果您在電腦或筆電上執行 Kafka 用戶端,可以設定 Compute Engine 執行個體做為 Proxy,存取 Managed Service for Apache Kafka 叢集。詳情請參閱「設定用戶端機器」。

驗證錯誤

本節列出用戶端應用程式向 Kafka 叢集驗證時,可能會遇到的錯誤。

SASL 驗證失敗

如果用戶端無法使用 SASL 驗證連線至叢集,就會發生下列問題。

Exception in thread "main" java.util.concurrent.ExecutionException:
org.apache.kafka.common.errors.SaslAuthenticationException:
Authentication failed: Invalid username or password

如要解決問題,請檢查下列原因:

  • 密碼格式不正確,且在 base64 解碼後,不代表有效的服務帳戶金鑰 JSON blob,或有效的存取權杖。

  • 驗證主體不具備叢集的 managedkafka.clusters.connect 權限。

  • 提供的使用者名稱與憑證的主體不符。

如果用戶端每 30 分鐘就頻繁斷線,可能是因為用戶端不支援定期重新驗證。Managed Service for Apache Kafka 代理程式會強制執行 connections.max.reauth.ms 代理程式屬性,要求用戶端每 30 分鐘重新驗證一次。確認 Kafka 用戶端程式庫版本為 2.2.0 以上,且支援重新驗證。

詳情請參閱「設定 SASL 驗證」。

作業錯誤

本節列出 Kafka 工作負載執行時可能發生的錯誤。

磁碟空間不足錯誤

如果代理程式的磁碟空間用盡,就無法捲動有效區隔或寫入新區隔,導致用戶端無法產生或取用訊息。症狀包括:

  • 用戶端效能意外降低。例如,生產者會遇到逾時錯誤,而消費者的延遲時間會穩定增加。

  • 代理磁碟使用率非常高 (>85%)。

  • 同步副本 (ISR) 數量低於複製係數。

  • 叢集記錄會顯示類似下列的錯誤:

    Error processing append operation on partition PARTITION_ID.
    org.apache.kafka.common.errors.NotEnoughReplicasException: The size of the current ISR Set(10)
    is insufficient to satisfy the min.isr requirement of 2 for partition PARTITION_ID
    

為避免磁碟空間不足錯誤,請監控叢集容量和分區複製作業。詳情請參閱「監控 Kafka 叢集的可靠性」。

如果代理程式的磁碟空間用盡,請增加代理程式磁碟大小。您也可以考慮擴充叢集,新增代理。

記錄檔壓縮搭配極大的金鑰空間,可能會導致磁碟空間不足錯誤。啟用記錄檔壓縮功能後,Kafka 會將每個鍵的最新訊息儲存在本機儲存空間,因此代理磁碟使用率會隨著不重複鍵的數量增加。

用戶端暫時中斷連線

Managed Service for Apache Kafka 可能會執行更新,需要對代理程式進行滾動式重新啟動。在這項程序中,傳送至個別代理的要求可能會失敗,但這些失敗只是暫時性的。詳情請參閱「升級和修補程式」。

在代理程式重新啟動期間,您不需要採取任何行動。不過,您可能會觀察到下列情況:

  • 分區領導者和消費者群組協調者容錯移轉至其他代理時,處理作業會暫停。

  • 重新平衡消費者群組,暫時停止消費。

  • 提交偏移時,發生暫時性連線錯誤或逾時。常用的用戶端程式庫會自動處理這些錯誤。

  • 代理程式重新啟動時,其餘代理程式的複製不足分區數量 (broker/under_replicated_partitions) 暫時激增。

  • 代理程式停機時,「Offline Partitions」(離線分區) 指標 (offline_partitions) 的暫時值為 1。這個值對應到內部監控主題,該主題在重新啟動的代理程式上有一個副本,這是預期行為。如果值大於 1,可能表示資料或中繼資料主題有問題。

    低於 MinISR 的分區指標 (broker/under_min_isr_partitions) 不受內部監控主題影響,如果主題使用預設複製係數 3 和 min.insync.replicas 2,則在滾動重新啟動期間會保持為 0。如果值大於 0,表示有多個分區副本無法使用,可能代表發生問題。

手動更新特定叢集屬性 (例如 vCPU 數量和記憶體),也可能導致服務執行滾動式重新啟動。請參閱「更新 Managed Service for Apache Kafka 叢集」。

後續步驟

Apache Kafka® 是 Apache Software Foundation 或其關係企業在美國和/或其他國家/地區的註冊商標。