將 Kafka 資料複製到 Managed Service for Apache Kafka

如要將資料從開放原始碼的 Apache Kafka 主題移至 Managed Service for Apache Kafka,可以使用 Dataflow 範本。您可以使用 Google Cloud 控制台、REST API 或 Google Cloud CLI。Kafka 主題中的訊息必須使用 AVRO 或 JSON 架構和編碼發布。

本文說明如何使用 Google Cloud 控制台,設定 Kafka 到 Kafka Dataflow 範本。

使用的Google Cloud 產品

Kafka 至 Kafka Dataflow 範本會使用下列計費 Google Cloud 產品。 使用 Pricing Calculator,根據您的預測用量來產生預估費用。

  • Dataflow:Dataflow 是全代管的資料處理服務。Kafka 至 Kafka Dataflow 範本會利用 Dataflow 建立管道,從外部 Kafka 主題讀取資料,並寫入 Managed Service for Apache Kafka 主題。Dataflow 的自動調度和自我修復功能可確保管道穩定有效率地運作。
  • Cloud Storage:Cloud Storage 提供物件儲存空間。只有在外部 Kafka 來源使用 TLS 驗證時,才需要使用這個檔案。您將含有 TLS 憑證的 Keystore 和 Truststore 檔案儲存在 Cloud Storage 中,而 Dataflow 管道會從 Cloud Storage 存取這些檔案。
  • Secret Manager:Secret Manager 是一項密鑰和憑證管理服務。只有在為外部 Kafka 來源選擇 TLS 或 SASL_PLAIN 驗證時,才會使用這項產品。儲存驗證憑證,例如使用者名稱、密碼和憑證。這些憑證用於安全地連線至外部 Kafka 叢集。

此外,這項解決方案也使用 Managed Service for Apache Kafka。

  • Managed Service for Apache Kafka:這項 Google Cloud 服務 可協助您執行 Apache Kafka。在本解決方案中,Managed Service for Apache Kafka 會做為資料目的地。您會將外部 Kafka 主題的資料串流至 Managed Service for Apache Kafka 叢集內的主題。如要進一步瞭解 Managed Service for Apache Kafka 定價,請參閱定價指南。

事前準備

啟動 Kafka 至 Kafka Dataflow 範本前,請務必完成下列步驟:

  1. 建立 Managed Service for Apache Kafka 叢集和主題。

    如要建立叢集和主題,其中一種方法是按照 Managed Service for Apache Kafka 快速入門指南操作。

    如果主題包含 Avro 記錄,如需其他資源需求,請參閱「設定 Kafka 訊息格式」。

  2. 啟用下列 Google Cloud API:

    • Dataflow

    • Secret Manager (僅限為外部 Kafka 來源使用 SASL_PLAIN 或 TLS 驗證時)

    • Cloud Storage (僅限於外部 Kafka 來源使用 TLS 驗證時)

    gcloud services enable dataflow.googleapis.com \
    secretmanager.googleapis.com storage.googleapis.com
    

準備 SASL_PLAIN 驗證資源

如果您打算使用外部 Kafka 來源的 SASL_PLAIN 驗證憑證,請按照本節的指示操作。

  1. 在 Google Cloud 控制台中,前往 Secret Manager。

    前往 Secret Manager

  2. 建立兩個密鑰:一個用於 Kafka 使用者名稱,另一個用於 Kafka 密碼。

    為每個密鑰提供說明名稱,例如「kafka-username」和「kafka-password」。

如要進一步瞭解如何建立密鑰,包括必要角色和權限,請參閱「建立密鑰」。

準備 TLS 驗證資源

如果您打算將 TLS 驗證憑證用於外部 Kafka 來源,請按照本節的指示操作。

  1. 在 Google Cloud 控制台中,前往 Secret Manager。

    前往 Secret Manager

  2. 確認 KeyStore 檔案 (JKS 格式) 包含 TLS 憑證和私密金鑰,可用於向 Kafka 叢集驗證用戶端。

  3. 請確認 Truststore 檔案 (JKS 格式) 包含驗證 Kafka 代理程式身分所需的受信任憑證。

  4. 將 Keystore 和 Truststore 檔案上傳至 Cloud Storage。

    如要進一步瞭解如何將檔案上傳至 Cloud Storage,請參閱「從檔案系統上傳物件」。

  5. 為 TLS 設定建立三個密鑰:

    • 信任儲存庫密碼:儲存用於存取信任儲存庫檔案的密碼。

    • KeyStore 密碼:儲存用來存取 KeyStore 檔案的密碼。

    • 私密金鑰密碼:儲存用來存取 Keystore 檔案中私密金鑰的密碼。

    為每個密鑰提供描述性名稱。

如要進一步瞭解如何建立密鑰,包括必要角色和權限,請參閱「建立密鑰」。

將代管 Kafka 用戶端角色授予 Dataflow 工作者服務帳戶

如要將 Dataflow 工作連結至 Managed Service for Apache Kafka,請將特定權限授予 Dataflow worker 服務帳戶。這個服務帳戶是 Dataflow 工作中所有 worker VM 使用的身分,且這些 VM 發出的任何要求都會使用這個帳戶。

如要允許存取 Kafka 資源,您必須將 roles/managedkafka.client 角色授予 Dataflow 工作者服務帳戶。這個角色包含建立連線所需的 managedkafka.clusters.connect 權限。

如要進一步瞭解 Worker 服務帳戶,請參閱「Google Cloud 上的管道安全性與權限」。

如要將代管 Kafka 用戶端角色授予 Dataflow 服務帳戶,請按照下列步驟操作:

控制台

  1. 前往 Google Cloud 控制台的「IAM」(身分與存取權管理) 頁面。
    前往 IAM 頁面
  2. 確認專案已設為 Managed Service for Apache Kafka 用戶端要存取的消費者專案。
  3. 按一下「授予存取權」。
  4. 在新頁面的「新增主體」中,輸入您使用的 Dataflow 工作人員服務帳戶電子郵件地址。
  5. 在「指派角色」部分,選取「代管 Kafka 用戶端」角色。
  6. 按一下 [儲存]。

gcloud CLI

  1. 在 Google Cloud 控制台中啟用 Cloud Shell。

    啟用 Cloud Shell

    Google Cloud 控制台底部會開啟 Cloud Shell 工作階段,並顯示指令列提示。Cloud Shell 是已安裝 Google Cloud CLI 的殼層環境,並已設定適用於您目前專案的值。工作階段可能要幾秒鐘的時間才能初始化。

  2. 執行 gcloud projects add-iam-policy-binding 指令:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:SERVICE_ACCOUNT_EMAIL \
      --role roles/managedkafka.client

    更改下列內容:

    • PROJECT_ID 是專案 ID。

    • SERVICE_ACCOUNT_EMAIL 是 Dataflow 工作站服務帳戶的電子郵件地址。

啟動 Kafka 至 Kafka Dataflow 範本

您可以從控制台的叢集詳細資料頁面啟動 Kafka to Kafka Dataflow 範本。

  1. 前往 Google Cloud 控制台的「Cluster」(叢集) 頁面。

    前往「Clusters」(叢集)

    系統會列出您在專案中建立的叢集。

  2. 如要查看叢集詳細資料頁面,請按一下叢集名稱。
  3. 在叢集詳細資料頁面中,按一下「匯入資料」。

    「使用範本『Kafka 至 Kafka』建立 Dataflow 工作」頁面隨即開啟。

根據下列各節的資訊,設定範本中的欄位。

輸入工作名稱

在「Job name」(工作名稱) 欄位中,輸入 Dataflow 工作的名稱。

專案中所有目前正在執行的工作名稱不得重複。

為管線選擇區域端點

在「Regional endpoint」(區域端點) 欄位中,將區域端點設為 Kafka 叢集所在位置,盡量減少跨區域資料移轉費用。

Dataflow 工作人員可獨立於 Kafka 叢集區域執行。不過,如果您在 Kafka 叢集所在區域以外啟動工作人員,就會產生區域間輸出費用。

如要查看叢集位置,請按照「列出 Managed Service for Apache Kafka 叢集」一文中的步驟操作。

設定來源

  1. 在「來源」部分,選取「外部或自行管理的 Kafka」。

  2. 在「Kafka bootstrap server」(Kafka 啟動伺服器) 中,輸入外部 Kafka 叢集啟動伺服器的位址。

  3. 在「來源 Kafka 啟動伺服器和主題」中,輸入外部 Kafka 啟動伺服器和主題位址。

  4. 在「Kafka source authentication mode」(Kafka 來源驗證模式) 中,從提供的選項選取驗證模式。外部 Kafka 有三種選項:

    • SASL_PLAIN

    • TLS

    • 無

適用於 SASL_PLAIN Kafka 來源驗證

繼續本節之前,請參閱「準備 SASL_PLAIN 驗證資源」。

如果選取 SASL_PLAIN 做為 Kafka 來源驗證,請填寫下列額外欄位。

  1. 在「Kafka SASL/PLAIN 使用者名稱的密鑰版本 ID」中,輸入使用者名稱的版本 ID。

  2. 在「Secret version ID for Kafka SASL/PLAIN password」(Kafka SASL/PLAIN 密碼的密鑰版本 ID) 部分,輸入密碼的版本 ID。

適用於 TLS Kafka 來源驗證

繼續進行本節之前,請先參閱「準備 TLS 驗證資源」。

如果選取 TLS 做為 Kafka 來源驗證,請填寫下列額外欄位。

  1. 在「Location of keystore」(金鑰儲存庫位置) 中,輸入 Java KeyStore (JKS) 檔案的 Cloud Storage 路徑。這個檔案包含 TLS 憑證和私密金鑰,可用於向 Kafka 叢集驗證管道。例如:gs://your-bucket/keystore.jks

  2. 在「Truststore file location」(信任儲存庫檔案位置) 欄位中,輸入 Java Truststore (JKS) 檔案的 Cloud Storage 路徑。這個檔案包含用來驗證 Kafka 代理程式身分的受信任憑證。

  3. 在「Truststore 密碼的密鑰版本 ID」中,提供儲存密碼的 Secret Manager 密鑰 ID,以存取 Truststore JKS 檔案。

  4. 在「Secret Version ID of Keystore password」(金鑰存放區密碼的密鑰版本 ID) 中,提供儲存密碼的 Secret Manager 密鑰 ID,以存取 JKS 檔案。

  5. 在「私密金鑰密碼的密鑰版本 ID」欄位中,如果 KeyStore 中的私密金鑰有專屬密碼,請輸入含有該密碼的 Secret Manager 密鑰 ID。

將偏移量提交至 Kafka

這項設定可控管管道如何追蹤處理的外部 Kafka 來源訊息。啟用這項設定有助於確保管道可靠地處理訊息,並避免在重新啟動時發生錯誤。

Kafka 會使用偏移量追蹤訊息。您可以將這些視為書籤,用來記錄管道在每個訊息串中的位置。啟用這項設定後,管道會定期將書籤儲存至 Kafka。如果管道因錯誤、更新或排定的維護作業而重新啟動,可以利用儲存的書籤從中斷處繼續執行,避免遺漏訊息或意外重複處理同一則訊息。

  1. 啟用「將偏移量提交至 Kafka」。

  2. 提供用戶群組 ID。 這是向 Kafka 識別管道的名稱。

  3. 在「Default Kafka start offset」(預設 Kafka 開始偏移) 中,選擇下列其中一個選項:

    • 最早:從 Kafka 主題的開頭處理訊息。

    • 最新:從最新訊息開始處理訊息。

設定目的地

  1. 在「目的地」中,選擇「Managed Service for Apache Kafka」。

  2. 在「Kafka 叢集」部分,選擇您已建立的叢集。

  3. 您可以選擇現有主題或建立新主題。

  4. 在「Kafka destination autheticaton method」(Kafka 目的地驗證方法) 部分,選取「Application Default Credentials」(應用程式預設憑證)。

設定加密機制

根據預設,所有靜態和傳輸中的資料都會經過加密 Google-owned and Google-managed encryption key。如果您有客戶自行管理的加密金鑰 (CMEK),可以選取自己的金鑰。如要進一步瞭解如何設定 CMEK,請參閱「設定訊息加密」。

設定網路

您必須在 Dataflow 範本中指定叢集的網路和子網路。範本的「選用參數」部分可讓您定義 Dataflow 工作站的網路。

根據預設,Kafka 對 Kafka Dataflow 範本會在專案的預設網路中佈建 Dataflow 工作者。如要讓外部 Kafka 叢集透過 Dataflow 將資料傳送至 Managed Service for Apache Kafka,請確保 Dataflow 工作者可以存取叢集的網路。

如果 Kafka 叢集未連線至專案預設網路中的子網路,建議您為 Kafka 叢集使用專案的預設網路。

如要進一步瞭解如何使用 Dataflow 管道設定網路,請參閱下列文章:

如果設定 Dataflow 網路時遇到問題,請參閱 Dataflow 網路疑難排解指南。

設定選用的 Dataflow 參數

只有在瞭解設定對 Dataflow worker 的影響時,才設定選用的 Dataflow 參數。設定錯誤可能會影響效能或費用。如需各個選項的詳細說明,請參閱「選用參數」。

監控

Kafka 轉移至 Managed Service for Apache Kafka 的 Dataflow 範本提供監控體驗,可讓您在控制台中探索記錄、指標和錯誤。這套監控工具是 Dataflow 使用者介面的一部分。

您可以在「作業指標」分頁中建立自訂資訊主頁,對於「Kafka 至 Managed Service for Apache Kafka」範本,建議您設定「工作指標」資訊主頁,監控下列項目:

  • 處理量:在任何時間點處理的資料量。 這有助於監控作業中的資料流程,並找出潛在的效能問題。

    詳情請參閱「監控 Dataflow 處理量」。

  • 資料更新間隔:資料元素的時間戳記與事件在管道中處理時間的差距 (以秒為單位)。這有助於找出效能和資料來源瓶頸,或頻繁重試。

    詳情請參閱「Dataflow 更新間隔監控」。

  • 待處理作業:待處理的位元組數量。 這項資訊會影響自動調度資源決策。

如要進一步瞭解如何監控 Dataflow,請參閱 Dataflow 監控說明文件。

疑難排解

如果 Dataflow 管道發生效能問題,Dataflow 提供了一整套疑難排解和診斷工具。

以下是兩種常見情況和相應的疑難排解指南:

如需 Dataflow 管道偵錯的一般總覽,請參閱「疑難排解及偵錯 Dataflow 管道」。

後續步驟