用戶端可以從Google Cloud 專案中的任何虛擬私有雲 (VPC) 網路,連線至 Managed Service for Apache Kafka 叢集。您也可以啟用透過公開網際網路從信任的 IP 範圍存取的功能。
本頁面說明如何在 Managed Service for Apache Kafka 設定網路,以及如何啟用 Kafka 用戶端與叢集之間的連線。
連結的子網路
建立 Managed Service for Apache Kafka 叢集時,請指定至少一個虛擬私有雲子網路,以便連線至叢集。之後,您可以更新叢集,新增或移除子網路。您可以將多個子網路連線至叢集,但每個虛擬私有雲網路最多只能有一個子網路。用戶端應用程式可以從任何區域中,與已連線子網路共用虛擬私有雲網路的任何子網路連線至叢集。
服務佈建叢集時,會將叢集代理和網路端點,放在 Google 代管專案中的獨立虛擬私有雲網路。這項專案稱為「租戶」專案,網路則稱為租戶網路。每個 Managed Service for Apache Kafka 叢集都有獨立的租戶網路。您不需要管理或設定租戶網路。
代表叢集的 Google Cloud 資源位於您自己的Google Cloud 專案中。舉例來說,執行 Google Cloud CLI 指令時,您指定的是 Google Cloud 專案,而非租戶專案。同樣地,當您將子網路連結至叢集時,子網路會位於Google Cloud 專案中。
在下列各節中,除非指定 Google 代管的租戶專案,否則「專案」是指您自己的 Google Cloud 專案。
叢集 DNS 項目
將子網路連結至叢集時,服務會在子網路的網路中,為叢集的啟動位址和 broker 建立 DNS 項目。Kafka 用戶端會使用啟動位址找出代理並建立連線。啟動伺服器將用戶端重新導向至特定代理時,會使用代理網址,而非 IP 位址。
叢集的 DNS 名稱在所有已連結的子網路中都相同,但對應至各子網路中的不同 IP 位址。由於 DNS 名稱一致,所有 Kafka 用戶端應用程式都會使用相同的 bootstrap 位址。
啟動網址和代理程式網址在叢集生命週期內固定不變。如要取得叢集的啟動位址,請參閱「查看叢集的啟動位址」。不同叢集的網址格式可能不同。
子網路大小
將子網路新增至叢集時,子網路必須有足夠的 IP 位址。每個子網路都需要一個 IP 位址,用於每個 Kafka 代理程式,以及一個 IP 位址,用於啟動位址。
初始代理程式數量計算方式如下:
number of brokers = max(3, ceiling(vCPUs / 15))
舉例來說,具有 60 個 vCPU 的叢集有四個代理程式 (60/15),因此至少需要五個可用的 IP 位址,包括 bootstrap 位址。當您擴充叢集時,服務會新增更多代理。規劃子網路大小時,請根據預期叢集擴充的最大大小進行計算。Google 可能會變更代理程式與 vCPU 的比例,因此建議您分配計算出的 IP 位址數量下限的 3 倍。詳情請參閱「規劃 Managed Service for Apache Kafka 叢集的大小」。
如果您打算使用 Kafka Connect,也請考量 Connect 叢集的子網路需求。詳情請參閱「worker (主要) 子網路」。
私人使用的公開 IP 範圍
您可以將叢集連線至使用私用公開 IP 位址範圍的子網路,不需額外設定。子網路必須使用有效的 IPv4 範圍,且不得為禁止的 IPv4 子網路範圍。
連結不同專案的叢集
如要讓其他 Google Cloud 專案中的 Kafka 用戶端透過私人 IP 連線至叢集,可以使用下列任一方法:
- 將 Kafka 用戶端專案中的子網路連結至叢集。
- 使用 Shared VPC 連結專案。
以下各節將說明這些選項。
連結不同專案的子網路
如要將其他專案中的子網路連線至叢集,與叢集相關聯的 Managed Kafka 服務代理必須具備權限,才能存取該子網路專案中的網路資源。在包含子網路的專案中,將代管 Kafka 服務代理 IAM 角色授予服務代理。這個角色可讓叢集建立必要的網路資源和 DNS 項目。
舉例來說,如果您在 project-1 建立叢集,並想連結 project-2 中的子網路,請將 project-2 的代管 Kafka 服務代理角色,授予 project-1 的代管 Kafka 服務代理。接著,按照「將子網路連線至叢集」一節的說明,將 project-2 的子網路連線至叢集。
如要授予必要角色,請按照下列步驟操作:
控制台
前往 Google Cloud 控制台,找到含有子網路的專案,然後前往該專案的「IAM」頁面。
按一下「Grant access」(授予存取權)。
在「New principals」(新增主體) 欄位中輸入下列內容:
service-CLUSTER_PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com將
CLUSTER_PROJECT_NUMBER替換為 Managed Service for Apache Kafka 叢集所在專案的專案編號。按一下「Add roles」(新增角色)。
在「Search for roles」(搜尋角色) 欄位中輸入
Managed Kafka Service Agent。在搜尋結果中,選取「代管型 Kafka 服務代理」。
按一下「套用」。
按一下「儲存」。
gcloud
如要授予 IAM 角色,請使用 gcloud projects add-iam-policy-binding 指令:
gcloud projects add-iam-policy-binding CLIENT_PROJECT_ID \
--member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/managedkafka.serviceAgent
更改下列內容:
- CLIENT_PROJECT_ID:專案名稱,內含要連線的子網路
- CLUSTER_PROJECT_NUMBER:Managed Service for Apache Kafka 叢集所在專案的專案編號
使用 Shared VPC 連結專案
Shared VPC 可讓組織將多項專案中的資源連線至共同的虛擬私有雲網路,如要搭配使用 Shared VPC 和 Managed Service for Apache Kafka,請按照下列步驟操作:
建立 Managed Service for Apache Kafka 叢集。
按照上一節的說明,將共用虛擬私有雲主專案的 Managed Kafka 服務代理角色,授予 Managed Kafka 服務代理。
將叢集連線至 Shared VPC 網路中的子網路。
Shared VPC 主專案或服務專案中的用戶端可以連線至叢集。
如要瞭解何時應使用 Shared VPC,請參閱「VPC 設計的最佳做法與參考架構」。
透過公開網際網路連結用戶端
如果用戶端應用程式位於虛擬私有雲網路外部,您可以啟用叢集的公開存取權。公開叢集仍須連結子網路。不過,您不需要透過該介面傳送流量。
啟用公開叢集功能後,服務會為叢集的代理和 bootstrap 端點佈建外部 IPv4 位址。這項服務也會將叢集 DNS 項目公開解析為這些公開 IP 位址。外部用戶端可以使用叢集的啟動位址,找出代理程式並建立連線。
這項實作會使用水平分割 DNS。如果虛擬私有雲網路包含已連結的子網路,其中的用戶端會繼續解析私人端點,其他網路中的用戶端則會解析公開端點。啟用公開叢集功能不會在專案中建立任何額外資源。
Managed Service for Apache Kafka 會使用 Cloud Next Generation Firewall 限制公開叢集的存取權。啟用公開叢集功能時,必須指定一或多個允許的來源 IP 範圍。詳情請參閱「公開叢集」。
您可以更新叢集,新增或移除允許的來源 IP 範圍。如果移除允許的來源 IP 範圍,變更只會套用至新連線。
這項服務會採取多項預防措施,確保公開叢集安全無虞。所有連線在傳輸時都會使用 TLS 加密,且所有連線都需要驗證。您必須使用具備 SASL 的 IAM 身分,或具備 mTLS 的用戶端憑證進行驗證。不允許匿名存取。詳情請參閱「Kafka 代理程式的驗證類型」。
安全管理員可以啟用「限制代管 Kafka 公開叢集」(constraints/managedkafka.managed.restrictPublicClusters) 代管組織政策限制,禁止公開叢集。如要進一步瞭解代管限制,請參閱「代管限制」。
設定外部網路的輸出防火牆
在某些情況下,您可能需要判斷代理程式和啟動端點的外部 IPv4 位址。如要查看這些位址,請參閱「公開叢集詳細資料」。
這項服務也會維護一或多個探索 DNS 記錄。這些是 DNS A 記錄,包含與叢集相關聯的所有外部 IPv4 位址。您可以在以 FQDN 為基礎的防火牆 (例如 Cloud NGFW) 中使用這些記錄,當端點清單變更時,這類防火牆會自動更新規則。詳情請參閱「將 FQDN 物件對應至 IP 位址」。
使用與叢集相關聯的公開 IP 位址時,請考量下列事項:
公開 IPv4 位址清單可能會變更或增加。因此,請自動化使用這項資訊的方式,或定義程序,在擴充叢集時考量新的探索 DNS 記錄。可能發生變更的情況包括:
您擴充叢集。擴充時,可能會隨著新增代理而增加一或多個外部 IPv4 位址。詳情請參閱「調整叢集資源配置」。
您關閉公開叢集功能,然後再開啟。這項操作會為叢集指派一組新的外部 IPv4 位址。
每筆探索 DNS 記錄最多包含 30 個 IP 位址,這個值在 FQDN 防火牆強制執行的常見限制範圍內。如果叢集的代理程式數量不超過 29 個,則會有一筆探索 DNS 記錄,其中包含 bootstrap 位址記錄。每增加 30 個代理,服務就會新增一筆探索 DNS 記錄。
探索 DNS 記錄僅用於設定以 FQDN 為基礎的輸出防火牆。請勿將 Kafka 用戶端設為連線至探索 DNS 記錄,而是應設為連線至 bootstrap 位址。
如果您使用這項資訊設定輸出防火牆,請允許連線至 TCP 通訊埠
9092(SASL) 和9192(mTLS)。
叢集的網路架構
本節詳細說明 Managed Service for Apache Kafka 使用的網路架構。
Kafka 叢集橫跨一個租戶網路和一或多個消費者網路。
在租戶網路中,叢集只有一個啟動 IP 位址和網址。這個啟動位址對應至連至叢集中所有代理程式的負載平衡器。每個代理程式也可以單獨做為啟動伺服器,但建議您使用啟動程序位址,以確保可靠性。
在每個用戶網路中,服務會為 bootstrap 位址建立 Private Service Connect 端點,並為每個代理建立一個端點。
在叢集連線的所有虛擬私有雲網路中,啟動位址的網址都相同。IP 位址位於用戶網路本機。
用戶端會使用 DNS 名稱連線至 Kafka 代理。這些名稱會自動註冊到 Kafka 叢集連線的每個虛擬私有雲網路。啟動位址和通訊埠號碼可做為叢集的屬性。
用戶端會使用 bootstrap 位址擷取代理程式網址,這些網址會解析為各個虛擬私有雲網路本機的 IP 位址。您可以在 Cloud DNS 中找到實際的代理程式 IP 位址和網址。
下圖顯示 Managed Service for Apache Kafka 叢集網路的架構範例。
*
在這個範例中,叢集有三個代理,且叢集位於租戶虛擬私有雲。
代理程式會透過預設 Kafka 通訊埠 (9092) 與用戶端通訊,並具有專屬 IP 位址。在本例中,三個代理程式的 IP 位址分別為 10.128.10.2、10.128.10.3 和 10.128.10.4。
這三個代理都會連至啟動負載平衡器。這可確保高可用性和區域容錯能力,因為啟動程序位址不限於單一代理或可用區。
限制
虛擬私有雲連線和公開叢集有下列限制:
子網路區域。連結的子網路必須與叢集位於相同區域。
子網路數量。一個叢集至少可以連結一個子網路,最多可連結十個子網路。
每個網路的子網路數量。每個虛擬私有雲網路最多可將一個子網路連線至叢集。
子網路大小。每個連結的子網路都必須為每個代理程式提供至少一個 IP 位址,並為 bootstrap 位址提供一個 IP 位址。至少須有四個可用的 IP 位址。詳情請參閱「子網路大小」。
公開叢集的連結子網路。如要啟用公開存取權,叢集仍須至少有一個連結的子網路,但您不需透過該子網路傳送流量。
允許的來源 IP 範圍。公開叢集的每個允許來源 IP 範圍,都必須以 IPv4 CIDR 標記法指定。每個 CIDR 子網路大小必須介於
/16至/32之間。CIDR 範圍不得重疊。不支援 IPv6 位址。最多可以指定 500 個允許的來源 IP 範圍。探索記錄 DNS 解析。探索 DNS 記錄僅用於設定 FQDN 輸出防火牆。請勿將 Kafka 用戶端設為連線至這些探索記錄,而是應設為連線至 bootstrap 位址。
疑難排解
如要瞭解如何排解網路問題,請參閱「網路錯誤」。
後續步驟
如要進一步瞭解如何建立叢集,請參閱「建立 Managed Service for Apache Kafka 叢集」。
如要進一步瞭解如何更新叢集,請參閱「更新 Managed Service for Apache Kafka 叢集」。
如要進一步瞭解如何查看叢集的子網路和有效代理,請參閱「查看叢集」。
如要進一步瞭解如何發布及取用訊息,請參閱「發布及取用訊息」。