为 Managed Service for Apache Kafka 配置网络

客户端可以从Google Cloud 项目中的任何虚拟私有云 (VPC) 网络连接到 Managed Service for Apache Kafka 集群。您还可以开启通过公共互联网从受信任 IP 范围进行访问。

本页面介绍了如何在 Managed Service for Apache Kafka 中配置网络,以及如何启用 Kafka 客户端与集群之间的连接。

已连接的子网

创建 Managed Service for Apache Kafka 集群时,您需要指定至少一个 VPC 子网来连接到该集群。之后,您可以更新集群以添加或移除子网。您可以将多个子网连接到一个集群,但每个 VPC 网络最多只能连接一个子网。客户端应用可以从任何区域中共享已连接子网的 VPC 网络的任何子网连接到集群。

当服务预配集群时,它会将集群代理和网络端点放置在 Google 托管的项目内的单独 VPC 网络中。此项目称为“租户”项目,网络称为租户网络。每个 Managed Service for Apache Kafka 集群都有自己的隔离租户网络。您无需管理或配置租户网络。

代表集群的 Google Cloud 资源位于您自己的Google Cloud 项目中。例如,运行 Google Cloud CLI 命令时,您需要指定 Google Cloud 项目,而不是租户项目。同样,当您将子网连接到集群时,子网位于您的Google Cloud 项目中。

在以下部分中,项目是指您自己的 Google Cloud 项目,除非指定了 Google 管理的租户项目。

集群 DNS 条目

将子网连接到集群时,该服务会在子网的网络中为集群的引导地址和代理创建 DNS 条目。Kafka 客户端使用引导地址来定位代理并建立连接。当引导服务器将客户端重定向到特定代理时,它会使用代理网址,而不是 IP 地址。

集群的 DNS 名称在集群的所有已连接子网中都相同,但它们在每个子网中对应不同的 IP 地址。由于 DNS 名称一致,因此您的所有 Kafka 客户端应用都使用相同的引导地址。

引导和代理网址在集群的生命周期内是固定的。如需获取集群的引导地址,请参阅查看集群的引导地址。不同集群的网址格式可能不同。

子网大小调整

向集群添加子网时,子网必须有足够的 IP 地址。每个子网都需要为每个 Kafka 代理分配一个 IP 地址,并为引导地址分配一个 IP 地址。

初始代理数量的计算方式如下:

number of brokers = max(3, ceiling(vCPUs / 15))

例如,具有 60 个 vCPU 的集群有四个代理 (60/15),因此至少需要五个可用 IP 地址(包括引导地址)。当您扩容集群时,该服务会添加更多代理。在规划子网大小时,请根据您预计集群扩缩到的最大大小进行计算。Google 可能会更改代理与 vCPU 的比率,因此我们建议分配计算出的 IP 地址数量下限的 3 倍。如需了解详情,请参阅规划 Managed Service for Apache Kafka 集群的大小。

如果您打算使用 Kafka Connect,还应考虑 Connect 集群的子网要求。如需了解详情,请参阅工作器(主要)子网。

以非公开方式使用的公共 IP 范围

您可以将集群连接到使用以非公开方式使用的公共 IP 地址范围的子网,而无需进行额外配置。子网必须使用有效的 IPv4 范围,该范围不能是禁止的 IPv4 子网范围。

跨项目连接集群

如需让其他 Google Cloud 项目中的 Kafka 客户端通过专用 IP 连接到您的集群,您可以使用以下方法之一:

  • 将 Kafka 客户端项目中的子网连接到集群。
  • 使用共享 VPC 连接项目。

以下部分介绍了这些选项。

跨项目连接子网

如需将其他项目中的子网连接到您的集群,与您的集群关联的 Managed Kafka Service Agent 需要有权访问该子网所在项目中的网络资源。在包含子网的项目中,向服务代理授予 Managed Kafka Service Agent IAM 角色。此角色允许集群创建必要的网络资源和 DNS 条目。

例如,如果您在 project-1 中创建集群,并希望连接 project-2 中的子网,请为 project-1 的 Managed Kafka 服务代理授予 project-2 的 Managed Kafka Service Agent 角色。然后,将 project-2 中的子网连接到集群,如将子网连接到集群中所述。

如需授予必要的角色,请执行以下步骤:

控制台

  1. 在 Google Cloud 控制台中,前往包含子网的项目的 IAM 页面。

    转到 IAM

  2. 点击 授予访问权限。

  3. 在新的主账号字段中,输入以下内容:

    service-CLUSTER_PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com
    

    将 CLUSTER_PROJECT_NUMBER 替换为包含 Managed Service for Apache Kafka 集群的项目的项目编号。

  4. 点击添加角色。

  5. 在搜索角色字段中,输入 Managed Kafka Service Agent。

  6. 在搜索结果中,选择 Managed Kafka Service Agent。

  7. 点击应用。

  8. 点击保存。

gcloud

如需授予 IAM 角色,请使用 gcloud projects add-iam-policy-binding 命令:

gcloud projects add-iam-policy-binding CLIENT_PROJECT_ID \
  --member=serviceAccount:service-CLUSTER_PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
  --role=roles/managedkafka.serviceAgent

替换以下内容:

  • CLIENT_PROJECT_ID:包含要连接的子网的项目的名称
  • CLUSTER_PROJECT_NUMBER:包含 Managed Service for Apache Kafka 集群的项目的项目编号

使用共享 VPC 连接项目

借助共享 VPC,组织可将多个项目中的资源连接到一个公用 VPC 网络。如需将共享 VPC 与 Managed Service for Apache Kafka 搭配使用,请执行以下步骤:

  1. 创建 Managed Service for Apache Kafka 集群。

  2. 预配共享 VPC。

  3. 如上一部分中所述,为 Managed Kafka Service Agent 授予共享 VPC 宿主项目上的 Managed Kafka Service Agent 角色。

  4. 将集群连接到共享 VPC 网络中的子网。

共享 VPC 宿主项目或服务项目中的客户端可以连接到集群。

如需了解何时使用共享 VPC,请参阅 VPC 设计的最佳实践和参考架构。

通过公共互联网连接客户端

如果您的 VPC 网络外部有客户端应用,则可以启用对集群的公开访问。公开集群仍需要连接的子网。不过,您无需通过它发送流量。

启用公共集群功能后,该服务会为集群的代理和引导端点预配外部 IPv4 地址。该服务还会使集群 DNS 条目可公开解析为这些公共 IP 地址。外部客户端可以使用集群的引导地址来查找代理并建立连接。

此实现使用水平分割 DNS。包含已连接子网的 VPC 网络中的客户端会继续解析专用端点,而其他网络中的客户端会解析公共端点。启用公共集群功能不会在项目中创建任何其他资源。

Managed Service for Apache Kafka 使用 Cloud Next Generation Firewall 限制对公共集群的访问。启用公共集群功能时,您必须指定一个或多个允许的来源 IP 范围。如需了解详情,请参阅公开集群。

您可以更新集群,以添加或移除允许的来源 IP 范围。如果您移除允许的来源 IP 范围,则更改仅适用于新连接。

该服务采取了多项预防措施,以帮助确保公开集群的安全。所有连接在传输过程中都使用 TLS 进行加密,并且所有连接都需要进行身份验证。您必须使用具有 SASL 的 IAM 身份或具有 mTLS 的客户端证书进行身份验证。不允许匿名访问。如需了解详情,请参阅 Kafka 代理的身份验证类型。

安全管理员可以通过启用限制 Managed Kafka 公共集群 (constraints/managedkafka.managed.restrictPublicClusters) 托管式组织政策限制条件来禁止公共集群。如需详细了解托管式限制,请参阅托管式限制。

配置来自外部网络的出站流量防火墙

在某些情况下,您可能需要确定代理和引导端点的外部 IPv4 地址。如需查看这些地址,请参阅公开集群详细信息。

该服务还会维护一条或多条发现 DNS 记录。这些是 DNS A 记录,其中包含与您的集群关联的所有外部 IPv4 地址。您可以在基于 FQDN 的防火墙(例如 Cloud NGFW)中使用这些记录,这些防火墙会在端点列表发生变化时自动更新规则。如需了解详情,请参阅将 FQDN 对象映射到 IP 地址。

使用与集群关联的公共 IP 地址时,请考虑以下事项:

  1. 公共 IPv4 地址列表可能会发生变化或增加。因此,请自动执行使用此信息的方式,或定义一个流程,以便在扩容集群时考虑新的发现 DNS 记录。在以下情况下,可能会发生变化:

    • 您纵向扩容集群。扩容可能会在添加新代理时添加一个或多个外部 IPv4 地址。如需了解详情,请参阅扩缩集群。

    • 您关闭然后开启公共集群功能。此操作会为集群分配一组新的外部 IPv4 地址。

  2. 每条发现 DNS 记录最多包含 30 个 IP 地址,该值在 FQDN 防火墙强制执行的常见限制范围内。包含 29 个或更少代理的集群具有一条发现 DNS 记录,其中包含引导地址记录。每增加 30 个代理,该服务就会添加一条发现 DNS 记录。

  3. 发现 DNS 记录仅用于配置基于 FQDN 的出站流量防火墙。请勿将 Kafka 客户端配置为连接到发现 DNS 记录;而是将客户端配置为连接到引导地址。

  4. 如果您使用此信息配置出站流量防火墙,请允许连接到 TCP 端口 9092 (SASL) 和 9192 (mTLS)。

集群的网络架构

本部分详细介绍了 Managed Service for Apache Kafka 中使用的网络架构。

  • Kafka 集群跨越一个租户网络和一个或多个使用方网络。

  • 在租户网络中,集群具有单个引导 IP 地址和网址。此引导地址对应于连接到集群中所有代理的负载均衡器。每个代理也可以单独充当引导服务器,但为了可靠性,我们建议您使用引导地址。

  • 在每个使用方网络中,服务会为引导地址创建一个 Private Service Connect 端点,并为每个代理创建一个端点。

  • 在集群连接到的 VPC 网络中,引导地址的网址相同。该 IP 地址是使用方网络的本地地址。

  • 客户端使用 DNS 名称连接到 Kafka 代理。这些名称会自动注册到 Kafka 集群连接到的每个 VPC 网络中。引导地址及其端口号可作为集群的属性。

  • 客户端使用引导地址检索代理网址。这些网址会解析为每个 VPC 网络的本地 IP 地址。您可以在 Cloud DNS 中找到实际代理 IP 地址和网址。

下图展示了 Managed Service for Apache Kafka 集群网络的示例架构。

Managed Service for Apache Kafka 网络 * 在此示例中,集群有三个代理,并且集群位于租户 VPC 中。

  • 代理通过默认 Kafka 端口 (9092) 与客户端通信,并具有唯一的 IP 地址。在此示例中,三个代理的 IP 地址分别为 10.128.10.2、10.128.10.3 和 10.128.10.4。

  • 所有三个代理都连接到引导负载均衡器。这可确保高可用性和区域容错能力,因为引导地址不限于单个代理或可用区。

限制

以下限制适用于 VPC 连接和公共集群:

  • 子网区域。连接的子网必须与集群位于同一区域。

  • 子网数量。您最多可以将 10 个子网连接到一个集群,最少连接 1 个。

  • 每个网络的子网数。每个 VPC 网络最多只能有一个子网连接到集群。

  • 子网大小。每个连接的子网都需要为每个代理提供至少一个 IP 地址,并为引导地址提供一个 IP 地址。至少需要四个可用 IP 地址。如需了解详情,请参阅子网大小。

  • 公共集群的已连接子网。如需开启公开访问权限,您的集群仍必须至少有一个连接的子网,但您无需通过该子网发送流量。

  • 允许的来源 IP 范围。公开集群的每个允许的来源 IP 范围都必须采用 IPv4 CIDR 表示法指定。每个 CIDR 子网大小必须介于 /16 和 /32 之间。CIDR 范围不得重叠。不支持 IPv6 地址。您最多可以指定 500 个允许的来源 IP 范围。

  • 发现记录 DNS 解析。发现 DNS 记录仅用于配置基于 FQDN 的出站流量防火墙。请勿将 Kafka 客户端配置为连接到这些发现记录;而是将客户端配置为连接到引导地址。

问题排查

如需了解如何排查网络问题,请参阅网络错误。

接下来怎么做?

Apache Kafka® 是 Apache Software Foundation 或其关联公司在美国和/或其他国家/地区的注册商标。