为 Dataproc Metastore 配置网络访问权限

本页面详细介绍了如何为 Dataproc Metastore 实例配置网络访问权限。正确的网络设置对于 Managed Service for Apache Spark 集群和 Managed Service for Apache Spark 工作负载安全私密地与受管理的 Dataproc Metastore 服务通信至关重要。

如需大致了解网络概念，请参阅网络概览

主要网络概念

Dataproc Metastore 实例通常位于 Google 管理的服务提供方网络中，并使用专用连接与您的虚拟私有云 (VPC) 网络通信。了解以下概念对于成功设置至关重要：

  • 共享虚拟私有云：如果您的 Managed Service for Apache Spark 集群或 Managed Service for Apache Spark 工作负载位于使用宿主项目中的共享 VPC 网络的服务项目中，请验证是否已在宿主项目中进行适当的网络配置。如需了解详情，请参阅共享 VPC 概览。
  • 专用 Google 访问通道：Dataproc Metastore 实例通常依赖专用 Google 访问通道与您的 VPC 网络进行私密通信。这样一来，您 VPC 中的虚拟机 (VM) 实例便可以使用内部 IP 地址连接到 Google API 和服务。如需了解详情，请参阅专用 Google 访问通道。
  • VPC 网络对等互连：此机制可在两个 VPC 网络之间建立专用 IP 连接，从而使一个网络中的资源可以使用内部 IP 地址与另一个网络中的资源进行通信。Dataproc Metastore 在设置过程中会与您的 VPC 网络建立受管理的 VPC 网络对等互连连接。如需了解详情，请参阅 VPC 网络对等互连。
  • 防火墙规则：必须有适当的防火墙规则，才能允许托管式 Apache Spark 服务工作负载与 Dataproc Metastore 实例之间的流量。
  • Cloud DNS 解析：验证 VPC 网络内的 DNS 解析是否已正确配置，以将 Dataproc Metastore 端点 URI 解析为其专用 IP 地址。

配置步骤

如需验证 Dataproc Metastore 实例的网络访问权限是否正常，请按以下步骤操作：

1. 配置 Private Services Access

Dataproc Metastore 使用专用服务访问通道在您的 VPC 网络与 Dataproc Metastore 实例所在的 Google 代管式服务提供方网络之间建立专用连接。

  • 验证专用服务访问通道连接：
    1. 在 Google Cloud 控制台中，依次前往 虚拟私有云网络 > VPC 网络对等互连。
    2. 验证名为 servicenetworking-googleapis-com 的对等互连连接是否存在，以及其状态是否为 ACTIVE。
    3. 如果此连接缺失或未处于活跃状态，请按照配置专用服务访问通道中的说明进行操作。 这包括为服务提供方网络分配 IP 地址范围。

2. 配置防火墙规则

验证 VPC 网络（或共享 VPC 宿主项目，如果适用）中的防火墙规则是否允许必要的流量。

  • 从工作负载到 Metastore 的出站流量规则：
    • 验证出站防火墙规则是否允许从 Managed Service for Apache Spark 集群或 Managed Service for Apache Spark 工作负载到 Dataproc Metastore 实例的 IP 地址范围（端口 9083）的出站 TCP 流量。这是 Hive Metastore 的默认端口。
    • 如果使用专用服务访问通道，则此流量将以非公开方式路由。
  • 入站规则（客户端到 Metastore 的流量不太常见）：
    • 一般来说，您无需为从 Dataproc Metastore 实例到工作负载的流量在 VPC 上配置入站规则，因为通信通常源自工作负载。不过，请验证是否存在过于严格的入站流量规则，以免无意中阻止必要的响应。

3. 验证 DNS 解析

您的 Managed Service for Apache Spark 工作负载需要将 Dataproc Metastore 端点 URI 解析为其专用 IP 地址。

  • DNS 对等互连或专用区域：如果您使用的是自定义 DNS 服务器或专用 Cloud DNS 区域，请验证针对 Dataproc Metastore 端点（例如 your-metastore-endpoint.us-central1.dataproc.cloud.google.com）的 DNS 查询是否正确转发或解析为 Private Service Access 使用的专用 IP 范围。
  • 测试 DNS 解析：从与 Managed Service for Apache Spark 工作负载位于同一子网中的虚拟机，使用 nslookup 或 dig 验证 Dataproc Metastore 端点是否解析为专用 IP 地址。

排查网络连接问题

如果您在配置网络访问权限后遇到连接问题，请考虑执行以下问题排查步骤：

后续步骤