从备份恢复 Dataproc Metastore

本页面介绍了如何从备份恢复 Dataproc Metastore 服务。

备份是指 Dataproc Metastore 服务中存储的配置设置和元数据的快照。您可以使用恢复功能，通过之前保存在备份中的数据快速设置新的 Dataproc Metastore 服务。

准备工作

所需的角色

如需获得从备份恢复 Dataproc Metastore 服务所需的权限，请让您的管理员为您授予以下 IAM 角色：

  • 如需授予对 Dataproc Metastore 资源的完全控制权以完成备份，请执行以下任一操作：
  • 如需使用存储预定备份的 Cloud Storage 对象，请向 Dataproc Metastore 服务代理授予以下角色： Cloud Storage Object User (roles/storage.objectUser)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

这些预定义角色包含从备份恢复 Dataproc Metastore 服务所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需从备份恢复 Dataproc Metastore 服务，您需要具备以下权限：

  • 如需恢复元数据服务，请执行以下操作： metastore.services.restore, metastore.backups.use
  • 如需使用 Cloud Storage 对象，请执行以下操作：
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解特定的 Dataproc Metastore 角色和权限，请参阅 Dataproc Metastore IAM 概览。

关于从备份中恢复

从备份恢复服务时，您可以选择以下选项之一：

  • 恢复备份中保存的所有元数据和配置设置。

  • 恢复所有元数据，但不恢复备份中保存的配置设置。而是保留您当前的配置设置。

    配置设置包括 Dataproc Metastore 参数，例如服务名称、端口号和网络设置。元数据包括存储在 Dataproc Metastore 服务中的所有数据库和表信息。

注意事项

  • 在恢复操作运行期间，您无法更新服务，例如无法更改配置设置。不过，您仍然可以将该服务用于正常操作，例如使用该服务从关联的 Managed Service for Apache Spark 或自行管理的集群访问其元数据。

  • Dataproc Metastore 标签不会恢复。

  • 存储在仓库目录中的数据不会恢复。

  • 从备份进行恢复不会恢复或替换精细的 IAM 政策。

  • 从预定备份进行恢复需要将备份放置在 Cloud Storage 存储桶中。

使用备份进行恢复

如需从备份恢复 Dataproc Metastore 服务，请完成以下步骤。

  • 如果您使用的是 Google Cloud 控制台，则只能从与新服务位于同一项目和区域的备份中恢复元数据。

  • 如果您使用 Google Cloud CLI 或 Dataproc Metastore API，则可以从在其他项目和区域中创建的备份（跨服务备份）恢复元数据。

控制台

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面：

    打开 Dataproc Metastore

  2. 在 Dataproc Metastore 页面上，点击要从备份中恢复的服务名称。

    服务详细信息页面会打开。

    “服务详细信息”页面
    图 1. Dataproc Metastore 服务详情页面

  3. 如需查看备份，请点击备份/还原标签页。

  4. 选择要使用的备份。为此，请点击菜单图标 ，然后选择恢复。

    系统会打开恢复页面。

    您也可以在备份详情页面上恢复服务。 为此，请点击相应备份的名称，然后点击恢复。

  5. 选择相应的恢复操作：

    • 恢复 Metastore 数据。恢复所有元数据，但不恢复备份中保存的配置设置
    • 恢复 Metastore 数据和服务配置。 恢复备份中保存的所有元数据和所有配置设置。

  6. 如需更新服务，请点击恢复。

    返回 Dataproc Metastore 页面，并验证您的服务是否已成功备份。

    恢复完成后，无论恢复是否成功，Dataproc Metastore 都会自动恢复为活跃状态。

gcloud CLI

  1. 如需恢复 Dataproc Metastore 服务，请运行以下 gcloud metastore services restore 命令：

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    替换以下内容：

    • SERVICE：Dataproc Metastore 服务的名称。
    • PROJECT_ID：Dataproc Metastore 服务所在的 Google Cloud项目的项目 ID。
    • LOCATION：Dataproc Metastore 服务所在的 Google Cloud 区域。
    • BACKUP：可选：您要从中恢复的备份文件的标识符。此值可以是备份 ID、完全限定网址，也可以是以下格式的相对名称：projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}。
    • RESTORE_TYPE：要执行的恢复操作的类型。 接受的值包括 metadata-only 或 full。默认值为 metadata-only。
    • BACKUP_LOCATION：可选：预定备份的 Cloud Storage 位置。 例如：gs://my-bucket/path/to/location。

  2. 验证恢复操作是否成功。

    恢复完成后，无论恢复是否成功，Dataproc Metastore 都会自动恢复为活跃状态。

REST

按照 API 说明使用 APIs Explorer 将元数据恢复到服务中。

恢复操作完成后，无论是否成功，Dataproc Metastore 都会自动恢复为活跃状态。

查看恢复历史记录

如需在 Google Cloud 控制台中查看 Dataproc Metastore 服务的恢复历史记录，请完成以下步骤：

  1. 在 Google Cloud 控制台中，打开 Dataproc Metastore 页面。

  2. 在导航栏中，点击备份/恢复。

    您的恢复历史记录会显示在恢复下的表格中。

    历史记录最多显示您最近完成的 25 项恢复操作。

    删除 Dataproc Metastore 服务还会删除所有关联的恢复历史记录。

排查常见问题

后续步骤