适用于 BigQuery Migration Service 的自定义组织政策

本页面介绍了如何使用组织政策服务自定义限制条件来限制对以下 Google Cloud 资源执行的特定操作：

• bigquerymigration.googleapis.com/MigrationWorkflow

如需详细了解组织政策，请参阅自定义组织政策。

组织政策和限制条件简介

借助 Google Cloud 组织政策服务，您可以对组织的资源进行程序化集中控制。作为组织政策管理员，您可以定义组织政策，这是一组称为限制条件的限制，会应用于 Google Cloud 资源层次结构中的Google Cloud 资源及其后代。您可以在组织、文件夹或项目级强制执行组织政策。

组织政策为各种 Google Cloud 服务提供内置的托管式限制。但是，如果您想要更精细地控制和自定义组织政策中受限的特定字段，还可以创建自定义限制条件并在组织政策中使用这些自定义限制条件。

政策继承

如果您对资源强制执行政策，默认情况下，该资源的后代会继承组织政策。例如，如果您对某个文件夹强制执行一项政策， Google Cloud 会对该文件夹中的所有项目强制执行该政策。如需详细了解此行为及其更改方式，请参阅层次结构评估规则。

准备工作

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。

如需初始化 gcloud CLI，请运行以下命令：

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。

如需初始化 gcloud CLI，请运行以下命令：

gcloud init

1. 请确保您知道您的组织 ID。

所需的角色

如需获得管理自定义组织政策所需的权限，请让您的管理员为您授予组织资源的 Organization Policy Administrator (roles/orgpolicy.policyAdmin) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

创建自定义限制条件

自定义限制条件是在 YAML 文件中，由实施组织政策的服务所支持的资源、方法、条件和操作定义的。自定义限制条件的条件使用通用表达式语言 (CEL) 进行定义。如需详细了解如何使用 CEL 构建自定义限制条件中的条件，请参阅创建和管理自定义限制条件的 CEL 部分。

如需创建自定义限制条件，请使用以下格式创建 YAML 文件：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

替换以下内容：

• ORGANIZATION_ID：您的组织 ID，例如 123456789。

• CONSTRAINT_NAME：新的自定义限制条件的名称。 自定义限制条件必须以 custom. 开头，只能包含大写字母、小写字母或数字。例如 custom.requireAssessmentTask。该字段的最大长度为 70 个字符。

• RESOURCE_NAME：包含要限制的对象和字段的Google Cloud 资源的完全限定名称。例如 bigquerymigration.googleapis.com/MigrationWorkflow。

• CONDITION：针对受支持的服务资源的表示法编写的 CEL 条件。此字段的长度上限为 1,000 个字符。 如需详细了解可用于针对其编写条件的资源，请参阅支持的资源。 例如 resource.tasks.all(k, resource.tasks[k].type.startsWith('Assessment'))。

• ACTION：满足 condition 时要执行的操作。 可能的值包括 ALLOW 和 DENY。

• DISPLAY_NAME：限制条件的直观易记名称。 此字段的最大长度为 200 个字符。

• DESCRIPTION：直观易懂的限制条件说明，在违反政策时显示为错误消息。 此字段的长度上限为 2,000 个字符。

如需详细了解如何创建自定义限制条件，请参阅定义自定义限制条件。

设置自定义限制条件

为新的自定义限制条件创建 YAML 文件后，您必须对其进行设置，以使其可用于组织中的组织政策。如需设置自定义限制条件，请使用 gcloud org-policies set-custom-constraint 命令：

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

将 CONSTRAINT_PATH 替换为自定义限制条件文件的完整路径。例如 /home/user/customconstraint.yaml。完成后，您的自定义限制条件会成为 Google Cloud 组织政策列表中的组织政策。如需验证自定义限制条件是否存在，请使用 gcloud org-policies list-custom-constraints 命令：

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

将 ORGANIZATION_ID 替换为您的组织资源的 ID。 如需了解详情，请参阅查看组织政策。

强制执行自定义组织政策

如需强制执行限制条件，您可以创建引用该限制条件的组织政策，并将该组织政策应用于 Google Cloud 资源。

控制台

1. 在 Google Cloud 控制台中，前往组织政策页面。

   转到组织政策

2. 在项目选择器中，选择要设置组织政策的项目。
3. 从组织政策页面上的列表中选择您的限制条件，以查看该限制条件的政策详情页面。
4. 如需为该资源配置组织政策，请点击管理政策。
5. 在修改政策页面，选择覆盖父级政策。
6. 点击添加规则。
7. 在强制执行部分中，选择开启还是关闭此组织政策的强制执行。
8. （可选）如需使组织政策成为基于某个标记的条件性政策，请点击添加条件。请注意，如果您向组织政策添加条件规则，则必须至少添加一个无条件规则，否则无法保存政策。如需了解详情，请参阅设置带有标记的组织政策。
9. 点击测试更改以模拟组织政策的效果。政策模拟不适用于旧版托管式限制。如需了解详情，请参阅使用 Policy Simulator 测试组织政策更改。
10. 若要完成并应用组织政策，请点击设置政策。该政策最长需要 15 分钟才能生效。

gcloud

如需创建包含布尔值规则的组织政策，请创建引用该限制条件的 YAML 政策文件：

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

请替换以下内容：

• PROJECT_ID：要对其实施限制条件的项目。
• CONSTRAINT_NAME：您为自定义限制条件定义的名称。例如，custom.requireAssessmentTask。

如需强制执行包含限制条件的组织政策，请运行以下命令：

    gcloud org-policies set-policy POLICY_PATH
    

将 POLICY_PATH 替换为组织政策 YAML 文件的完整路径。该政策最长需要 15 分钟才能生效。

测试自定义组织政策

以下示例会创建自定义限制条件和政策，要求特定项目中的所有新迁移工作流程的任务类型都以 Assessment 开头。如果您想指定某个项目仅用于迁移评估，请使用此自定义组织政策。

在开始之前，请准备好以下信息：

• 您的组织 ID
• 应用此自定义组织政策的项目 ID

创建限制条件

1. 将以下文件保存为 constraint-assessment-tasks.yaml：

   name: organizations/ORGANIZATION_ID/customConstraints/custom.requireAssessmentTask
   resourceTypes:
   - bigquerymigration.googleapis.com/MigrationWorkflow
   methodTypes:
   - CREATE
   condition: resource.tasks.all(k, resource.tasks[k].type.startsWith('Assessment'))
   condition: resource.tasks.all(k, resource.tasks[k].type.startsWith('Assessment'))
   actionType: ALLOW
   displayName: Only assessment tasks are allowed
   description: Workflows must not contain a task of type 'Assessment'.
   

2. 应用限制条件：

   gcloud org-policies set-custom-constraint ~/constraint-assessment-tasks.yaml
   

3. 验证限制条件存在：

   gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
   

   输出类似于以下内容：

   CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                                       DISPLAY_NAME
   custom.requireAssessmentTask            DENY         CREATE         bigquerymigration.googleapis.com/MigrationWorkflow   Only assessment tasks are allowed
   ...
   

创建政策

1. 将以下文件保存为 policy-assessment-tasks.yaml：

   name: projects/PROJECT_ID/policies/custom.requireAssessmentTask
   spec:
     rules:
     - enforce: true
   

   将 PROJECT_ID 替换为您的项目 ID。

2. 应用政策：

   gcloud org-policies set-policy ~/policy-enable-autopilot.yaml
   

3. 验证政策存在：

   gcloud org-policies list --project=PROJECT_ID
   

   输出类似于以下内容：

   CONSTRAINT                   LIST_POLICY    BOOLEAN_POLICY    ETAG
   custom.requireAssessmentTask -              SET               CNPA+sYGEOC88P8C-
   

应用政策后，请等待大约两分钟，以便 Google Cloud 开始强制执行政策。

测试政策

如需测试自定义组织政策，您可以尝试创建非评估工作流。为此，请先创建一个 workflow.json 文件，类似于以下示例：

{
  "tasks": {
      "my_task": {
        "type": "Teradata2BigQuery_Translation",
        "translation_details": {
          "target_base_uri": "gs://some_bucket/target",
          "source_target_mapping": {
            "source_spec": {
              "base_uri": "gs://some_bucket/dataset/"
            }
          },
          "source_target_mapping": {
            "source_spec": {
              "literal": {
                "relative_path": ".",
                "literal_string": "SELECT * FROM my_table;"
              }
            }
          },
          "target_return_literals": "sql/."
        }
      }  },
  "display_name": "Translation request"
}

创建 workflow.json 文件后，尝试使用以下命令创建工作流：

bq mk --migration_workflow --location=us --config_file=workflow.json --project_id="PROJECT_ID"

将 PROJECT_ID 替换为您的项目 ID。

如果您看到权限遭拒错误，则表示您的政策已成功应用。

BigQuery 支持的资源

下表列出了您可以在自定义限制条件中引用的 BigQuery资源。

资源	字段
bigquerymigration.googleapis.com/MigrationWorkflow	resource.displayName
	resource.tasks[*].assessmentTaskDetails.dataSource
	resource.tasks[*].assessmentTaskDetails.featureHandle.addShareableDataset
	resource.tasks[*].assessmentTaskDetails.inputPath
	resource.tasks[*].assessmentTaskDetails.outputDataset
	resource.tasks[*].assessmentTaskDetails.querylogsPath
	resource.tasks[*].translationConfigDetails.gcsSourcePath
	resource.tasks[*].translationConfigDetails.gcsTargetPath
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.source.attribute
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.source.database
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.source.relation
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.source.schema
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.source.type
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.target.attribute
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.target.database
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.target.relation
	resource.tasks[*].translationConfigDetails.nameMappingList.nameMap.target.schema
	resource.tasks[*].translationConfigDetails.requestSource
	resource.tasks[*].translationConfigDetails.sourceDialect.teradataDialect.mode
	resource.tasks[*].translationConfigDetails.sourceEnv.defaultDatabase
	resource.tasks[*].translationConfigDetails.sourceEnv.metadataStoreDataset
	resource.tasks[*].translationConfigDetails.sourceEnv.schemaSearchPath
	resource.tasks[*].translationConfigDetails.targetDialect.teradataDialect.mode
	resource.tasks[*].translationConfigDetails.targetTypes
	resource.tasks[*].translationDetails.sourceEnvironment.defaultDatabase
	resource.tasks[*].translationDetails.sourceEnvironment.metadataStoreDataset
	resource.tasks[*].translationDetails.sourceEnvironment.schemaSearchPath
	resource.tasks[*].translationDetails.sourceTargetMapping.sourceSpec.baseUri
	resource.tasks[*].translationDetails.sourceTargetMapping.sourceSpec.encoding
	resource.tasks[*].translationDetails.sourceTargetMapping.sourceSpec.literal.relativePath
	resource.tasks[*].translationDetails.sourceTargetMapping.targetSpec.relativePath
	resource.tasks[*].translationDetails.suggestionConfig.skipSuggestionSteps.rewriteTarget
	resource.tasks[*].translationDetails.suggestionConfig.skipSuggestionSteps.suggestionType
	resource.tasks[*].translationDetails.targetBaseUri
	resource.tasks[*].translationDetails.targetReturnLiterals
	resource.tasks[*].translationDetails.targetTypes
	resource.tasks[*].type

后续步骤

• 详细了解组织政策服务。
• 详细了解如何创建和管理组织政策。
• 查看托管式组织政策限制条件的完整列表。