使用自定义限制条件管理数据沿袭资源

您可以使用 Google Cloud 组织政策自定义限制条件来限制对数据沿袭资源执行的特定操作。虽然组织政策为各种Google Cloud 服务提供了预定义限制条件，但自定义限制条件可让您对组织政策中的特定字段进行精细控制。

Google Cloud Organization Policy 简介

Google Cloud 组织政策可让您以编程方式集中控制组织的资源。作为组织政策管理员，您可以定义组织政策，这是一组称为限制条件的限制，会应用于Google Cloud 资源层次结构中的 Google Cloud 资源及其后代。您可以在组织、文件夹或项目级强制执行组织政策。

优势

自定义组织政策可让您更精细地控制和自定义组织政策中受限的特定字段。

您可以使用自定义组织政策，根据支持的资源属性（例如流程名称、来源类型和来源）设置条件，允许或拒绝创建数据沿袭流程。

如需了解详情，请参阅预定义的限制条件。

政策继承

如果您对资源强制执行政策，默认情况下，该资源的后代会继承组织政策。例如，如果您对某个文件夹强制执行一项政策， Google Cloud 会对该文件夹中的所有项目强制执行该政策。如需详细了解此行为及其更改方式，请参阅层次结构评估规则。

价格

Organization Policy Service（包括预定义组织政策和自定义组织政策）可免费使用。

限制

• 只能对数据沿袭 Process 资源强制执行自定义限制条件。不支持其他资源，例如 Runs 和 Events。

• 新强制执行的自定义限制条件不会自动应用于现有资源。

准备工作

• 请确保您知道您的组织 ID。

• 如果您要测试引用数据沿袭资源的自定义组织政策，请创建一个新项目。在现有项目中测试这些组织政策可能会中断安全工作流程。

  1. 确保您拥有 Project Creator IAM 角色 (roles/resourcemanager.projectCreator)。了解如何授予角色。

  2. 在 Google Cloud 控制台中，前往项目选择器页面。

     转到“项目选择器”

  3. 点击 Create project。

  4. 为您的项目命名。记下生成的项目 ID。

  5. 根据需要修改其他字段。

  6. 点击创建。

所需的角色

如需获得管理组织政策所需的权限，请让您的管理员为您授予组织的 Organization Policy Administrator (roles/orgpolicy.policyAdmin) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供管理组织政策所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

管理组织政策需要以下权限：

• orgpolicy.constraints.list
• orgpolicy.customConstraints.create
• orgpolicy.customConstraints.delete
• orgpolicy.customConstraints.get
• orgpolicy.customConstraints.list
• orgpolicy.customConstraints.update
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建自定义限制条件

您可以在 YAML 文件中定义自定义限制条件，方法是指定实施组织政策的服务所支持的资源、方法、条件和操作。自定义限制条件的条件使用通用表达式语言 (CEL) 进行定义。如需详细了解如何使用 CEL 构建自定义限制条件中的条件，请参阅创建和管理自定义限制条件的 CEL 部分。

如需为自定义限制条件创建 YAML 文件，请运行以下命令：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

替换以下内容：

• ORGANIZATION_ID：您的组织 ID，例如 123456789。

• CONSTRAINT_NAME：新的自定义限制条件的名称。自定义限制条件必须以 custom. 开头，只能包含大写字母、小写字母或数字，例如 custom.denyLineageProcess。该字段的长度上限为 70 个字符，不计算前缀，例如 organizations/123456789/customConstraints/custom。

• RESOURCE_TYPE：包含要限制的对象和字段的 Data Lineage API REST 资源的名称（而非 URI）。对于数据沿袭，只有 Process 可用。

• CONDITION：针对受支持的服务资源的表示法编写的 CEL 条件。此字段的长度上限为 1,000 个字符。 如需详细了解可用于针对其编写条件的资源，请参阅支持的资源。 例如，“resource.name.contains('invalid_name')”。

• ACTION：满足 condition 时要执行的操作。可以是 ALLOW 或 DENY。

• DISPLAY_NAME：限制条件的直观易记名称。 此字段的最大长度为 200 个字符。

• DESCRIPTION：直观易懂的限制条件说明，在违反政策时显示为错误消息。 此字段的长度上限为 2,000 个字符。

如需详细了解如何创建自定义限制条件，请参阅定义自定义限制条件。

设置自定义限制条件

控制台

如需创建自定义限制条件，请执行以下操作：

1. 在 Google Cloud 控制台中，转到组织政策页面。

   转到组织政策

2. 在项目选择器中，选择要为其设置组织政策的项目。
3. 点击 自定义限制条件。
4. 在显示名称框中，为限制条件输入一个人类可读名称。此名称会在错误消息中使用，并可用于识别和调试用途。请勿在显示名称中使用个人身份信息 (PII) 或敏感数据，因为此名称可能会在出错提示中公开。此字段最多可包含 200 个字符。
5. 在限制条件 ID 框中，为新的自定义限制条件输入所需的 ID。自定义限制条件只能包含字母（包括大写和小写）或数字，例如 custom.denyLineageProcess。此字段最多可包含 70 个字符，不计算前缀 (custom.)，例如 organizations/123456789/customConstraints/custom。请勿在限制条件 ID 中包含个人身份信息或敏感数据，因为该 ID 可能会在错误消息中公开。
6. 在说明框中，输入人类可读的限制条件说明。当违反政策时，此说明将用作错误消息。请包含有关发生违规的原因以及如何解决违规问题的详细信息。请勿在说明中包含个人身份信息或敏感数据，因为该说明可能会在错误消息中公开。 此字段最多可包含 2000 个字符。
7. 在资源类型框中，选择包含要限制的对象和字段的 Google Cloud REST 资源的名称，例如 container.googleapis.com/Cluster。大多数资源类型最多支持 20 个自定义限制条件。如果您尝试创建更多自定义限制条件，操作将会失败。
8. 在强制执行方法下，选择是对 REST CREATE 方法强制执行限制条件，还是同时对 CREATE 和 UPDATE 方法强制执行限制条件。如果您对违反限制条件的资源使用 UPDATE 方法强制执行限制条件，除非更改解决了违规问题，否则组织政策会阻止对该资源的更改。

如需查看每种服务支持的方法，请在 支持自定义限制条件的服务中找到相应服务。

9. 如需定义条件，请点击 修改条件。
1. 在添加条件面板中，创建一个引用受支持服务资源的 CEL 条件，例如 resource.management.autoUpgrade == false。此字段最多可包含 1,000 个字符。如需详细了解 CEL 用法，请参阅通用表达式语言。 如需详细了解可在自定义限制条件中使用的服务资源，请参阅自定义限制条件支持的服务。
2. 点击保存。
10. 在操作下，选择在满足条件时是允许还是拒绝评估的方法。

拒绝操作意味着，如果条件计算结果为 true，则创建或更新资源的操作会被阻止。

允许操作意味着，仅当条件计算结果为 true 时，才允许执行创建或更新资源的操作。除了条件中明确列出的情况之外，其他所有情况都会被阻止。

11. 点击创建限制条件。

在每个字段中输入值后，右侧将显示此自定义限制条件的等效 YAML 配置。

gcloud

1. 如需创建自定义限制条件，请使用以下格式创建 YAML 文件：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
  - UPDATE 
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

请替换以下内容：

• ORGANIZATION_ID：您的组织 ID，例如 123456789。
• CONSTRAINT_NAME：新的自定义限制条件的名称。自定义限制条件只能包含字母（包括大写和小写）或数字，例如 custom.denyLineageProcess。此字段最多可包含 70 个字符，不计算前缀 (custom.)，例如 organizations/123456789/customConstraints/custom。请勿在限制条件 ID 中包含个人身份信息或敏感数据，因为该 ID 可能会在出错提示中泄露。
• RESOURCE_NAME：包含要限制的对象和字段的 Google Cloud资源的完全限定名称。例如 datalineage.googleapis.com/Process。 大多数资源类型最多支持 20 个自定义限制条件。如果您尝试创建更多自定义限制条件，操作将会失败。
• methodTypes：强制执行限制条件的 REST 方法。 可以是 CREATE，也可以是 CREATE 和 UPDATE。如果您对违反限制条件的资源使用 UPDATE 方法强制执行限制条件，除非更改解决了违规问题，否则组织政策会阻止对该资源的更改。

如需查看每种服务支持的方法，请在 支持自定义限制条件的服务中找到相应服务。

• CONDITION：针对受支持服务资源的表示形式编写的 CEL 条件。此字段最多可包含 1,000 个字符。例如 "resource.name.contains('invalid_name')"。

如需详细了解可针对其编写条件的资源，请参阅支持的资源。

• ACTION：满足 condition 时要执行的操作。 可能的值包括 ALLOW 和 DENY。

允许操作意味着，如果条件计算结果为 true，则允许执行创建或更新资源的操作。这也意味着，除了条件中明确列出的情况之外，其他所有情况都会被阻止。

拒绝操作意味着，如果条件计算结果为 true，则创建或更新资源的操作会被阻止。

• DISPLAY_NAME：限制条件的人类可读名称。此名称会在出错提示中使用，并可用于识别和调试用途。请勿在显示名称中使用个人身份信息或敏感数据，因为此名称可能会在出错提示中公开。此字段最多可包含 200 个字符。
• DESCRIPTION：直观易懂的限制条件说明，当违反政策时会作为错误消息显示。此字段最多可包含 2000 个字符。
2. 为新的自定义限制条件创建 YAML 文件后，您必须对其进行设置，以使其可用于组织中的组织政策。如需设置自定义限制条件，请使用 gcloud org-policies set-custom-constraint 命令：

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

将 CONSTRAINT_PATH 替换为自定义限制条件文件的完整路径。例如 /home/user/customconstraint.yaml。

此操作完成后，您的自定义限制条件将作为组织政策显示在您的 Google Cloud 组织政策列表中。

3. 如需验证自定义限制条件是否存在，请使用 gcloud org-policies list-custom-constraints 命令：

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

将 ORGANIZATION_ID 替换为您的组织资源的 ID。

如需了解详情，请参阅查看组织政策。

强制执行自定义组织政策

如需强制执行限制条件，您可以创建引用该限制条件的组织政策，并将该组织政策应用于 Google Cloud 资源。

控制台

1. 在 Google Cloud 控制台中，前往组织政策页面。

   转到组织政策

2. 在项目选择器中，选择要为其设置组织政策的项目。
3. 从组织政策页面上的列表中选择您的限制条件，以查看该限制条件的政策详情页面。
4. 如需为该资源配置组织政策，请点击管理政策。
5. 在修改政策页面，选择覆盖父级政策。
6. 点击添加规则。
7. 在强制执行部分中，选择是否强制执行此组织政策。
8. （可选）如需使组织政策成为基于某个标记的条件性政策，请点击添加条件。请注意，如果您向组织政策添加条件规则，则必须至少添加一个无条件规则，否则无法保存政策。如需了解详情，请参阅 使用标记限定组织政策的范围。
9. 点击测试更改以模拟组织政策的效果。如需了解详情，请参阅使用 Policy Simulator 测试组织政策更改。
10. 如需在试运行模式下强制执行组织政策，请点击设置试运行政策。如需了解详情，请参阅 测试组织政策。
11. 验证试运行模式下的组织政策按预期运行后，点击设置政策来设置现行政策。

gcloud

1. 如需创建包含布尔值规则的组织政策，请创建引用该限制条件的 YAML 政策文件：

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

请替换以下内容：

• PROJECT_ID：要对其强制执行您的限制条件的项目。
• CONSTRAINT_NAME：您为自定义限制条件定义的名称。例如，custom.denyLineageProcess。
2. 如需在试运行模式下强制执行组织政策，请运行以下带有 dryRunSpec 标志的命令：

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

将 POLICY_PATH 替换为组织政策 YAML 文件的完整路径。该政策最长需要 15 分钟才能生效。

3. 验证试运行模式下的组织政策按预期运行后，使用 org-policies set-policy 命令和 spec 标志设置现行政策：

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

将 POLICY_PATH 替换为组织政策 YAML 文件的完整路径。该政策最长需要 15 分钟才能生效。

测试自定义组织政策

如需测试组织政策限制条件，以限制创建包含文本 invalid_name 的数据沿袭流程，请执行以下操作：

1. 按照准备工作部分中的说明创建新项目。

2. 将以下限制条件复制到 YAML 文件中：

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   将 ORGANIZATION_ID 替换为您的Google Cloud 组织的数字 ID。

3. 设置自定义限制条件，并对您创建的项目强制执行该限制条件，以测试自定义组织政策限制条件。

4. 使用您在自定义限制条件中添加的名称创建进程。

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   替换以下内容：

   • PROJECT_ID：在其中创建流程的项目的 ID。它必须与定义限制条件的组织位于同一组织中。
   • LOCATION：创建流程的 Google Cloud 区域。

   输出如下所示：

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

数据沿袭支持的资源和操作

在创建或更新数据沿袭流程时，您可以使用以下自定义限制条件字段：

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

系统会针对以下方法检查自定义限制条件：

• CreateProcess
• UpdateProcess
• ProcessOpenLineageRunEvent

注意 ：虽然 ProcessOpenLineageRunEvent 会在创建或更新沿袭进程时检查自定义限制条件，但自定义限制条件 YAML 规范中仅支持将 CREATE 和 UPDATE 作为 methodTypes 值。

常见用例的自定义组织政策示例

下表列出了一些常见用例的自定义限制条件的语法：

如需详细了解可在自定义限制条件中使用的 CEL 宏，请参阅通用表达式语言。

使用场景	限制条件语法
禁止创建数据沿袭流程	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "True" actionType: DENY displayName: Deny creation of all data lineage processes.
禁止 BigQuery 或 Managed Service for Apache Spark 创建数据沿袭流程	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'" actionType: DENY displayName: Deny data lineage processes created by BigQuery or Managed Service for Apache Spark.
停用具有指定名称的数据沿袭流程	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE - UPDATE condition: "resource.name.contains('RESTRICTED_NAME')" actionType: DENY displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

后续步骤

• 查看Organization Policy Service 简介，以详细了解组织政策。
• 详细了解如何创建和管理组织政策。
• 查看预定义组织政策限制条件的完整列表。