Gestionar recursos de linaje de datos con restricciones personalizadas

Puedes usar restricciones personalizadas de la política de la organización para restringir operaciones específicas en recursos de linaje de datos. Google Cloud Aunque la política de la organización proporciona restricciones predefinidas para varios servicios, las restricciones personalizadas te permiten definir un control granular sobre campos específicos de tus políticas de la organización.Google Cloud

Acerca de la Google Cloud política de organización

Google Cloud La política de organización te permite controlar los recursos de tu organización de forma centralizada y programática. Como administrador de la política de organización, puedes definir una política de organización, que es un conjunto de restricciones llamadas restricciones que se aplican a los recursos y a los descendientes de esos recursos en la Google Cloud jerarquía de recursos. Google Cloud Puedes aplicar políticas de organización a nivel de organización, carpeta o proyecto.

Ventajas

Las políticas de organización personalizadas ofrecen un control más granular y personalizable sobre los campos específicos que están restringidos en tus políticas de organización.

Puedes usar una política de organización personalizada para permitir o denegar la creación de procesos de linaje de datos con condiciones basadas en atributos de recursos admitidos, como el nombre del proceso, el tipo de origen y el origen.

Para obtener más información, consulta las restricciones predefinidas.

Herencia de políticas

De forma predeterminada, las políticas de organización se heredan de los descendientes de los recursos en los que se aplican. Por ejemplo, si aplicas una política a una carpeta, Google Cloud se aplicará a todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta las reglas de evaluación de la jerarquía.

Precios

El servicio Organization Policy, incluidas las políticas de organización predefinidas y personalizadas, se ofrece sin coste económico.

Limitaciones

  • Las restricciones personalizadas solo se pueden aplicar a los recursos de Process de linaje de datos. No se admiten otros recursos, como Runs y Events.

  • Las restricciones personalizadas que se aplican recientemente no se aplican a los recursos que ya existen.

Antes de empezar

  • Asegúrate de que conoces el ID de tu organización.

  • Si quieres probar políticas de organización personalizadas que hagan referencia a recursos de linaje de datos, crea un proyecto. Probar estas políticas de la organización en un proyecto ya creado podría interrumpir los flujos de trabajo de seguridad.

    1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

    2. In the Google Cloud console, go to the project selector page.

      Go to project selector

    3. Click Create project.

    4. Name your project. Make a note of your generated project ID.

    5. Edit the other fields as needed.

    6. Click Create.

Roles obligatorios

Para obtener los permisos que necesitas para gestionar las políticas de la organización, pide a tu administrador que te conceda el rol de gestión de identidades y accesos Administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en la organización. Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para gestionar las políticas de la organización. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:

Permisos obligatorios

Para gestionar las políticas de la organización, se necesitan los siguientes permisos:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.

Crear una restricción personalizada

Una restricción personalizada se define en un archivo YAML mediante los recursos, los métodos, las condiciones y las acciones que admite el servicio en el que vas a aplicar la política de organización. Las condiciones de tus restricciones personalizadas se definen mediante el lenguaje de expresión común (CEL). Para obtener más información sobre cómo crear condiciones en restricciones personalizadas con CEL, consulta la sección sobre CEL del artículo Crear y gestionar restricciones personalizadas.

Para crear un archivo YAML de una restricción personalizada, sigue estos pasos:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Haz los cambios siguientes:

  • ORGANIZATION_ID: el ID de tu organización, como 123456789.

  • CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar por custom. y solo puede incluir letras mayúsculas, letras minúsculas o números (por ejemplo, custom.denyLineageProcess). La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo (por ejemplo, organizations/123456789/customConstraints/custom).

  • RESOURCE_TYPE: nombre (no URI) del recurso REST de la API Data Lineage que contiene el objeto y el campo que quieres restringir. Solo se puede usar Process para el linaje de datos.

  • CONDITION: una condición CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Consulta los recursos admitidos para obtener más información sobre los recursos con los que puedes escribir condiciones. Por ejemplo, "resource.name.contains('invalid_name')".

  • ACTION: la acción que se debe llevar a cabo si se cumple la condición condition. Puede ser ALLOW o DENY.

  • DISPLAY_NAME: nombre descriptivo de la restricción. Este campo tiene una longitud máxima de 200 caracteres.

  • DESCRIPTION: descripción de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Este campo tiene una longitud máxima de 2000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Definir restricciones personalizadas.

Configurar una restricción personalizada

Consola

Para crear una restricción personalizada, siga estos pasos:

  1. En la Google Cloud consola, ve a la página Políticas de la organización.

    Ir a Políticas de organización

  2. En el selector de proyectos, selecciona el proyecto en el que quieras definir la política de la organización.
  3. Haz clic en Restricción personalizada.
  4. En el cuadro Nombre visible, introduce un nombre legible para la restricción. Este nombre se usa en los mensajes de error y se puede usar para la identificación y la depuración. No utilices información personal identificable ni datos sensibles en los nombres visibles, ya que estos nombres podrían mostrarse en mensajes de error. Este campo puede contener hasta 200 caracteres.
  5. En el cuadro ID de restricción, escribe el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (mayúsculas y minúsculas) o números, como custom.disableGkeAutoUpgrade. Este campo puede contener hasta 70 caracteres, sin contar el prefijo (custom.). Por ejemplo, organizations/123456789/customConstraints/custom. No incluyas IPI ni datos sensibles en el ID de la restricción, ya que podría exponerse en mensajes de error.
  6. En el cuadro Description, introduce una descripción de la restricción que sea legible por humanos. Esta descripción se usa como mensaje de error cuando se infringe la política. Incluye detalles sobre por qué se ha producido la infracción de las políticas y cómo resolverla. No incluyas IPI ni datos sensibles en la descripción, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 2000 caracteres.
  7. En el cuadro Tipo de recurso, seleccione el nombre del Google Cloud recurso REST que contenga el objeto y el campo que quiera restringir. Por ejemplo, container.googleapis.com/NodePool. La mayoría de los tipos de recursos admiten hasta 20 restricciones personalizadas. Si intentas crear más restricciones personalizadas, la operación fallará.
  8. En Método de aplicación, selecciona si quieres aplicar la restricción al método CREATE de REST o a los métodos CREATE y UPDATE. Si aplicas la restricción con el método UPDATE en un recurso que infringe la restricción, la política de la organización bloqueará los cambios en ese recurso, a menos que el cambio resuelva la infracción.

    9. No todos los Google Cloud servicios admiten ambos métodos. Para ver los métodos admitidos de cada servicio, busca el servicio en Servicios admitidos.

  9. Para definir una condición, haz clic en Editar condición.
    1. En el panel Añadir condición, crea una condición de CEL que haga referencia a un recurso de servicio compatible, por ejemplo, resource.management.autoUpgrade == false. Este campo puede contener hasta 1000 caracteres. Para obtener más información sobre el uso de CEL, consulta el artículo Lenguaje de expresión común. Para obtener más información sobre los recursos de servicio que puede usar en sus restricciones personalizadas, consulte Servicios admitidos en restricciones personalizadas.
    2. Haz clic en Guardar.
  10. En Acción, seleccione si quiere permitir o denegar el método evaluado si se cumple la condición.

    11. La acción de denegación significa que la operación para crear o actualizar el recurso se bloquea si la condición se evalúa como verdadera.

    La acción de permitir significa que la operación para crear o actualizar el recurso solo se permite si la condición se evalúa como verdadera. Se bloquean todos los demás casos, excepto los que se incluyan explícitamente en la condición.

  11. Haz clic en Crear restricción.

    12. Cuando haya introducido un valor en cada campo, aparecerá a la derecha la configuración YAML equivalente de esta restricción personalizada.

gcloud

  1. Para crear una restricción personalizada, crea un archivo YAML con el siguiente formato: 
    2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
    - UPDATE     
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

    Haz los cambios siguientes:

    • ORGANIZATION_ID: el ID de tu organización, como 123456789.
    • CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (incluidas mayúsculas y minúsculas) o números. Por ejemplo, custom.denyLineageProcess. Este campo puede contener hasta 70 caracteres.
    • RESOURCE_NAME: nombre completo del recurso Google Cloud que contiene el objeto y el campo que quieres restringir. Por ejemplo, datalineage.googleapis.com/Process.
    • CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio admitido. Este campo puede contener hasta 1000 caracteres. Por ejemplo, "resource.name.contains('invalid_name')".

      • Para obtener más información sobre los recursos disponibles para escribir condiciones, consulta Recursos admitidos.

    • ACTION: la acción que se debe llevar a cabo si se cumple la condition. Los valores posibles son ALLOW y DENY.

      • La acción de permitir significa que, si la condición se evalúa como verdadera, se permite la operación para crear o actualizar el recurso. Esto también significa que se bloquearán todos los demás casos, excepto el que se haya incluido explícitamente en la condición.

      La acción de denegación significa que, si la condición se evalúa como verdadera, se bloquea la operación para crear o actualizar el recurso.

    • DISPLAY_NAME: nombre descriptivo de la restricción. Este campo puede contener hasta 200 caracteres.
    • DESCRIPTION: descripción de la restricción que se puede leer fácilmente y que se muestra como mensaje de error cuando se infringe la política. Este campo puede contener hasta 2000 caracteres.
  2. Una vez que hayas creado el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté disponible en las políticas de organización de tu organización. Para configurar una restricción personalizada, usa el comando gcloud org-policies set-custom-constraint: 
    3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Sustituye CONSTRAINT_PATH por la ruta completa del archivo de restricción personalizada. Por ejemplo, /home/user/customconstraint.yaml.

    Una vez completada esta operación, las restricciones personalizadas estarán disponibles como políticas de organización en la lista de Google Cloud políticas de organización.

  3. Para verificar que la restricción personalizada existe, usa el comando gcloud org-policies list-custom-constraints: 
    4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Sustituye ORGANIZATION_ID por el ID del recurso de tu organización.

    Para obtener más información, consulta Ver las políticas de una organización.

Aplicar una política de organización personalizada

Para aplicar una restricción, crea una política de organización que haga referencia a ella y, a continuación, aplica esa política de organización a un Google Cloud recurso.

Consola

  1. En la Google Cloud consola, ve a la página Políticas de la organización.

    Ir a Políticas de organización

  2. En el selector de proyectos, selecciona el proyecto en el que quieras definir la política de organización.
  3. En la lista de la página Políticas de organización, selecciona la restricción para ver la página Detalles de la política correspondiente.
  4. Para configurar la política de la organización de este recurso, haz clic en Gestionar política.
  5. En la página Editar política, selecciona Anular política del recurso superior.
  6. Haz clic en Añadir regla.
  7. En la sección Aplicación, selecciona si esta política de la organización se aplica o no.
  8. Opcional: Para que la política de la organización dependa de una etiqueta, haz clic en Añadir condición. Ten en cuenta que, si añades una regla condicional a una política de organización, debes añadir al menos una regla incondicional o la política no se podrá guardar. Para obtener más información, consulta el artículo Configurar una política de organización con etiquetas.
  9. Haz clic en Probar cambios para simular el efecto de la política de la organización. Para obtener más información, consulta Probar los cambios en las políticas de la organización con el simulador de políticas.
  10. Para aplicar la política de la organización en modo de prueba de funcionamiento, haz clic en Definir política de prueba de funcionamiento. Para obtener más información, consulta Crear una política de la organización en modo de prueba.
  11. Una vez que hayas verificado que la política de la organización en modo de prueba funciona correctamente, define la política activa haciendo clic en Definir política.

gcloud

  1. Para crear una política de organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción: 
    2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

    Haz los cambios siguientes:

    • PROJECT_ID: el proyecto en el que quieras aplicar la restricción.
    • CONSTRAINT_NAME: el nombre que has definido para tu restricción personalizada. Por ejemplo, custom.denyLineageProcess.
  2. Para aplicar la política de la organización en el modo de prueba, ejecuta el siguiente comando con la marca dryRunSpec: 
    3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

    Sustituye POLICY_PATH por la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.

  3. Una vez que haya verificado que la política de la organización en modo de prueba funciona correctamente, defina la política activa con el comando org-policies set-policy y la marca spec: 
    4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

    Sustituye POLICY_PATH por la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.

Probar la política de organización personalizada

En esta sección se describe cómo probar una restricción de política de la organización que impide a los usuarios crear un proceso de linaje de datos con un nombre que contenga el texto invalid_name.

Si quieres probar esta restricción personalizada, haz lo siguiente:

  1. Crea un proyecto tal como se describe en la sección Antes de empezar.

  2. Copia la siguiente restricción en un archivo YAML:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
  resourceTypes: datalineage.googleapis.com/Process
  methodTypes:
    - CREATE
    - UPDATE
  condition:
    "resource.name.contains('invalid_name')"
  actionType: DENY
  displayName: Do not allow data lineage process with 'invalid_name' to be created.

    Sustituye ORGANIZATION_ID por el ID numérico de tu Google Cloud organización.

  3. Configura la restricción personalizada y aplícala al proyecto que has creado para probar la restricción de la política de organización personalizada.

  4. Crea un proceso con el nombre que has incluido en la restricción personalizada.

    curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
"https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
-d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

    Haz los cambios siguientes:

    • PROJECT_ID: ID del proyecto en el que se crea el proceso. Debe pertenecer a la misma organización en la que se define la restricción.
    • LOCATION: Google Cloud región en la que se crea el proceso.

    El resultado es el siguiente:

    Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]

Recursos y operaciones compatibles con el linaje de datos

Puede usar los siguientes campos de restricción personalizada al crear o actualizar un proceso de linaje de datos:

  • resource.name
  • resource.displayName
  • resource.origin.name
  • resource.origin.sourceType

Las restricciones personalizadas se comprueban en los siguientes métodos:

Ejemplos de políticas de organización personalizadas para casos prácticos habituales

En la siguiente tabla se muestra la sintaxis de algunas restricciones personalizadas para casos prácticos habituales:

Para obtener más información sobre las macros de CEL que se pueden usar en las condiciones de las restricciones personalizadas, consulta Lenguaje de expresión común.

Caso práctico Sintaxis de las restricciones
Inhabilitar la creación de procesos de linaje de datos 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.
Inhabilitar la creación de procesos de linaje de datos por parte de BigQuery o Dataproc 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.
Inhabilita los procesos de linaje de datos con el nombre especificado. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

Siguientes pasos