Administra recursos de linaje de datos con restricciones personalizadas

Puedes usar las restricciones personalizadas de la política de la organización Google Cloud para restringir operaciones específicas en los recursos de linaje de datos. Si bien la política de la organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud , las restricciones personalizadas te permiten definir un control detallado sobre campos específicos en las políticas de tu organización.

Acerca de la Google Cloud Política de la organización

LaGoogle Cloud Política de la organización te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de restricciones llamadas limitaciones que se aplican a los recursos de Google Cloud y a sus subordinados en la jerarquía de recursos deGoogle Cloud . Puedes aplicar políticas de la organización a nivel de la organización, la carpeta o el proyecto.

Beneficios

Las políticas de la organización personalizadas proporcionan un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización.

Puedes usar una política de organización personalizada para permitir o denegar la creación de procesos de linaje de datos con condiciones basadas en atributos de recursos compatibles, como el nombre del proceso, el tipo de fuente y el origen.

Para obtener más información, consulta las restricciones predefinidas.

Herencia de políticas

De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos en ella. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.

Precios

El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.

Limitaciones

  • Las restricciones personalizadas solo se pueden aplicar a los recursos Process de linaje de datos. No se admiten otros recursos, como Runs y Events.

  • Las restricciones personalizadas recién aplicadas no se aplican de forma automática a los recursos existentes.

Antes de comenzar

  • Asegúrate de conocer tu ID de la organización.

  • Si deseas probar políticas de la organización personalizadas que hagan referencia a recursos de linaje de datos, crea un proyecto nuevo. Probar estas políticas de la organización en un proyecto existente podría interrumpir los flujos de trabajo de seguridad.

    1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

    2. In the Google Cloud console, go to the project selector page.

      Go to project selector

    3. Click Create project.

    4. Name your project. Make a note of your generated project ID.

    5. Edit the other fields as needed.

    6. Click Create.

Roles obligatorios

Para obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue el rol de IAM Administrador de políticas de la organización (roles/orgpolicy.policyAdmin) en la organización. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar las políticas de la organización:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Crea una restricción personalizada

Una restricción personalizada se define en un archivo YAML con los recursos, los métodos, las condiciones y las acciones que son compatibles con el servicio en el que aplicas la política de la organización. Las condiciones para tus restricciones personalizadas se definen con Common Expression Language (CEL). Si deseas obtener más información para compilar condiciones en restricciones personalizadas mediante CEL, consulta la sección CEL de Crea y administra restricciones personalizadas.

Para crear un archivo YAML para una restricción personalizada, haz lo siguiente:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Reemplaza lo siguiente:

  • ORGANIZATION_ID: Es el ID de la organización, como 123456789.

  • CONSTRAINT_NAME: Es el nombre que deseas usar para tu nueva restricción personalizada. Una restricción personalizada debe comenzar con custom. y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.denyLineageProcess. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo, por ejemplo, organizations/123456789/customConstraints/custom.

  • RESOURCE_TYPE: el nombre (no el URI) del recurso REST de la API de Data Lineage que contiene el objeto y el campo que deseas restringir. Para el linaje de datos, solo está disponible Process.

  • CONDITION: Es una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es de 1,000 caracteres. Consulta Recursos admitidos y obtén más información sobre los recursos disponibles para escribir condiciones. Por ejemplo: "resource.name.contains('invalid_name')".

  • ACTION: la acción que se realiza si se cumple condition. Puede ser ALLOW o DENY.

  • DISPLAY_NAME: un nombre descriptivo para la restricción. La longitud máxima de este campo es 200 caracteres.

  • DESCRIPTION: Es una descripción fácil de la restricción que se mostrará como un mensaje de error cuando se infringe la política. La longitud máxima de este campo es de 2,000 caracteres.

Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.

Configura una restricción personalizada

Console

Para crear una restricción personalizada, haz lo siguiente:

  1. En la consola de Google Cloud , accede a la página Políticas de la organización.

    Ir a Políticas de la organización

  2. En el selector de proyectos, elige uno cuya política de la organización quieras configurar.
  3. Haz clic en Restricción personalizada.
  4. En el cuadro Nombre visible, ingresa un nombre legible por humanos para la restricción. Este nombre se usa en los mensajes de error y se puede usar para la identificación y depuración. No uses información de identificación personal ni datos sensibles en los nombres visibles, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 200 caracteres.
  5. En el cuadro ID de restricción, ingresa el nombre que quieras asignar a la nueva restricción personalizada. Las restricciones personalizadas solo pueden contener letras (mayúsculas y minúsculas) o números, por ejemplo, custom.disableGkeAutoUpgrade. Este campo puede contener hasta 70 caracteres, sin contar el prefijo (custom.), por ejemplo, organizations/123456789/customConstraints/custom. No incluyas IIP ni datos sensibles en el ID de la restricción, ya que podrían exponerse en mensajes de error.
  6. En el cuadro Descripción, ingresa una descripción legible por humanos de la restricción. Esta se usa como mensaje de error cuando se infringe la política. Incluye detalles sobre el motivo por el cual se produjo el incumplimiento de la política y cómo resolverlo. No incluyas IIP ni datos sensibles en la descripción, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 2,000 caracteres.
  7. En el cuadro Tipo de recurso, selecciona el nombre del recurso de REST Google Cloud que contiene el objeto y el campo que quieres restringir, por ejemplo, container.googleapis.com/NodePool. La mayoría de los tipos de recursos admiten hasta 20 restricciones personalizadas. Si intentas crear más, la operación fallará.
  8. En Método de aplicación, selecciona si quieres aplicar la restricción en un método de REST CREATE o en los métodos CREATE y UPDATE. Si aplicas la restricción con el método UPDATE en un recurso que la incumple, la política de la organización bloqueará los cambios en ese recurso, a menos que el cambio resuelva el incumplimiento.

    9. No todos los servicios de Google Cloud admiten ambos métodos. Para ver los métodos compatibles con cada servicio, busca el servicio en Servicios compatibles.

  9. Para definir una condición, haz clic en Editar condición.
    1. En el panel Agregar condición, crea una condición de CEL que haga referencia a un recurso de servicio compatible, por ejemplo, resource.management.autoUpgrade == false. Este campo puede contener hasta 1,000 caracteres. Para obtener detalles sobre el uso de CEL, consulta Common Expression Language. Para obtener más información sobre los recursos de servicio que puedes usar en las restricciones personalizadas, consulta Servicios compatibles con restricciones personalizadas.
    2. Haz clic en Guardar.
  10. En Acción, selecciona si quieres permitir o rechazar el método evaluado en caso de cumplirse la condición.

    11. La acción de rechazo implica que la operación para crear o actualizar el recurso se bloquea si la condición se evalúa como verdadera.

    La acción de permitir implica que la operación para crear o actualizar el recurso solo se permite si la condición se evalúa como verdadera. El resto de casos se bloquean, excepto los que se indican explícitamente en la condición.

  11. Haz clic en Crear restricción.

    12. Cuando ingreses un valor en cada campo, aparecerá a la derecha la configuración de YAML equivalente para esta restricción personalizada.

gcloud

  1. Para crear una restricción personalizada, crea un archivo YAML con el formato siguiente: 
    2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
    - UPDATE     
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

    Reemplaza los valores que se indican a continuación:

    • ORGANIZATION_ID: Es el ID de la organización, como 123456789.
    • CONSTRAINT_NAME: Es el nombre que quieres usar para la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (mayúsculas y minúsculas) o números, por ejemplo, custom.denyLineageProcess. Este campo puede contener hasta 70 caracteres.
    • RESOURCE_NAME: Es el nombre completamente calificado del recurso de Google Cloudque contiene el objeto y el campo que quieres restringir. Por ejemplo, datalineage.googleapis.com/Process.
    • CONDITION: Es una condición de CEL que se escribe con base en una representación de un recurso de servicio compatible. Este campo puede contener hasta 1,000 caracteres. Por ejemplo, "resource.name.contains('invalid_name')".

      • Para obtener más información sobre los recursos disponibles para escribir condiciones, consulta Recursos admitidos.

    • ACTION: Es la acción que se realiza si se cumple la condition. Los valores posibles son ALLOW y DENY.

      • La acción de permitir implica que, si la condición se evalúa como verdadera, se permite la operación para crear o actualizar el recurso. Esto también quiere decir que se bloquea el resto de casos, excepto el que se indica de forma explícita en la condición.

      La acción de rechazo implica que, si la condición se evalúa como verdadera, se bloquea la operación para crear o actualizar el recurso.

    • DISPLAY_NAME: Es un nombre simple para la restricción. Este campo puede contener hasta 200 caracteres.
    • DESCRIPTION: Es una descripción simple de la restricción que se mostrará como un mensaje de error cuando se infrinja la política. Este campo puede contener hasta 2,000 caracteres.
  2. Después de crear el archivo YAML de una nueva restricción personalizada, debes configurarla con el objetivo de que esté disponible para las políticas de la organización de tu empresa. Para configurar una restricción personalizada, usa el el comando gcloud org-policies set-custom-constraint: 
    3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Reemplaza CONSTRAINT_PATH por la ruta de acceso completa al archivo de la restricción personalizada. Por ejemplo, /home/user/customconstraint.yaml.

    Una vez que se complete esta operación, tus restricciones personalizadas estarán disponibles en la lista de políticas de la organización de Google Cloud .

  3. Para verificar que la restricción personalizada exista, usa el comando gcloud org-policies list-custom-constraints: 
    4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Reemplaza ORGANIZATION_ID por el ID del recurso de tu organización.

    Para obtener más información, consulta Visualiza las políticas de la organización .

Aplica una política de la organización personalizada

Puedes aplicar una restricción cuando creas una política de la organización que haga referencia a ella y, luego, aplicas esa política a un recurso de Google Cloud .

Consola

  1. En la consola de Google Cloud , ve a la página Políticas de la organización.

    Ir a Políticas de la organización

  2. En el selector de proyectos, elige el proyecto cuya política de la organización quieres configurar.
  3. En la lista de la página Políticas de la organización, selecciona una restricción para ver la página Detalles de la política de esa restricción.
  4. Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
  5. En la página Editar política, selecciona Anular la política del superior.
  6. Haz clic en Agregar una regla.
  7. En la sección Aplicación, selecciona si quieres que se aplique o no esta política de la organización.
  8. Opcional: Para que la política de la organización sea condicional en una etiqueta, haz clic en Agregar condición. Ten en cuenta que, si agregas una regla condicional a una política de la organización, debes agregar una regla sin condición como mínimo; de lo contrario, la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
  9. Haz clic en Probar cambios para simular el efecto de la política de la organización. Para obtener más información, consulta Prueba los cambios en políticas de la organización con Policy Simulator.
  10. Para aplicar la política de la organización en modo de ejecución de prueba, haz clic en Establecer política de ejecución de prueba. Para obtener más información, consulta Crea una política de la organización en modo de ejecución de prueba.
  11. Luego de verificar que la política de la organización en el modo de ejecución de prueba funciona según lo previsto, haz clic en Configurar política para configurar la política activa.

gcloud

  1. Para crear una política de la organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción: 
    2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

    Reemplaza los valores que se indican a continuación:

    • PROJECT_ID: Es el proyecto en el que quieres aplicar tu restricción.
    • CONSTRAINT_NAME: Es el nombre que definiste para tu restricción personalizada. Por ejemplo: custom.denyLineageProcess.
  2. Para aplicar la política de la organización en el modo de ejecución de prueba, ejecuta el comando siguiente con la marca dryRunSpec: 
    3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

    Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.

  3. Luego de verificar que la política de la organización en modo de ejecución de prueba funciona según lo previsto, configura la política activa con el comando org-policies set-policy y la marca spec: 
    4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

    Reemplaza POLICY_PATH por la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.

Prueba la política de la organización personalizada

En esta sección, se describe cómo probar una restricción de política de la organización que impide que los usuarios creen un proceso de linaje de datos con un nombre que contenga el texto invalid_name.

Si deseas probar esta restricción personalizada, haz lo siguiente:

  1. Crea un proyecto nuevo, como se describe en la sección Antes de comenzar.

  2. Copia la siguiente restricción en un archivo YAML:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
  resourceTypes: datalineage.googleapis.com/Process
  methodTypes:
    - CREATE
    - UPDATE
  condition:
    "resource.name.contains('invalid_name')"
  actionType: DENY
  displayName: Do not allow data lineage process with 'invalid_name' to be created.

    Reemplaza ORGANIZATION_ID por el ID numérico de tu organizaciónGoogle Cloud .

  3. Configura la restricción personalizada y aplica la restricción de la política de la organización personalizada para el proyecto que creaste para probarla.

  4. Crea un proceso con el nombre que incluiste en la restricción personalizada.

    curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
"https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
-d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

    Reemplaza lo siguiente:

    • PROJECT_ID: ID del proyecto en el que se crea el proceso. Debe estar en la misma organización en la que se define la restricción.
    • LOCATION: Google Cloud región en la que se crea el proceso.

    Esta es la salida:

    Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]

Operaciones y recursos compatibles con el linaje de datos

Los siguientes campos de restricción personalizada están disponibles para que los uses cuando crees o actualices un proceso de linaje de datos:

  • resource.name
  • resource.displayName
  • resource.origin.name
  • resource.origin.sourceType

Las restricciones personalizadas se verifican para los siguientes métodos:

Ejemplos de políticas de la organización personalizadas para casos de uso comunes

En la siguiente tabla, se proporciona la sintaxis de algunas restricciones personalizadas para casos de uso comunes:

Para obtener más información sobre las macros de CEL disponibles para usar en condiciones de restricciones personalizadas, consulta Common Expression Language.

Caso de uso Sintaxis de la restricción
Inhabilita la creación de procesos de linaje de datos 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.
Inhabilita la creación de procesos de linaje de datos por parte de BigQuery o Dataproc 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.
Inhabilita los procesos de linaje de datos con el nombre especificado. 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

¿Qué sigue?