Gestire le risorse della cronologia dei dati utilizzando vincoli personalizzati

Puoi utilizzare i vincoli personalizzati del servizio Policy dell'organizzazione Google Cloud per limitare operazioni specifiche sulle risorse di data lineage. Sebbene la policy dell'organizzazione fornisca vincoli predefiniti per vari serviziGoogle Cloud , i vincoli personalizzati ti consentono di definire un controllo granulare su campi specifici nelle policy dell'organizzazione.

Informazioni sui Google Cloud criteri dell'organizzazione

La policy dell'organizzazioneGoogle Cloud offre un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore della policy dell'organizzazione, puoi definire una policy dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorse Google Cloud e ai discendenti di queste risorse nella gerarchia delle risorseGoogle Cloud . Puoi applicare le policy dell'organizzazione a livello di organizzazione, cartella o progetto.

Vantaggi

Le policy dell'organizzazione personalizzate forniscono un controllo più granulare e personalizzabile sui campi specifici limitati nelle policy dell'organizzazione.

Puoi utilizzare una policy dell'organizzazione personalizzata per consentire o negare la creazione di processi di lineage dei dati con condizioni basate su attributi delle risorse supportati, come nome del processo, tipo di origine e origine.

Per saperne di più, consulta i vincoli predefiniti.

Ereditarietà delle policy

Per impostazione predefinita, le policy dell'organizzazione vengono ereditate dai discendenti delle risorse su cui applichi la policy. Ad esempio, se applichi una policy a una cartella, Google Cloud applica la policy a tutti i progetti contenuti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio Policy dell'organizzazione, incluse le policy predefinite e personalizzate, viene fornito senza costi aggiuntivi.

Limitazioni

  • I vincoli personalizzati possono essere applicati solo alle risorse di derivazione dei dati Process. Altre risorse, come Runs e Events, non sono supportate.

  • I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

  • Assicurati di conoscere il tuo ID organizzazione.

  • Se vuoi testare criteri dell'organizzazione personalizzati che fanno riferimento a risorse di data lineage, crea un nuovo progetto. Il test di queste norme dell'organizzazione in un progetto esistente potrebbe interrompere i flussi di lavoro di sicurezza.

    1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

    2. In the Google Cloud console, go to the project selector page.

      Go to project selector

    3. Click Create project.

    4. Name your project. Make a note of your generated project ID.

    5. Edit the other fields as needed.

    6. Click Create.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Organization Policy Administrator (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire le policy dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un vincolo personalizzato

Un vincolo personalizzato è definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportate dal servizio a cui stai applicando la policy dell'organizzazione. Le condizioni per i vincoli personalizzati vengono definite utilizzando il Common Expression Language (CEL). Per saperne di più su come creare condizioni nei vincoli personalizzati utilizzando il CEL, consulta la sezione relativa al CEL di Creazione e gestione di vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

  • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

  • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.denyLineageProcess. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio organizations/123456789/customConstraints/custom.

  • RESOURCE_TYPE: il nome (non l'URI) della risorsa REST dell'API Data Lineage contenente l'oggetto e il campo che vuoi limitare. Per la lineage dei dati è disponibile solo Process.

  • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per saperne di più sulle risorse disponibili in base a cui scrivere condizioni, consulta Risorse supportate. Ad esempio "resource.name.contains('invalid_name')".

  • ACTION: l'azione da eseguire se condition è soddisfatta. Può essere ALLOW o DENY.

  • DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo ha una lunghezza massima di 200 caratteri.

  • DESCRIPTION: una descrizione chiara del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

Configura un vincolo personalizzato

Console

Per creare un vincolo personalizzato:

  1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

    Vai a Policy dell'organizzazione

  2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare la policy dell'organizzazione.
  3. Fai clic su Vincolo personalizzato.
  4. Nella casella Nome visualizzato, inserisci un nome leggibile per il vincolo. Questo nome viene utilizzato nei messaggi di errore e può essere impiegato per l'identificazione e il debug. Non utilizzare PII o dati sensibili nei nomi visualizzati perché potrebbero essere esposti nei messaggi di errore. Questo campo può contenere fino a 200 caratteri.
  5. Nella casella ID vincolo, inserisci il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato può contenere solo lettere (maiuscole e minuscole) o numeri, ad esempio custom.disableGkeAutoUpgrade. Questo campo può contenere fino a 70 caratteri, senza contare il prefisso (custom.), ad esempio organizations/123456789/customConstraints/custom. Non includere PII o dati sensibili nell'ID vincolo perché potrebbero essere esposti nei messaggi di errore.
  6. Nella casella Descrizione, inserisci una descrizione leggibile del vincolo. Questa descrizione viene utilizzata come messaggio di errore in caso di violazione della policy. Includi dettagli sul motivo della violazione della policy e su come risolverla. Non includere PII o dati sensibili nella descrizione perché potrebbero essere esposti nei messaggi di errore. Questo campo può contenere fino a 2000 caratteri.
  7. Nella casella Tipo di risorsa, seleziona il nome della risorsa REST Google Cloud contenente l'oggetto e il campo che vuoi limitare, ad esempio container.googleapis.com/NodePool. La maggior parte dei tipi di risorse supporta fino a 20 vincoli personalizzati. Se tenti di creare altri vincoli personalizzati, l'operazione non riesce.
  8. In Metodo di applicazione forzata, seleziona se applicare il vincolo a un metodo REST CREATE o a entrambi i metodi CREATE e UPDATE. Se applichi il vincolo con il metodo UPDATE a una risorsa che viola il vincolo, le modifiche a quella risorsa vengono bloccate dalla policy dell'organizzazione, a meno che la modifica non risolva la violazione.

    9. Non tutti i servizi Google Cloud supportano entrambi i metodi. Per visualizzare i metodi supportati per ogni servizio, individualo in Servizi supportati.

  9. Per definire una condizione, fai clic su Modifica condizione.
    1. Nel riquadro Aggiungi condizione, crea una condizione CEL che fa riferimento a una risorsa di servizio supportata, ad esempio resource.management.autoUpgrade == false. Questo campo può contenere fino a 1000 caratteri. Per informazioni dettagliate sull'utilizzo del CEL, consulta Common Expression Language. Per saperne di più sulle risorse di servizio che puoi utilizzare nei vincoli personalizzati, consulta Servizi supportati dai vincoli personalizzati.
    2. Fai clic su Salva.
  10. In Azione, seleziona se consentire o negare il metodo valutato se la condizione viene soddisfatta.

    11. L'azione per negare fa sì che l'operazione di creazione o aggiornamento della risorsa viene bloccata se la condizione restituisce il valore true.

    L'azione per consentire fa sì che l'operazione di creazione o aggiornamento della risorsa è consentita solo se la condizione restituisce il valore true. Tutti gli altri casi, tranne quelli elencati esplicitamente nella condizione, vengono bloccati.

  11. Fai clic su Crea vincolo.

    12. Dopo aver inserito un valore in ogni campo, a destra viene visualizzata la configurazione YAML equivalente per questo vincolo personalizzato.

gcloud

  1. Per creare un vincolo personalizzato, crea un file YAML utilizzando il seguente formato: 
    2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
    - UPDATE     
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

    Sostituisci quanto segue:

    • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.
    • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato può contenere solo lettere (maiuscole e minuscole) o numeri, ad esempio custom.denyLineageProcess. Questo campo può contenere fino a 70 caratteri.
    • RESOURCE_NAME: il nome completo della risorsa Google Cloudcontenente l'oggetto e il campo che vuoi limitare. Ad esempio, datalineage.googleapis.com/Process.
    • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo può contenere fino a 1000 caratteri. Ad esempio, "resource.name.contains('invalid_name')".

      • Per saperne di più sulle risorse disponibili in base alle quali scrivere condizioni, consulta Risorse supportate.

    • ACTION: l'azione da eseguire se condition è soddisfatta. I valori possibili sono ALLOW e DENY.

      • L'azione ALLOW (Consenti) indica che, se la condizione restituisce il valore true, l'operazione di creazione o aggiornamento della risorsa è consentita. Ciò significa anche che tutti gli altri casi, tranne quello elencato esplicitamente nella condizione, sono bloccati.

      L'azione DENY (Nega) indica che, se la condizione restituisce il valore true, l'operazione di creazione o aggiornamento della risorsa viene bloccata.

    • DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo può contenere fino a 200 caratteri.
    • DESCRIPTION: una descrizione chiara del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo può contenere fino a 2000 caratteri.
  2. Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per le policy dell'organizzazione. Per impostare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint: 
    3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Sostituisci CONSTRAINT_PATH con il percorso completo del file del vincolo personalizzato. Ad esempio, /home/user/customconstraint.yaml.

    Al termine di questa operazione, i vincoli personalizzati sono disponibili come policy dell'organizzazione nel tuo elenco di policy dell'organizzazione Google Cloud .

  3. Per verificare che il vincolo personalizzato esista, utilizza il comando gcloud org-policies list-custom-constraints: 
    4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Sostituisci ORGANIZATION_ID con l'ID della risorsa della tua organizzazione.

    Per saperne di più, consulta Visualizzazione delle policy dell'organizzazione.

Forza l'applicazione di una policy dell'organizzazione personalizzata

Puoi applicare un vincolo creando una policy dell'organizzazione che lo richiami e poi applicando questa policy dell'organizzazione a una risorsa Google Cloud .

Console

  1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

    Vai a Policy dell'organizzazione

  2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare la policy dell'organizzazione.
  3. Nell'elenco della pagina Policy dell'organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli policy relativa al vincolo in questione.
  4. Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
  5. Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
  6. Fai clic su Aggiungi una regola.
  7. Nella sezione Applicazione, seleziona se questa policy dell'organizzazione viene applicata o meno.
  8. (Facoltativo) Per rendere la policy dell'organizzazione condizionale su un tag, fai clic su Aggiungi condizione. Tieni presente che, se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti la policy non può essere salvata. Per saperne di più, consulta Impostazione di una policy dell'organizzazione con tag.
  9. Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. Per saperne di più, consulta Testa le modifiche alla policy dell'organizzazione con Policy Simulator.
  10. Per applicare la policy dell'organizzazione in modalità dry run, fai clic su Imposta policy dry run. Per saperne di più, consulta Crea una policy dell'organizzazione in modalità dry run.
  11. Dopo aver verificato che la policy dell'organizzazione in modalità dry run funziona come previsto, imposta la policy attiva facendo clic su Imposta policy.

gcloud

  1. Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo: 
    2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

    Sostituisci quanto segue:

    • PROJECT_ID: il progetto in cui vuoi applicare il vincolo.
    • CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio: custom.denyLineageProcess.
  2. Per applicare la policy dell'organizzazione in modalità dry run, esegui il seguente comando con il flag dryRunSpec: 
    3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

    Sostituisci POLICY_PATH con il percorso completo del file YAML della policy dell'organizzazione. L'applicazione della policy può richiedere fino a 15 minuti.

  3. Dopo aver verificato che la policy dell'organizzazione in modalità dry run funziona come previsto, imposta la policy attiva con il comando org-policies set-policy e il flag spec: 
    4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

    Sostituisci POLICY_PATH con il percorso completo del file YAML della policy dell'organizzazione. L'applicazione della policy può richiedere fino a 15 minuti.

Testa la policy dell'organizzazione personalizzata

Questa sezione descrive come testare un vincolo di policy dell'organizzazione che impedisce agli utenti di creare un processo di lineage dei dati con un nome che contiene il testo invalid_name.

Se vuoi testare questo vincolo personalizzato:

  1. Crea un nuovo progetto, come descritto nella sezione Prima di iniziare.

  2. Copia il seguente vincolo in un file YAML:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
  resourceTypes: datalineage.googleapis.com/Process
  methodTypes:
    - CREATE
    - UPDATE
  condition:
    "resource.name.contains('invalid_name')"
  actionType: DENY
  displayName: Do not allow data lineage process with 'invalid_name' to be created.

    Sostituisci ORGANIZATION_ID con l'ID numerico della tua organizzazioneGoogle Cloud .

  3. Configura il vincolo personalizzato e applicalo al progetto che hai creato per testare il vincolo personalizzato della policy dell'organizzazione.

  4. Crea un processo con il nome che hai incluso nel vincolo personalizzato.

    curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
"https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
-d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto in cui viene creato il processo. Deve trovarsi nella stessa organizzazione in cui è definito il vincolo.
    • LOCATION: Google Cloud regione in cui viene creato il processo.

    L'output è il seguente:

    Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]

Risorse e operazioni supportate per la derivazione dei dati

I seguenti campi di vincoli personalizzati sono disponibili per l'utilizzo quando crei o aggiorni un processo di data lineage:

  • resource.name
  • resource.displayName
  • resource.origin.name
  • resource.origin.sourceType

I vincoli personalizzati vengono controllati per i seguenti metodi:

Esempi di policy dell'organizzazione personalizzate per casi d'uso comuni

La seguente tabella fornisce la sintassi di alcuni vincoli personalizzati per casi d'uso comuni:

Per saperne di più sulle macro CEL disponibili per l'utilizzo nelle condizioni dei vincoli personalizzati, consulta Common Expression Language.

Caso d'uso Sintassi del vincolo
Disattivare la creazione di processi di derivazione dei dati 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.
Disattivare la creazione di processi di data lineage da parte di BigQuery o Dataproc 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.
Disabilita i processi di derivazione dei dati con il nome specificato 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

Passaggi successivi