Esegui pipeline di dati e AI e esegui il provisioning delle risorse per queste pipeline con Orchestration Pipelines

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa pagina descrive la relazione tra Orchestration Pipelines e Managed Airflow.

Informazioni su Orchestration Pipelines

Orchestration Pipelines è un framework di orchestrazione e deployment automatizzato, dichiarativo e unificato, ottimizzato per la gestione senza problemi delle pipeline di dati e AI su Google Cloud.

Con Orchestration Pipelines, puoi definire le pipeline e le relative configurazioni di deployment utilizzando un linguaggio specifico del dominio (DSL) dichiarativo basato su YAML. Questo framework astrae l'infrastruttura sottostante, consentendoti di concentrarti sulla logica dei workflow di dati e AI, mentre Orchestration Pipelines gestisce il deployment, il controllo delle versioni e l'orchestrazione.

Informazioni sugli ambienti Managed Airflow in Orchestration Pipelines

Managed Airflow è il motore di orchestrazione che esegue le pipeline dopo il deployment. Assegni un ambiente Managed Airflow come parte di una definizione di pipeline. Questo ambiente è chiamato ambiente runner in Orchestration Pipelines.

Vantaggi di Orchestration Pipelines:

  1. Puoi consentire ai team della tua organizzazione che non sono esperti di Airflow di creare ed eseguire i propri workflow senza scrivere DAG o configurare Airflow. Ad esempio, puoi eseguire un notebook in un cluster Managed Service for Apache Spark effimero e specificare tutti i parametri di pianificazione, risorse e configurazione per la sua esecuzione in YAML senza scrivere alcun codice DAG.

  2. Tutte le configurazioni e i deployment in Orchestration Pipelines si basano su comandi YAML e gcloud CLI. Tutti i DAG di Airflow vengono generati automaticamente e non è necessario interagire con Airflow, gli ambienti Managed Airflow o i bucket dell'ambiente. Puoi sviluppare ed eseguire il deployment dei workflow in un repository Git normale in cui si trovano i file delle risorse.

  3. Le definizioni YAML funzionano su tutte le versioni di Airflow. Non è necessario modificare il codice per le modifiche tra le versioni di Airflow o le differenze nei pacchetti installati. Ad esempio, non è necessario eseguire la migrazione delle pipeline se passi da Airflow 2 ad Airflow 3.

  4. Orchestration Pipelines è integrato con l'estensione Google Cloud Data Agent Kit, quindi puoi utilizzare la creazione e la risoluzione dei problemi basate su agenti. Puoi utilizzare l'agente per scrivere le pipeline, semplificare il deployment e osservare lo stato delle pipeline tramite la stessa estensione.

Come funziona Orchestration Pipelines

Orchestration Pipelines supporta una serie di azioni e Google Cloud servizi, tra cui:

  • Esecuzione di script PySpark in Managed Service for Apache Spark.
  • Esecuzione di file di notebook in Managed Service for Apache Spark.
  • Esecuzione di query SQL in BigQuery o Managed Service for Apache Spark.
  • Esecuzione di pipeline di trattamento dati in Dataform o nel framework dbt.
  • Esecuzione di script Python.

Un workflow tipico per Orchestration Pipelines è:

  1. Definisci la pipeline come una sequenza di azioni che devono essere eseguite utilizzando uno dei Google Cloud servizi.
  2. Definisci le configurazioni delle risorse per le azioni della pipeline. Ad esempio, puoi specificare che una determinata azione deve essere eseguita su un cluster Managed Service for Apache Spark effimero con una configurazione specifica.
  3. (Facoltativo) Definisci risorse di cui deve essere eseguito il provisioning automatico se non esistono già tramite il meccanismo delle risorse di cui è stato eseguito il provisioning. Ad esempio, puoi specificare che deve essere creato un cluster Managed Service for Apache Spark statico in una configurazione specifica.
  4. Aggiungi un file di definizione della pipeline con le azioni che vuoi eseguire a un repository Git.
  5. Aggiungi le risorse per le singole azioni della pipeline (ad esempio file di script o notebook) a un repository Git.

  6. Esegui il deployment delle pipeline nell'ambiente Managed Airflow con un comando gcloud CLI. Orchestration Pipelines crea automaticamente alcuni file DAG che eseguono la pipeline.

    Rispetto ai DAG di Airflow autonomi, questi DAG vengono generati automaticamente e non è necessario gestirli in alcun modo. Puoi controllare lo stato dell'esecuzione della pipeline e gestire le pipeline con i comandi gcloud CLI.

  7. L'ambiente esegue la pipeline in base a una pianificazione.

Passaggi successivi