Migrazione da Kubeflow Pipelines a Gemini Enterprise Agent Platform Pipelines

Per gli sviluppatori con esperienza nella creazione di pipeline Kubeflow, è importante comprendere i seguenti modi in cui Agent Platform Pipelines è diverso da Kubeflow Pipelines.

Passaggio dei dati (input/output)

• Il passaggio dei dati tramite input e output è diverso tra l'SDK Kubeflow Pipelines v1 e l'SDK Kubeflow Pipelines v2. L'SDK Kubeflow Pipelines v2 prevede la separazione di parametri e artefatti, che non possono essere passati l'uno all'altro. Per informazioni più dettagliate, consulta Nozioni di base sulle pipeline di Kubeflow Pipelines e Tipi di dati di Kubeflow Pipelines.

Utilizzo della versione del linguaggio specifico del dominio (DSL)

• Agent Platform Pipelines può eseguire pipeline create utilizzando TFX v0.30.0 o versioni successive oppure il linguaggio specifico del dominio (DSL) dell'SDK Kubeflow Pipelines v2.

  La DSL dell'SDK Kubeflow Pipelines v2 è disponibile nell'SDK Kubeflow Pipelines v1.6 o versioni successive.

  Kubeflow Pipelines può eseguire pipeline create utilizzando l'SDK Kubeflow Pipelines. Kubeflow Pipelines v1.6 o versioni successive può anche eseguire pipeline create utilizzando la DSL dell'SDK Kubeflow Pipelines v2.

Archiviazione

• Kubeflow Pipelines e Agent Platform Pipelines gestiscono l'archiviazione in modo diverso. In Kubeflow Pipelines puoi utilizzare le risorse Kubernetes, ad esempio le richieste di volumi permanenti. In Agent Platform Pipelines i dati vengono archiviati in Cloud Storage e montati nei componenti utilizzando Cloud Storage FUSE.

  In Agent Platform Pipelines, puoi utilizzare i Google Cloud servizi per rendere disponibili le risorse. Ad esempio, puoi utilizzare Cloud Storage FUSE per accedere a un bucket Cloud Storage come volume montato in un passaggio della pipeline . Se l'URI Cloud Storage è gs://example-bucket/example-pipeline, il container del componente della pipeline può utilizzare Cloud Storage FUSE per accedere a questo URI come percorso seguente: /gcs/example-bucket/example-pipeline.

  Importante: è una best practice evitare di codificare i percorsi delle risorse esterne nella pipeline. Invece, passa i percorsi delle risorse esterne alla pipeline come parametro. In questo modo, è più facile eseguire la pipeline in ambienti diversi e modificare la posizione delle risorse utilizzate in un'esecuzione della pipeline.

• Quando esegui una pipeline utilizzando Agent Platform Pipelines, la radice della pipeline deve essere stata specificata nell'annotazione @pipeline o quando hai creato l'esecuzione della pipeline.

  In Kubeflow Pipelines, la specifica della radice della pipeline è facoltativa. Per impostazione predefinita, gli artefatti di un'esecuzione della pipeline vengono archiviati utilizzando MinIO.

Funzionalità non supportate in Agent Platform Pipelines

• Le seguenti funzionalità di Kubeflow Pipelines non sono supportate in Agent Platform Pipelines.

  • Scadenza della cache: in Kubeflow Pipelines, puoi specificare che le esecuzioni dei componenti memorizzati nella cache scadano dopo un periodo di tempo specificato utilizzando la DSL dell'SDK Kubeflow Pipelines v1.

    Non puoi specificare che le esecuzioni dei componenti scadano dopo un periodo di tempo specificato utilizzando la DSL dell'SDK Kubeflow Pipelines v2.

    In Agent Platform Pipelines, quando esegui una pipeline utilizzando create_run_from_job_spec, puoi utilizzare l'argomento enable_caching per specificare che questa esecuzione della pipeline non utilizza la memorizzazione nella cache.

  • Ricorsione: in Kubeflow Pipelines, puoi specificare i componenti della pipeline che vengono chiamati in modo ricorsivo.

    Agent Platform Pipelines non supporta i componenti della pipeline che vengono chiamati in modo ricorsivo.