Migrar do Kubeflow Pipelines para o Gemini Enterprise Agent Platform Pipelines

Para os desenvolvedores com experiência na criação de pipelines do Kubeflow, é importante entender as seguintes maneiras de os pipelines da plataforma de agentes são diferentes dos pipelines do Kubeflow.

Transmissão de dados (entradas/saídas)

• A transmissão de dados usando entradas e saídas é diferente do SDK do Kubeflow Pipelines v1 para o SDK do Kubeflow Pipelines v2. O SDK do Kubeflow Pipelines v2 tem a separação de parâmetros e artefatos, e eles não podem ser transmitidos uns para os outros. Para informações mais detalhadas, consulte Princípios básicos do Kubeflow Pipelines e Tipos de dados do Kubeflow Pipelines.

Uso da versão em um idioma específico de domínio (DSL)

• Os pipelines do Agent Platform podem executar pipelines criados usando o TFX v0.30.0 ou mais recente ou a linguagem específica de domínio (DSL, na sigla em inglês) do SDK do Kubeflow Pipelines v2.

  O DSL do SDK do Kubeflow Pipelines v2 está disponível no SDK do Kubeflow Pipelines v1.6 ou posterior.

  O Kubeflow Pipelines pode executar pipelines que foram criados usando o SDK do Kubeflow Pipelines. O Kubeflow Pipelines v1.6 ou posterior também executa pipelines criados com a DSL do SDK do Kubeflow Pipelines v2.

Armazenamento

• O Kubeflow Pipelines e os pipelines da Agent Platform processam o armazenamento de maneira diferente. No Kubeflow Pipelines, você pode usar os recursos do Kubernetes, como declarações de volume permanente. Nos pipelines da Agent Platform seus dados são armazenados no Cloud Storage e montados em seus componentes usando Cloud Storage FUSE.

  Nos pipelines do Agent Platform, é possível usar Google Cloud serviços para disponibilizar recursos. Por exemplo, é possível usar o Cloud Storage FUSE para acessar um bucket do Cloud Storage como um volume montado em uma etapa do pipeline. Se o URI do Cloud Storage for gs://example-bucket/example-pipeline, o contêiner do componente do pipeline poderá usar o Cloud Storage FUSE para acessar esse URI como o seguinte caminho: /gcs/example-bucket/example-pipeline.

  Importante: prática recomendada é evitar a codificação de caminhos para recursos externos no pipeline. Em vez disso, passe os caminhos para recursos externos no pipeline como um parâmetro. Isso facilita a execução do pipeline em ambientes diferentes e a alteração da localização dos recursos usados em uma execução de pipeline.

• Quando você executa um pipeline usando o Agent Platform Pipelines, a raiz do pipeline precisa ter sido especificada na anotação @pipeline ou quando você criou a execução do pipeline.

  No Kubeflow Pipelines, a especificação da raiz do pipeline é opcional. Os artefatos de uma execução de pipeline são armazenados usando o MinIO por padrão.

Recursos indisponíveis nos pipelines do Agent Platform

• Os recursos do Kubeflow Pipelines a seguir não são compatíveis com os pipelines da plataforma de agentes.

  • Cache Expiration: no Kubeflow Pipelines, é possível especificar que as execuções de componentes em cache expirem após um período especificado usando a DSL do SDK do Kubeflow Pipelines v1.

    Não é possível especificar que as execuções de componentes expirem após um período especificado usando o DSL do SDK do Kubeflow Pipelines v2.

    Nos pipelines do Agent Platform, ao executar um pipeline usando create_run_from_job_spec, é possível usar o argumento enable_caching para especificar que essa execução de pipeline não usa o armazenamento em cache.

  • Recorrência: no Kubeflow Pipelines, é possível especificar os componentes do pipeline que são chamados recursivamente.

    Os pipelines da Agent Platform não são compatíveis com componentes de pipeline chamados recursivamente.