Migra de Kubeflow Pipelines a Gemini Enterprise Agent Platform Pipelines

Para los desarrolladores con experiencia en la compilación de canalizaciones de Kubeflow, es importante comprender las siguientes maneras en las que Agent Platform Pipelines difiere de Kubeflow Pipelines.

Transferencia de datos (entradas/salidas)

• La transferencia de datos mediante entradas y salidas difiere entre el SDK de Kubeflow Pipelines v1 y el SDK de Kubeflow Pipelines v2. El SDK de Kubeflow Pipelines v2 tiene la separación de parámetros y artefactos, y estos no se pueden transferir entre sí. Para obtener información más detallada, consulta Conceptos básicos de las canalizaciones de Kubeflow y Tipos de datos de Kubeflow Pipelines.

Uso de la versión de lenguaje específico del dominio (DSL)

• Agent Platform Pipelines puede ejecutar canalizaciones que se compilaron con TFX v0.30.0 o una versión posterior, o el lenguaje específico del dominio (DSL) del SDK de Kubeflow Pipelines v2.

  El DSL del SDK de Kubeflow Pipelines v2 está disponible en la versión 1.6 o posterior del SDK de Kubeflow Pipelines.

  Kubeflow Pipelines puede ejecutar canalizaciones que se compilaron mediante el SDK de Kubeflow Pipelines. Kubeflow Pipelines v1.6 o una versión más reciente también puede ejecutar canalizaciones compiladas con el DSL del SDK de Kubeflow Pipelines v2.

Almacenamiento

• Kubeflow Pipelines y Agent Platform Pipelines manejan el almacenamiento de manera diferente. En Kubeflow Pipelines, puedes usar recursos de Kubernetes, como reclamaciones de volumen persistente. En Agent Platform Pipelines tus datos se almacenan en Cloud Storage y se activan en tus componentes con Cloud Storage FUSE.

  En Agent Platform Pipelines, puedes usar Google Cloud servicios para que los recursos estén disponibles; por ejemplo, puedes usar Cloud Storage FUSE para acceder a un bucket de Cloud Storage como un volumen activado en un paso de canalización. Si el URI de Cloud Storage es gs://example-bucket/example-pipeline, el contenedor del componente de la canalización puede usar Cloud Storage FUSE para acceder al URI como la siguiente ruta: /gcs/example-bucket/example-pipeline.

  Importante: Como práctica recomendada, evita codificar de forma rígida las rutas de acceso a recursos externos en tu canalización. En su lugar, transfiere las rutas de acceso a recursos externos en tu canalización como un parámetro. Esto te facilita ejecutar la canalización en diferentes entornos y cambiar la ubicación de los recursos que se usan en una ejecución de canalización.

• Cuando ejecutas una canalización con Agent Platform Pipelines, la raíz de la canalización debe especificarse en la anotación @pipeline o cuando creaste la canalización.

  En Kubeflow Pipelines, especificar la raíz de la canalización es opcional. Los artefactos de una ejecución de canalización se almacenan con MinIO de forma predeterminada.

Funciones no admitidas en Agent Platform Pipelines

• Las siguientes funciones de Kubeflow Pipelines no son compatibles con Agent Platform Pipelines.

  • Vencimiento de la caché: En Kubeflow Pipelines, puedes especificar que las ejecuciones de los componentes almacenados en caché venzan después de un período determinado mediante el DSL del SDK v1 de Kubeflow Pipelines.

    No puedes especificar que las ejecuciones de componentes venzan después de un período determinado mediante el DSL del SDK v2 de Kubeflow Pipelines.

    En Agent Platform Pipelines, cuando ejecutas una canalización con create_run_from_job_spec, puedes usar el argumento enable_caching para especificar que esta ejecución de canalización no use el almacenamiento en caché.

  • Recursión: En Kubeflow Pipelines, puedes especificar componentes de canalización que se llaman de forma recurrente.

    Agent Platform Pipelines no admite componentes de canalización a los que se llama de forma recursiva.