Guide de démarrage rapide : Composants du pipeline Google Cloud

Ce guide de démarrage rapide vous accompagne tout au long de l'installation du Google Cloud SDK des composants de pipeline (GCPC).

Installer la dernière version

Utilisez la commande suivante pour installer le Google Cloud SDK à partir de l'index de packages Python (PyPI) :

pip install --upgrade google-cloud-pipeline-components

Importer un composant prédéfini à l'aide du Google Cloud SDK

Après avoir installé le Google Cloud SDK, vous pouvez l'utiliser pour importer un composant prédéfini.

Pour obtenir des informations de référence sur les composants compatibles du SDK, consultez la Google Cloud documentation du SDK.

Par exemple, vous pouvez utiliser l'extrait de code suivant pour importer et utiliser le composant Dataflow dans un pipeline.

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

Étape suivante