Guide de démarrage rapide : Composants du pipeline Google Cloud

Ce guide de démarrage rapide vous accompagne tout au long de l'installation du SDK des composants du pipelineGoogle Cloud (GCPC).

Installer la dernière version

Utilisez la commande suivante pour installer le SDK Google Cloud à partir de l'index de packages Python (PyPI) :

pip install --upgrade google-cloud-pipeline-components

Importer un composant prédéfini à l'aide du SDK Google Cloud

Après avoir installé le SDK Google Cloud , vous pouvez l'utiliser pour importer un composant prédéfini.

Pour obtenir des informations de référence sur les composants compatibles du SDK, consultez la documentation du SDKGoogle Cloud .

Par exemple, vous pouvez utiliser l'extrait de code suivant pour importer et utiliser le composant Dataflow dans un pipeline.

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

Étapes suivantes