ניהול צינורות של תזמור

אפשר לנהל צינורות עיבוד נתונים לתזמור שפריסתם בוצעה בסביבות של רצים באמצעות פקודות של Google Cloud CLI.

מידע על סביבות פריסה

לפרויקט יכול להיות סביבת פריסה אחת או יותר. בהגדרות של כל סביבת פריסה מוגדר איך נפרסים צינורות ומשאבים ששייכים לסביבה הזו. לדוגמה, אפשר להגדיר סביבת פריסה אחת לפיתוח וסביבה אחרת לייצור. סביבות הפריסה האלה יכולות לכלול קבוצות נפרדות של צינורות עיבוד נתונים ולהיפעל בסביבות שונות של רצים.

לכל סביבת פריסה צריכה להיות סביבת הפעלה. ‫Managed Airflow הוא מנוע התזמור שמריץ את צינורות הנתונים אחרי שהם נפרסים. סביבת הרצה היא סביבת Airflow מנוהלת שהקציתם לסביבת הפריסה שלכם.

מידע על חבילות של צינורות עיבוד נתונים

צינורות עיבוד נתונים מסוג Orchestration נפרסים בחבילות של צינורות עיבוד נתונים. חבילת פייפליין מכילה פייפליין אחד או יותר ונכסי פייפליין שמשותף להם מחזור פריסה.

לכל חבילה יכולות להיות כמה גרסאות. כשפורסים חבילה, כל צינורות הנתונים והסקריפטים הנלווים בחבילת הגרסה הספציפית נפרסים יחד. אם מפעילים הרצה של צינור, כל צינורות הנתונים ונכסי צינורות הנתונים יישארו בגרסת החבילה ששימשה להפעלת ההרצה, גם אם בינתיים תפרסו גרסה חדשה.

הצגת רשימת הערוצים

gcloud

כדי לראות את רשימת צינורות האורקסטרציה בסביבת פריסה, מריצים את הפקודה הבאה של Google Cloud CLI בספרייה שבה נמצא הקובץ deployment.yaml:

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: רשימת צינורות עיבוד הנתונים בסביבת הפריסה שצוינה.

    לחלופין, אפשר להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫(Optional) BUNDLE_NAME: רשימת צינורות ששייכים לחבילה שצוינה.

  • (אופציונלי) OWNER_NAME: אם מציינים את האפשרות הזו, מפורטים צינורות ששייכים לבעלים שצוינו.

דוגמה:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

המסוף

כדי לראות את רשימת צינורות האורקסטרציה בסביבת פריסה:

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

  3. עוברים לכרטיסייה Orchestration Pipelines (צינורות להפעלת תהליכים). בכרטיסייה מוצגת רשימה של כל צינורות הנתונים שנפרסו בסביבה שלכם.

איך צופים בתיאור המפורט של צינור

gcloud

כדי לראות את התיאור של צינור ספציפי, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה של צינור עיבוד הנתונים.

    לחלופין, אפשר להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.

דוגמה:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

  3. עוברים לכרטיסייה Orchestration Pipelines (צינורות להפעלת תהליכים). בכרטיסייה מוצגת רשימה של כל צינורות הנתונים שנפרסו בסביבה שלכם.

  4. לוחצים על שם הצינור. הדף Pipeline details נפתח:

    • בכרטיסייה פרטים מוצג מידע מפורט על צינור העיבוד, כמו מזהה צינור העיבוד, הסטטוס ו-SHA של השמירה במקור.
    • בכרטיסייה תרשים מוצג תרשים שמתאר פעולות נפרדות של צינור העיבוד. כדי לראות מידע מפורט על כל פעולה, לוחצים על הצמתים בתרשים.
    • בכרטיסייה YAML source (מקור YAML) מוצגת הגדרת צינור העיבוד.
    • בכרטיסייה Run history מוצגים ההיסטוריה והסטטוס של הפעלות צינור הנתונים.

פריסת חבילת צינור עיבוד נתונים

הפקודה הזו פורסת חבילות של צינורות עיבוד נתונים ונכסי צינורות עיבוד נתונים בהתאם להגדרת הפריסה שצוינה. לפני שמריצים את הפקודה הזו, צריך לוודא שהגדרתם את הפריסה של צינור העברת הנתונים.

כדי לפרוס חבילת צינור עיבוד נתונים לסביבת פריסה:

  • פריסת שינויים שבוצעו: אחרי ששומרים שינויים בנכסי צינור עיבוד הנתונים, בהגדרות צינור עיבוד הנתונים ובהגדרות הפריסה, אפשר לפרוס גרסה חדשה של חבילת צינור עיבוד הנתונים בסביבת ההרצה. המזהה של חבילת האפליקציות החדשה יקושר לקומיט במאגר. סוג הפריסה הזה מיועד להרצה כחלק מ-CI/CD. לדוגמה, באמצעות תהליך העבודה של GitHub Actions.

  • פריסת גרסה מקומית של חבילה: פריסת הגרסאות הנוכחיות של נכסי צינור עיבוד הנתונים, הגדרות צינור עיבוד הנתונים והגדרות הפריסה. מזהה החבילה החדש יסומן כפריסה מקומית. סוג הפריסה הזה מיועד למטרות פיתוח.

כדי לפרוס שינויים שבוצעו, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

כדי לפרוס גרסה מקומית, משתמשים בארגומנט --local:

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה של צינור עיבוד הנתונים.

דוגמה:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

הפלט לדוגמה מכיל את סטטוס הפריסה.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

הפעלת צינור לעיבוד נתונים באופן ידני

אפשר להפעיל ידנית צינור עיבוד נתונים ספציפי:

  • חבילת הצינור צריכה להיות פריסה לפני שמפעילים אותה.

  • אפשר להפעיל רק את הגרסה האחרונה של צינור הנתונים שפרסתם בחבילה. אחרי שההרצה מופעלת, צינורות תמיד יבצעו את כל המשימות שלהם בגרסת החבילה שהם הופעלו איתה, גם אם בינתיים העליתם גרסת חבילה חדשה יותר של קוד.

כדי להפעיל הרצה ידנית, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה של צינור עיבוד הנתונים.

    אפשרות נוספת היא להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.

דוגמה:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

הצגת היסטוריית ההרצות של צינור עיבוד נתונים

gcloud

כדי לראות את היסטוריית ההרצות של צינור עיבוד נתונים יחיד, כולל הרצות בכל הגרסאות הקודמות של צינור עיבוד הנתונים, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה שבה נמצא צינור עיבוד הנתונים.

    אפשרות נוספת היא להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.

דוגמה:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

  3. עוברים לכרטיסייה Orchestration Pipelines (צינורות להפעלת תהליכים). בכרטיסייה מוצגת רשימה של כל צינורות הנתונים שנפרסו בסביבה שלכם.

  4. לוחצים על שם הצינור. ייפתח הדף Pipeline details.

  5. עוברים לכרטיסייה היסטוריית הפעלות. בכרטיסייה מוצגים ההיסטוריה והסטטוס של הפעלות הפייפליין.

  6. לוחצים על מזהה של הפעלת DAG כדי לעבור לדף הפרטים של הפעלת ה-DAG.

הצגת פרטים על הרצת צינור

כדי לראות את הפרטים של הרצה אחת של צינור עיבוד נתונים, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה שבה נמצא צינור עיבוד הנתונים.

    לחלופין, אפשר להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.

  • ‫RUN_ID: המזהה של הפעלת צינור עיבוד הנתונים. אפשר לקבל את המזהה הזה מרשימת ההרצות.

דוגמה:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

פלט לדוגמה:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

השהיית הפעלות מתוזמנות של צינורות עיבוד נתונים

אחרי ההשהיה, צינור הנתונים לא יפעל לפי לוח הזמנים שלו. אפשר להפעיל הרצה ידנית של צינורות כאלה. הפעולה הזו תשהה את צינור עיבוד הנתונים ותיצור הפעלה ידנית של צינור עיבוד הנתונים מחוץ ללוח הזמנים. מבטלים את ההשהיה של צינור עיבוד הנתונים כדי להפעיל את לוח הזמנים שלו.

כדי להשהות את כל ההרצות המתוזמנות של צינורות, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה שבה נמצא צינור עיבוד הנתונים.

    אפשרות נוספת היא להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.

דוגמה:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

ביטול ההשהיה של הפעלות מתוזמנות של פייפליין

כדי לבטל את ההשהיה של הרצות מתוזמנות של צינורות, מריצים את הפקודה הבאה ב-CLI של gcloud:

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DEPLOYMENT_ENVIRONMENT: סביבת הפריסה שבה נמצא צינור עיבוד הנתונים.

    אפשרות נוספת היא להריץ את הפקודה הזו עבור סביבת הפעלה ספציפית. במקרה כזה, מחליפים את הארגומנט --environment בארגומנט --runner ומציינים את מזהה המשאב המלא של סביבת ה-Runner. לדוגמה: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • ‫BUNDLE_NAME: חבילה שהצינור שייך אליה.

  • ‫PIPELINE_NAME: שם צינור הנתונים.