תזמון והפעלה של משימת cron באמצעות Terraform

במדריך למתחילים הזה נסביר איך משתמשים ב-Terraform כדי ליצור משימת cron ב-Cloud Scheduler. ‫Terraform הוא כלי מסוג תשתית כקוד (IaC) שמאפשר ליצור, לשנות ולשפר בצורה חזויה את תשתית הענן באמצעות קוד. איך משתמשים ב-Terraform כדי להקצות תשתית ב- Google Cloud.

ל-Cloud Scheduler יש תוכנית בחינם, והפעלת המדריך למתחילים לא אמורה להיות כרוכה בעלויות. למידע נוסף, ראו תמחור.

במדריך למתחילים הזה:

  1. איך משתמשים ב-Terraform כדי ליצור משימת cron ל-Cloud Scheduler.
  2. מגדירים לוח זמנים חוזר למשימה.
  3. מציינים נושא Pub/Sub כיעד המשימה.
  4. מריצים את המשימה.
  5. מוודאים שהמשימה בוצעה בהצלחה.

לפני שמתחילים

יכול להיות שאילוצי אבטחה שהוגדרו על ידי הארגון שלכם ימנעו מכם להשלים את השלבים הבאים. למידע על פתרון בעיות, קראו את המאמר פיתוח אפליקציות בסביבת Google Cloud מוגבלת.

  1. נכנסים לחשבון Google.

    אם עדיין אין חשבון, יוצרים חשבון חדש.

  2. התקינו את ה-CLI של Google Cloud.

  3. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  4. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  5. יוצרים או בוחרים פרויקט ב- Google Cloud .

    התפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?
    • יוצרים פרויקט ב- Google Cloud :

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של הפרויקט ב- Google Cloud שאתם יוצרים.

    • בוחרים את הפרויקט שיצרתם ב- Google Cloud :

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  6. אם משתמשים בפרויקט קיים, מוודאים שיש את ההרשאות הנדרשות כדי להשלים את ההדרכה. אם משתמשים בפרויקט חדש, לא צריך לוודא כי כבר יש את ההרשאות הנדרשות.

  7. מפעילים את ממשקי ה-API של Resource Manager ו-Service Usage, אם הם עדיין לא מופעלים:

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    gcloud services enable cloudresourcemanager.googleapis.com serviceusage.googleapis.com
  8. התקינו את ה-CLI של Google Cloud.

  9. אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

  10. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

    gcloud init
  11. יוצרים או בוחרים פרויקט ב- Google Cloud .

    התפקידים שנדרשים כדי לבחור או ליצור פרויקט

    • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
    • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?
    • יוצרים פרויקט ב- Google Cloud :

      gcloud projects create PROJECT_ID

      מחליפים את PROJECT_ID בשם של הפרויקט ב- Google Cloud שאתם יוצרים.

    • בוחרים את הפרויקט שיצרתם ב- Google Cloud :

      gcloud config set project PROJECT_ID

      מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

  12. אם משתמשים בפרויקט קיים, מוודאים שיש את ההרשאות הנדרשות כדי להשלים את ההדרכה. אם משתמשים בפרויקט חדש, לא צריך לוודא כי כבר יש את ההרשאות הנדרשות.

  13. מפעילים את ממשקי ה-API של Resource Manager ו-Service Usage, אם הם עדיין לא מופעלים:

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    gcloud services enable cloudresourcemanager.googleapis.com serviceusage.googleapis.com
  14. ב-Cloud Shell כבר יש אינטגרציה עם Terraform. אם אתם צריכים להתקין את Terraform, תוכלו להיעזר במאמרי העזרה של HashiCorp Terraform.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להשלמת המדריך למתחילים, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת קובץ תצורה של Terraform

כדי להשתמש ב-Terraform עם Cloud Scheduler, צריך ליצור קובץ תצורה שמתאר את התשתית וליצור תוכנית ביצוע. לאחר מכן, מחילים את קובץ התצורה על הפלטפורמה או השירות כדי לבצע פעולות להקצאת התשתית.

כדי ליצור קובץ תצורה של Terraform בשם main.tf, מבצעים את השלבים הבאים:

  1. פותחים טרמינל ויוצרים ספרייה:

    mkdir terraform
  2. עוברים לספרייה terraform:

    cd terraform
  3. מוסיפים קובץ חדש, main.tf, לספרייה:

    nano main.tf
  4. מוסיפים לקובץ main.tf את המשאבים הבאים של ספק Terraform ל- Google Cloud:

    1. מפעילים את Cloud Scheduler API ואת Pub/Sub API:

      # Enable Cloud Scheduler API
      resource "google_project_service" "scheduler" {
        service            = "cloudscheduler.googleapis.com"
        disable_on_destroy = false
      }
      # Enable Pub/Sub API
      resource "google_project_service" "pubsub" {
        service            = "pubsub.googleapis.com"
        disable_on_destroy = false
      }
    2. יוצרים נושא Pub/Sub כמשאב שבעלי תוכן דיגיטלי יכולים לשלוח אליו הודעות:

      # Create Pub/Sub topic
      resource "google_pubsub_topic" "default" {
        name = "pubsub_topic"
      }

      כך נוצר נושא בשם pubsub_topic.

    3. יוצרים מינוי כדי לקבל הודעות שפורסמו בנושא Pub/Sub:

      # Create Pub/Sub subscription
      resource "google_pubsub_subscription" "default" {
        name  = "pubsub_subscription"
        topic = google_pubsub_topic.default.name
      }
    4. יוצרים משימת cron באמצעות המשאב google_cloud_scheduler_job:

      # Create a cron job using Cloud Scheduler
      resource "google_cloud_scheduler_job" "default" {
        name        = "test-job"
        description = "test job"
        schedule    = "30 16 * * 7"
        region      = "us-east1"
      
        pubsub_target {
          topic_name = google_pubsub_topic.default.id
          data       = base64encode("Hello world!")
        }
      }

      הארגומנטים הבאים משמשים בדוגמה:

      • ‫name: שם המשימה.
      • ‫description: תיאור המשימה.
      • ‫schedule: תדירות המשימה, בפורמט שמבוסס על unix-cron.

        בדוגמה הזו, הערך 30 16 * * 7 מציין שהמשימה תפעל בשעה 16:30 בימי ראשון. מידע נוסף זמין במאמר פורמט ואזור זמן של משימת Cron.

      • ‫region: האזור שבו נמצאת המשימה.

      • ‫pubsub_target: היעד של נושא Pub/Sub, כולל שם המשאב המלא של הנושא (topic_name) שאליו מתפרסם המטען הייעודי (payload) של ההודעה (data) כשהמשימה פועלת.

      יש תמיכה בארגומנטים אחרים. לפרטים נוספים, קראו את ההפניה לארגומנט של Terraform Registry.

דוגמה נוספת לשימוש ב-Terraform עם Cloud Scheduler מופיעה במאמר הפעלת שירותי Cloud Run לפי לוח זמנים.

יצירת משימת ה-cron

פורסים את המשאבים של Terraform כדי ליצור את משימת ה-cron.

  1. פותחים טרמינל ובספרייה terraform מפעילים את Terraform:

    terraform init
  2. בודקים שהשינויים שאתם מציעים באמצעות Terraform תואמים לתוכנית הצפויה:

    terraform plan

    אתם יכולים להתעלם מההערה לגבי אי השימוש באפשרות -out.

  3. יוצרים את משימת ה-cron:

    terraform apply
  4. בהנחיה Enter a value, מקלידים yes כדי להמשיך ביצירת המשאבים.

  5. מוודאים שנוצרה משימה:

    gcloud scheduler jobs describe test-job --location=us-east1

    הפלט אמור להיראות כך:

    description: test job
    lastAttemptTime: '2024-04-04T13:56:00.669530Z'
    name: projects/PROJECT_ID/locations/us-east1/jobs/test-job
    pubsubTarget:
    data: dGVzdA==
    topicName: projects/PROJECT_ID/topics/pubsub_topic
    schedule: '30 16 * * 7'
    scheduleTime: '2024-04-04T13:58:00.737907Z'
    state: ENABLED

יצרתם משימה ששולחת הודעה לנושא Pub/Sub בימי ראשון בשעה 16:30. עכשיו אפשר להריץ את המשימה.

הרצת המשימה

בנוסף להפעלה לפי לוח הזמנים שצוין, אפשר לאלץ את המשימה לפעול באופן מיידי על ידי הרצת הפקודה הבאה.

gcloud scheduler jobs run test-job --location=us-east1

שימו לב: בגלל הגדרות ראשוניות, יכול להיות שיעברו כמה דקות עד שהמשימה הראשונה שנוצרה בפרויקט תתחיל לפעול.

אימות התוצאות

מוודאים שהנושא ב-Pub/Sub מקבל הודעות מהמשימה.

  1. שליפת הודעות Pub/Sub ממינוי:

    gcloud pubsub subscriptions pull pubsub_subscription --limit 5
    

    אם לא נשלפו הודעות בהתחלה, מריצים שוב את הפקודה.

  2. צפייה בתוצאות של הרצת המשימה. הפלט אמור להיראות כך:

    DATA: Hello world!
    MESSAGE_ID: 5028933846601543
    ORDERING_KEY:
    ATTRIBUTES:
    DELIVERY_ATTEMPT:
    ACK_ID: RFAGFixdRkhRNxkIaFEOT14jPzUgKEUQAgVPAihdeTFXLkFacGhRDRlyfWB9[...]
    

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, אתם צריכים למחוק את הפרויקט ב- Google Cloud יחד עם המשאבים.

  1. מחיקת הפרויקט ב- Google Cloud מפסיקה את החיוב על כל המשאבים שמשמשים את הפרויקט. שימו לב שכברירת מחדל, כל הקבצים בספריית הבית של Cloud Shell (לדוגמה, קובצי Terraform) נשמרים בין הסשנים.

    כדי למחוק פרויקט ב- Google Cloud :

    gcloud projects delete PROJECT_ID
  2. לחלופין, אתם יכולים למחוק את כל המשאבים שיצרתם באמצעות Terraform.

    הפקודה terraform destroy מסיימת את כל המשאבים שצוינו במצב של Terraform. היא לא הורסת משאבים שלא מנוהלים על ידי פרויקט Terraform הנוכחי. קובץ התצורה של Terraform לא נמחק. מידע נוסף זמין במאמר השמדת תשתית.

    terraform destroy

המאמרים הבאים