שינוי סוג הרשת של הסביבה (כתובת IP פרטית או ציבורית)

‫Managed Airflow (דור 3) | Managed Airflow (דור 2) | Managed Airflow (דור 1 מדור קודם)

בדף הזה מוסבר ההבדל בין סוגי רשתות של סביבות עם כתובת IP פרטית וכתובת IP ציבורית ב-Managed Airflow (דור 3), ומופיעות בו הוראות להחלפת סוג הרשת של הסביבה.

אם רוצים להשבית או להפעיל גישה לאינטרנט רק כשמתקינים חבילות PyPI, אפשר לעיין במאמר בנושא הגדרת גישה לאינטרנט כשמתקינים חבילות PyPI.

אם רוצים להפעיל גישה לרשת ה-VPC מהסביבה, אפשר לעיין במאמר חיבור סביבה לרשת VPC.

מידע על סוגי רשתות בסביבה

‫Managed Airflow (דור 3) משתמש בשני סוגים של רשתות סביבה:

  • נטוורקינג של כתובות IP ציבוריות:

    • רכיבי Airflow בסביבה יכולים לגשת לאינטרנט. זהו סוג הרשת שמוגדר כברירת מחדל.

    • בסביבות עם כתובות IP ציבוריות, כל התעבורה היוצאת לטווחים של כתובות IP ציבוריות מנותבת דרך שער האינטרנט שמוגדר כברירת מחדל. ההגבלה הזו כוללת כתובות IP ציבוריות לשימוש פרטי (PUPI) שנמצאות בשימוש ב-GKE, כי הן חופפות לטווחי כתובות IP ציבוריות. כתוצאה מכך, תעבורת נתונים שמיועדת לכתובת ה-PUPI שלכם לא מגיעה לכתובת ה-GKE הפרטית שלכם, אלא מנותבת לאינטרנט הציבורי. כדי לאפשר חיבורים לטווחי PUPI, מומלץ להעביר את הסביבה שלכם לרשת IP פרטית ולחבר אותה לרשת VPC.

    • רכיבי Airflow בסביבות עם כתובות IP ציבוריות יוצרים חיבורים יוצאים מכתובות IP ציבוריות ומפורטים שמוקצים באופן אוטומטי. אם רוצים שהסביבות עם כתובות IP ציבוריות ישתמשו בכתובות IP וביציאות שנקבעו מראש, אפשר לחבר רשת VPC לסביבה ולהעביר אותה לכתובת IP פרטית. במקרה הזה, Managed Airflow מעביר את כל התעבורה דרך הרשת הזו, למעט התעבורה לשירותי Google.

  • נטוורקינג של כתובות IP פרטיות:

    • רשתות IP פרטיות הן אפשרות מאובטחת יותר בהשוואה לרשתות IP ציבוריות.

    • לרכיבי Airflow בסביבה אין גישה לאינטרנט. בסביבות שמחוברות לרשת VPC, הגדרת הרשת קובעת את הגישה לאינטרנט.

    • בסביבות עם כתובות IP פרטיות, הגישה הפרטית ל-Google מוגדרת דרך טווח private.googleapis.com, שמאפשר גישה לממשקי Google APIs, לשירותים ולדומיינים שנתמכים על ידי הטווח הזה.

      מידע נוסף ורשימה של שירותים ודומיינים שזמינים דרך private.googleapis.com זמינים במאמר הגדרת רשת במאמרי העזרה בנושא ענן וירטואלי פרטי (VPC).

    • סביבות עם כתובות IP פרטיות עם VPC Service Controls מגדירות גישה פרטית ל-Google דרך טווח restricted.googleapis.com, שמאפשר גישה לממשקי Google APIs, לשירותים ולדומיינים שנתמכים על ידי הטווח הזה.

      מידע נוסף ורשימה של שירותים ודומיינים שזמינים דרך restricted.googleapis.com זמינים במאמר הגדרת רשת במאמרי העזרה בנושא ענן וירטואלי פרטי (VPC).

    • אם סביבת IP פרטית מצורפת לרשת VPC בהתאמה אישית, כל תעבורת הנתונים מנותבת לרשת ה-VPC, למעט תעבורת הנתונים אל ממשקי Google APIs, שירותים ודומיינים שזמינים לסביבות IP פרטיות דרך גישה פרטית ל-Google. הגישה הזו מאפשרת לרכיבי Airflow להתחבר לכתובות IP ציבוריות לשימוש פרטי (PUPI) ב-GKE, כי תעבורת הנתונים תנותב דרך רשת ה-VPC במקום להישלח לאינטרנט הציבורי.

השוואה בין רשתות של Managed Airflow (דור 2) לבין Managed Airflow (דור 3)

ב-Managed Airflow (דור 3), לא נדרשת הגדרה לסביבות עם כתובת IP פרטית.

התכונות הבאות של רשת Managed Airflow (דור 2) כבר לא רלוונטיות ב-Managed Airflow (דור 3):

תצורת ה-DNS הבאה לא נתמכת ב-Managed Airflow (דור 3):

  • ב-Managed Airflow (דור 3) אין תמיכה באזור DNS של .internal שמוגדר על ידי המשתמש. אם תיצרו תחום DNS עבור .internal, לא תהיה אפשרות להגיע לתחום הזה.

שינוי סוג הרשת של הסביבה

המסוף

  1. נכנסים לדף Environments במסוף Google Cloud .

    מעבר אל Environments

  2. ברשימת הסביבות, לוחצים על שם הסביבה. הדף Environment details ייפתח.

  3. עוברים לכרטיסייה Environment configuration (הגדרת הסביבה).

  4. בקטע Networking configuration, מאתרים את הפריט Networking type ולוחצים על Edit.

  5. בתיבת הדו-שיח Networking type, בוחרים באפשרות:

    • סביבת IP ציבורית (ברירת מחדל) לרשתות IP ציבוריות.
    • סביבת IP פרטית לרשתות IP פרטיות.

  6. לוחצים על Save.

gcloud

הארגומנטים הבאים של Google Cloud CLI משנים את סוג הרשת של הסביבה:

  • --enable-private-environment: שינויים בנטוורקינג של כתובות IP פרטיות.
  • ‫--disable-private-environment: שינויים ברשת של כתובות IP ציבוריות (ברירת מחדל).

שינוי לרשת פרטית של כתובות IP:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

שינוי לרשתות עם כתובת IP ציבורית:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENVIRONMENT_NAME: שם הסביבה.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.

דוגמה (כתובת IP פרטית):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

דוגמה (כתובת IP ציבורית):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. יוצרים בקשת API של environments.patch.

  2. בבקשה הזו:

    1. בפרמטר updateMask, מציינים את המסכה config.private_environment_config.enable_private_environment.

    2. בגוף הבקשה, בשדה enablePrivateEnvironment:

      • מציינים true כדי לעבור לרשת IP פרטית.
      • מציינים false כדי לעבור לרשת עם כתובת IP ציבורית (ברירת מחדל).

דוגמה (כתובת IP פרטית):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

השדה enable_private_environment בבלוק config מציין את סוג הרשת של הסביבה:

  • ‫true: רשתות IP פרטיות.
  • ‫false או אם לא מציינים: רשת עם כתובת IP ציבורית (ברירת מחדל).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ENVIRONMENT_NAME: השם של הסביבה.
  • ‫LOCATION: האזור שבו נמצאת הסביבה.
  • ‫PRIVATE_IP_STATUS: true לכתובת IP פרטית, false לכתובת IP ציבורית

דוגמה (כתובת IP פרטית):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

הגדרת משתני שרת proxy

אתם יכולים להגדיר את http_proxy ואת https_proxy משתני הסביבה בסביבה שלכם. משתני ה-Linux הסטנדרטיים האלה משמשים לקוחות אינטרנט שפועלים בקונטיינרים של אשכול הסביבה כדי לנתב תנועה דרך השרתים הפרוקסי שצוינו.

כברירת מחדל, המשתנה NO_PROXY מוגדר לרשימה של דומיינים של Google, לכתובת ה-IP של שרת המטא-נתונים של Compute Engine באשכול של הסביבה ול-localhost, כדי שהם לא ייכללו בהעברת הנתונים דרך השרת.

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

ההגדרה הזו מאפשרת ליצור סביבה עם משתני הסביבה http_proxy ו-https_proxy במקרים שבהם ה-proxy לא מוגדר לטיפול בתעבורה לשירותי Google.

המאמרים הבאים