שימוש ב-VPC Service Controls עם Cloud Data Fusion

אם אתם מתכננים ליצור מופע של Cloud Data Fusion עם כתובת IP פרטית, תוכלו לספק אבטחה נוספת על ידי הקמת גבולות גזרה למופע באמצעות VPC Service Controls (VPC-SC). מתחם האבטחה ההיקפית של VPC-SC סביב מופע Cloud Data Fusion הפרטי ומשאבים אחרים Google Cloud עוזר לצמצם את הסיכון לזליגת נתונים. לדוגמה, אם צינור Cloud Data Fusion קורא נתונים ממשאב נתמך, כמו מערך נתונים ב-BigQuery, שנמצא בתוך המתחם, ואז מנסה לכתוב את הפלט למשאב מחוץ למתחם, הצינור ייכשל.

משאבי Cloud Data Fusion נחשפים בשני ממשקי API:

  1. פלטפורמת ה-API של מישור הבקרה datafusion.googleapis.com, שמאפשרת לבצע פעולות ברמת המופע, כמו יצירה ומחיקה של מופעים.

  2. ‫datafusion.googleusercontent.com data plane API surface (Cloud Data Fusion Web UI במסוף Google Cloud ), שפועל במופע של Cloud Data Fusion כדי ליצור ולהפעיל צינורות עיבוד נתונים.

כדי להגדיר את VPC Service Controls עם Cloud Data Fusion, צריך להגביל את הקישוריות לשני ממשקי ה-API האלה.

שיטות:

  • צינורות עיבוד נתונים של Cloud Data Fusion מופעלים באשכולות של Managed Service for Apache Spark. כדי להגן על אשכול Managed Service for Apache Spark באמצעות גבולות גזרה לשירות, צריך לפעול לפי ההוראות להגדרת קישוריות פרטית כדי לאפשר לאשכול לפעול בתוך גבולות הגזרה.

  • אל תשתמשו בפלאגינים שמשתמשים בממשקי API שלא נתמכים על ידי VPC Service Controls. Google Cloud אם משתמשים בתוספים שלא נתמכים, Cloud Data Fusion יחסום את הקריאות ל-API, וכתוצאה מכך התצוגה המקדימה של צינור הנתונים וההפעלה שלו ייכשלו.

  • כדי להשתמש ב-Cloud Data Fusion בתוך גבול גזרה לשירות של VPC Service Controls, צריך להוסיף או להגדיר כמה רשומות DNS כדי להפנות את הדומיינים הבאים לכתובת ה-IP הווירטואלית המוגבלת:

    • datafusion.googleapis.com
    • *.datafusion.googleusercontent.com
    • *.datafusion.cloud.google.com

מגבלות:

  • צריך להגדיר את מתחם האבטחה של VPC Service Controls לפני שיוצרים את המכונה הפרטית של Cloud Data Fusion. לא ניתן להגן על פרימטרים של מקרים שנוצרו לפני הגדרת VPC Service Controls.

  • בשלב הזה, ממשק המשתמש של מישור הנתונים ב-Cloud Data Fusion לא תומך בהגדרת רמות גישה באמצעות גישה מבוססת-זהויות.

הגבלת ממשקי API של Cloud Data Fusion

הגבלת שטח הפנים של מישור הבקרה

כדי להגביל את הקישוריות לdatafusion.googleapis.comמישור הבקרה של API, אפשר לעיין במאמר בנושא הגדרת קישוריות פרטית ל-Google APIs ולשירותים של Google.

הגבלת השטח של מישור הנתונים

כדי להגדיר קישוריות פרטית למישור הנתונים של ה-API, צריך להגדיר DNS. לשם כך, מבצעים את השלבים הבאים עבור הדומיינים *.datafusion.googleusercontent.com ו-*.datafusion.cloud.google.com.

  1. יצירת תחום פרטי חדש באמצעות Cloud DNS:

    1. סוג האזור: מסמנים את האפשרות פרטי
    2. שם האזור: datafusiongoogleusercontentcom
    3. שם DNS: ‏ datafusion.googleusercontent.com

    4. רשת: בוחרים את רשת ה-IP הפרטית שבחרתם כשנוצר מופע Cloud Data Fusion.

      איך ממלאים את השדות של האזור.

  2. בדף Cloud DNS, לוחצים על שם תחום ה-DNS datafusiongoogleusercontent כדי לפתוח את הדף פרטי התחום. מוצגות שתי רשומות: רשומת NS ורשומת SOA. משתמשים באפשרות Add Standard (הוספה רגילה) כדי להוסיף את שני מערכי הרשומות הבאים לתחום ה-DNS של datafusiongoogleusercontent.

    1. מוסיפים רשומת CNAME: בתיבת הדו-שיח Create record set (יצירת קבוצת רשומות), ממלאים את השדות הבאים כדי למפות את שם ה-DNS‏ *.datafusion.googleusercontent.com. לשם הקנוני datafusion.googleusercontent.com:

      • שם DNS:‏ ‎"*.datafusion.googleusercontent.com"‎

      • שם קנוני: datafusion.googleusercontent.com

        איך ממלאים את השדות של האזור.

    2. כדי להוסיף רשומת A: בתיבת הדו-שיח החדשה יצירת רשומת משאבים, ממלאים את השדות הבאים כדי למפות את שם ה-DNS‏ datafusion.googleusercontent.com. לכתובות ה-IP‏ 199.36.153.4 עד 199.36.153.7:

      • שם DNS:‏ ‎.datafusion.googleusercontent.com

      • כתובת IPv4:

        • 199.36.153.4
        • 199.36.153.5
        • 199.36.153.6
        • 199.36.153.7
        איך ממלאים את השדות של האזור.

      בדף datafusiongoogleusercontent Zone details מוצגים קבוצות הרשומות הבאות:

      איך ממלאים את השדות של האזור.

  3. פועלים לפי השלבים שלמעלה כדי ליצור אזור DNS פרטי ולהוסיף סט רשומות לדומיין *.datafusion.cloud.google.com.

המאמרים הבאים