הפעלת צינור נתונים באשכול קיים של Managed Service for Apache Spark

בדף הזה מוסבר איך להריץ צינור ב-Cloud Data Fusion מול אשכול קיים של Managed Service for Apache Spark.

כברירת מחדל, Cloud Data Fusion יוצר אשכולות זמניים לכל צינור: הוא יוצר אשכול בתחילת ההרצה של הצינור, ואז מוחק אותו אחרי שההרצה של הצינור מסתיימת. ההתנהגות הזו חוסכת בעלויות כי היא מבטיחה שהמשאבים ייווצרו רק כשצריך אותם, אבל יכול להיות שהתנהגות ברירת המחדל הזו לא תתאים לתרחישים הבאים:

• אם הזמן שנדרש ליצירת אשכול חדש לכל צינור ארוך מדי לתרחיש השימוש שלכם.

• אם הארגון שלכם דורש ניהול מרכזי של יצירת אשכולות, למשל כשרוצים לאכוף מדיניות מסוימת על כל האשכולות של Managed Service for Apache Spark.

במקרים כאלה, במקום זאת מריצים צינורות נתונים מול אשכול קיים באמצעות השלבים הבאים.

לפני שמתחילים

תצטרכו את הדברים הבאים:

• מופע של Cloud Data Fusion.

  יצירת מכונת Cloud Data Fusion

• אשכול קיים של Managed Service for Apache Spark.

  יצירת אשכול Managed Service for Apache Spark

• אם אתם מריצים את צינורות העיבוד ב-Cloud Data Fusion בגרסה 6.2, אתם יכולים להשתמש בתמונה ישנה יותר של Managed Service for Apache Spark שפועלת עם Hadoop 2.x (לדוגמה, 1.5-debian10), או לשדרג לגרסה האחרונה של Cloud Data Fusion.

התחברות לאשכול קיים

בגרסאות 6.2.1 ואילך של Cloud Data Fusion, אפשר להתחבר לאשכול קיים של Managed Service for Apache Spark כשיוצרים פרופיל חדש של Compute Engine.

1. עוברים למופע:

   1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

   2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

2. לוחצים על מנהל מערכת.

3. לוחצים על הכרטיסייה Configuration.

4. לוחצים על System compute profiles.

5. לוחצים על יצירת פרופיל חדש. ייפתח דף עם רשימה של כלי הקצאת הרשאות.

6. לוחצים על Existing Managed Service for Apache Spark (שירות מנוהל קיים ל-Apache Spark).

7. מזינים את פרטי הפרופיל, האשכול והמעקב.

8. לוחצים על יצירה.

הגדרת צינור עיבוד הנתונים לשימוש בפרופיל המותאם אישית

1. עוברים למופע:

   1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

   2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

2. עוברים אל צינור העיבוד בדף Studio.

3. לוחצים על Configure (הגדרה).

4. לוחצים על Compute config (הגדרת מחשוב).

5. לוחצים על הפרופיל שיצרתם.

   

   איור 1: לחיצה על פרופיל בהתאמה אישית

6. מריצים את הפייפליין. הוא פועל מול אשכול קיים של Managed Service for Apache Spark.

המאמרים הבאים

• מידע נוסף על הגדרת אשכולות
• פתרון בעיות שקשורות למחיקת אשכולות.