ניהול פרופילי מחשוב

פרופיל מחשוב מציין איך ואיפה צינור הנתונים מופעל. הוא כולל את כל המידע שנדרש להגדרה ולמחיקה של סביבת ההפעלה הפיזית של צינור. פרופיל מחשוב מציין שם של מנהל הקצאות והגדרות תצורה של מנהל ההקצאות הזה.

לכל פרופיל מחשוב יש היקף: מערכת או משתמש. אפשר להשתמש בפרופילים של מחשוב המערכת בכל מרחבי השמות שמתחתיו. פרופילי משתמשים לחישוב קיימים במרחב שמות, ורק צינורות במרחב השמות הזה יכולים להשתמש בפרופילי משתמשים לחישוב. אפשר להקצות פרופילי מחשוב לצינורות של עיבוד באצווה. כשמקצים פרופיל מחשוב לפייפליין, מנהל ההקצאות (provisioner) שצוין בפרופיל ישמש ליצירת אשכול שבו יפעל הפייפליין.

לדוגמה, אדמין יכול להחליט ליצור פרופילים קטנים, בינוניים וגדולים של מחשוב. הם מגדירים כל פרופיל עם Google Cloudפרטי הכניסה שנדרשים ליצירה ולמחיקה של אשכולות של Managed Service for Apache Spark בחשבון של החברה Google Cloud .

  • הפרופיל הקטן מוגדר ליצירת אשכול עם 5 צמתים.
  • פרופיל הבינוני מוגדר ליצירת אשכול עם 20 צמתים.
  • הפרופיל הגדול מוגדר ליצירת אשכול עם 50 צמתים.

האדמין מקצה את הפרופיל הקטן לצינורות שמוגדרים להפעלה כל שעה על כמויות קטנות של נתונים. הם מקצים את הפרופיל הגדול לצינורות (pipelines) שמתוזמנים להרצה מדי יום על כמות גדולה של נתונים.

פרופיל ברירת מחדל של מחשוב

כברירת מחדל, Cloud Data Fusion משתמש בפרופיל של שינוי גודל אוטומטי כפרופיל החישוב. קשה להעריך את המספר המתאים של עובדי אשכול (צמתים) לעומס עבודה, ולעתים קרובות גודל אשכול יחיד לצינור שלם הוא לא אידיאלי. השירות Managed Service for Apache Spark Autoscaling מספק מנגנון לאוטומציה של ניהול משאבי האשכול, ומאפשר התאמה אוטומטית לעומס (autoscaling) של מכונות וירטואליות (VM) של עובדים באשכול. מידע נוסף זמין במאמר בנושא שינוי אוטומטי של גודל הקבוצה.

בדף Compute config (הגדרות מחשוב), שבו מוצגת רשימה של פרופילים, יש עמודה בשם Total cores (סך הליבות). בעמודה הזו מופיע מספר המעבדים הווירטואליים המקסימלי שאליו הפרופיל יכול להתרחב, למשל Up to 84.

פרופילי מחשוב של המערכת ושל המשתמשים

פרופיל מחשוב מציין באיזה מנהל הקצאות (provisioner) להשתמש כשיוצרים אשכול, ומגדיר את ההגדרות של האשכול. הם גם מציינים את הגדרות ה-provisioner שבהן צריך להשתמש כשיוצרים אשכול.

  • כדי ליצור פרופיל מערכת לחישוב, עוברים לדף System admin ב-Cloud Data Fusion Studio. בדף הזה מפורטים כל פרופילי החישוב של המערכת, ואפשר ליצור פרופילי חישוב חדשים של המערכת.
  • כדי ליצור פרופיל משתמש לחישוב, עוברים לדף ניהול מרחב שמות ב-Cloud Data Fusion Studio, ואז בוחרים את מרחב השמות שבו רוצים ליצור את הפרופיל. לאחר מכן תוכלו ליצור פרופיל שקיים רק במרחב השמות הזה.

הקצאת פרופיל מחשוב

אפשר להקצות פרופילים של מחשוב לצינורות של עיבוד באצ' בדרכים הבאות:

  • להקצות פרופיל ברירת מחדל למופע Cloud Data Fusion.
  • הקצאת פרופיל ברירת מחדל למרחב שמות ספציפי.
  • מקצים פרופיל לצינור אצווה כדי להשתמש בו להרצות שמופעלות באופן ידני.
  • הקצאת פרופיל ללוח זמנים של צינור.

אם פרופיל מוגדר בלוח הזמנים שמפעיל ריצה, או אם מריצים צינור עיבוד נתונים באופן ידני ומוגדר לו פרופיל, Cloud Data Fusion משתמש בפרופיל החישוב הזה.

אם לא מוגדר פרופיל, Cloud Data Fusion משתמש בפרופיל ברירת המחדל עבור מרחב השמות. אם לא מוגדר פרופיל ברירת מחדל למרחב השמות,

‫Cloud Data Fusion משתמש בפרופיל ברירת המחדל של המערכת. אם לא מוגדרת ברירת מחדל של המערכת, נעשה שימוש בפרופיל המובנה.

הקצאה של פרופיל מחשוב שמוגדר כברירת מחדל

כדי להקצות פרופילים שמוגדרים כברירת מחדל למרחב שמות או למופע של Cloud Data Fusion, עוברים אל Cloud Data Fusion Studio ולוחצים על System admin (ניהול מערכת) > Configuration (הגדרה) > System compute profiles (פרופילים של מחשוב מערכת). כדי לבחור את ברירת המחדל, לוחצים על סמל הכוכב ליד שם הפרופיל.

אופציונלי: שימוש במיקרו-שירותים של העדפות כדי להגדיר פרופילים שמוגדרים כברירת מחדל

  • כדי להגדיר את פרופיל ברירת המחדל, מגדירים העדפה במכונת Cloud Data Fusion עם מפתח system.profile.name וערך system:<profile-name>.
  • כדי להגדיר את פרופיל ברירת המחדל למרחב שמות, מגדירים העדפה במרחב השמות שנבחר עם המפתח system.profile.name והערך <scope>:<profile-name>.

הקצאת פרופיל מחשוב להפעלות ידניות

כדי להקצות פרופיל לשימוש בהפעלות ידניות של צינורות, פועלים לפי השלבים הבאים:

  1. עוברים לדף הפרטים של הצינור.
  2. לוחצים על Configure > Compute config (הגדרה > הגדרת מחשוב).
  3. בוחרים פרופיל ולוחצים על שמירה. הפרופיל שנבחר ישמש בכל הפעלה ידנית של צינור עיבוד הנתונים.

אפשרות אחרת היא להשתמש בשירותי המיקרו של ההעדפות כדי להגדיר את הפרופיל להפעלות ידניות. לשם כך, מגדירים את ההעדפה בישות DataPipelineWorkflow עם המפתח system.profile.name והערך <scope>:<profile-name>.

הקצאת פרופיל מחשוב ללוח זמנים

בכל פעם שיוצרים לוח זמנים לצינור, אפשר להקצות לו פרופיל. בכל פעם שהתזמון מפעיל את צינור עיבוד הנתונים, המערכת משתמשת בפרופיל הזה להפעלה. זה נכון לגבי לוחות זמנים של זמן ולוחות זמנים שמופעלים על ידי צינורות אחרים.

שינוי הגדרה של פרופיל מחשוב

כשיוצרים פרופיל, אפשר לנעול כל הגדרת תצורה כדי שלא יהיה אפשר לשנות אותה. עם זאת, אם הגדרות התצורה לא נעולות, אפשר לבטל אותן בזמן הריצה. כדי לשנות את הגדרות הפרופיל, פועלים לפי השלבים הבאים:

  1. בדף Pipeline List (רשימת צינורות), בוחרים את צינור הפריסה שרוצים להפעיל.
  2. בדף פרטי ה-Pipeline, לוחצים על Configure (הגדרה).
  3. בוחרים פרופיל מחשוב ולוחצים על התאמה אישית.
  4. משנים את ההגדרות הרצויות ולוחצים על שמירה.

אפשר להשתמש בארגומנטים של זמן ריצה ובמאפייני תזמון כדי לשנות את גודל האשכול והגדרות אחרות.

  • כדי לשנות את הפרופיל שבו נעשה שימוש, מגדירים ארגומנט של זמן ריצה עם המפתח system.profile.nameוהערך <scope>:<profile-name>.
  • כדי לבטל את ההגדרה של מאפיין בפרופיל, מגדירים ארגומנט של זמן ריצה עם המפתח system.profile.properties.<property-name> והערך ששווה לערך של אותו מאפיין.

לדוגמה, כדי לשנות את הערך של numWorkerssetting ל-10, מגדירים העדפה או ארגומנט של זמן ריצה עם המפתח system.profile.properties.numWorkers והערך 10.

המאמרים הבאים