שאלות נפוצות בנושא Managed Service for Apache Spark באשכולות

כללי

מה זה Managed Service for Apache Spark?

‫Managed Service for Apache Spark הוא שירות מהיר, קל לשימוש, זול ושירות שמנוהל במלואו, שמאפשר להריץ את המערכת האקולוגית של Apache Spark ו-Apache Hadoop ב-Google Cloud Platform. השירות Managed Service for Apache Spark מקצה במהירות אשכולות גדולים או קטנים, תומך בהרבה סוגי עבודה פופולריים ומשולב עם שירותים אחרים של Google Cloud Platform, כמו Cloud Storage ו-Cloud Logging, וכך עוזר לכם להפחית את עלות הבעלות הכוללת (TCO).

מה ההבדל בין Managed Service for Apache Spark לבין אשכולות Hadoop רגילים?

‫Managed Service for Apache Spark הוא שירות מנוהל ל-Spark ול-Hadoop, שנועד להפוך את השימוש ב-Spark וב-Hadoop לפשוט, מהיר ועוצמתי. בפריסה רגילה של Hadoop, אפילו כזו שמבוססת-ענן, צריך להתקין, להגדיר, לנהל ולתזמר את העבודה באשכול. לעומת זאת, ב-Managed Service for Apache Spark, המערכת יוצרת, מנהלת ומנטרת את האשכולות ומתזמרת את המשימות בשבילכם.

איך משתמשים ב-Managed Service for Apache Spark?

יש כמה דרכים להשתמש באשכול של Managed Service for Apache Spark, בהתאם לצרכים וליכולות שלכם. אתם יכולים להשתמש ב-Google Cloud console מבוסס-הדפדפן כדי לבצע פעולות ב-Managed Service for Apache Spark. אפשר גם להשתמש ב-Google Cloud CLI, כי Managed Service for Apache Spark משולב איתו. כדי לגשת לאשכולות באופן פרוגרמטי, משתמשים ב-API בארכיטקטורת REST של Managed Service for Apache Spark. אפשר גם ליצור חיבורי SSH לצומתי מאסטר או לצמתים עובדים באשכול.

איך פועל Managed Service for Apache Spark?

‫Managed Service for Apache Spark הוא מסגרת מנוהלת שפועלת ב-Google Cloud Platform ומקשרת בין כמה כלים פופולריים לעיבוד נתונים, כולל Apache Hadoop, ‏Spark, ‏Hive ו-Pig. ל-Managed Service for Apache Spark יש קבוצה של מנגנוני בקרה ושילוב שמתאמים את מחזור החיים, הניהול והתיאום של האשכולות. ‫Managed Service for Apache Spark משולב עם מנהל האפליקציות YARN כדי שיהיה קל יותר לנהל את האשכולות ולהשתמש בהם.

אילו סוגי משימות אפשר להריץ?

‫Managed Service for Apache Spark מספק תמיכה מקצה לקצה ומוכנה לשימוש בהרבה מסוגי העבודה הפופולריים ביותר, כולל משימות Spark,‏ Spark SQL,‏ PySpark,‏ MapReduce,‏ Hive ו-Pig.

באיזו תוכנה לניהול אשכולות משתמשים ב-Managed Service for Apache Spark עם Spark?

‫Managed Service for Apache Spark מריץ את Spark ב-YARN.

באיזו תדירות מתעדכנים הרכיבים ב-Managed Service for Apache Spark?

‫Managed Service for Apache Spark מתעדכן כשיוצאות גרסאות עיקריות של הרכיבים הבסיסיים (Hadoop, ‏ Spark, ‏ Hive, ‏ Pig). כל גרסה ראשית של Managed Service for Apache Spark תומכת בגרסאות ספציפיות של כל רכיב (ראו גרסאות נתמכות של Managed Service for Apache Spark).

האם Managed Service for Apache Spark משולב עם מוצרים אחרים של Google Cloud Platform?

כן, ל-Managed Service for Apache Spark יש שילובים מובְנים ואוטומטיים עם Compute Engine,‏ Cloud Storage,‏ Bigtable,‏ BigQuery,‏ Logging ו-Cloud Monitoring. בנוסף, Managed Service for Apache Spark משולב בכלים שמתקשרים עם Cloud Platform, כולל ה-CLI של gcloud ו- Google Cloud console.

האם אפשר להפעיל אשכול קבוע?

אחרי שמפעילים אשכולות של Managed Service for Apache Spark, הם ממשיכים לפעול עד שמכבים אותם. אתם יכולים להריץ אשכול של Managed Service for Apache Spark כמה זמן שאתם צריכים.

ניהול אשכולות

אפשר להפעיל יותר מאשכול אחד בו-זמנית?

כן, אפשר להפעיל יותר מאשכול אחד של Managed Service for Apache Spark בכל פרויקט בו-זמנית. כברירת מחדל, כל הפרויקטים כפופים למכסות המשאבים של Google Cloud. אתם יכולים לבדוק בקלות את ניצול המכסה ולבקש להגדיל אותה. מידע נוסף זמין במאמר מכסות למשאבים של Managed Service for Apache Spark.

איך יוצרים או משמידים אשכול?

יש כמה דרכים ליצור ולהשמיד אשכולות. בקטעים של Managed Service for Apache Spark ב- Google Cloud console קל לנהל אשכולות מהדפדפן. אפשר גם לנהל אשכולות דרך שורת הפקודה באמצעות ה-CLI של gcloud. בתרחישים מורכבים או מתקדמים יותר, אפשר להשתמש ב-Cloud Managed Service for Apache Spark API בארכיטקטורת REST כדי לנהל אשכולות באופן פרוגרמטי.

האם אפשר להחיל הגדרות בהתאמה אישית כשיוצרים אשכול?

ב-Managed Service for Apache Spark יש תמיכה בפעולות אתחול שמתבצעות כשיוצרים אשכול. פעולות האתחול האלה יכולות להיות סקריפטים או קובצי הפעלה ש-Managed Service for Apache Spark יריץ בזמן הקצאת האשכול כדי להתאים אישית את ההגדרות, להתקין אפליקציות או לבצע שינויים אחרים באשכול.

איך קובעים את גודל האשכול בהתאם לצרכים?

ההחלטות לגבי גודל האשכול מושפעות מכמה גורמים, כולל סוג העבודה שצריך לבצע, מגבלות עלות, דרישות מהירות ומכסת המשאבים. אפשר לפרוס את Managed Service for Apache Spark במגוון סוגי מכונות, כך שאתם יכולים לבחור את המשאבים שאתם צריכים, מתי שאתם צריכים אותם.

האם אפשר לשנות את הגודל של האשכול?

כן, אפשר לשנות בקלות את גודל האשכול, גם במהלך עיבוד המשימה. אפשר לשנות את גודל האשכול באמצעות Google Cloud console או באמצעות שורת הפקודה. שינוי הגודל יכול להגדיל או להקטין את מספר ה-workers באשכול. ה-workers שנוספים לאשכול יהיו מאותו סוג וגודל כמו ה-workers הקיימים. אפשר לשנות את הגודל של אשכולות, למעט במקרים מיוחדים, כמו הפחתת מספר ה-workers לאחד או הפחתת הקיבולת של HDFS מתחת לכמות שנדרשת להשלמת המשימה.

ניהול משימות ותהליכי עבודה

איך שולחים משימות באשכול?

יש כמה דרכים לשלוח משימות באשכול Managed Service for Apache Spark. הדרך הכי קלה היא להשתמש בדף Submit a job של Managed Service for Apache Spark במסוף Google Cloud או בפקודה gcloud dataproc jobs submit ב-CLI של gcloud. כדי לשלוח משימות באופן פרוגרמטי, קראו את מאמרי העזרה של Dataproc API.

אפשר להריץ יותר ממשימה אחת בכל פעם?

כן, אפשר להריץ כמה משימות בו-זמנית באשכול של Managed Service for Apache Spark. ב-Cloud Managed Service for Apache Spark נעשה שימוש במנהל משאבים (YARN) ובהגדרות ספציפיות לאפליקציה, כמו התאמה לעומס (scaling) באמצעות Spark, כדי לבצע אופטימיזציה של השימוש במשאבים באשכול. ביצועי המשימה ישתנו בהתאם לגודל האשכול ולמספר המשימות הפעילות.

אפשר לבטל משימות באשכול?

בהחלט. אפשר לבטל משימות דרך ממשק האינטרנט של Google Cloud consoleאו דרך שורת הפקודה. ב-Managed Service for Apache Spark, כדי לעצור משימות לפי בקשה, משתמשים בביטול של אפליקציית YARN.

האם אפשר להפוך משימות באשכול לאוטומטיות?

אפשר להפעיל משימות באופן אוטומטי באשכולות באמצעות כמה מנגנונים. אתם יכולים להשתמש ב-CLI של gcloud או בממשקי ה-API ל-REST של Managed Service for Apache Spark כדי להפוך את הניהול ואת תהליך העבודה של האשכולות והמשימות לאוטומטיים.

פיתוח

באילו שפות פיתוח אפשר להשתמש?

אפשר להשתמש בשפות שנתמכות בסביבה של Spark/Hadoop, כולל Java,‏ Scala,‏ Python ו-R.

האם ל-Managed Service for Apache Spark יש API?

כן, ל-Managed Service for Apache Spark יש קבוצה של ממשקי API בארכיטקטורת REST שמאפשרים לכם ליצור אינטראקציה עם אשכולות ומשימות באופן פרוגרמטי.

האם אפשר להתחבר לאשכול באמצעות SSH?

כן, אפשר להשתמש ב-SSH בכל מכונה (צומת מאסטר או צומת עובד) בתוך אשכול. אפשר להשתמש ב-SSH מדפדפן או משורת הפקודה.

האם אפשר לגשת לממשקי המשתמש באינטרנט של Spark/Hadoop?

כן, ממשקי המשתמש של Hadoop ו-Spark (ממשקי המשתמש של Spark,‏ Hadoop ו-YARN) נגישים בתוך אשכול. במקום לפתוח יציאות לממשקי המשתמש, מומלץ להשתמש במנהרת SSH, שתעביר באופן מאובטח את התנועה מהאשכולות דרך חיבור ה-SSH.

האם אפשר להתקין או לנהל תוכנות באשכול?

כן, כמו בשרת או באשכול של Hadoop, אתם יכולים להתקין ולנהל תוכנות באשכול של Managed Service for Apache Spark.

מהו מספר הרפליקציות שמוגדר כברירת מחדל?

משיקולי ביצועים וגם בגלל האמינות הגבוהה של האחסון שמצורף לאשכולות של Managed Service for Apache Spark, פקטור הרפליקציה שמוגדר כברירת מחדל הוא 2.

באיזו מערכת הפעלה (OS) משתמשים ב-Managed Service for Apache Spark?

‫Managed Service for Apache Spark מבוסס על Debian ו-Ubuntu. התמונות העדכניות ביותר מבוססות על Debian 10 Buster ו-Ubuntu 18.04 LTS.

איפה אפשר לקבל מידע ולמידה על סטרימינג של Hadoop?

אפשר לעיין במסמכי התיעוד של פרויקט Apache.

איך מתקינים את הפקודה gcloud dataproc?

כשמתקינים את ה-CLI של gcloud, מותקן כלי שורת הפקודה הרגיל של gcloud, כולל פקודות gcloud dataproc.

גישה לנתונים וזמינות הנתונים

איך אפשר להעביר נתונים אל אשכול וממנו?

‫Managed Service for Apache Spark משתמש ב-Hadoop Distributed File System (HDFS) לאחסון. בנוסף, Managed Service for Apache Spark מתקין באופן אוטומטי את המחבר של Google Cloud Storage שתואם ל-HDFS, שמאפשר להשתמש ב-Cloud Storage במקביל ל-HDFS. אפשר להעביר נתונים אל האשכול וממנו באמצעות העלאה או הורדה ל-HDFS או ל-Cloud Storage.

אפשר להשתמש ב-Cloud Storage עם Dataproc?

כן, באשכולות של Managed Service for Apache Spark מותקן באופן אוטומטי החיבור ל-Cloud Storage. יש כמה יתרונות לבחירה ב-Cloud Storage על פני HDFS מסורתי, כולל עמידות הנתונים, אמינות וביצועים.

האם אפשר לקבל תמיכה בחיבור ל-Cloud Storage?

כן, כשמשתמשים ב-Managed Service for Apache Spark, החיבור ל-Cloud Storage נתמך באותה רמה כמו Managed Service for Apache Spark (ראו קבלת תמיכה). כל משתמשי Connector User יכולים להשתמש בתג google-cloud-dataproc ב-Stack Overflow לשאלות ותשובות על מחברים.

מהו גודל הקובץ האידיאלי למערכי נתונים ב-HDFS וב-Cloud Storage?

כדי לשפר את הביצועים, כדאי לאחסן נתונים בקבצים גדולים יותר, למשל בטווח של 256MB עד 512MB.

עד כמה Managed Service for Apache Spark אמין?

השירות Managed Service for Apache Spark מבוסס על טכנולוגיות אמינות ומוכחות של Google Cloud Platform, כולל Compute Engine,‏ Cloud Storage ו-Monitoring, ולכן הוא מתוכנן לזמינות גבוהה ולאמינות. המוצר זמין לכלל המשתמשים, ואתם יכולים לעיין בהסכם רמת השירות (SLA) של Managed Service for Apache Spark.

מה קורה לנתונים שלי כשאשכול מושבת?

כל הנתונים ב-Cloud Storage נשמרים אחרי שהאשכול מושבת. זו אחת מהסיבות לבחור ב-Cloud Storage על פני HDFS, כי הנתונים ב-HDFS נמחקים כשאשכול מושבת (אלא אם הם מועברים למיקום קבוע לפני ההשבתה).

רישום ביומן, מעקב וניפוי באגים

אילו סוגים של רישום ביומן ומעקב זמינים?

כברירת מחדל, אשכולות Managed Service for Apache Spark משולבים עם Monitoring ו-Logging. בעזרת Monitoring ו-Logging תוכלו לקבל בקלות מידע מפורט על התקינות, הביצועים והסטטוס של אשכולות Managed Service for Apache Spark. גם יומני האפליקציות (YARN,‏ Spark וכו') וגם יומני המערכת מועברים ל-Logging.

איך אפשר לראות את היומנים של Managed Service for Apache Spark?

יש כמה דרכים להציג את היומנים של Managed Service for Apache Spark. אתם יכולים להיכנס ל-Logging כדי לראות את היומנים המצטברים של האשכול בדפדפן אינטרנט. בנוסף, אפשר להשתמש בשורת הפקודה (SSH) כדי להציג באופן ידני את היומנים או לעקוב אחרי הפלט של האפליקציה. בנוסף, הפרטים זמינים גם דרך ממשקי המשתמש באינטרנט של אפליקציית Hadoop, כמו ממשק האינטרנט של YARN.

איך אפשר לעקוב אחרי אשכולות?

אפשר לעקוב בקלות אחרי אשכולות באמצעות Monitoring או בקטע Managed Service for Apache Spark ב- Google Cloud console. אפשר גם לעקוב אחרי האשכולות באמצעות גישה לשורת הפקודה (SSH) או ממשקי האינטרנט של האפליקציה (Spark,‏ YARN וכו').

אבטחה וגישה

איך הנתונים שלי מאובטחים?

ב-Google Cloud Platform יש מודל אבטחה עשיר, שחל גם על Cloud Managed Service for Apache Spark. ב-Managed Service for Apache Spark יש מנגנוני אימות, הרשאה והצפנה, כמו SSL, כדי לאבטח את הנתונים. אפשר להצפין את הנתונים בזמן ההעברה אל האשכול וממנו, בזמן יצירת האשכול או שליחת המשימה.

איך אפשר לשלוט בגישה לאשכול של Managed Service for Apache Spark?

ב-Google Cloud Platform יש מנגנוני אימות שאפשר להשתמש בהם עם Managed Service for Apache Spark. אפשר לתת למשתמשים גישה לאשכולות ולמשימות של Managed Service for Apache Spark ברמת הפרויקט.

חיוב

איך מתבצע החיוב על Managed Service for Apache Spark?

החיוב על Managed Service for Apache Spark הוא לפי שנייה, ומבוסס על גודל האשכול ומשך הזמן שבו האשכול פועל. בחישוב רכיב האשכול של העמלה, ב-Managed Service for Apache Spark מחויב תשלום קבוע על סמך מספר המעבדים הווירטואליים (vCPUs) באשכול. התשלום הקבוע הזה זהה, בלי קשר לסוג המכונה או לגודל המשאבים של Compute Engine שבהם משתמשים.

האם אצטרך לשלם על משאבים אחרים ב-Google Cloud?

כן, הפעלת אשכול של Managed Service for Apache Spark כרוכה בחיובים על משאבים אחרים של Google Cloud שמשמשים באשכול, כמו Compute Engine ו-Cloud Storage. כל פריט מצוין בנפרד בחשבון, כך שאתם יודעים בדיוק איך העלויות מחושבות ומוקצות.

האם יש זמן מינימלי או מקסימלי לחיוב?

החיובים ב-Google Cloud מחושבים לפי שנייה, ולא לפי שעה. נכון לעכשיו, ב-Compute Engine מרווח החיוב המינימלי הוא דקה אחת. לכן, גם ב-Managed Service for Apache Spark החיוב המינימלי הוא על דקה אחת.

זמינות

מי יכול ליצור אשכול ב-Managed Service for Apache Spark?

השירות Managed Service for Apache Spark זמין לכלל המשתמשים, כלומר כל לקוחות Google Cloud Platform יכולים להשתמש בו.

באילו אזורים Managed Service for Apache Spark זמין?

השירות Managed Service for Apache Spark זמין בכל האזורים והתחומים של פלטפורמת Google Cloud.