Managed Service for Apache Spark

גרסאות האימג' של Managed Service for Apache Spark מריצות את השירותים הבאים בצומתי האשכול.

כל הצמתים

השירותים הבאים פועלים בכל הצמתים באשכול.

סוג הצומת שירות גרסאות תמונה תיאור
כל הצמתים google-dataproc-agent all מקבל משימות מ-Managed Service for Apache Spark ומפעיל מנהלי התקנים של משימות
google-fluentd all אוסף יומנים ושולח אותם ל-Logging

אשכולות רגילים

השירותים הבאים פועלים באשכולות רגילים.

סוג הצומת שירות גרסאות תמונה תיאור
מאסטר hadoop-hdfs-namenode all ניהול מערכת הקבצים של HDFS
hadoop-hdfs-secondarynamenode all נקודות ביקורת של NameNode
hadoop-mapreduce-historyserver all הצגת מידע על היסטוריית האפליקציה של mapreduce
hadoop-yarn-resourcemanager all מתזמן ומנהל אפליקציות YARN
hadoop-yarn-timelineserver ‫1.3 ומעלה מציג מידע על היסטוריית האפליקציות של YARN
hive-metastore all ניהול המטא-נתונים של טבלאות Hive. כברירת מחדל, משתמש במסד הנתונים המקומי mariadb (גרסאות תמונה < 1.5) או mysql (גרסאות תמונה 1.5+) בצומת הראשי כמאגר המטא-נתונים של טבלת Hive. לא מומלץ להשתמש במסד הנתונים שמוגדר כברירת מחדל, כי מסדי הנתונים האלה קשורים למחזור החיים של האשכול. במקום זאת, השתמשו באחת מהאפשרויות הבאות כמסד הנתונים של Hive Metastore (לפי סדר ההמלצה):
  1. Dataproc Metastore
  2. מכונה של Cloud SQL
hive-server2 all מטפל בשאילתות שמתקבלות מלקוחות (בעיקר שאילתות מעטפת של Beeline) מול Hive
mariadb פחות מ-1.5 מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה נמוכה מ-1.5
mysql 1.5 ומעלה מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark מגרסה 1.5 ואילך
nfs-kernel-server < 1.3 ‫NFS היא מערכת קובצי רשת (Network File System).
spark-history-server all מציג מידע על היסטוריית האפליקציות של Spark
כל העובדים hadoop-yarn-nodemanager all מפעיל ומנהל קונטיינרים של YARN
רק עובדים ראשיים hadoop-hdfs-datanode all אחסון בלוקים של HDFS

אשכולות HA

באשכולות של זמינות גבוהה (HA) ב-Managed Service for Apache Spark, שירותים שונים פועלים בצומתי מאסטר שונים, כמו שמוצג בהמשך. השירותים של צומת העובד באשכול HA זהים לאלה שמפורטים באשכולות רגילים.

סוג הצומת שירות גרסאות תמונה תיאור
כל המאסטרים hadoop-hdfs-journalnode all קוורום של צומתי יומן מנהל יומן עריכה של שינויים במרחב השמות של HDFS. אם מתרחש מעבר לגיבוי בעת כשל, ה-Standby NameNode קורא את יומן העריכה ומשתלט על ה-Active NameNode.
hadoop-yarn-resourcemanager all מתזמן ומנהל אפליקציות YARN
hive-metastore all ניהול המטא-נתונים של טבלאות Hive. כברירת מחדל, משתמש במסד הנתונים המקומי mariadb (גרסאות תמונה < 1.5) או mysql (גרסאות תמונה 1.5+) בצומת הראשי כמאגר המטא-נתונים של טבלת Hive. לא מומלץ להשתמש במסד הנתונים שמוגדר כברירת מחדל, כי מסדי הנתונים האלה קשורים למחזור החיים של האשכול. במקום זאת, השתמשו באחת מהאפשרויות הבאות כמסד הנתונים של המטא-חנות של Hive (לפי סדר ההמלצה):
  1. Dataproc Metastore
  2. מכונה של Cloud SQL
hive-server2 all מטפל בשאילתות שמתקבלות מלקוחות (בעיקר שאילתות מעטפת של Beeline) מול Hive
zookeeper-server all קוורום של ZooKeeper משמש לתיאום מבוזר. באשכולות של זמינות גבוהה (HA), הוא משמש לבחירת מנהיג של HDFS NameNodes ושל מנהלי משאבים של YARN.
רק מאסטרים 0 ו-1 hadoop-hdfs-namenode all ניהול מערכת הקבצים של HDFS
hadoop-hdfs-zkfc all ‫ZKFC הוא התהליך של ZKFailoverController, שפועל עם NameNode של HDFS. הוא עוקב אחרי תקינות ה-NameNode ומנהל את בחירת ה-leader באמצעות ZooKeeper במקרה של יתירות כשל.
רק מאסטר 0 hadoop-mapreduce-historyserver all הצגת מידע על היסטוריית האפליקציה של mapreduce
hadoop-yarn-timelineserver ‫1.3 ומעלה מציג מידע על היסטוריית האפליקציות של YARN
mariadb פחות מ-1.5 מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark בגרסה נמוכה מ-1.5
mysql 1.5 ומעלה מסד נתונים רלציוני שמשמש כברירת המחדל של מסד הנתונים הבסיסי ל-Hive metastore בתמונות של Managed Service for Apache Spark מגרסה 1.5 ואילך
nfs-kernel-server < 1.3 ‫NFS היא מערכת קובצי רשת.
spark-history-server all מציג מידע על היסטוריית האפליקציות של Spark