בדף הזה מוסבר איך להפעיל את Cloud Logging בשביל אשכולות של Managed Service for Apache Spark בשירות המנוהל של Cloud Data Fusion, ואיך לגשת ליומנים מתקדמים של צינורות נתונים.
הפעלת Cloud Logging ב-Managed Service for Apache Spark
כדי לראות בעיות בצינורות ובאשכולות ב-Cloud Logging, צריך להפעיל יומנים מתקדמים במופעים חדשים או קיימים של Cloud Data Fusion. כדי להפעיל יומנים מתקדמים במופע קיים:
נכנסים לדף Instances של Cloud Data Fusion במסוף Google Cloud .
לוחצים על שם המכונה.
בקטע Advanced monitoring and logging (מעקב ורישום מתקדמים), בשורה Dataproc Cloud Logging (רישום ביומן של Dataproc Cloud), לוחצים על Edit (עריכה).
בחלון Cloud Logging, מסמנים את תיבת הסימון Enable Cloud Logging.
לוחצים על Save.
צפייה ביומנים
לכל הרצה של צינור נתונים ב-Cloud Data Fusion מוקצה RunIDייחודי.
אחרי שפורסים ומריצים את צינור עיבוד הנתונים, מוצאים את ה-RunID שלו. לאחר מכן, בקטע Logging (רישום ביומן), משתמשים בRunID כדי להציג את היומנים של צינור העיבוד.
אחזור של RunID של צינור עיבוד נתונים
- עוברים למופע:
במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.
כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).
- לוחצים על רשימה.
- לוחצים על צינור הנתונים שרוצים לקבל את מזהה ההרצה שלו.
- לוחצים על סיכום.
- בקטע Run history (היסטוריית ההרצה), לוחצים על Table (טבלה).
- כדי להעתיק את מזהה ההרצה, לוחצים לחיצה ימנית על RunID ואז על Copy (העתקה).
צפייה ביומנים בכלי Logs Explorer
במסוף Google Cloud , נכנסים לדף Cloud Logging > Logs Explorer:
בתפריט הנפתח All resources, בוחרים באפשרות Cloud Dataproc Cluster >
cdap-PIPELINE_NAME-YOUR_RUNID.
אופציונלי: סינון היומנים
משתמשים בתפריטי הסינון כדי לסנן את היומנים. אפשר לסנן לפי רמות חומרה שונות של יומנים או לפי רכיבים כמו datafusion-pipeline-logs.
אופציונלי: הורדת היומנים
לוחצים על הורדת יומנים.
מידע נוסף זמין במאמר בנושא הורדת רשומות ביומן.