שימוש בסוכן Data Engineering ב-Visual Studio Code

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לשאול שאלות לגבי תכונת התצוגה המקדימה הזו, אפשר לפנות לכתובת [e-mail].

הסוכן להנדסת נתונים בתוסף Google Cloud Data Agent Kit יכול לעזור לכם ליצור ולבנות צינורות להפעלת תהליכים בסביבת הפיתוח המשולבת (IDE). סוכן הנדסת הנתונים משתמש ב-Gemini for Google Cloudכדי לספק ממשק בשפה טבעית לאוטומציה של יצירה, שינוי וניהול של תהליכי עבודה מורכבים לתיאום.

התוסף Data Agent Kit נתמך ב-VS Code.

הסוכן Data Engineering תומך במשימות הנפוצות הבאות של הנדסת נתונים:

• יצירת צינורות להפעלת תהליכים: יצירת צינור חדש בסביבת עבודה ריקה או הוספת צינורות נוספים לפרויקטים קיימים.
• שינוי המבנה של צינורות: אפשר להשתמש בשפה טבעית כדי להוסיף, להסיר או לעדכן פעולות בודדות בצינור תזמור.
• ניהול מטא-נתונים של ההרצה: שינוי שמות של צינורות ועדכון לוחות זמנים של הרצות, למשל, מריצות ידניות לריצות יומיות.
• פתרון בעיות בהרצות של צינורות עיבוד נתונים: זיהוי יזום של שורש הבעיה בהרצות של צינורות עיבוד נתונים שנכשלו, והחלת תיקונים שהסוכן מציע.

לפני שמתחילים

לפני שמשתמשים בסוכן Data Engineering בסביבת הפיתוח המשולבת (IDE), צריך לבצע את השלבים שבקטע הזה.

1. מתקינים את התוסף Data Agent Kit ל-Visual Studio Code. התוסף Data Agent Kit כולל את Data Engineering Agent.

2. מפעילים את Gemini Data Analytics API ואת Dataform API.

   הפעלת ממשקי ה-API

3. מתקינים את גרסה 563.0.0 ואילך של Google Cloud SDK.

4. מתקינים את הפקודות של gcloud beta.

5. הגדרת סביבה ב-Managed Service for Apache Airflow שימוש בהגדרת ברירת המחדל של סביבת Managed Service for Apache Airflow. לאחר מכן, בהגדרות של התוסף Data Agent Kit Scheduler, מזינים את השם של סביבת Managed Service for Apache Airflow, את המזהה של פרויקטGoogle Cloud שבו מתארחת הסביבה ואת האזור שבו נמצאת הסביבה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לאינטראקציה עם הסוכן Data Engineering והשירותים הבסיסיים שלו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• משתמש בשיחה עם Gemini Data Analytics ללא שמירת מצב (roles/geminidataanalytics.dataAgentStatelessUser)
• עורך הקוד של Dataform (roles/dataform.codeEditor)
• BigQuery Job User (roles/bigquery.jobUser)
• כדי להציג רשימה של סביבות ולנהל תרשימי DAG של Apache Airflow:‏ Composer User ‏ (roles/composer.user)
• כדי לפרוס את צינור עיבוד הנתונים של Orchestration או לעדכן את צינור עיבוד הנתונים באמצעות חשבון שירות ייעודי של סביבת Managed Airflow: משתמש בחשבון שירות (roles/iam.serviceAccountUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

שיטות מומלצות

• הסוכן פועל בלולאה מרובת שלבים. הסוכן קודם יוצר תוכנית לאישור שלכם. לאחר מכן, הסוכן מבצע את הפעולה (לדוגמה, כתיבת קוד). לבסוף, הנציג מאמת את התוצאות באמצעות הרצות יבשות או בדיקות.
• הביצועים של הסוכן תלויים בקבצים שפתוחים בסביבת העבודה. כדי לתת לסוכן את ההקשר הדרוש לבניית לוגיקת התיאום, משתמשים בתחביר @file או פותחים קובצי SQLX רלוונטיים.

יצירת פייפליין לתזמור

כדי ליצור צינור להפעלת תהליכים בסביבת עבודה ריקה או להוסיף צינור נוסף להפעלת תהליכים לסביבת עבודה קיימת, מבצעים את הפעולות הבאות:

1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit.
2. פותחים את החלונית יש לך שאלה ל-Gemini?.

3. כדי ליצור צינור עיבוד נתונים של תזמור, מזינים הנחיה בשפה טבעית. לדוגמה:

    Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
    data into a single marketing table.
   

   אחרי שמזינים את ההנחיה, לוחצים על שליחה.

4. בודקים את מבנה צינור הנתונים שנוצר ומחילים את השינויים.

עדכון של לוח זמנים של צינור לעיבוד נתונים

כדי לשנות את השם של צינור הנתונים של התזמור או לעדכן את לוח הזמנים של ההרצה (לדוגמה, מפעולה ידנית להרצה יומית):

1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit.
2. עוברים להגדרה הקיימת של צינור הנתונים לארגון.
3. פותחים את החלונית יש לך שאלה ל-Gemini?.

4. מזינים הנחיה בשפה טבעית כדי לעדכן את התזמון של צינור הנתונים. לדוגמה:

   Update the execution schedule for this pipeline to run daily at 2 AM.
   

   הסוכן מעדכן את ההגדרה הבסיסית, למשל את ההגדרות של Apache Airflow DAG.

5. בודקים ושומרים את לוח הזמנים המעודכן של צינור הנתונים.

שינוי פעולות בצינור המכירות

כדי להוסיף או למחוק פעולות ספציפיות בצינור האורקסטרציה:

1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit.
2. מזהים את הפעולה בצינור שרוצים להוסיף או למחוק.
3. פותחים את החלונית יש לך שאלה ל-Gemini?.

4. מזינים הנחיה בשפה טבעית כדי לשנות את פעולות הצינור. לדוגמה:

   Add a new action to the pipeline that runs the daily_sales_aggregation table
   task.
   

5. בודקים ושומרים את הגדרת הפייפליין המעודכנת.

פתרון בעיות

אם נתקלתם בשגיאות במהלך יצירת צינור הנתונים של תזמור, ודאו שביצעתם את כל הפעולות הנדרשות להפעלת הסוכן Data Engineering. מידע נוסף מופיע במאמר לפני שמתחילים.

כדי לפתור בעיות בהרצת תזמור או צינור נתונים שנכשלו:

1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit.
2. בצינור או בסביבת העבודה לפיתוח, לוחצים על הכרטיסייה Executions (הרצות).
3. ברשימת ההרצות, מחפשים את ההרצה של הפייפליין שנכשלה. אפשר לזהות ריצות שנכשלו בעמודה סטטוס של ריצת הביצוע.
4. מעבירים את העכבר מעל סמל הכשל ולוחצים על בדיקה. הסוכן Data Engineering מנתח את היומנים ומזהה את שורש הבעיה, כמו שינוי בסכימה או אי התאמה של סוגי נתונים.
5. בחלונית Ask Agent (שאלת נציג), בודקים את התיקון המוצע.
6. כדי לפתור את הבעיה, כותבים הנחיה כמו Apply the suggested fix to the pipeline. לחלופין, אפשר לעדכן ידנית את קוד ה-SQLX על סמך הניתוח של הסוכן.

המאמרים הבאים

• איך פורסים צינורות להזמנת פעולות
• איך יוצרים סביבות הפעלה שמריצות צינורות של תזמור
• מידע על הגדרה ידנית של צינור עיבוד הנתונים והגדרות הפריסה ועל כוונון שלהן
• איך יוצרים ומשנים צינורות להפעלת תהליכים באמצעות פקודות של Google Cloud CLI
• איך משתמשים ב-Data Engineering Agent כדי ליצור ולשנות צינורות נתונים ב- Google Cloud Console