שימוש בסוכן Data Engineering ב-Visual Studio Code

הסוכן Data Engineering, שכלול בGoogle Cloud Data Agent Kit, יכול לעזור לכם ליצור ולבנות Orchestration Pipelines בסביבת הפיתוח המשולבת (IDE). סוכן הנדסת הנתונים משתמש ב-Gemini for Google Cloudכדי לספק ממשק בשפה טבעית לאוטומציה של יצירה, שינוי וניהול של תהליכי עבודה מורכבים לתיאום.

‫Data Agent Kit נתמך ב-VS Code, בסביבות פיתוח משולבות (IDE) שמבוססות על VS Code ובממשקי שורת פקודה (CLI) נתמכים שמבוססים על סוכנים.

הסוכן Data Engineering תומך במשימות הנפוצות הבאות של הנדסת נתונים:

  • יצירת צינורות להפעלת תהליכים: יצירת צינור חדש בסביבת עבודה ריקה או הוספת צינורות נוספים לפרויקטים קיימים.
  • שינוי המבנה של צינורות: אפשר להשתמש בשפה טבעית כדי להוסיף, להסיר או לעדכן פעולות ספציפיות בצינור תזמור.
  • ניהול מטא-נתונים של ההרצה: שינוי שמות של צינורות ועדכון לוחות זמנים של הרצות, למשל, מריצות ידניות לריצות יומיות.
  • פתרון בעיות בהרצות של צינורות עיבוד נתונים: זיהוי יזום של הסיבה העיקרית להרצות שנכשלו של צינורות עיבוד נתונים ויישום תיקונים שהסוכן מציע.

לפני שמתחילים

לפני שמשתמשים ב-Data Engineering Agent בסביבת הפיתוח המשולבת, צריך לבצע את השלבים שבקטע הזה.

  1. מתקינים את התוסף Data Agent Kit. הסוכן Data Engineering כלול ב-Data Agent Kit.

  2. מפעילים את Gemini Data Analytics API ואת Dataform API.

    הפעלת ממשקי ה-API

  3. מתקינים את גרסה 563.0.0 ואילך של Google Cloud SDK.

  4. מתקינים את הפקודות של gcloud beta.

  5. הגדרת סביבה ב-Managed Service for Apache Airflow שימוש בהגדרת ברירת המחדל של סביבת Managed Service for Apache Airflow. לאחר מכן, בהגדרות של Scheduler for Data Agent Kit, מזינים את השם של סביבת Managed Service for Apache Airflow, את המזהה של פרויקטGoogle Cloud שבו מתארחת הסביבה ואת האזור שבו נמצאת הסביבה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לאינטראקציה עם סוכן ה-Data Engineering והשירותים הבסיסיים שלו, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

שיטות מומלצות

  • הסוכן פועל בלולאה מרובת שלבים. הסוכן קודם יוצר תוכנית לאישור שלכם. לאחר מכן, הסוכן מבצע את הפעולה (לדוגמה, כתיבת קוד). לבסוף, הנציג מאמת את התוצאות באמצעות הרצות יבשות או בדיקות.
  • הביצועים של הסוכן תלויים בקבצים שפתוחים בסביבת העבודה. משתמשים בתחביר @file או פותחים קובצי SQLX רלוונטיים כדי לספק לסוכן את ההקשר הדרוש לבניית לוגיקת התיאום.

יצירת פייפליין לתזמור

כדי ליצור צינור להפעלת תהליכים בסביבת עבודה ריקה או להוסיף צינור נוסף להפעלת תהליכים לסביבת עבודה קיימת:

  1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit (ערכת כלים לסוכני נתונים) שהותקן.
  2. פותחים את החלונית יש לך שאלה ל-Gemini?.

  3. מזינים פרומפט בשפה טבעית כדי ליצור צינור להפעלת תהליכים. לדוגמה:

     Create an orchestration pipeline that unifies my Google Ads and YouTube Ads
 data into a single marketing table.

    אחרי שמזינים את ההנחיה, לוחצים על שליחה.

  4. בודקים את מבנה צינור הנתונים שנוצר ומחילים את השינויים.

עדכון של לוח זמנים של צינור לעיבוד נתונים

כדי לשנות את השם של צינור הנתונים של התזמור או לעדכן את תזמון ההרצה (לדוגמה, מפעולה ידנית להרצה יומית):

  1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit (ערכת כלים לסוכני נתונים) שהותקן.
  2. עוברים להגדרה הקיימת של צינור הנתונים לניהול תהליכים.
  3. פותחים את החלונית יש לך שאלה ל-Gemini?.

  4. מזינים הנחיה בשפה טבעית כדי לעדכן את התזמון של צינור הנתונים. לדוגמה:

    Update the execution schedule for this pipeline to run daily at 2 AM.

    הסוכן מעדכן את ההגדרה הבסיסית, למשל את ההגדרות של Apache Airflow DAG.

  5. בודקים ושומרים את לוח הזמנים המעודכן של צינור הנתונים.

שינוי פעולות בצינור המכירות

כדי להוסיף או למחוק פעולות ספציפיות בצינור האורקסטרציה:

  1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit (ערכת כלים לסוכני נתונים) שהותקן.
  2. מזהים את הפעולה בצינור שרוצים להוסיף או למחוק.
  3. פותחים את החלונית יש לך שאלה ל-Gemini?.

  4. מזינים הנחייה בשפה טבעית כדי לשנות את הפעולות בצינור. לדוגמה:

    Add a new action to the pipeline that runs the daily_sales_aggregation table
task.

  5. בודקים ושומרים את הגדרת הצינור המעודכנת.

פתרון בעיות

אם נתקלים בשגיאות במהלך יצירת צינור הנתונים של תזמור, צריך לוודא שביצעתם את כל הפעולות הנדרשות להפעלת Data Engineering Agent. מידע נוסף מופיע במאמר לפני שמתחילים.

כדי לפתור בעיות בהרצת תזמור או צינור נתונים שנכשלו:

  1. פותחים את סביבת הפיתוח המשולבת (IDE) עם התוסף Data Agent Kit (ערכת כלים לסוכני נתונים) שהותקן.
  2. בצינור או בסביבת העבודה לפיתוח, לוחצים על הכרטיסייה Executions (הרצות).
  3. ברשימת ההרצות, מחפשים את ההרצה של הפייפליין שנכשלה. אפשר לזהות ריצות שנכשלו בעמודה סטטוס של ריצת ההפעלה.
  4. מעבירים את העכבר מעל סמל הכשל ולוחצים על בדיקה. הסוכן Data Engineering מנתח את היומנים ומזהה את שורש הבעיה, כמו שינוי בסכימה או אי התאמה של סוגי נתונים.
  5. בחלונית Ask Agent (שאלת סוכן), בודקים את התיקון המוצע.
  6. כדי לפתור את הבעיה, כותבים הנחיה כמו Apply the suggested fix to the pipeline. לחלופין, אפשר לעדכן ידנית את קוד ה-SQLX על סמך הניתוח של הסוכן.

המאמרים הבאים