הכנת נתונים באמצעות Gemini

במאמר הזה מוסבר איך לנקות ולשנות את הנתונים בהכנות הנתונים ב-BigQuery באמצעות הצעות לקוד SQL מ-Gemini.

מידע נוסף זמין במאמר סקירה כללית על הכנת נתונים ב-BigQuery.

לפני שמתחילים

התחלת סשן של הכנת נתונים

פותחים את עורך הכנת הנתונים ב-BigQuery על ידי יצירת הכנת נתונים חדשה, התחלת הכנה מטבלה קיימת או מקובץ Cloud Storage או Google Drive, או פתיחת הכנת נתונים קיימת. למידע נוסף על מה שקורה כשיוצרים הכנת נתונים, ראו נקודות כניסה להכנת נתונים.

בדף BigQuery, אפשר לעבור לעורך הכנת הנתונים בדרכים הבאות:

יצירת משאב חדש

כדי ליצור הכנת נתונים חדשה ב-BigQuery, פועלים לפי השלבים הבאים:

  1. נכנסים לדף BigQuery במסוף Google Cloud .
    כניסה ל-BigQuery
  2. עוברים לרשימה Create new ולוחצים על Data preparation. הכלי לעריכת הכנת הנתונים מוצג בכרטיסייה חדשה של הכנת נתונים בלי שם.
  3. בשורת החיפוש של העורך, מזינים את שם הטבלה או מילות מפתח ובוחרים טבלה. עורך הכנת הנתונים של הטבלה נפתח, ומוצגת תצוגה מקדימה של הנתונים בכרטיסייה Data, וקבוצה ראשונית של הצעות להכנת נתונים מ-Gemini.
  4. אופציונלי: כדי לפשט את התצוגה, אפשר להפעיל מצב מסך מלא בלחיצה על fullscreen Full screen.

  5. אופציונלי: כדי לראות את פרטי הכנת הנתונים, היסטוריית הגרסאות, להוסיף תגובות חדשות או להגיב לתגובות קיימות, משתמשים בסרגל הכלים.

    הסבר על סרגל הכלים להכנת נתונים.

    התכונה Comments בסרגל הכלים נמצאת בגרסת טרום-השקה (Preview). כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, שלחו אימייל לכתובת bqui-workspace-pod@google.com.

יצירה מטבלה

כדי ליצור הכנת נתונים חדשה מטבלה קיימת, פועלים לפי השלבים הבאים:

  1. נכנסים לדף BigQuery במסוף Google Cloud .
    כניסה ל-BigQuery
  2. בחלונית הימנית, לוחצים על Explorer.
  3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים מערך נתונים.
  4. בשם הטבלה, לוחצים על more_vert Actions > Open in > Data preparation. נפתח עורך הכנת הנתונים של הטבלה, ומוצגת תצוגה מקדימה של הנתונים בכרטיסייה Data, וקבוצה ראשונית של הצעות להכנת נתונים מ-Gemini.
  5. אופציונלי: כדי לפשט את התצוגה, אפשר להפעיל מצב מסך מלא בלחיצה על fullscreen Full screen.

  6. אופציונלי: כדי לראות את פרטי הכנת הנתונים, היסטוריית הגרסאות, להוסיף תגובות חדשות או להגיב לתגובות קיימות, משתמשים בסרגל הכלים.

    הסבר על סרגל הכלים להכנת נתונים.

    התכונה Comments בסרגל הכלים נמצאת בגרסת טרום-השקה (Preview). כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, שלחו אימייל לכתובת bqui-workspace-pod@google.com.

יצירה מקובץ

כדי ליצור הכנת נתונים חדשה מקובץ ב-Cloud Storage או ב-Google Drive, פועלים לפי השלבים הבאים:

טוענים את הקובץ

  1. נכנסים לדף BigQuery במסוף Google Cloud .
    כניסה ל-BigQuery
  2. ברשימה Create new, לוחצים על Data preparation. הכלי לעריכת הכנת הנתונים מוצג בכרטיסייה חדשה של הכנת נתונים בלי שם.
  3. ברשימת מקורות הנתונים, לוחצים על Google Cloud Storage או על Google Drive. תיפתח תיבת הדו-שיח Prepare data.
  4. בקטע מקור, בוחרים את הקובץ:
    • ‫Cloud Storage: בוחרים את הקובץ מקטגוריה של Cloud Storage או מזינים את הנתיב של המקור. לדוגמה, מזינים נתיב לקובץ ה-CSV: STORAGE_BUCKET_NAME/FILE_NAME.csv. יש תמיכה בחיפושים עם תווים כלליים, כמו *.csv.
    • Google Drive: בחר את הקובץ מ-Google Drive על ידי הזנת ה-URI שלו. כדי לטעון קבוצת משנה של הנתונים האלה, אפשר להזין שם של גיליון ספציפי וטווח.

    פורמט הקובץ מזוהה באופן אוטומטי. הפורמטים הנתמכים הם Avro,‏ CSV,‏ JSONL,‏ ORC ו-Parquet. סוגי קבצים תואמים אחרים, כמו DAT,‏ TSV ו-TXT, נקראים בפורמט CSV. האפשרות Google Drive תומכת גם בפורמט Google Sheets.

  5. מגדירים את טבלת ה-Staging החיצונית שאליה תעלו קבצים. בקטע Staging table, מזינים את שמות הפרויקט, מערך הנתונים והטבלה החדשה.
  6. בקטע Schema, בודקים את הסכימה. ‫Gemini בודק את שמות העמודות בקובץ. אם לא נמצאו תוצאות, יוצגו הצעות.

    כברירת מחדל, קובץ הכנת הנתונים טוען נתונים כמחרוזות. אפשר להגדיר סוגי נתונים ספציפיים יותר כשמכינים את נתוני הקובץ.
  7. אופציונלי: בקטע Advanced options אפשר להוסיף עוד מידע, כמו מספר השגיאות שמותרות לפני שהמשימה נכשלת. ‫Gemini מציע אפשרויות נוספות על סמך תוכן הקובץ.
  8. אופציונלי: כדי לראות תצוגה מקדימה של טבלת ה-staging החדשה בכלי לעריכת הכנת הנתונים, בוחרים באפשרות Generate preview.
  9. לוחצים על יצירה. עורך הכנת הנתונים של הקובץ נפתח, ומוצגת תצוגה מקדימה של הנתונים בכרטיסייה Data, וקבוצה ראשונית של הצעות להכנת נתונים מ-Gemini.
  10. אופציונלי: כדי לפשט את התצוגה, אפשר להפעיל מצב מסך מלא בלחיצה על fullscreen Full screen.

  11. אופציונלי: כדי לראות את פרטי הכנת הנתונים, היסטוריית הגרסאות, להוסיף תגובות חדשות או להגיב לתגובות קיימות, משתמשים בסרגל הכלים.

    הסבר על סרגל הכלים להכנת נתונים.

    התכונה Comments בסרגל הכלים נמצאת בגרסת טרום-השקה (Preview). כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, שלחו אימייל לכתובת bqui-workspace-pod@google.com.

הכנת הקובץ

בתצוגת הנתונים, מכינים את הנתונים שנטענו בשלב הקודם:

  1. אופציונלי: מגדירים סוגי נתונים חזקים יותר לעמודות הרלוונטיות. לשם כך, מעיינים ברשימת ההצעות לטרנספורמציה או בוחרים עמודה ויוצרים הצעות בשבילה.
  2. אופציונלי: מגדירים כללי אימות. מידע נוסף זמין במאמר הגדרת טבלת השגיאות והוספת כלל אימות.
  3. מוסיפים טבלת יעד.
  4. כדי לטעון את הנתונים לטבלת היעד, מריצים את הכנת הנתונים.
  5. אופציונלי: מתזמנים את הרצת הכנת הנתונים.
  6. אופציונלי: אופטימיזציה של הכנת הנתונים באמצעות עיבוד נתונים מצטבר.

פתיחת מסמך קיים

כדי לפתוח את הכלי לעריכה של הכנת נתונים קיימת:

  1. נכנסים לדף BigQuery במסוף Google Cloud .
    כניסה ל-BigQuery
  2. בחלונית הימנית, לוחצים על Explorer.
  3. בחלונית Explorer, לוחצים על שם הפרויקט ואז על Data preparations.
  4. בוחרים את הכנת הנתונים הקיימת. מוצגת תצוגת התרשים של צינור עיבוד הנתונים להכנת הנתונים.
  5. בוחרים את אחד מהצמתים בתרשים. עורך הכנת הנתונים של הטבלה נפתח, ובכרטיסייה Data מוצגת תצוגה מקדימה של הנתונים, וגם קבוצה ראשונית של הצעות להכנת נתונים מ-Gemini.
  6. אופציונלי: כדי לפשט את התצוגה, אפשר להפעיל מצב מסך מלא בלחיצה על fullscreen Full screen.

  7. אופציונלי: כדי לראות את פרטי הכנת הנתונים, היסטוריית הגרסאות, להוסיף תגובות חדשות או להגיב לתגובות קיימות, משתמשים בסרגל הכלים.

    הסבר על סרגל הכלים להכנת נתונים.

    התכונה Comments בסרגל הכלים נמצאת בגרסת טרום-השקה (Preview). כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, שלחו אימייל לכתובת bqui-workspace-pod@google.com.

הוספת שלבים להכנת הנתונים

הכנת הנתונים מתבצעת בשלבים. אתם יכולים לראות תצוגה מקדימה של השלבים ש-Gemini מציע או להחיל אותם. אתם יכולים גם לשפר את ההצעות או להוסיף שלבים משלכם.

איך מיישמים ומשפרים את ההצעות של Gemini

כשפותחים את עורך הכנת הנתונים של הטבלה, Gemini בודק את הנתונים והסכימה מהטבלה שנטענה ויוצר הצעות לסינון ולטרנספורמציה. ההצעות מופיעות בכרטיסים ברשימת השלבים.

בתמונה הבאה מוצג איפה אפשר ליישם ולשפר את השלבים ש-Gemini הציע:

תצוגת נתונים בכלי לעריכת הכנת הנתונים, שבה מוצגות אפשרויות לתצוגה מקדימה, לעריכה או להחלת הצעות מ-Gemini.

כדי ליישם הצעה של Gemini כשלב בהכנת הנתונים:

  1. בתצוגת הנתונים, לוחצים על שם של עמודה או על תא מסוים. ‫Gemini יוצר הצעות לסינון ולשינוי הנתונים.

  2. אופציונלי: כדי לשפר את ההצעות, עורכים את הערכים של תא אחד עד שלושה תאים בטבלה כדי להדגים איך הערכים בעמודה צריכים להיראות. לדוגמה, מזינים תאריך בפורמט שבו רוצים שכל התאריכים יופיעו. ‫Gemini יוצר הצעות חדשות על סמך השינויים שביצעתם.

    בתמונה הבאה אפשר לראות איך עורכים את הערכים כדי לשפר את השלבים ש-Gemini מציע:

    כדי לשפר את ההצעות, אפשר לערוך את הערכים בתאים ולהראות איך הערכים בעמודה אמורים להיראות.

  3. בוחרים כרטיס הצעה.

    1. אופציונלי: כדי לראות תצוגה מקדימה של התוצאה של כרטיס ההצעה, לוחצים על Preview.
    2. אופציונלי: כדי לשנות את כרטיס ההצעה באמצעות שפה טבעית, לוחצים על Edit.

  4. לוחצים על אישור.

הוספת שלבים באמצעות שפה טבעית או ביטויי SQL

אם ההצעות הקיימות לא מתאימות לצרכים שלכם, אתם יכולים להוסיף שלב. בוחרים עמודות או סוג שלב, ואז מתארים את מה שרוצים בשפה טבעית.

הוספת טרנספורמציה

  1. בתצוגת הנתונים או הסכימה, בוחרים באפשרות Transform. אתם יכולים גם לבחור עמודות או להוסיף דוגמאות כדי לעזור ל-Gemini להבין את הטרנספורמציה של הנתונים.
  2. בשדה Description, מזינים הנחיה, למשל Convert the state column to uppercase.

  3. לוחצים על סמל השליחה .

    ‫Gemini יוצר ביטוי SQL ותיאור חדש על סמך ההנחיה שלכם.

  4. ברשימה Target column, בוחרים או מזינים שם של עמודה.

  5. אופציונלי: כדי לעדכן את ביטוי ה-SQL, משנים את ההנחיה ולוחצים על שליחה , או מזינים ביטוי SQL באופן ידני.

  6. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.

  7. לוחצים על אישור.

השטחת עמודות JSON

כדי שיהיה קל יותר לגשת לצמדי מפתח/ערך ולנתח אותם, אפשר לשטח עמודות JSON. לדוגמה, אם יש לכם עמודת JSON בשם user_properties שמכילה את המפתחות country ו-device_type, כשמבצעים פירוק של העמודה הזו, המערכת מחלצת את country ו-device_type לעמודות משלהם ברמה העליונה, כדי שתוכלו להשתמש בהם ישירות בניתוח.

‫Gemini ב-BigQuery מציע פעולות ששולפות שדות רק מהרמה העליונה של ה-JSON. אם השדות שחולצו מכילים עוד אובייקטים של JSON, אפשר לשטח אותם בשלבים נוספים כדי לגשת לתוכן שלהם.

  1. בתצוגת הנתונים של טבלת מקור בפורמט JSON, בוחרים עמודה או תאים.
  2. לוחצים על השטחה כדי ליצור הצעות.
  3. אופציונלי: כדי לעדכן את ביטוי ה-SQL, אפשר להזין ביטוי SQL באופן ידני.
  4. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  5. לוחצים על אישור.

ההתנהגות של ההשטחה היא:

  • האפשרות Flatten מופיעה בתצוגת הנתונים אחרי שבוחרים תאים או עמודות שמכילים JSON. הוא לא מופיע כברירת מחדל כשלוחצים על Add step.
  • אם מפתח JSON לא קיים בשורות שנבחרו, ההצעה שנוצרת לא מכילה את המפתח הזה. הבעיה הזו עלולה לגרום לכך שחלק מהעמודות לא ייכללו כשהנתונים יעברו שיטוח.
  • אם יש התנגשות בין שמות העמודות במהלך ההשטחה, שמות העמודות החוזרים מסתיימים בפורמט הזה: _<i>. לדוגמה, אם כבר קיימת עמודה בשם address, השם של העמודה החדשה שעברה שינוי מבנה הוא address_1.
  • שמות העמודות השטוחות תואמים למוסכמות מתן השמות לעמודות ב-BigQuery.
  • אם משאירים את השדה של מפתח ה-JSON ריק, הפורמט של שם העמודה שמוגדר כברירת מחדל הוא f<i>_.

השטחה של RECORD או STRUCT עמודות

כדי שיהיה קל יותר לגשת לשדות בתצוגת עץ ולנתח אותם, צריך לשטח עמודות עם סוג הנתונים RECORD או STRUCT. לדוגמה, אם יש לכם רשומת event_log שמכילה את השדות timestamp ו-action, שיטוח הרשומה הזו מחלץ את timestamp ו-action לעמודות משלהם ברמה העליונה, כדי שתוכלו לשנות אותם ישירות.

התהליך הזה מחלץ את כל העמודות בתצוגת עץ מהרשומה, עד לעומק של 10 רמות, ויוצר עמודה חדשה לכל אחת מהן. שמות העמודות החדשות נוצרים על ידי שילוב של שם עמודת ההורה עם שם השדה בתצוגת עץ, כשהם מופרדים בקו תחתון (לדוגמה, PARENT-COLUMN-NAME_FIELD-NAME). העמודה המקורית נמחקת. כדי לשמור את העמודה המקורית, אפשר למחוק את השלב Drop column מהרשימה Applied steps.

כדי לשטח רשומות:

  1. בתצוגת הנתונים של טבלת מקור, בוחרים עמודת רשומות.
  2. לוחצים על השטחה כדי ליצור הצעות.
  3. אופציונלי: כדי לעדכן את ביטוי ה-SQL, אפשר להזין ביטוי SQL באופן ידני.
  4. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  5. לוחצים על אישור.

ביטול ההטמעה של מערכים

ביטול ההתאמה מרחיב כל רכיב במערך לשורה משלו, ומשכפל את ערכי העמודות המקוריים האחרים לכל שורה חדשה. הפעולה הזו שימושית לניתוח עמודות שמכילות מערכים עם מספר משתנה של רכיבים, כמו רשימות של תגובות מה-API.

אפשר לבטל את ההתאמה של סוגי העמודות הבאים:

  • סוג הנתונים ARRAY: הופך את המערך לרכיבים של סוג הבסיס של המערך. לדוגמה, ביטול ההטמעה של ARRAY<STRUCT<...>> יוביל לאלמנטים מסוג STRUCT.
  • עמודות JSON: הפונקציה הזו מבטלת את ההטמעה של מערכי JSON בעמודה לאלמנטים מסוג JSON.

כשמבטלים את ההתאמה של מערך, נוצרת עמודה חדשה שמכילה את הרכיבים שההתאמה שלהם בוטלה. כברירת מחדל, עמודת המערך המקורית מושמטת. כדי לשמור את העמודה המקורית, מוחקים את השלב Drop column מהרשימה Applied steps.

כדי לבטל את ההטמעה של מערכים:

  1. בתצוגת הנתונים של טבלת המקור, בוחרים עמודה של ARRAY.
  2. לוחצים על Unnest כדי ליצור הצעות.
  3. אופציונלי: כדי לעדכן את ביטוי ה-SQL, אפשר להזין ביטוי SQL באופן ידני.
  4. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  5. לוחצים על אישור.

סינון שורות

כדי להוסיף מסנן שמסיר שורות:

  1. בתצוגת הנתונים או הסכימה, בוחרים באפשרות Filter. אתם יכולים גם לבחור עמודות כדי לעזור ל-Gemini להבין את מסנן הנתונים שלכם.
  2. בשדה Description, מזינים הנחיה, למשל Column ID should not be NULL.

  3. לוחצים על יצירה. ‫Gemini יוצר ביטוי SQL ותיאור חדש על סמך ההנחיה.

  4. אופציונלי: כדי לעדכן את ביטוי ה-SQL, משנים את ההנחיה ולוחצים על שליחה , או מזינים ביטוי SQL באופן ידני.

  5. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.

  6. לוחצים על אישור.

פורמט של ביטוי סינון

ביטויי SQL למסננים שומרים שורות שתואמות לתנאי שצוין. זה שווה ערך להצהרת SELECT … WHERE SQL_EXPRESSION.

לדוגמה, כדי לשמור רשומות שבהן הערך בעמודה year גדול מ-2000 או שווה לו, התנאי הוא year >= 2000.

הביטויים צריכים להיות תואמים לתחביר של BigQuery SQL עבור הסעיף WHERE.

ביטול כפילויות בנתונים

כדי להסיר שורות כפולות מהנתונים:

  1. בתצוגת הנתונים או הסכימה, בוחרים באפשרות ביטול כפילויות. ‫Gemini מספק הצעה ראשונית להסרת כפילויות.
  2. אופציונלי: כדי לשפר את ההצעה, מזינים תיאור חדש ולוחצים על שליחה .
  3. אופציונלי: כדי להגדיר באופן ידני את שלב ביטול הכפילויות, משתמשים באפשרויות הבאות:
    • ברשימה בחירת רשומות, בוחרים באחת מהשיטות הבאות:
      • First: בכל קבוצת שורות עם ערכים זהים של מפתח ביטול הכפילויות, האסטרטגיה הזו בוחרת את השורה הראשונה על סמך הביטוי ORDER BY ומסירה את השאר.
      • ‫Last: בכל קבוצת שורות עם אותם ערכים של מפתח ביטול הכפילויות, האסטרטגיה הזו בוחרת את השורה האחרונה על סמך הביטוי ORDER BY ומסירה את השאר.
      • Any: בכל קבוצת שורות עם אותם ערכים של מפתח ביטול הכפילויות, האסטרטגיה הזו בוחרת שורה כלשהי מהקבוצה ומסירה את השאר.
      • ‫Distinct: הסרת כל השורות הכפולות בכל העמודות בטבלה.
    • בשדה Deduplication keys, בוחרים עמודה אחת או יותר או ביטויים לזיהוי שורות כפולות. השדה הזה רלוונטי כשאסטרטגיית בחירת הרשומות היא First,‏ Last או Any.
    • בשדה Order by expression, מזינים ביטוי שמגדיר את סדר השורות. לדוגמה, כדי לבחור את השורה האחרונה, מזינים datetime DESC. כדי לבחור את השורה הראשונה לפי סדר אלפביתי של השם, מזינים שם עמודה כמו last_name. הביטוי פועל לפי אותם כללים כמו הסעיף ORDER BY הרגיל ב-BigQuery. השדה הזה רלוונטי רק כשאסטרטגיית בחירת הרשומות היא First או Last.
  4. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  5. לוחצים על אישור.

מחיקת עמודה

כדי למחוק עמודה אחת או יותר מהכנת הנתונים, פועלים לפי השלבים הבאים:

  1. בתצוגת הנתונים או הסכימה, בוחרים את העמודות שרוצים להסיר.
  2. לוחצים על הסרה. שלב חדש נוסף לעמודות שנמחקו.

הוספת פעולת צירוף באמצעות Gemini

כדי להוסיף שלב של פעולת איחוד בין שני מקורות בהכנת הנתונים:

  1. בתצוגת הנתונים של צומת בהכנת הנתונים, עוברים לרשימה Suggestions ולוחצים על האפשרות Join.
  2. בתיבת הדו-שיח Add join, לוחצים על Browse ובוחרים את הטבלה השנייה שמשתתפת בפעולת האיחוד (הצד הימני של האיחוד).
  3. אופציונלי: בוחרים את סוג פעולת הצירוף שרוצים לבצע, למשל צירוף פנימי.

  4. בודקים את פרטי מפתח ההצטרפות שנוצר על ידי Gemini בשדות הבאים:

    • תיאור האיחוד: תיאור בשפה טבעית של ביטוי ה-SQL לפעולת האיחוד. כשעורכים את התיאור הזה ולוחצים על שליחה , Gemini מציע תנאי SQL join חדשים.

    • תנאי איחוד: ביטויי ה-SQL בסעיף ON של פעולת האיחוד. אפשר להשתמש במאפיינים L ו-R כדי להתייחס לטבלאות המקור השמאלית והימנית, בהתאמה. לדוגמה, כדי לצרף את העמודה customer_id מהטבלה השמאלית לעמודה customer_id מהטבלה הימנית, מזינים L.customerId = R.customerId. המאפיינים האלה לא תלויי אותיות רישיות.

  5. אופציונלי: כדי לשפר את ההצעות של Gemini, עורכים את השדה Join description ולוחצים על send Send.

  6. אופציונלי: כדי לראות תצוגה מקדימה של הגדרות פעולת הצירוף של הכנת הנתונים, לוחצים על Preview.

  7. לוחצים על אישור.

    שלב פעולת הצירוף נוצר. טבלת המקור שבחרתם (הצד הימני של הצירוף) ופעולת הצירוף משתקפות ברשימת השלבים שהוחלו ובצמתים בתצוגת התרשים של הכנת הנתונים.

נתונים נצברים

  1. בתצוגת הנתונים או הסכימה, בוחרים באפשרות צבירה.
  2. בשדה Description, מזינים הנחיה, למשל Find the total revenue for a region.

  3. לוחצים על שליחה.

    ‫Gemini יוצר מפתחות קיבוץ וביטויי צבירה על סמך ההנחיה שלכם.

  4. אופציונלי: עורכים את מפתחות הקיבוץ או את ביטויי הצבירה שנוצרו, לפי הצורך.

  5. אופציונלי: אתם יכולים להוסיף באופן ידני מפתחות קיבוץ וביטויי צבירה.

    • בשדה Grouping keys, מזינים שם של עמודה או ביטוי. אם לא תזינו ערך, בטבלה שתתקבל תהיה שורה אחת. אם מזינים ביטוי, הוא חייב לכלול כינוי (סעיף AS) – לדוגמה EXTRACT(YEAR FROM order_date) AS order_year. אסור להזין ערכים כפולים.
    • בשדה Aggregation expressions, מזינים ביטוי צבירה עם כינוי (משפט AS) – לדוגמה, SUM(quantity) AS total_quantity. אפשר להזין כמה ביטויים, מופרדים בפסיקים. אסור להשתמש בתוכן כפול. רשימה של ביטויי הצבירה הנתמכים מופיעה במאמר פונקציות צבירה.

  6. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.

  7. לוחצים על אישור.

הגדרת טבלת השגיאות והוספת כלל אימות

אתם יכולים להוסיף מסנן שיוצר כלל אימות, ששולח שגיאות לטבלת שגיאות או גורם להרצת הכנת הנתונים להיכשל.

הגדרת טבלת השגיאות

כדי להגדיר את טבלת השגיאות:

  1. בעורך הכנת הנתונים, עוברים לסרגל הכלים ולוחצים על סמל האפשרויות הנוספות > טבלת שגיאות.
  2. לוחצים על הפעלת טבלת שגיאות.
  3. מגדירים את מיקום הטבלה.
  4. אופציונלי: מגדירים את משך הזמן המקסימלי לשמירת השגיאות.
  5. לוחצים על Save.

הוספת כלל אימות

כדי להוסיף כלל אימות, פועלים לפי השלבים הבאים:

  1. בתצוגת הנתונים או הסכימה, לוחצים על האפשרות סינון. אתם יכולים גם לבחור עמודות כדי לעזור ל-Gemini להבין את מסנן הנתונים שלכם.
  2. מזינים תיאור לשלב.
  3. מזינים ביטוי SQL, בצורה של משפט WHERE.
  4. אופציונלי: אם רוצים שביטוי ה-SQL יפעל ככלל אימות, מסמנים את התיבה Failed validation rows go to error table. אפשר גם לשנות מסנן לאימות בסרגל הכלים של הכנת הנתונים, בלחיצה על More > Error table.
  5. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  6. לוחצים על אישור.

הוספה או שינוי של טבלת יעד

כדי להפעיל או לתזמן את הכנת הנתונים, צריך טבלת יעד. כדי להוסיף או לשנות את טבלת היעד של הפלט של הכנת הנתונים:

  1. בתצוגת הנתונים או הסכימה, לוחצים על Destination ברשימה Suggestions.
  2. בוחרים את הפרויקט שבו מאוחסנת טבלת היעד.
  3. בוחרים אחת מקבוצות הנתונים או טוענים קבוצת נתונים חדשה.
  4. מזינים טבלת יעד. אם הטבלה לא קיימת, הכנת הנתונים יוצרת טבלה חדשה בהרצה הראשונה. מידע נוסף זמין במאמר מצב כתיבה.
  5. בוחרים את קבוצת הנתונים שלכם כקבוצת הנתונים של היעד.
  6. לוחצים על Save.

הצגת דגימת הנתונים והסכימה של שלב שהוחל

כדי להציג את פרטי הדגימה והסכימה בשלב מסוים בהכנת הנתונים:

  1. בעורך הכנת הנתונים, עוברים לרשימה Steps ולוחצים על Applied steps.
  2. בוחרים שלב. הכרטיסיות Data ו-Schema מופיעות, ומוצגות בהן דגימת הנתונים והסכימה נכון לשלב הספציפי הזה.

עריכת שלב שהוחל

כדי לערוך שלב שהוחל, מבצעים את הפעולות הבאות:

  1. בעורך הכנת הנתונים, עוברים לרשימה Steps ולוחצים על Applied steps.
  2. בוחרים שלב.
  3. לצד השלב, לוחצים על more_vert תפריט > עריכה.
  4. בתיבת הדו-שיח Edit Applied Step, אתם יכולים לבצע את הפעולות הבאות:
    • עורכים את התיאור של השלב.
    • כדי לקבל הצעות מ-Gemini, עורכים את התיאור ולוחצים על שליחה .
    • עורכים את ביטוי ה-SQL.
  5. בשדה עמודת יעד, בוחרים עמודה.
  6. אופציונלי: לוחצים על תצוגה מקדימה ובודקים את השלב.
  7. לוחצים על אישור.

מחיקת שלב שהוחל

כדי למחוק שלב שהוחל:

  1. בעורך הכנת הנתונים, עוברים לרשימה Steps ולוחצים על Applied steps.
  2. בוחרים שלב.
  3. לוחצים על more_vert תפריט > מחיקה.

הפעלת תהליך הכנת הנתונים

אחרי שמוסיפים את שלבי הכנת הנתונים, מגדירים את היעד ומתקנים את שגיאות האימות, אפשר להריץ בדיקות על דגימה של הנתונים, או לפרוס את השלבים ולתזמן את הרצות הכנת הנתונים. מידע נוסף זמין במאמר תזמון הכנות של נתונים.

רענון הדוגמאות להכנת נתונים

הנתונים בדגימה לא מתרעננים באופן אוטומטי. אם הנתונים בטבלאות המקור של הכנת הנתונים השתנו, אבל השינויים לא משתקפים בדגימת הנתונים של ההכנה, לוחצים על סמל האפשרויות הנוספות > Refresh sample.

המאמרים הבאים