ניהול ההגדרות של קבוצות הנתונים ב-Storage Insights

משתמשים במערך הנתונים של Storage Insights כדי להגדיר איך לאסוף ולנתח מטא-נתונים על הקטגוריות והאובייקטים של Cloud Storage. אתם יכולים לשלוט במקור הנתונים, בהיקף ובהגדרות השמירה כדי לאסוף מטא-נתונים של משאבים ב-BigQuery לצורך ניתוח. הנתונים האלה עוזרים לכם לבצע אופטימיזציה של עלויות האחסון, לנהל את מחזור החיים של הנתונים ולתמוך בתאימות. בדף הזה מוסבר איך לנהל הגדרות של מערכי נתונים, ואיך לשלוח שאילתות למערכי נתונים מקושרים ולבטל את הקישור שלהם.

קבלת התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול הגדרות של מערכי נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקטים של המקור:

• כדי להציג, לעדכן, למחוק ולראות את ההגדרות של מערכי נתונים: אדמין של Storage Insights (roles/storageinsights.admin)
• כדי לראות ולבטל את הקישור של מערכי נתונים:
  • אנליסט ב-Storage Insights (roles/storageinsights.analyst)
  • אדמין של BigQuery (roles/bigquery.admin)
• כדי למחוק מערכי נתונים מקושרים: BigQuery Admin (roles/bigquery.admin)
• כדי להציג ולהריץ שאילתות במערכי נתונים ב-BigQuery:
  • צפייה ב-Storage Insights (roles/storageinsights.viewer)
  • BigQuery Job User (roles/bigquery.jobUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לניהול ההגדרות של מערכי נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את ההגדרות של מערך הנתונים, נדרשות ההרשאות הבאות:

• צפייה בהגדרות של מערך נתונים ורשימה שלהן:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
  • storage.buckets.getObjectInsights
• עדכון ומחיקה של הגדרות מערך הנתונים:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
  • storage.buckets.getObjectInsights
• ביטול הקישור למערך הנתונים של BigQuery: storageinsights.datasetConfigs.unlinkDataset
• הפעלת שאילתות במערכי נתונים מקושרים ב-BigQuery: bigquery.jobs.create or bigquery.jobs.*

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

צפייה בקבוצות נתונים מקושרות והפעלת שאילתות עליהן

כדי להציג מערכי נתונים מקושרים ולבצע עליהם שאילתות, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

   בפרויקט תוצג רשימה של הגדרות של קבוצות נתונים שנוצרו.

2. לוחצים על מערך הנתונים המקושר ב-BigQuery כדי לראות את ההגדרות שלו.

   Google Cloud במסוף מוצג מערך הנתונים המקושר של BigQuery. במאמר סכימת מערך הנתונים של מטא-נתונים מוסבר על סכימת מערך הנתונים של מטא-נתונים.

3. אפשר לשלוח שאילתות לגבי טבלאות ותצוגות במערכי הנתונים המקושרים באותו אופן שבו שולחים שאילתות לגבי כל טבלה אחרת ב-BigQuery.

ביטול הקישור של מערך נתונים

כדי להפסיק את הפרסום של הגדרות מערך הנתונים במערך הנתונים ב-BigQuery, מבטלים את הקישור של מערך הנתונים. כדי לבטל את הקישור של מערך נתונים:

המסוף

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

3. בקטע BigQuery linked dataset (מערך נתונים מקושר של BigQuery), לוחצים על Unlink dataset (ביטול הקישור של מערך הנתונים).

שורת הפקודה

1. כדי לבטל את הקישור של מערך הנתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete-link:

   gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID עם המזהה של הפרויקט שמכיל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים מופיע במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה שלו. לדוגמה, us-central1.

‫API בפורמט JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים הבאים:

   {
     "name": "DATASET_NAME"
   }

   מחליפים את:

   ‫DATASET_NAME בשם של מערך הנתונים שרוצים לבטל את הקישור שלו. לדוגמה, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:unlinkDataset

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

צפייה בהגדרות של מערך נתונים

כדי לראות את ההגדרה של מערך נתונים, פועלים לפי השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים להציג.

   מוצגים פרטי ההגדרה של קבוצת הנתונים.

שורת הפקודה

1. כדי לתאר הגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs describe:

   gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID עם המזהה של הפרויקט שמכיל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים מופיע במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים להציג.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה שלו. לדוגמה, us-central1.

‫API בפורמט JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:Get

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, test-service-account@test-project..

הצגת רשימה של הגדרות קבוצות נתונים

כדי לראות רשימה של הגדרות של מערכי נתונים בפרויקט:

המסוף

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

   תוצג רשימה של הגדרות קבוצות הנתונים.

שורת הפקודה

1. כדי להציג רשימה של הגדרות מערכי נתונים בפרויקט, מריצים את הפקודה gcloud storage insights dataset-configs list:

   gcloud storage insights dataset-configs list --location=LOCATION

   מחליפים את:

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   אפשר להשתמש בדגלים האופציונליים הבאים כדי לציין את ההתנהגות של קריאת ה-listing:

   • משתמשים בפרמטר --page-size כדי לציין את המספר המקסימלי של תוצאות שיוחזרו בכל דף.

   • כדי לסנן את התוצאות, משתמשים ב--filter=FILTER. למידע נוסף על השימוש בדגל --filter, מריצים את הפקודה gcloud topic filters ומעיינים במסמכי התיעוד.

   • משתמשים ב---sort-by=SORT_BY_VALUE כדי לציין רשימה מופרדת בפסיקים של שמות מפתחות של שדות משאבים, שלפיהם יתבצע מיון. לדוגמה, --sort-by=DATASET_CONFIG_ID.

‫API בפורמט JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig Get:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

עדכון ההגדרה של מערך נתונים

כדי לעדכן הגדרה של מערך נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים לעדכן.

3. בכרטיסייה הגדרת מערך הנתונים, לוחצים על עריכה כדי לעדכן את השדות.

שורת הפקודה

1. כדי לעדכן את ההגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs update:

   gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים והגדרת מערך הנתונים.

   משתמשים בדגלים הבאים כדי לעדכן את המאפיינים של הגדרת מערך הנתונים:

   • אפשר להשתמש ב---skip-verification כדי לדלג על בדיקות ועל כשלים בתהליך האימות, שכולל בדיקות של הרשאות IAM נדרשות. אם נעשה שימוש בדליים, יכול להיות שחלק מהם או כולם יוחרגו ממערך הנתונים.

   • משתמשים ב---retention-period-days=DAYS כדי לציין את מספר הימים האחרונים של הנתונים שייכללו בתמונת המצב של מערך הנתונים. לדוגמה, 90.

   • משתמשים ב---activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS כדי לציין את תקופת השמירה של נתוני הפעילות במערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, ותקופת השמירה שלהם זהה לזו של מערך הנתונים. כדי לבטל את תקופת השמירה של מערך הנתונים, צריך לציין את מספר הימים לשמירת נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

   • משתמשים ב---description=DESCRIPTION כדי לכתוב תיאור להגדרת קבוצת הנתונים.

   • משתמשים ב---organization=ORGANIZATION_ID כדי לציין את מזהה הארגון של פרויקט המקור. אם לא מציינים ערך, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

‫API בפורמט JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים האופציונליים הבאים:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": "RETENTION_PERIOD",
     "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
   }

   מחליפים את:

   • ‫ORGANIZATION_ID עם מזהה המשאב של הארגון שאליו שייכים פרויקטי המקור. אם לא מציינים את מזהה הארגון, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

   • ‫PROJECT_NUMBERS עם מספרי הפרויקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקט אחד או יותר בפורמט רשימה.

   • RETENTION_PERIOD עם מספר הימים של הנתונים שרוצים לכלול בתמונת המצב של מערך הנתונים. לדוגמה, 90.

   • ‫ACTIVITY_DATA_RETENTION_PERIOD_DAYS עם מספר הימים של נתוני הפעילות שרוצים לתעד בתמונת המצב של מערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, ומקבלים בירושה את תקופת השמירה של מערך הנתונים. כדי לבטל את תקופת השמירה של מערך הנתונים, צריך לציין את מספר הימים לשמירת נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

3. כדי לעדכן את ההגדרה של מערך הנתונים, מפעילים את הפקודה cURL כדי לקרוא ל-API בפורמט JSON עם בקשת ‎DatasetConfig Patch:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שרוצים לעדכן.

   • ‫UPDATE_MASK היא רשימה מופרדת בפסיקים של שמות השדות שהבקשה הזו מעדכנת. השדות הם בפורמט fieldMask והם חלק מהמשאב DatasetConfig.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail]

מחיקה של הגדרות של מערך נתונים

כדי למחוק הגדרה של קבוצת נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Storage Insights של Cloud Storage.
   

   מעבר אל Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים למחוק.

3. לוחצים על מחיקה .

שורת הפקודה

1. כדי למחוק הגדרה של קבוצת נתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete:

   gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שרוצים למחוק.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   כדי למחוק הגדרה של קבוצת נתונים, משתמשים בדגלים הבאים:

   • משתמשים ב---auto-delete-link כדי לבטל את הקישור של מערך הנתונים שנוצר מהגדרות מערך הנתונים שרוצים למחוק. כדי למחוק את הגדרת מערך הנתונים שיצרה את מערך הנתונים, צריך לבטל את הקישור של מערך הנתונים.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

‫API בפורמט JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:Delete

   curl -X DELETE \
     "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
       --header "Accept: application/json" \
       --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שרוצים למחוק.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

המאמרים הבאים

• צפייה במערכי נתונים מקושרים
• הרצת שאילתות במערך נתונים מקושר.
• ניתוח הנתונים המאוחסנים באמצעות Gemini Cloud Assist