ניהול ההגדרות של קבוצות הנתונים ב-Storage Insights

מערכי הנתונים של Storage Insights מאפשרים לכם לאסוף מטא-נתונים ונתוני פעילות מהקטגוריות והאובייקטים של Cloud Storage, ואז לנתח את הנתונים האלה ב-BigQuery. אתם יכולים לקבוע את ההגדרות של מקור הנתונים, ההיקף והשמירה של קבוצת נתונים כדי לייעל את עלויות האחסון, לנהל את מחזורי החיים של הנתונים ולתמוך בתאימות.

במאמר הזה מוסבר איך להציג, לעדכן ולמחוק הגדרות של מערכי נתונים, ואיך לשלוח שאילתות למערכי נתונים מקושרים ב-BigQuery או לבטל את הקישור שלהם. למידע רקע, קראו את המאמר מערכי נתונים של Storage Insights.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול ההגדרות של מערכי הנתונים, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקטים של המקור:

• כדי להציג, לעדכן, למחוק ולראות הגדרות של מערכי נתונים: אדמין של Storage Insights (roles/storageinsights.admin)
• כדי לראות את מערכי הנתונים ולבטל את הקישור שלהם:
  • ניתוח נתונים ב-Storage Insights (roles/storageinsights.analyst)
  • אדמין ב-BigQuery (roles/bigquery.admin)
• כדי למחוק מערכי נתונים מקושרים: אדמין ב-BigQuery (roles/bigquery.admin)
• כדי להציג מערכי נתונים ב-BigQuery ולהריץ עליהם שאילתות:
  • צפייה ב-Storage Insights (roles/storageinsights.viewer)
  • BigQuery Job User (roles/bigquery.jobUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לנהל את ההגדרות של מערכי הנתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את ההגדרות של מערכי הנתונים, צריך את ההרשאות הבאות:

• הצגה ופירוט של הגדרות קבוצת הנתונים:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
  • storage.buckets.getObjectInsights
• עדכון ומחיקה של הגדרות קבוצת הנתונים:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
  • storage.buckets.getObjectInsights
• ביטול הקישור של מערך נתונים ב-BigQuery: storageinsights.datasetConfigs.unlinkDataset
• הרצת שאילתות על מערכי נתונים מקושרים ב-BigQuery: bigquery.jobs.create or bigquery.jobs.*

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הצגה של קבוצות נתונים מקושרות והרצת שאילתות לגביהן

כדי להציג קבוצות נתונים מקושרות ולשלוח אליהן שאילתות:

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

   בפרויקט מוצגת רשימה של הגדרות קבוצות הנתונים שנוצרו.

2. לוחצים על מערך הנתונים המקושר ב-BigQuery שרוצים לראות את ההגדרות שלו.

   במסוף Google Cloud מוצג מערך הנתונים המקושר של BigQuery. במאמר סכימת מערך הנתונים של המטא-נתונים מוסבר על סכימת מערך הנתונים של המטא-נתונים.

3. אתם יכולים לשלוח שאילתות לטבלאות ולתצוגות במערכי הנתונים המקושרים, בדיוק כמו שאתם שולחים שאילתות לכל טבלה אחרת ב-BigQuery.

ביטול הקישור של מערך נתונים

כדי להפסיק את פרסום הגדרת מערך הנתונים במערך הנתונים ב-BigQuery, צריך לבטל את הקישור של מערך הנתונים. כדי לבטל את הקישור של מערך נתונים:

המסוף

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

2. לוחצים על השם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

3. בקטע מערך נתונים מקושר של BigQuery, לוחצים על ביטול הקישור של מערך הנתונים.

שורת הפקודה

1. כדי לבטל את הקישור של מערך הנתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete-link:

   gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   אפשר גם לציין נתיב מלא להגדרת קבוצת הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID במזהה הפרויקט שכולל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים זמין במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

‫API בפורמט JSON

1. להתקין ולהפעיל את ה-CLI של gcloud, שמאפשר ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים הבאים:

   {
     "name": "DATASET_NAME"
   }

   מחליפים את:

   ‫DATASET_NAME בשם של מערך הנתונים שרוצים לבטל את הקישור שלו. לדוגמה, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. משתמשים ב-cURL כדי לשלוח קריאה ל-API בפורמט JSON באמצעות בקשת DatasetConfig של unlinkDataset:

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ ה-JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID במזהה הפרויקט שהגדרת קבוצת הנתונים שייכת אליו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

הצגת ההגדרות של קבוצת נתונים

כדי לראות את ההגדרות של קבוצת נתונים:

המסוף

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים לראות.

   פרטי ההגדרה של מערך הנתונים מוצגים.

שורת הפקודה

1. כדי לתאר הגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs describe:

   gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו.

   אפשר גם לציין נתיב מלא להגדרת קבוצת הנתונים. לדוגמה:

   gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID במזהה הפרויקט שכולל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים זמין במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שממנה נוצר מערך הנתונים שרוצים לראות.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

‫API בפורמט JSON

1. להתקין ולהפעיל את ה-CLI של gcloud, שמאפשר ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב-cURL כדי לשלוח קריאה ל-API בפורמט JSON באמצעות בקשת DatasetConfig של Get:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID במזהה הפרויקט שהגדרת קבוצת הנתונים שייכת אליו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

הצגת רשימה של הגדרות מערכי נתונים

כדי לראות רשימה של הגדרות מערכי הנתונים בפרויקט:

המסוף

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

   רשימת ההגדרות של קבוצות הנתונים מוצגת.

שורת הפקודה

1. כדי להציג רשימה של הגדרות מערכי הנתונים בפרויקט, מריצים את הפקודה gcloud storage insights dataset-configs list:

   gcloud storage insights dataset-configs list --location=LOCATION

   מחליפים את:

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   אתם יכולים להשתמש בדגלים האופציונליים הבאים כדי לציין את ההתנהגות של קריאת הרישום:

   • משתמשים ב---page-size כדי לציין את המספר המקסימלי של תוצאות שיוצגו בכל דף.

   • אפשר להשתמש ב---filter=FILTER כדי לסנן את התוצאות. למידע נוסף על השימוש בדגל --filter, מריצים את gcloud topic filters ועיינו במסמכי התיעוד.

   • ‫--sort-by=SORT_BY_VALUE: רשימה מופרדת בפסיקים של שמות מפתחות של שדות משאבים, שלפיהם רשימת המשאבים תמוין. לדוגמה, --sort-by=DATASET_CONFIG_ID.

‫API בפורמט JSON

1. להתקין ולהפעיל את ה-CLI של gcloud, שמאפשר ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב-cURL כדי לשלוח קריאה ל-API בפורמט JSON באמצעות בקשת DatasetConfig של Get:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID במזהה הפרויקט שהגדרת קבוצת הנתונים שייכת אליו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

עדכון ההגדרות של קבוצת נתונים

כדי לעדכן הגדרה של מערך נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים לעדכן.

3. בכרטיסייה Dataset configuration, לוחצים על Edit כדי לעדכן את השדות.

שורת הפקודה

1. כדי לעדכן הגדרה של קבוצת נתונים, מריצים את הפקודה gcloud storage insights dataset-configs update:

   gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION במיקום של מערך הנתונים וההגדרה של מערך הנתונים.

   כדי לעדכן את המאפיינים של הגדרת מערך הנתונים, משתמשים בדגלים הבאים:

   • אפשר להשתמש ב---skip-verification כדי לדלג על בדיקות וכשלים בתהליך האימות, כולל בדיקות של הרשאות IAM נדרשות. אם משתמשים בה, יכול להיות שחלק מהקטגוריות או כולן לא ייכללו בקבוצת הנתונים.

   • משתמשים ב---retention-period-days=DAYS כדי לציין את מספר הימים הנע של הנתונים שרוצים לתעד בתמונת המצב של מערך הנתונים. לדוגמה, 90.

   • משתמשים ב---activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS כדי לציין את תקופת השמירה של נתוני הפעילות במערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, והם מקבלים את תקופת השמירה של מערך הנתונים. כדי לשנות את תקופת השמירה של מערך הנתונים, צריך לציין את מספר הימים שבהם רוצים לשמור את נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

   • משתמשים ב---description=DESCRIPTION כדי לכתוב תיאור להגדרת קבוצת הנתונים.

   • משתמשים ב---organization=ORGANIZATION_ID כדי לציין את מזהה הארגון של פרויקט המקור. אם לא מציינים מזהה, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

‫API בפורמט JSON

1. להתקין ולהפעיל את ה-CLI של gcloud, שמאפשר ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים האופציונליים הבאים:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": "RETENTION_PERIOD",
     "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
   }

   מחליפים את:

   • ‫ORGANIZATION_ID במזהה המשאב של הארגון שאליו שייכים פרויקטי המקור. אם לא מציינים מזהה, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

   • ‫PROJECT_NUMBERS במספרי הפרויקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקט אחד או יותר בפורמט של רשימה.

   • ‫RETENTION_PERIOD עם מספר הימים המשתנה של הנתונים שרוצים לתעד בתמונת המצב של קבוצת הנתונים. לדוגמה, 90.

   • ACTIVITY_DATA_RETENTION_PERIOD_DAYS במספר הימים של נתוני הפעילות שרוצים לתעד בתמונת המצב של מערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, ותקופת השמירה שלהם זהה לזו של מערך הנתונים. כדי לשנות את תקופת השמירה של מערך הנתונים, צריך לציין את מספר הימים שבהם רוצים לשמור את נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

3. כדי לעדכן את ההגדרה של קבוצת הנתונים, מפעילים את הפקודה cURL כדי לקרוא ל-API בפורמט JSON עם בקשת ‎DatasetConfig Patch:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ ה-JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID במזהה הפרויקט שהגדרת קבוצת הנתונים שייכת אליו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת קבוצת הנתונים שרוצים לעדכן.

   • ‫UPDATE_MASK היא רשימה מופרדת בפסיקים של שמות השדות שהבקשה הזו מעדכנת. השדות משתמשים בפורמט fieldMask והם חלק מהמשאב DatasetConfig.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

מחיקת הגדרה של קבוצת נתונים

כדי למחוק הגדרה של מערך נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.
   

   כניסה לתובנות לגבי האחסון

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים למחוק.

3. לוחצים על מחיקה .

שורת הפקודה

1. כדי למחוק הגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete:

   gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת קבוצת הנתונים שרוצים למחוק.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   כדי למחוק הגדרה של קבוצת נתונים, משתמשים בדגלים הבאים:

   • משתמשים ב---auto-delete-link כדי לבטל את הקישור של קבוצת הנתונים שנוצרה מההגדרה של קבוצת הנתונים שרוצים למחוק. כדי למחוק את הגדרת מערך הנתונים שיצרה את מערך הנתונים, צריך קודם לבטל את הקישור של מערך הנתונים.

   אפשר גם לציין נתיב מלא להגדרת קבוצת הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

‫API בפורמט JSON

1. להתקין ולהפעיל את ה-CLI של gcloud, שמאפשר ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב-cURL כדי לשלוח קריאה ל-API בפורמט JSON באמצעות בקשת DatasetConfig של Delete:

   curl -X DELETE \
     "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
       --header "Accept: application/json" \
       --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID במזהה הפרויקט שהגדרת קבוצת הנתונים שייכת אליו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרות שלו. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת קבוצת הנתונים שרוצים למחוק.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

המאמרים הבאים

• צפייה במערכי נתונים מקושרים.
• הרצת שאילתות על מערך נתונים מקושר.
• ניתוח הנתונים שמאוחסנים באמצעות Gemini Cloud Assist
• מידע נוסף על מסנני CEL לפעולות באצווה