ניהול ההגדרות של קבוצות הנתונים ב-Storage Insights

בדף הזה מוסבר איך לנהל את ההגדרות של מערכי נתונים ב-Storage Insights כדי לשלוט במקור, בהיקף ובשמירה של הנתונים. תלמדו איך להציג, לרשום, לעדכן ולמחוק הגדרות, וגם איך להציג, לשלוח שאילתות ולבטל את הקישור של מערכי הנתונים המקושרים.

קבלת התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול הגדרות של מערכי נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקטים של המקור:

• כדי להציג, לעדכן, למחוק ולראות את ההגדרות של מערכי נתונים: אדמין של Storage Insights (roles/storageinsights.admin)
• כדי לראות ולבטל את הקישור של מערכי נתונים:
  • אנליסט ב-Storage Insights (roles/storageinsights.analyst)
  • אדמין של BigQuery (roles/bigquery.admin)
• כדי למחוק מערכי נתונים מקושרים: BigQuery Admin (roles/bigquery.admin)
• כדי להציג ולהריץ שאילתות במערכי נתונים ב-BigQuery:
  • צפייה ב-Storage Insights (roles/storageinsights.viewer)
  • BigQuery Job User (roles/bigquery.jobUser)
  • BigQuery Data Viewer (roles/bigquery.dataViewer)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות לניהול ההגדרות של מערכי נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לנהל את ההגדרות של מערכי נתונים, נדרשות ההרשאות הבאות:

• צפייה בהגדרות של קבוצת נתונים ורשימה שלהן:
  • storageinsights.datasetConfigs.get
  • storageinsights.datasetConfigs.list
  • storage.buckets.getObjectInsights
• עדכון ומחיקה של הגדרות מערך הנתונים:
  • storageinsights.datasetConfigs.update
  • storageinsights.datasetConfigs.delete
  • storage.buckets.getObjectInsights
• ביטול הקישור למערך הנתונים של BigQuery: storageinsights.datasetConfigs.unlinkDataset
• הפעלת שאילתות במערכי נתונים מקושרים ב-BigQuery: bigquery.jobs.create or bigquery.jobs.*

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

צפייה בקבוצות נתונים מקושרות והפעלת שאילתות עליהן

כדי להציג מערכי נתונים מקושרים ולהריץ עליהם שאילתות, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

   בפרויקט תוצג רשימה של הגדרות של מערכי נתונים שנוצרו.

2. לוחצים על מערך הנתונים המקושר ב-BigQuery כדי לראות את ההגדרות שלו.

   Google Cloud במסוף מוצג מערך הנתונים המקושר של BigQuery. מידע על סכימת מערך הנתונים של המטא-נתונים זמין במאמר סכימת מערך הנתונים של המטא-נתונים.

3. אפשר לשלוח שאילתות לטבלאות ולתצוגות במערכי הנתונים המקושרים באותו אופן שבו שולחים שאילתות לכל טבלה אחרת ב-BigQuery.

ביטול הקישור של מערך נתונים

כדי להפסיק את הפרסום של הגדרות מערך הנתונים במערך הנתונים ב-BigQuery, צריך לבטל את הקישור של מערך הנתונים. כדי לבטל את הקישור של מערך נתונים:

המסוף

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

3. בקטע BigQuery linked dataset (מערך נתונים מקושר של BigQuery), לוחצים על Unlink dataset (ביטול הקישור של מערך הנתונים).

שורת הפקודה

1. כדי לבטל את הקישור של מערך הנתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete-link:

   gcloud storage insights dataset-configs delete-link DATASET_CONFIG_ID --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete-link projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID עם המזהה של הפרויקט שמכיל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים מופיע במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

API ל-JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים הבאים:

   {
     "name": "DATASET_NAME"
   }

   מחליפים את:

   ‫DATASET_NAME בשם של מערך הנתונים שרוצים לבטל את הקישור שלו. לדוגמה, my_project.my_dataset276daa7e_2991_4f4f_b9d4_e354b48426a2.

3. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:unlinkDataset

   curl --request POST --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID:unlinkDataset?" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים לבטל את הקישור שלו.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

צפייה בהגדרות של מערך נתונים

כדי לראות את ההגדרה של מערך נתונים, פועלים לפי השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים להציג.

   יוצגו פרטי ההגדרה של קבוצת הנתונים.

שורת הפקודה

1. כדי לתאר הגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs describe:

   gcloud storage insights dataset-configs describe DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs describe projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

   מחליפים את:

   • ‫DESTINATION_PROJECT_ID עם המזהה של הפרויקט שמכיל את הגדרת מערך הנתונים. מידע נוסף על מזהי פרויקטים מופיע במאמר יצירה וניהול של פרויקטים.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שיצרה את מערך הנתונים שרוצים להציג.

   • ‫LOCATION עם המיקום של מערך הנתונים וההגדרה של מערך הנתונים. לדוגמה, us-central1.

API ל-JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:Get

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, test-service-account@test-project..

הצגת רשימה של הגדרות מערכי נתונים

כדי לראות את רשימת ההגדרות של מערכי הנתונים בפרויקט, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

   תוצג רשימה של הגדרות קבוצות הנתונים.

שורת הפקודה

1. כדי להציג רשימה של הגדרות של מערכי נתונים בפרויקט, מריצים את הפקודה gcloud storage insights dataset-configs list:

   gcloud storage insights dataset-configs list --location=LOCATION

   מחליפים את:

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   אפשר להשתמש בדגלים האופציונליים הבאים כדי לציין את ההתנהגות של קריאת הרשימה:

   • משתמשים בפרמטר --page-size כדי לציין את המספר המקסימלי של תוצאות שיוחזרו בכל דף.

   • משתמשים ב--filter=FILTER כדי לסנן את התוצאות. למידע נוסף על השימוש בדגל --filter, מריצים את הפקודה gcloud topic filters ומעיינים במסמכי התיעוד.

   • משתמשים ב---sort-by=SORT_BY_VALUE כדי לציין רשימה מופרדת בפסיקים של שמות מפתחות של שדות משאבים, שלפיהם יתבצע מיון. לדוגמה, --sort-by=DATASET_CONFIG_ID.

API ל-JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת Get DatasetConfig:

   curl -X GET \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

עדכון ההגדרה של מערך נתונים

כדי לעדכן הגדרה של מערך נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים לעדכן.

3. בכרטיסייה הגדרת מערך הנתונים, לוחצים על עריכה כדי לעדכן את השדות.

שורת הפקודה

1. כדי לעדכן את ההגדרה של מערך נתונים, מריצים את הפקודה gcloud storage insights dataset-configs update:

   gcloud storage insights dataset-configs update DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה של קבוצת הנתונים.

   משתמשים בדגלים הבאים כדי לעדכן את המאפיינים של הגדרת מערך הנתונים:

   • אפשר להשתמש ב---skip-verification כדי לדלג על בדיקות ועל כשלים בתהליך האימות, שכולל בדיקות של הרשאות IAM נדרשות. אם נעשה שימוש בדלי, יכול להיות שחלק מהדליים או כולם יוחרגו ממערך הנתונים.

   • משתמשים ב---retention-period-days=DAYS כדי לציין את מספר הימים של הנתונים שרוצים לכלול בתמונת המצב של מערך הנתונים. לדוגמה, 90.

   • משתמשים ב-‎ --activity-data-retention-period-days=ACTIVITY_RETENTION_PERIOD_DAYS כדי לציין את תקופת השמירה של נתוני הפעילות במערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, ותקופת השמירה שלהם זהה לזו של מערך הנתונים. כדי לשנות את תקופת השמירה של מערך הנתונים, מציינים את מספר הימים לשמירת נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

   • משתמשים ב---description=DESCRIPTION כדי לכתוב תיאור להגדרת קבוצת הנתונים.

   • משתמשים ב---organization=ORGANIZATION_ID כדי לציין את מזהה הארגון של פרויקט המקור. אם לא מציינים ערך, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

API ל-JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. יוצרים קובץ JSON שמכיל את הפרטים האופציונליים הבאים:

   {
     "organization_number": "ORGANIZATION_ID",
     "source_projects": {
       "project_numbers": "PROJECT_NUMBERS"
     },
     "retention_period_days": "RETENTION_PERIOD",
     "activityDataRetentionPeriodDays": "ACTIVITY_DATA_RETENTION_PERIOD_DAYS"
   }

   מחליפים את:

   • ‫ORGANIZATION_ID עם מזהה המשאב של הארגון שאליו שייכים פרויקטי המקור. אם לא מציינים את מזהה הארגון, ברירת המחדל היא מזהה הארגון של פרויקט המקור.

   • ‫PROJECT_NUMBERS עם מספרי הפרויקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקט אחד או יותר בפורמט רשימה.

   • RETENTION_PERIOD עם מספר הימים של הנתונים שרוצים לכלול בתמונת המצב של מערך הנתונים. לדוגמה, 90.

   • ‫ACTIVITY_DATA_RETENTION_PERIOD_DAYS עם מספר הימים של נתוני הפעילות שרוצים לתעד בתמונת המצב של מערך הנתונים. כברירת מחדל, נתוני הפעילות נכללים במערך הנתונים, ומקבלים בירושה את תקופת השמירה של מערך הנתונים. כדי לשנות את תקופת השמירה של מערך הנתונים, מציינים את מספר הימים לשמירת נתוני הפעילות. כדי להחריג נתוני פעילות, מגדירים את ACTIVITY_RETENTION_PERIOD_DAYS לערך 0.

3. כדי לעדכן את ההגדרה של מערך הנתונים, מפעילים את הפקודה cURL כדי לקרוא ל-API בפורמט JSON עם בקשת ‎DatasetConfig Patch:

   curl -X PATCH --data-binary @JSON_FILE_NAME \
   "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID?updateMask=UPDATE_MASK" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
     --header "Accept: application/json" \
     --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫JSON_FILE_NAME בנתיב לקובץ ה-JSON שיצרתם בשלב הקודם.

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שרוצים לעדכן.

   • ‫UPDATE_MASK היא רשימה מופרדת בפסיקים של שמות השדות שהבקשה הזו מעדכנת. השדות הם בפורמט fieldMask והם חלק מהמשאב DatasetConfig.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail]

מחיקת ההגדרות של מערך נתונים

כדי למחוק הגדרה של קבוצת נתונים, מבצעים את השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף Cloud Storage Storage Insights.
   

   כניסה לדף Storage Insights

2. לוחצים על השם של הגדרת מערך הנתונים שרוצים למחוק.

3. לוחצים על מחיקה .

שורת הפקודה

1. כדי למחוק הגדרה של קבוצת נתונים, מריצים את הפקודה gcloud storage insights dataset-configs delete:

   gcloud storage insights dataset-configs delete DATASET_CONFIG_ID \
     --location=LOCATION

   מחליפים את:

   • ‫DATASET_CONFIG_ID בשם של הגדרת מערך הנתונים שרוצים למחוק.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   כדי למחוק הגדרה של קבוצת נתונים, משתמשים בדגלים הבאים:

   • משתמשים ב---auto-delete-link כדי לבטל את הקישור של מערך הנתונים שנוצר מהגדרות מערך הנתונים שרוצים למחוק. כדי למחוק את הגדרת מערך הנתונים שיצרה את מערך הנתונים, צריך לבטל את הקישור של מערך הנתונים.

   אפשר גם לציין נתיב מלא להגדרת מערך הנתונים. לדוגמה:

   gcloud storage insights dataset-configs delete projects/DESTINATION_PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID

API ל-JSON

1. התקנה והפעלה של ה-CLI של gcloud, שמאפשרות ליצור אסימון גישה לכותרת Authorization.

2. משתמשים ב- cURL כדי לשלוח קריאה ל-API בפורמט JSON עם בקשת DatasetConfig:Delete

   curl -X DELETE \
     "https://storageinsights.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasetConfigs/DATASET_CONFIG_ID" \
     --header "Authorization: Bearer $(gcloud auth print-access-token --impersonate-service-account=SERVICE_ACCOUNT)" \
       --header "Accept: application/json" \
       --header "Content-Type: application/json"
   

   מחליפים את:

   • ‫PROJECT_ID עם מזהה הפרויקט שאליו שייכת ההגדרה של מערך הנתונים.

   • ‫LOCATION עם המיקום של קבוצת הנתונים וההגדרה שלה. לדוגמה, us-central1.

   • ‫DATASET_CONFIG_ID עם שם ההגדרה של מערך הנתונים שרוצים למחוק.

   • ‫SERVICE_ACCOUNT עם חשבון השירות. לדוגמה, [e-mail].

המאמרים הבאים

• צפייה במערכי נתונים מקושרים
• הרצת שאילתות במערך נתונים מקושר.
• ניתוח הנתונים המאוחסנים באמצעות Gemini Cloud Assist