ייבוא וייצוא של נתונים

ייבוא וייצוא של נתונים

אתם יכולים להשתמש בשירות המנוהל לייצוא ולייבוא כדי לשחזר נתונים שנמחקו בטעות ולייצא נתונים לעיבוד אופליין. אתם יכולים לייצא את כל המסמכים או רק אוספים ספציפיים. באופן דומה, אתם יכולים לייבא את כל הנתונים מייצוא או רק אוספים ספציפיים. אפשר לייבא נתונים ממסד נתונים אחד של Firestore עם תאימות ל-MongoDB למסד נתונים אחר של Firestore עם תאימות ל-MongoDB. אפשר גם לטעון ב-BigQuery נתונים שיוצאו מ-Firestore עם תאימות ל-MongoDB.

בדף הזה מוסבר איך לייצא ולייבא את Firestore עם מסמכי תאימות ל-MongoDB באמצעות שירות הייצוא והייבוא המנוהל ו-Cloud Storage. שירות הייצוא והייבוא המנוהל של Firestore עם תאימות ל-MongoDB זמין דרך כלי שורת הפקודה gcloud ודרך Firestore עם MongoDB Compatibility API‏ (REST, ‏ RPC).

חשוב לדעת: כשמייצאים נתונים מ-Firestore עם תאימות ל-MongoDB, מתבצעת פעולת קריאה אחת לכל מסמך שמיוצא. עם זאת, קריאות כאלה לא יופיעו בקטע השימוש במסוף. חשוב להבין את זה לפני שמגדירים ייצוא חוזר כדי למנוע חיוב לא צפוי.

לפני שמתחילים

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך לבצע את המשימות הבאות:

1. מפעילים את החיוב בפרויקט Google Cloud . אפשר להשתמש בפונקציות הייצוא והייבוא רק בפרויקטים שמופעל בהם חיוב. Google Cloud
2. יוצרים קטגוריה של Cloud Storage לפרויקט במיקום שקרוב למיקום של מסד הנתונים שלכם ב-Firestore עם תאימות ל-MongoDB. אי אפשר להשתמש בקטגוריה שבה מופעלת התכונה 'מגיש הבקשה משלם' או בקטגוריה מהירה לצורך פעולות ייצוא וייבוא.

3. מוודאים שיש לחשבון שלכם את ההרשאות הנדרשות ל-Firestore עם תאימות ל-MongoDB ול-Cloud Storage. אם אתם הבעלים של הפרויקט, לחשבון שלכם יש את ההרשאות הנדרשות. אחרת, התפקידים הבאים מעניקים את ההרשאות הנדרשות לפעולות ייצוא וייבוא ולגישה ל-Cloud Storage:

   • תפקידים ב-Firestore עם תאימות ל-MongoDB: ‫Owner,‏ Cloud Datastore Owner או Cloud Datastore Import Export Admin
     הערה: התפקידים האלה ב-Datastore מעניקים גם הרשאות ב-Firestore עם תאימות ל-MongoDB.

   • תפקידים ב-Cloud Storage: ‫Owner או Storage Admin

הרשאות של סוכן שירות

פעולות ייצוא וייבוא משתמשות בסוכן שירות של Firestore כדי לאשר פעולות ב-Cloud Storage. סוכן השירות של Firestore משתמש במוסכמת מתן השמות הבאה:

סוכן שירות של Firestore

[e-mail]

מידע נוסף על סוכני שירות זמין במאמר סוכני שירות.

הערה: בעבר, Firestore השתמש בחשבון השירות שמוגדר כברירת מחדל של App Engine במקום בסוכן השירות של Firestore. אם במסד הנתונים שלכם עדיין נעשה שימוש בחשבון השירות של App Engine לייבוא או לייצוא נתונים, מומלץ לעבור לסוכן השירות של Firestore שספציפי לשירות. במסוף Google Cloud אפשר לראות באיזה חשבון נעשה שימוש בפעולות הייבוא והייצוא.

אם אתם משתמשים ב-VPC Service Controls, אתם צריכים להשתמש בסוכן שירות ספציפי לשירות Firestore כדי להגן באופן מלא על פעולות ייבוא וייצוא. ‫VPC Service Controls לא תואם לחשבון השירות של App Engine.

לסוכן השירות של Firestore צריכה להיות גישה לקטגוריה של Cloud Storage שבה נעשה שימוש בפעולת ייצוא או ייבוא. אם הקטגוריה של Cloud Storage נמצאת באותו פרויקט כמו מסד הנתונים של Firestore, לסוכן השירות של Firestore יש גישה לקטגוריה כברירת מחדל.

אם הקטגוריה של Cloud Storage נמצאת בפרויקט אחר, צריך לתת לסוכן השירות של Firestore גישה לקטגוריה של Cloud Storage.

הקצאת תפקידים לסוכן השירות

אפשר להשתמש בכלי שורת הפקודה gsutil כדי להקצות אחד מהתפקידים שבהמשך. לדוגמה, כדי להקצות את התפקיד 'אדמין של Storage' לסוכן השירות של Firestore, מריצים את הפקודה הבאה:

gsutil iam ch serviceAccount:[e-mail]:roles/storage.admin \
    gs://[BUCKET_NAME]

מחליפים את PROJECT_NUMBER במספר הפרויקט, שמשמש לקביעת השם של סוכן השירות של Firestore. כדי לראות את שם סוכן השירות, אפשר לעיין במאמר בנושא הצגת שם סוכן השירות.

אפשר גם להקצות את התפקיד הזה באמצעות מסוף Google Cloud .

הצגת השם של סוכן השירות

בדף Import/Export במסוף Google Cloud אפשר לראות את החשבון שבו משתמשים פעולות הייבוא והייצוא כדי לאשר בקשות. אפשר גם לראות אם מסד הנתונים משתמש בסוכן השירות של Firestore או בחשבון השירות מדור קודם של App Engine.

1. החשבון המורשה מוצג ליד התווית Import/Export jobs run as.

לסוכן השירות צריכה להיות הרשאה Storage Admin בקטגוריה של Cloud Storage שבה רוצים להשתמש לייצוא או לייבוא.

הגדרה של gcloud לפרויקט

אפשר להפעיל פעולות ייבוא וייצוא דרך מסוף Google Cloud או כלי שורת הפקודה gcloud. כדי להשתמש ב-gcloud, צריך להגדיר את כלי שורת הפקודה ולהתחבר לפרויקט באחת מהדרכים הבאות:

• אפשר לגשת אל gcloud מהמסוף Google Cloud באמצעות Cloud Shell.

  מפעילים את Cloud Shell

  מוודאים שהמכשיר gcloud מוגדר לפרויקט הנכון:

  gcloud config set project [PROJECT_ID]
  

• מתקינים ומפעילים את Google Cloud SDK.

ייבוא נתונים

אחרי שקובצי הייצוא נמצאים ב-Cloud Storage, אפשר לייבא מסמכים מהקבצים האלה בחזרה לפרויקט או לפרויקט אחר. חשוב לשים לב לנקודות הבאות לגבי פעולות ייבוא:

• כשמייבאים נתונים, המערכת מעדכנת את האינדקסים הנדרשים באמצעות הגדרות האינדקס הנוכחיות של מסד הנתונים. ייצוא לא מכיל הגדרות אינדקס.

• בייבוא לא מוקצים מזהי מסמכים חדשים. הייבוא מתבסס על המזהים שנאספו בזמן הייצוא. במהלך ייבוא מסמך, המזהה שלו שמור כדי למנוע התנגשויות בין מזהים. אם כבר קיים מסמך עם אותו מזהה, תהליך הייבוא יחליף את המסמך הקיים.

• אם מסמך במסד הנתונים שלכם לא מושפע מייבוא, הוא יישאר במסד הנתונים אחרי הייבוא.

• שם הקובץ .overall_export_metadata צריך להיות זהה לשם תיקיית האב שלו:

  gs://BUCKET_NAME/OPTIONAL_NAMESPACE_PATH/PARENT_FOLDER_NAME/PARENT_FOLDER_NAME.overall_export_metadata

  אם מעבירים או מעתיקים את קובצי הפלט של ייצוא, צריך לוודא ששם הקובץ PARENT_FOLDER_NAME ושם הקובץ .overall_export_metadata זהים.

• ייבוא למסד נתונים של Firestore עם תאימות ל-MongoDB מייצוא עם אוספי משנה נכשל כי אין תמיכה באוספי משנה ב-Firestore עם תאימות ל-MongoDB.

• ייבוא למסד נתונים במהדורת Standard של Firestore מייצוא עם סוגי BSON נכשל כי אין תמיכה בסוגי BSON במהדורת Standard של Firestore.

• בייבוא למסד נתונים של Firestore עם תאימות ל-MongoDB, אי אפשר לייבא נתונים ממרחבי שמות שאינם ברירת המחדל (Datastore API).

  מותר לייבא למסד נתונים של Firestore עם תאימות ל-MongoDB מקובצי נתונים שמכילים מרחבי שמות שאינם ברירת המחדל, רק אם פעולת הייצוא כללה מסנן --namespace-ids עם מרחב השמות שמוגדר כברירת המחדל. המערכת מייבאת רק נתונים ממרחב השמות שמוגדר כברירת מחדל.

ייבוא של כל המסמכים מייצוא

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים מסד נתונים מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על Import.

5. בשדה שם הקובץ, מזינים את שם הקובץ של קובץ .overall_export_metadata מפעולת ייצוא שהושלמה. אפשר להשתמש בלחצן עיון כדי לבחור את הקובץ.

6. לוחצים על Import.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה בהצלחה, נוספת רשומה לדף של הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

כדי לייבא מסמכים מפעולת ייצוא קודמת, משתמשים בפקודה firestore import.

gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ --database=[DATABASE]

מחליפים את מה שכתוב בשדות הבאים:

• ‫BUCKET_NAME/EXPORT_PREFIX: המיקום של קובצי הייצוא.

• ‫DATABASE: שם מסד הנתונים.

לדוגמה:

gcloud firestore import gs://my-bucket/2017-05-25T23:54:39_76544/ --database='cymbal'

אפשר לוודא את המיקום של קובצי הייצוא בדפדפן Cloud Storage במסוף Google Cloud :

פתיחת Cloud Storage browser

אחרי שמתחילים פעולת ייבוא, סגירת הטרמינל לא מבטלת את הפעולה. אפשר לעיין במאמר בנושא ביטול פעולה.

ייבוא אוספים ספציפיים

הערה: כדי לייבא אוספים ספציפיים, צריך להשתמש בפלט של פעולת ייצוא שבה ייצאתם אוספים ספציפיים.

Google Cloud Console

אי אפשר לבחור אוספים ספציפיים במסוף. במקום זאת, אתם צריכים להשתמש ב-gcloud.

gcloud

כדי לייבא אוספים ספציפיים מתוך קבוצה של קבצים שיוצאו, משתמשים בדגל --collection-ids. הפעולה מייבאת רק את הקולקציות עם מזהי הקולקציות שצוינו. מציינים את שם מסד הנתונים באמצעות הדגל --database.

אפשר לייבא אוספים ספציפיים רק אם מייצאים אוספים ספציפיים. אי אפשר לייבא אוספים ספציפיים מייצוא של כל המסמכים.

  gcloud firestore import gs://[BUCKET_NAME]/[EXPORT_PREFIX]/ \
  --collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
  --database=[DATABASE]

ייבוא מתוך ייצוא עם נתוני PITR

כדי לייבא נתונים של PITR, פועלים לפי השלבים שמפורטים במאמר בנושא ייבוא כל המסמכים או ייבוא אוספים ספציפיים. אם מסמך כלשהו כבר קיים במסד הנתונים, הוא יוחלף.

ייצוא נתונים

פעולת ייצוא מעתיקה מסמכים במסד הנתונים שלכם לקבוצת קבצים בקטגוריה של Cloud Storage. חשוב לדעת שהייצוא הוא לא תמונת מצב מדויקת של מסד הנתונים שצולמה בזמן תחילת הייצוא. יכול להיות שייצוא יכלול שינויים שבוצעו בזמן שהפעולה הייתה פעילה.

הערה: אם אתם מתכננים:

• ייבוא של אוספים ספציפיים בלבד
• טעינת נתונים של Firestore עם תאימות ל-MongoDB לתוך BigQuery

ייצוא כל המסמכים

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים את מסד הנתונים הרצוי מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על ייצוא.

5. לוחצים על האפשרות ייצוא של כל מסד הנתונים.

6. בוחרים באפשרות ייצוא המצב הנוכחי של מסד הנתונים כדי לייצא את הנתונים הנוכחיים.

7. בקטע יעד, מזינים את השם של קטגוריית Cloud Storage או לוחצים על הלחצן Browse כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה בהצלחה, נוספת רשומה לדף של הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

כדי לייצא את כל המסמכים במסד הנתונים, משתמשים בפקודה firestore export ומחליפים את [BUCKET_NAME] בשם של הקטגוריה של Cloud Storage. מוסיפים את הדגל --async כדי למנוע מהכלי gcloud להמתין לסיום הפעולה.

  gcloud firestore export gs://[BUCKET_NAME] \
  --database=[DATABASE]

מחליפים את מה שכתוב בשדות הבאים:

• ‫BUCKET_NAME: כדי לארגן את הייצוא, מוסיפים קידומת לקובץ אחרי שם ה-Bucket, לדוגמה, BUCKET_NAME/my-exports-folder/export-name. אם לא מספקים קידומת לקובץ, שירות הייצוא המנוהל יוצר קידומת על סמך חותמת הזמן הנוכחית.

• ‫DATABASE: שם מסד הנתונים שממנו רוצים לייצא את המסמכים.

אחרי שמתחילים פעולת ייצוא, סגירת הטרמינל לא מבטלת את הפעולה. אפשר לעיין במאמר בנושא ביטול פעולה.

ייצוא אוספים ספציפיים

Google Cloud Console

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים את מסד הנתונים הרצוי מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

4. לוחצים על ייצוא.

5. לוחצים על האפשרות ייצוא של קבוצת אוספים אחת או יותר. בוחרים אוסף אחד או יותר בתפריט הנפתח.

6. בוחרים באפשרות ייצוא המצב הנוכחי של מסד הנתונים כדי לייצא את הנתונים הנוכחיים.

7. בקטע יעד, מזינים את השם של קטגוריית Cloud Storage או לוחצים על הלחצן Browse כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

המסוף חוזר לדף Import/Export. אם הפעולה מתחילה בהצלחה, נוספת רשומה לדף של הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

כדי לייצא קולקציות ספציפיות, משתמשים בדגל --collection-ids. הפעולה מייצאת רק את הקולקציות עם מזהי הקולקציות שצוינו.

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=[COLLECTION_ID_1],[COLLECTION_ID_2] \
--database=[DATABASE]

לדוגמה, אפשר לעצב אוסף restaurants במסד הנתונים foo כך שיכלול אוספים נוספים, כמו ratings,‏ reviews או outlets. כדי לייצא אוסף ספציפי של restaurants ו-reviews, הפקודה תיראה כך:

gcloud firestore export gs://[BUCKET_NAME] \
--collection-ids=restaurants,reviews \
--database='cymbal'

ייצוא מחותמת זמן של PITR

אפשר לייצא את מסד הנתונים ל-Cloud Storage מנתוני PITR. אפשר לייצא נתונים של PITR עם חותמת זמן של דקה שלמה ב-7 הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, פעולת הייצוא תיכשל.

פעולת הייצוא PITR תומכת בכל המסננים, כולל ייצוא של כל המסמכים וייצוא של אוספים ספציפיים.

לפני שמייצאים נתונים של PITR, חשוב לשים לב לנקודות הבאות:

• מציינים את חותמת הזמן בפורמט RFC 3339. לדוגמה, 2020-09-01T23:59:30.234233Z.
• חשוב לוודא שחותמת הזמן שציינתם היא חותמת זמן של דקה שלמה במהלך שבעת הימים האחרונים, אבל לא לפני earliestVersionTime. אם הנתונים כבר לא קיימים בחותמת הזמן שצוינה, נוצרת שגיאה.
• לא נחייב אתכם על ייצוא PITR שנכשל.

המסוף

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases
2. בוחרים מסד נתונים מתוך רשימת מסדי הנתונים.
3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.
4. לוחצים על ייצוא.
5. מגדירים את מקור הייצוא כך שייצא את כל מסד הנתונים או רק אוספים ספציפיים.

6. בקטע Choose the state of your database to export (בחירת מצב מסד הנתונים לייצוא), בוחרים באפשרות Export from an earlier point in time (ייצוא מנקודת זמן מוקדמת יותר).

   בחירת זמן הצילום של התמונה לשימוש בייצוא

7. בקטע יעד, מזינים את השם של קטגוריית Cloud Storage או לוחצים על הלחצן עיון כדי לבחור קטגוריה.

8. לוחצים על ייצוא.

   המסוף חוזר לדף Import/Export. אם הפעולה מתחילה בהצלחה, נוספת רשומה לדף של הייבוא והייצוא האחרונים. אם הפעולה נכשלת, מוצגת הודעת שגיאה בדף.

gcloud

אפשר לייצא את מסד הנתונים אל Cloud Storage מנתוני PITR באמצעות הפקודה gcloud firestore export.

מייצאים את מסד הנתונים ומציינים את הפרמטר snapshot-time לחותמת זמן של שחזור. מריצים את הפקודה הבאה כדי לייצא את מסד הנתונים לקטגוריה.

gcloud firestore export gs://[BUCKET_NAME_PATH] \
    --snapshot-time=[PITR_TIMESTAMP]

‫PITR_TIMESTAMP היא חותמת זמן של PITR ברמת פירוט של דקה, לדוגמה, 2023-05-26T10:20:00.00Z.

מוסיפים את הדגל --collection-ids כדי לייצא אוספים ספציפיים.

ניהול פעולות ייצוא וייבוא

אחרי שמתחילים פעולת ייצוא או ייבוא, מערכת Firestore עם תאימות ל-MongoDB מקצה לפעולה שם ייחודי. אפשר להשתמש בשם הפעולה כדי למחוק, לבטל או לבדוק את הסטטוס של הפעולה.

שמות הפעולות מתחילים בקידומת projects/[PROJECT_ID]/databases/[DATABASE_ID]/operations/, לדוגמה:

projects/my-project/databases/my-database/operations/ASA1MTAwNDQxNAgadGx1YWZlZAcSeWx0aGdpbi1zYm9qLW5pbWRhEgopEg

עם זאת, אפשר להשמיט את הקידומת כשמציינים שם פעולה עבור הפקודות describe, cancel ו-delete.

הצגת רשימה של כל פעולות הייצוא והייבוא

Google Cloud Console

בדף ייבוא/ייצוא במסוף Google Cloud אפשר לראות רשימה של פעולות ייצוא וייבוא מהזמן האחרון.

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים את מסד הנתונים הרצוי מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

gcloud

משתמשים בפקודה operations list כדי לראות את כל פעולות הייצוא והייבוא שפועלות או שהושלמו לאחרונה:

gcloud firestore operations list

בדיקת סטטוס הפעולה

Google Cloud Console

בדף Import/Export במסוף Google Cloud אפשר לראות את הסטטוס של פעולת ייבוא או ייצוא מהזמן האחרון.

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים את מסד הנתונים הרצוי מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

gcloud

משתמשים בפקודה operations describe כדי להציג את הסטטוס של פעולת ייצוא או ייבוא.

gcloud firestore operations describe [OPERATION_NAME]

הערכת משך הזמן עד לסיום

בקשה לסטטוס של פעולה ממושכת מחזירה את המדדים workEstimated ו-workCompleted. כל אחד מהמדדים האלה מוחזר גם כמספר בייטים וגם כמספר ישויות:

• ‫workEstimated מציג את המספר הכולל המשוער של בייטים ומסמכים שהפעולה תעבד. יכול להיות שהמדד הזה לא יופיע ב-Firestore עם תאימות ל-MongoDB אם לא ניתן להעריך אותו.

• ‫workCompleted מציג את מספר הבייטים והמסמכים שעובדו עד עכשיו. אחרי שהפעולה מסתיימת, הערך שמוצג הוא המספר הכולל של הבייטים והמסמכים שעברו עיבוד בפועל, ויכול להיות שהוא יהיה גדול יותר מהערך של workEstimated.

כדי לקבל אומדן גס של ההתקדמות, מחלקים את workCompleted ב-workEstimated. יכול להיות שההערכה הזו לא מדויקת, כי היא מבוססת על איסוף נתונים סטטיסטיים עם עיכוב.

ביטול פעולה

Google Cloud Console

אפשר לבטל פעולת ייצוא או ייבוא שפועלת בדף Import/Export במסוף Google Cloud .

1. נכנסים לדף Databases במסוף Google Cloud .

   מעבר אל Databases

2. בוחרים את מסד הנתונים הרצוי מתוך רשימת מסדי הנתונים.

3. בתפריט הניווט, לוחצים על ייבוא/ייצוא.

בטבלה ייבוא וייצוא מהזמן האחרון, פעולות שפועלות כרגע כוללות לחצן ביטול בעמודה הושלם. כדי לעצור את הפעולה, לוחצים על הלחצן ביטול. הלחצן משתנה להודעה מתבצע ביטול ואז לבוטל כשהפעולה מפסיקה לחלוטין.

gcloud

משתמשים בפקודה operations cancel כדי לעצור פעולה בתהליך:

gcloud firestore operations cancel [OPERATION_NAME]

ביטול של פעולה שמתבצעת לא מבטל את הפעולה. אם מבטלים פעולת ייצוא, המסמכים שכבר יוצאו יישארו ב-Cloud Storage. אם מבטלים פעולת ייבוא, העדכונים שכבר בוצעו במסד הנתונים יישארו במקומם. אי אפשר לייבא ייצוא שהושלם באופן חלקי.

מחיקת פעולה

כדי להסיר פעולה מהרשימה של הפעולות האחרונות, משתמשים בפקודה gcloud firestore operations delete. הפקודה הזו לא תמחק קובצי ייצוא מ-Cloud Storage.

gcloud firestore operations delete [OPERATION_NAME]

חיוב ותמחור של פעולות ייצוא וייבוא

כדי להשתמש בשירות המנוהל לייצוא ולייבוא, צריך להפעיל את החיוב בפרויקט ב- Google Cloud .

על פעולות ייצוא וייבוא נגבים חיובים על יחידות קריאה ויחידות כתיבה לפי התעריפים שמפורטים בתמחור של Firestore עם תאימות ל-MongoDB.

הקבצים שנוצרים מאוחסנים ב-Cloud Storage ונספרים במסגרת עלויות אחסון הנתונים ב-Cloud Storage.

פעולות ייצוא או ייבוא לא יפעילו התראות על Google Cloud תקציב עד לסיום הפעולה. פעולות ייצוא וייבוא לא ישפיעו על השימוש שמוצג בקטע השימוש במסוף.

צפייה בעלויות הייצוא והייבוא

פעולות הייצוא והייבוא מחילות את התווית goog-firestoremanaged:exportimportעל פעולות שחויבו. בדף הדוחות של חיוב ב-Cloud, אפשר להשתמש בתווית הזו כדי לראות את העלויות שקשורות לפעולות ייבוא וייצוא:

הערה: פעולות ייצוא וייבוא שבוצעו לפני 8 בספטמבר 2020 לא כללו את התווית goog-firestoremanaged.

ייצוא אל BigQuery

אפשר לטעון נתונים מייצוא של Firestore עם תאימות ל-MongoDB אל BigQuery, אבל רק אם ציינתם מסנן collection-ids. איך טוענים נתונים מייצוא של Firestore עם תאימות ל-MongoDB

כשמעלים ל-BigQuery נתונים של תאימות ל-MongoDB מ-Firestore, סוגי הנתונים של BSON מיוצגים באמצעות סוג הנתונים STRING.

מגבלת העמודות ב-BigQuery

ב-BigQuery יש מגבלה של 10,000 עמודות לכל טבלה. פעולות ייצוא של Firestore עם תאימות ל-MongoDB יוצרות סכימת טבלה ב-BigQuery לכל אוסף. בסכימה הזו, כל שם שדה ייחודי באוסף הופך לעמודה בסכימה.

אם סכמת BigQuery של אוסף מסוים חורגת מ-10,000 עמודות, פעולת הייצוא של Firestore עם תאימות ל-MongoDB מנסה לא לחרוג ממגבלת העמודות על ידי התייחסות לשדות של מפות כבייטים. אם ההמרה הזו מביאה את מספר העמודות מתחת ל-10,000, אפשר לטעון את הנתונים ל-BigQuery, אבל אי אפשר לשלוח שאילתות על שדות המשנה בתוך שדות המפה. אם מספר העמודות עדיין גדול מ-10,000, פעולת הייצוא לא יוצרת סכימת BigQuery לאוסף, ולא ניתן לטעון את הנתונים שלו ל-BigQuery.

ייצוא של קובצי פורמט ומטא-נתונים

הפלט של ייצוא מנוהל הוא בפורמט היומן של LevelDB.

קובצי מטא-נתונים

פעולת ייצוא יוצרת קובץ מטא-נתונים לכל אוסף שאתם מציינים. בדרך כלל קובצי מטא-נתונים נקראים ALL_NAMESPACES_KIND_[COLLECTION_GROUP_ID].export_metadata.

קבצי המטא-נתונים הם מאגרי פרוטוקולים, ואפשר לפענח אותם באמצעות קומפיילר הפרוטוקולים של protoc. לדוגמה, אפשר לפענח קובץ מטא-נתונים כדי לדעת אילו אוספים מכילים קובצי הייצוא:

protoc --decode_raw < export0.export_metadata