ייצוא וייבוא של קבצים במקביל

‫MySQL | PostgreSQL | SQL Server

בדף הזה מוסבר איך לייצא ולייבא קבצים למכונות Cloud SQL במקביל.

הערה: אם אתם מעבירים מסד נתונים שלם משרת מסד נתונים נתמך (במקום, ב-AWS או ב-Cloud SQL) למכונת Cloud SQL חדשה, עדיף להשתמש בDatabase Migration Service במקום לייצא ולייבא קבצים במקביל. אם אתם מייצאים כי אתם רוצים ליצור מופע חדש מהקובץ המיוצא, כדאי לשחזר מגיבוי למופע אחר או לשכפל את המופע.

כדי לוודא שפעולת הייבוא או הייצוא של כמה קבצים בו-זמנית הסתיימה בהצלחה, בודקים את סטטוס הפעולה. אפשר גם לבטל את הייבוא של נתונים למכונות Cloud SQL ואת הייצוא של נתונים מהמכונות. מידע נוסף על ביטול פעולת ייבוא או ייצוא זמין במאמר ביטול ייבוא וייצוא של נתונים.

לפני שמתחילים

לפני שמתחילים בפעולת ייצוא או ייבוא:

מוודאים שיש מספיק מקום פנוי במסד הנתונים.

פעולות הייצוא והייבוא משתמשות במשאבי מסד הנתונים, אבל הן לא מפריעות לפעולות רגילות במסד הנתונים, אלא אם המכונה לא מספקת מספיק משאבים.

כדאי לפעול לפי השיטות המומלצות לייצוא ולייבוא נתונים.
אחרי שמסיימים פעולת ייבוא, צריך לאמת את התוצאות.

ייצוא נתונים מ-Cloud SQL ל-MySQL לכמה קבצים במקביל

בקטעים הבאים מוסבר איך לייצא נתונים מ-Cloud SQL ל-MySQL לכמה קבצים במקביל.

התפקידים וההרשאות הנדרשים לייצוא נתונים מ-Cloud SQL ל-MySQL לכמה קבצים במקביל

כדי לייצא נתונים מ-Cloud SQL ל-Cloud Storage, למשתמש שמפעיל את הייצוא צריך להיות אחד מהתפקידים הבאים:

התפקיד Cloud SQL Editor
תפקיד בהתאמה אישית, כולל ההרשאות הבאות:
- cloudsql.instances.get
- cloudsql.instances.export

בנוסף, לחשבון השירות של מכונת Cloud SQL צריך להיות אחד מהתפקידים הבאים:

תפקיד storage.objectAdmin ניהול הזהויות והרשאות הגישה (IAM)
תפקיד בהתאמה אישית, כולל ההרשאות הבאות:
- storage.objects.create
- ‫storage.objects.list (לייצוא קבצים במקביל בלבד)
- ‫storage.objects.delete (לייצוא קבצים במקביל בלבד)

למידע נוסף על תפקידים ב-IAM, אפשר לעיין במאמר ניהול זהויות והרשאות גישה.

ייצוא נתונים לכמה קבצים במקביל

אפשר לייצא נתונים במקביל מכמה קבצים שנמצאים ב-Cloud SQL אל Cloud Storage. הפונקציה gcloud sql export עם הדגל -parallel משתמשת בכלי dumpInstance כדי לייצא מכמה קבצים.

אחרי שהקבצים נמצאים ב-Cloud Storage, אפשר לייבא אותם למסד נתונים אחר של Cloud SQL. אם רוצים לגשת לנתונים בקבצים באופן מקומי, צריך להוריד את הנתונים מ-Cloud Storage לסביבה המקומית.

אם הקבצים מכילים סעיפי DEFINER (תצוגות, טריגרים, stored_procedures וכו'), יכול להיות שהייבוא של הקבצים האלה ייכשל, בהתאם לסדר שבו ההצהרות האלה מופעלות. DEFINER ועל פתרונות אפשריים ב-Cloud SQL

gcloud

כדי לייצא נתונים מ-Cloud SQL לכמה קבצים במקביל, צריך לבצע את השלבים הבאים:

יוצרים קטגוריה של Cloud Storage.
הערה: לא חייבים ליצור תיקייה בדלי. אם התיקייה לא קיימת, Cloud SQL יוצר אותה בשבילכם כחלק מתהליך הייצוא של כמה קבצים במקביל. אבל אם התיקייה קיימת, היא צריכה להיות ריקה, אחרת פעולת הייצוא תיכשל.
כדי למצוא את חשבון השירות של מכונת Cloud SQL שממנה מייצאים קבצים, משתמשים בפקודה
gcloud sql instances describe.
```
gcloud sql instances describe INSTANCE_NAME
```

מחליפים את INSTANCE_NAME בשם של מופע Cloud SQL.

בפלט, מחפשים את הערך שמשויך לשדה serviceAccountEmailAddress.

כדי להקצות לחשבון השירות את storage.objectAdmin תפקיד IAM, משתמשים בפקודה gcloud storage buckets add-iam-policy-binding. במאמר שימוש בהרשאות IAM מוסבר איך להגדיר הרשאות IAM.
כדי לייצא נתונים מ-Cloud SQL לכמה קבצים במקביל, משתמשים בפקודה gcloud sql export sql:
```
gcloud sql export sql INSTANCE_NAME gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME \
--offload \
--parallel \
--threads=THREAD_NUMBER \
--database=DATABASE_NAME \
--table=TABLE_EXPRESSION
```
מחליפים את הפרטים הבאים:
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שממנו מייצאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייצוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייצוא.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייצא קבצים במקביל. לדוגמה, אם רוצים לייצא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
- ‫DATABASE_NAME (אופציונלי): שם מסדי הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייצוא. אם לא מציינים מסדי נתונים, Cloud SQL מייצא את כל מסדי הנתונים של המכונה.
- ‫TABLE_EXPRESSION: הטבלאות לייצוא מהמסד נתונים שצוין.
הערה: אם רוצים להשתמש בייצוא בלי שרת (serverless) לעד 2 תהליכים, צריך להשתמש בפרמטר offload. כדי לייצא כמה קבצים במקביל, משתמשים בפרמטר parallel. אחרת, מסירים את הפרמטרים האלה מהפקודה.

הפקודה export sql לא מכילה טריגרים או פרוצדורות מאוחסנות, אבל היא כן מכילה תצוגות. כדי לייצא טריגרים או נהלים מאוחסנים, צריך להשתמש בשרשור יחיד לייצוא. בשרשור הזה נעשה שימוש בכלי mysqldump.

אחרי שהייצוא יסתיים, הקבצים אמורים להיות בתיקייה בקטגוריה של Cloud Storage בפורמט של MySQL Shell dump.
אם אתם לא צריכים את תפקיד ה-IAM שהגדרתם בתפקידים והרשאות שנדרשים לייצוא מ-Cloud SQL ל-MySQL, אתם יכולים לבטל אותו.

REST v1

כדי לייצא נתונים מ-Cloud SQL לכמה קבצים במקביל, צריך לבצע את השלבים הבאים:

יוצרים קטגוריה של Cloud Storage:
```
gcloud storage buckets create gs://BUCKET_NAME --project=PROJECT_NAME --location=LOCATION_NAME
```
מחליפים את הפרטים הבאים:
- ‫BUCKET_NAME: השם של הקטגוריה, בכפוף לדרישות למתן שמות. לדוגמה, my-bucket.
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את הקטגוריה של Cloud Storage שאתם יוצרים.
- ‫LOCATION_NAME: המיקום של הקטגוריה שבה רוצים לאחסן את הקבצים שמייצאים. לדוגמה, us-east1.
הערה: לא חייבים ליצור תיקייה בדלי. אם התיקייה לא קיימת, Cloud SQL יוצר אותה בשבילכם כחלק מתהליך הייצוא של כמה קבצים במקביל. אבל אם התיקייה קיימת, היא צריכה להיות ריקה, אחרת פעולת הייצוא תיכשל.
מספקים למופע את storage.objectAdmin תפקיד ה-IAM של הקטגוריה. במאמר שימוש בהרשאות IAM מוסבר איך מגדירים הרשאות IAM.
ייצוא נתונים מ-Cloud SQL לכמה קבצים במקביל:

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את קטגוריית Cloud Storage שיצרתם.
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שממנו מייצאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייצוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייצוא.
- ‫DATABASE_NAME (אופציונלי): שם מסדי הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייצוא. אם לא מציינים מסדי נתונים, Cloud SQL מייצא את כל מסדי הנתונים של המכונה.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייצא קבצים במקביל. לדוגמה, אם רוצים לייצא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
הערה: הפרמטר offload מאפשר לכם להשתמש בייצוא בלי שרת (serverless) עם עד 2 שרשורים. הפרמטר parallel מאפשר לייצא כמה קבצים במקביל. כדי להשתמש בתכונות האלה, צריך להגדיר את הערכים של הפרמטרים האלה בתור TRUE. אחרת, מגדירים את הערכים שלהם ל-FALSE.

ה-method של ה-HTTP וכתובת ה-URL:
```
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/export
```
תוכן בקשת JSON:
```
{
 "exportContext":
   {
      "fileType": "SQL",
      "uri": "gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME",
      "databases": ["DATABASE_NAME"],
      "offload": [TRUE|FALSE],
      "sqlExportOptions": {
        "parallel": [TRUE|FALSE],
        "threads": [THREAD_NUMBER]
       }
   }
}
```
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/export"
```
‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/export" | Select-Object -Expand Content
```
אתם אמורים לקבל תגובת JSON שדומה לזו:
תשובה
```
{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/DESTINATION_INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2020-01-21T22:43:37.981Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/operations/OPERATION_ID",
  "targetProject": "PROJECT_NAME"
}
```

אחרי שהייצוא יסתיים, הקבצים אמורים להיות בתיקייה בקטגוריה של Cloud Storage בפורמט של MySQL Shell dump.

אם אתם לא צריכים את תפקיד ה-IAM שהגדרתם בקטע תפקידים והרשאות שנדרשים לייצוא מ-Cloud SQL ל-MySQL, אתם יכולים לבטל אותו.

רשימה מלאה של הפרמטרים של הבקשה מופיעה בדף Cloud SQL Admin API.

REST v1beta4

כדי לייצא נתונים מ-Cloud SQL לכמה קבצים במקביל, צריך לבצע את השלבים הבאים:

יוצרים קטגוריה של Cloud Storage:
```
gcloud storage buckets create gs://BUCKET_NAME --project=PROJECT_NAME --location=LOCATION_NAME
```
מחליפים את הפרטים הבאים:
- ‫BUCKET_NAME: השם של הקטגוריה, בכפוף לדרישות למתן שמות. לדוגמה, my-bucket.
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את הקטגוריה של Cloud Storage שאתם יוצרים.
- ‫LOCATION_NAME: המיקום של הקטגוריה שבה רוצים לאחסן את הקבצים שמייצאים. לדוגמה, us-east1.
הערה: לא חייבים ליצור תיקייה בדלי. אם התיקייה לא קיימת, Cloud SQL יוצר אותה בשבילכם כחלק מתהליך הייצוא של כמה קבצים במקביל. אבל אם התיקייה קיימת, היא צריכה להיות ריקה, אחרת פעולת הייצוא תיכשל.
מספקים למופע את storage.objectAdmin תפקיד ה-IAM של הקטגוריה. במאמר שימוש בהרשאות IAM מוסבר איך מגדירים הרשאות IAM.
ייצוא נתונים מ-Cloud SQL לכמה קבצים במקביל:

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את קטגוריית Cloud Storage שיצרתם.
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שממנו מייצאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייצוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייצוא.
- ‫DATABASE_NAME (אופציונלי): שם מסדי הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייצוא. אם לא מציינים מסדי נתונים, Cloud SQL מייצא את כל מסדי הנתונים של המכונה.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייצא קבצים במקביל. לדוגמה, אם רוצים לייצא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
הערה: הפרמטר offload מאפשר לכם להשתמש בייצוא בלי שרת (serverless) עם עד 2 שרשורים. הפרמטר parallel מאפשר לייצא כמה קבצים במקביל. כדי להשתמש בתכונות האלה, צריך להגדיר את הערכים של הפרמטרים האלה בתור TRUE. אחרת, מגדירים את הערכים שלהם ל-FALSE.

ה-method של ה-HTTP וכתובת ה-URL:
```
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/export
```
תוכן בקשת JSON:
```
{
 "exportContext":
   {
      "fileType": "SQL",
      "uri": "gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME",
      "databases": ["DATABASE_NAME"],
      "offload": [TRUE|FALSE],
      "sqlExportOptions": {
        "parallel": [TRUE|FALSE],
        "threads": [THREAD_NUMBER]
       }
   }
}
```
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/export"
```
‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/export" | Select-Object -Expand Content
```
אתם אמורים לקבל תגובת JSON שדומה לזו:
תשובה
```
{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/DESTINATION_INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2020-01-21T22:43:37.981Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/operations/OPERATION_ID",
  "targetProject": "PROJECT_NAME"
}
```

אחרי שהייצוא יסתיים, הקבצים אמורים להיות בתיקייה בקטגוריה של Cloud Storage בפורמט של MySQL Shell dump.

אם אתם לא צריכים את תפקיד ה-IAM שהגדרתם בתפקידים והרשאות שנדרשים לייצוא מ-Cloud SQL ל-MySQL, אתם יכולים לבטל אותו.

רשימה מלאה של הפרמטרים של הבקשה מופיעה בדף Cloud SQL Admin API.

ייבוא נתונים מכמה קבצים במקביל אל Cloud SQL ל-MySQL

בקטעים הבאים מוסבר איך לייבא נתונים מכמה קבצים במקביל אל Cloud SQL ל-MySQL.

תפקידים והרשאות שנדרשים לייבוא נתונים מכמה קבצים במקביל אל Cloud SQL ל-MySQL

כדי לייבא נתונים מ-Cloud Storage ל-Cloud SQL, למשתמש שמבצע את הייבוא צריך להיות אחד מהתפקידים הבאים:

התפקיד Cloud SQL Admin
תפקיד בהתאמה אישית, כולל ההרשאות הבאות:
- cloudsql.instances.get
- cloudsql.instances.import

בנוסף, לחשבון השירות של מכונת Cloud SQL צריך להיות אחד מהתפקידים הבאים:

תפקיד IAM‏ storage.objectAdmin
תפקיד בהתאמה אישית, כולל ההרשאות הבאות:
- storage.objects.get
- ‫storage.objects.list (רק לייבוא קבצים במקביל)

למידע נוסף על תפקידים ב-IAM, אפשר לעיין במאמר ניהול זהויות והרשאות גישה.

ייבוא נתונים אל Cloud SQL ל-MySQL

אתם יכולים לייבא נתונים במקביל מכמה קבצים שנמצאים ב-Cloud Storage למסד הנתונים שלכם. כדי לעשות את זה, משתמשים בכלי loadDump.

gcloud

כדי לייבא נתונים מכמה קבצים במקביל ל-Cloud SQL, צריך לבצע את השלבים הבאים:

יצירת קטגוריה של Cloud Storage
מעלים את הקבצים לקטגוריה.

הערה: חשוב לוודא שהקבצים שאתם מעלים הם בפורמט של dump ב-MySQL Shell. מידע נוסף זמין במאמר בנושא ייצוא נתונים מכמה קבצים במקביל.

לקבלת עזרה בהעלאת קבצים לקטגוריות, אפשר לעיין במאמר העלאת אובייקטים מקבצים.
כדי למצוא את חשבון השירות של מופע Cloud SQL שאליו מייבאים קבצים, משתמשים בפקודה
gcloud sql instances describe.
```
gcloud sql instances describe INSTANCE_NAME
```

מחליפים את INSTANCE_NAME בשם של מופע Cloud SQL.

בפלט, מחפשים את הערך שמשויך לשדה serviceAccountEmailAddress.

כדי להקצות לחשבון השירות את storage.objectAdmin התפקיד ב-IAM, משתמשים בכלי gcloud storage buckets add-iam-policy-binding. במאמר שימוש בהרשאות IAM מוסבר איך להגדיר הרשאות IAM.
כדי לייבא נתונים מכמה קבצים במקביל אל Cloud SQL, משתמשים בפקודה gcloud sql import sql:
```
gcloud sql import sql INSTANCE_NAME gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME \
--parallel \
--threads=THREAD_NUMBER \
--database=DATABASE_NAME
```
מחליפים את הפרטים הבאים:
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שאליו מייבאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייבוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייבוא.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייבא קבצים במקביל. לדוגמה, אם רוצים לייבא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
- ‫DATABASE_NAME (אופציונלי): שם מסד הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייבוא. אם לא מציינים מסדי נתונים, Cloud SQL מייבא את כל מסדי הנתונים של המכונה.
הערה: אם רוצים לייבא כמה קבצים במקביל, צריך להשתמש בפרמטר parallel.

אם לא, צריך להסיר את הפרמטרים האלה מהפקודה.

אם הפקודה מחזירה שגיאה כמו ERROR_RDBMS, צריך לבדוק את ההרשאות. השגיאה הזו נובעת לרוב מבעיות בהרשאות.
אם אתם לא צריכים את הרשאות ה-IAM שהגדרתם בתפקידים והרשאות שנדרשים לייבוא אל Cloud SQL ל-MySQL, אתם יכולים להשתמש ב-gcloud storage buckets remove-iam-policy-binding כדי להסיר אותן.

REST v1

כדי לייבא נתונים מכמה קבצים במקביל ל-Cloud SQL, צריך לבצע את השלבים הבאים:

יוצרים קטגוריה של Cloud Storage:
```
gcloud storage buckets create gs://BUCKET_NAME --project=PROJECT_NAME --location=LOCATION_NAME
```
מחליפים את הפרטים הבאים:
- ‫BUCKET_NAME: השם של הקטגוריה, בכפוף לדרישות למתן שמות. לדוגמה, my-bucket.
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את הקטגוריה של Cloud Storage שאתם יוצרים.
- ‫LOCATION_NAME: המיקום של הקטגוריה שבה רוצים לאחסן את הקבצים שמייבאים. לדוגמה, us-east1.
מעלים את הקבצים לקטגוריה.

הערה: חשוב לוודא שהקבצים שאתם מעלים הם בפורמט של dump ב-MySQL Shell. מידע נוסף זמין במאמר בנושא ייצוא נתונים מכמה קבצים במקביל.

לקבלת עזרה בהעלאת קבצים לקטגוריות, אפשר לעיין במאמר העלאת אובייקטים מקבצים.
נותנים למופע את storage.objectAdmin תפקיד ה-IAM של הקטגוריה. במאמר שימוש בהרשאות IAM מוסבר איך מגדירים הרשאות IAM.
ייבוא נתונים מכמה קבצים במקביל אל Cloud SQL:

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את קטגוריית Cloud Storage שיצרתם.
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שאליו מייבאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייבוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייבוא.
- ‫DATABASE_NAME (אופציונלי): שם מסד הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייבוא. אם לא מציינים מסדי נתונים, Cloud SQL מייבא את כל מסדי הנתונים של המכונה.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייבא קבצים במקביל. לדוגמה, אם רוצים לייבא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
הערה: הפרמטר offload מאפשר לכם להשתמש ביבוא בלי שרת (serverless) לעד 2 תהליכים. הפרמטר parallel מאפשר לייבא כמה קבצים במקביל.

כדי להשתמש בתכונות האלה, צריך להגדיר את הערכים של הפרמטרים האלה בתור TRUE. אחרת, מגדירים את הערכים שלהם ל-FALSE.

ה-method של ה-HTTP וכתובת ה-URL:
```
POST https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/import
```
תוכן בקשת JSON:
```
{
 "importContext":
   {
      "fileType": "SQL",
      "uri": "gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME",
      "databases": ["DATABASE_NAME"],
      "offload": [TRUE|FALSE],
      "sqlImportOptions": {
        "parallel": [TRUE|FALSE],
        "threads": [THREAD_NUMBER]
       }
   }
}
```
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/import"
```
‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/INSTANCE_NAME/import" | Select-Object -Expand Content
```
אתם אמורים לקבל תגובת JSON שדומה לזו:
תשובה
```
{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/instances/DESTINATION_INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2020-01-21T22:43:37.981Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/v1/projects/PROJECT_NAME/operations/OPERATION_ID",
  "targetProject": "PROJECT_NAME"
}
```
רשימה מלאה של הפרמטרים של הבקשה מופיעה בדף Cloud SQL Admin API.
אם אתם לא צריכים את הרשאות ה-IAM שהגדרתם בתפקידים והרשאות שנדרשים לייבוא אל Cloud SQL ל-MySQL, אתם יכולים להשתמש ב-gcloud storage buckets remove-iam-policy-binding כדי להסיר אותן.

REST v1beta4

כדי לייבא נתונים מכמה קבצים במקביל ל-Cloud SQL, צריך לבצע את השלבים הבאים:

יוצרים קטגוריה של Cloud Storage:
```
gcloud storage buckets create gs://BUCKET_NAME --project=PROJECT_NAME --location=LOCATION_NAME
```
מחליפים את הפרטים הבאים:
- ‫BUCKET_NAME: השם של הקטגוריה, בכפוף לדרישות למתן שמות. לדוגמה, my-bucket.
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את הקטגוריה של Cloud Storage שאתם יוצרים.
- ‫LOCATION_NAME: המיקום של הקטגוריה שבה רוצים לאחסן את הקבצים שמייבאים. לדוגמה, us-east1.
מעלים את הקבצים לקטגוריה.

הערה: חשוב לוודא שהקבצים שאתם מעלים הם בפורמט של dump ב-MySQL Shell. מידע נוסף זמין במאמר בנושא ייצוא נתונים מכמה קבצים במקביל.

לקבלת עזרה בהעלאת קבצים לקטגוריות, אפשר לעיין במאמר העלאת אובייקטים מקבצים.
נותנים למופע את storage.objectAdmin תפקיד ה-IAM של הקטגוריה. במאמר שימוש בהרשאות IAM מוסבר איך מגדירים הרשאות IAM.
ייבוא נתונים מכמה קבצים במקביל אל Cloud SQL:

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- ‫PROJECT_NAME: השם של Google Cloud הפרויקט שמכיל את קטגוריית Cloud Storage שיצרתם.
- ‫INSTANCE_NAME: השם של מופע Cloud SQL שממנו מייבאים קבצים במקביל.
- ‫BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- ‫BUCKET_PATH: הנתיב לדלי שבו מאוחסנים קובצי הייבוא.
- ‫FOLDER_NAME: התיקייה שבה מאוחסנים קובצי הייבוא.
- ‫DATABASE_NAME (אופציונלי): שם מסד הנתונים בתוך מכונת Cloud SQL שממנה מתבצע הייבוא. אם לא מציינים מסדי נתונים, Cloud SQL מייבא את כל מסדי הנתונים של המכונה.
- ‫THREAD_NUMBER: מספר השרשורים ש-Cloud SQL משתמש בהם כדי לייבא קבצים במקביל. לדוגמה, אם רוצים לייבא שלושה קבצים בו-זמנית במקביל, צריך לציין 3 כערך של הפרמטר הזה.
הערה: הפרמטר offload מאפשר לכם להשתמש ביבוא בלי שרת (serverless) לעד 2 תהליכים. הפרמטר parallel מאפשר לייבא כמה קבצים במקביל.

כדי להשתמש בתכונות האלה, צריך להגדיר את הערכים של הפרמטרים האלה בתור TRUE. אחרת, מגדירים את הערכים שלהם ל-FALSE.

ה-method של ה-HTTP וכתובת ה-URL:
```
POST https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/import
```
תוכן בקשת JSON:
```
{
  "importContext":
    {
       "fileType": "SQL",
       "uri": "gs://BUCKET_NAME/BUCKET_PATH/FOLDER_NAME",
       "databases": ["DATABASE_NAME"],
       "offload": [TRUE|FALSE],
       "sqlImportOptions": {
         "parallel": [TRUE|FALSE],
         "threads": [THREAD_NUMBER]
        }
    }
 }
 
```
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/import"
```
‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
```
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/INSTANCE_NAME/import" | Select-Object -Expand Content
```
אתם אמורים לקבל תגובת JSON שדומה לזו:
תשובה
```
{
  "kind": "sql#operation",
  "targetLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/instances/DESTINATION_INSTANCE_NAME",
  "status": "PENDING",
  "user": "user@example.com",
  "insertTime": "2020-01-21T22:43:37.981Z",
  "operationType": "UPDATE",
  "name": "OPERATION_ID",
  "targetId": "INSTANCE_NAME",
  "selfLink": "https://sqladmin.googleapis.com/sql/v1beta4/projects/PROJECT_NAME/operations/OPERATION_ID",
  "targetProject": "PROJECT_NAME"
}
```
רשימה מלאה של הפרמטרים של הבקשה מופיעה בדף Cloud SQL Admin API.
אם אתם לא צריכים את הרשאות ה-IAM שהגדרתם בתפקידים והרשאות שנדרשים לייבוא אל Cloud SQL ל-MySQL, אתם יכולים להשתמש ב-gcloud storage buckets remove-iam-policy-binding כדי להסיר אותן.

מגבלות

אם מציינים יותר מדי תהליכים כשמייבאים או מייצאים נתונים מכמה קבצים במקביל, יכול להיות שתשתמשו ביותר זיכרון ממה שיש למופע Cloud SQL שלכם. אם זה קורה, מופיעה הודעת שגיאה פנימית. בודקים את השימוש בזיכרון של המכונה ומגדילים את הגודל שלה לפי הצורך. מידע נוסף מופיע במאמר מידע על הגדרות של מופע.
כשמבצעים ייצוא, לא ניתן להשתמש בפסיקים בשמות של מסדי נתונים או בשמות של טבלאות בשדות databases או tables.
מוודאים שיש מספיק נפח אחסון בדיסק להורדה של קובץ ה-dump הראשוני. אחרת, תופיע שגיאת no space left on disk.
אם למופע יש רק מעבד וירטואלי אחד (vCPU), אי אפשר לייבא או לייצא כמה קבצים במקביל. מספר ליבות ה-CPU הווירטואליות של המופע לא יכול להיות קטן ממספר השרשורים שבהם אתם משתמשים לייבוא או לייצוא, ומספר השרשורים צריך להיות לפחות שניים.
ייבוא וייצוא מרובי-הליכים (מקביליים) לא תואמים לייבוא וייצוא חד-הליכיים. לדוגמה, אפשר לייבא קובצי dump שנוצרו על ידי ייצוא עם הליך משנה יחיד רק באמצעות ייבוא עם הליך משנה יחיד. באופן דומה, אפשר לייבא קובצי dump שנוצרו על ידי ייצוא מקביל רק באמצעות ייבוא מקביל.

אם כותבים הצהרות בשפת הגדרת נתונים (DDL) כמו CREATE,‏ DROP או ALTER במהלך פעולת ייצוא, יכול להיות שהפעולה תיכשל או שהנתונים המיוצאים לא יהיו עקביים עם תמונת המצב של שחזור מערכת מנקודה מסוימת בזמן (PITR).
אם פעולת הייבוא נכשלת, יכול להיות שיישארו נתונים שלא יובאו. מערכת MySQL מבצעת קומיט של הצהרות DDL באופן אוטומטי. אם זה קורה, צריך לנקות את הצהרות ה-DDL ואת הנתונים לפני שמייבאים אותם שוב.
בדומה לפעולת ייבוא מקבילי של מסד נתונים יחיד, לפני שמריצים פעולת ייבוא מקבילי של מכונה שלמה, צריך לוודא שכל מסדי הנתונים סיימו את תהליך היצירה לפני שמתחילים.

ייצוא וייבוא של קבצים במקביל קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

לפני שמתחילים

ייצוא נתונים מ-Cloud SQL ל-MySQL לכמה קבצים במקביל

התפקידים וההרשאות הנדרשים לייצוא נתונים מ-Cloud SQL ל-MySQL לכמה קבצים במקביל

ייצוא נתונים לכמה קבצים במקביל

gcloud

REST v1

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

תשובה

REST v1beta4

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

תשובה

ייבוא נתונים מכמה קבצים במקביל אל Cloud SQL ל-MySQL

תפקידים והרשאות שנדרשים לייבוא נתונים מכמה קבצים במקביל אל Cloud SQL ל-MySQL

ייבוא נתונים אל Cloud SQL ל-MySQL

gcloud

REST v1

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

תשובה

REST v1beta4

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

תשובה

מגבלות

המאמרים הבאים

ייצוא וייבוא של קבצים במקביל