ייבוא וייצוא של נתונים

בדף הזה מפורטות השיטות הזמינות לייבוא נתונים אל Bigtable וממנו.

ייבוא נתונים ל-Bigtable

אפשר לייבא נתונים ל-Bigtable באחת מהדרכים הבאות:

BigQuery
כדי לייבא נתונים מ-BigQuery ל-Bigtable, אפשר לעיין במאמר ייצוא נתונים ל-Bigtable (תהליך ETL הפוך) במסמכי BigQuery.
אפשר להריץ שאילתות רציפות על הנתונים ב-BigQuery ולייצא את התוצאות ל-Bigtable בזמן אמת באמצעות ETL הפוך. מידע נוסף זמין במאמר מבוא לשאילתות רציפות במאמרי העזרה של BigQuery.
Pub/Sub
אפשר להזרים הודעות מ-Pub/Sub ישירות לטבלת Bigtable באמצעות מינויים ל-Pub/Sub Bigtable (גרסת Preview). בשיטה הזו אתם יכולים לכתוב הודעות בסטרימינג ל-Bigtable בלי להשתמש במנוי נפרד כמו Dataflow.

העברה או העתקה של נתונים באמצעות תבנית

אתם יכולים להשתמש בתבניות Dataflow הבאות כדי להעביר או להעתיק נתונים בין Bigtable לבין מקורות או יעדים אחרים.

BigQuery

התבנית הבאה של Dataflow מאפשרת לייצא נתונים מ-BigQuery ל-Bigtable.

‫Apache Cassandra ל-Bigtable

התבנית הבאה של Dataflow מאפשרת לייצא נתונים מ-Apache Cassandra ל-Bigtable.

קובצי Avro

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כקובצי Avro, ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות Google Cloud CLI או מסוף Google Cloud . קוד המקור נמצא ב-GitHub.

קבצי Parquet

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כקובצי Parquet, ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות ה-CLI של gcloud או מסוף Google Cloud . קוד המקור נמצא ב-GitHub.

SequenceFiles

התבניות הבאות של Dataflow מאפשרות לייצא נתונים מ-Bigtable כ-SequenceFiles ואז לייבא את הנתונים בחזרה ל-Bigtable. אפשר להריץ את התבניות באמצעות Google Cloud CLI או מסוף Google Cloud .

ייבוא מהדף Tables

אפשר להריץ רבות משיטות הייבוא שמתוארות בדף הזה באמצעות מסוףGoogle Cloud . אפשר לייבא את סוגי הנתונים הבאים מהדף Tables:

  • נתונים בפורמט CSV
  • נתונים ב-BigQuery
  • נתונים שאפשר לייבא באמצעות הכלי ליצירת משימות Dataflow. היא כוללת את סוגי הנתונים הבאים:
    • הודעות Pub/Sub
    • נתונים בטבלה ב-BigQuery
    • קובצי CSV, קובצי JSON וקובצי טקסט ב-Cloud Storage
    • נתוני טבלה של PostgreSQL,‏ MySQL,‏ Oracle ו-SQL Server

  • נתונים שאפשר לייבא באמצעות תבנית Dataflow. הנתונים האלה כוללים, בין היתר:

    • קובצי Avro
    • טבלאות ומרחבי מפתח ב-Cassandra
    • קבצי Parquet
    • קבצים מסוג SequenceFile

המסוף

  1. פותחים את רשימת מופעי Bigtable במסוף Google Cloud .

    פתיחת רשימת המופעים

  2. לוחצים על המופע שמכיל את הטבלה שרוצים לייבא.

  3. בחלונית הימנית לוחצים על טבלאות.

    בדף Tables מוצגת רשימה של טבלאות במופע.

  4. לצד שם הטבלה שאליה רוצים לייבא נתונים, לוחצים על התפריט פעולות בטבלה.

  5. לוחצים על ייבוא נתונים ובוחרים את סוג הנתונים שרוצים לייבא:

    • אם בוחרים באפשרות CSV, ייפתח חלון הטרמינל של cbt CLI. מידע נוסף זמין בקטע ייבוא נתוני CSV במסמך הזה.
    • אם בוחרים באפשרות BigQuery, ‏ BigQuery Studio נפתח. ממלאים את השאילתה של reverse ETL ומפעילים פתרונות חכמים.
    • אם בוחרים באפשרות 'כלי ליצירת משימות Dataflow', הכלי ליצירת משימות ייפתח. מידע נוסף זמין במאמר סקירה כללית של ממשק המשתמש של כלי בניית המשימות.
    • אם בוחרים באפשרות Avro,‏ Parquet,‏ SequenceFile או Cassandra, מוצגת ב-Console תבנית Dataflow שהושלמה באופן חלקי. ממלאים את תבנית העבודה ולוחצים על הפעלת העבודה.

ייצוא מדף הטבלאות

אפשר להשתמש במסוףGoogle Cloud כדי להפעיל חלק משיטות הייצוא שמתוארות בדף הזה. אפשר לייצא את סוגי הנתונים הבאים מהדף טבלאות:

  • קובצי Avro
  • קבצי Parquet

  • קבצים מסוג SequenceFile

המסוף

  1. פותחים את רשימת מופעי Bigtable במסוף Google Cloud .

    פתיחת רשימת המופעים

  2. לוחצים על המופע שמכיל את הטבלה שרוצים לייצא.

  3. בחלונית הימנית לוחצים על טבלאות.

    בדף Tables מוצגת רשימה של טבלאות במופע.

  4. לצד שם הטבלה, לוחצים על התפריט פעולות בטבלה.

  5. לוחצים על ייצוא נתונים ובוחרים את סוג הקובץ שרוצים לייצא.

    בתבנית Dataflow מוצגים נתונים שהושלמו באופן חלקי.

  6. ממלאים את תבנית העבודה ולוחצים על הפעלת העבודה.

ייבוא נתוני CSV

אפשר לייבא נתונים מקובץ CSV לטבלת Bigtable באמצעות cbtCLI. כדי לעשות זאת, צריך לוודא שלסביבה שלכם, כמו Cloud Shell, יש גישה לקובץ ה-CSV. אפשר להעביר את קובץ ה-CSV ל-Cloud Shell באחת מהדרכים הבאות:

העלאת קובץ CSV מקומי:

  1. ב-Cloud Shell, לוחצים על התפריט More ובוחרים באפשרות Upload.
  2. בוחרים את קובץ ה-CSV מהמחשב המקומי.
  3. אחרי שמעלים את הקובץ, מפנים אליו באמצעות השם שלו בפקודה של cbt CLI.

העתקת קובץ CSV מ-Cloud Storage:

ב-cbt CLI אין תמיכה ישירה בייבוא מקטגוריית Cloud Storage. קודם צריך להעתיק את קובץ ה-CSV מ-Cloud Storage לסביבת Cloud Shell. מידע נוסף מופיע במאמר העלאת אובייקט לקטגוריה.

אחרי שקובץ ה-CSV זמין בסביבה שלכם, משתמשים בפקודה cbt CLI כדי לייבא את הנתונים. דוגמה לפקודה מופיעה במאמר בנושא כתיבה של הרבה שורות בבת אחת על סמך קובץ הקלט.

המאמרים הבאים