מבוא להעברה ל-BigQuery

שירות ההעברה ל-BigQuery הוא פתרון מקיף שמאפשר להעביר את מחסן הנתונים (data warehouse) ל-BigQuery. הוא מספק כלים לכל שלב בהעברה – כולל הערכה ותכנון, תרגום SQL למגוון ניבים של SQL והעברת נתונים, כדי לעזור לכם להעביר את עומסי העבודה במינימום מאמץ ידני.

כדי לגשת ל-BigQuery Migration Service, נכנסים לדף BigQuery במסוף Google Cloud ובוחרים באפשרות Migration > Services.

יכולות וכלים להעברה

בעזרת שירות ההעברה ל-BigQuery, אתם יכולים:

  • הערכה: מתכננים את ההעברה של מחסן הנתונים באמצעות הערכת ההעברה ל-BigQuery.
  • ‫Translate SQL: שירותי התרגום ממירים באופן אוטומטי את שאילתות ה-SQL ל-GoogleSQL, כולל התאמה אישית של SQL באמצעות Gemini. כדי להעביר את עומסי העבודה ל-BigQuery, אתם יכולים להשתמש במתרגם SQL באצווה, במתרגם SQL אינטראקטיבי או ב-SQL translation API.
  • העברת נתונים: הגדרת העברת נתונים שטוענת נתונים ממקור הנתונים ל-BigQuery. למידע נוסף, קראו את המאמר מהו שירות העברת הנתונים ל-BigQuery?.
  • רישום או העברה של Lakehouse פתוח: העברת מטא-נתונים מקטלוגים חיצוניים, כמו Apache Hive Metastore וקטלוגי REST של Apache Iceberg, לטבלאות של קטלוג REST של Lakehouse ל-Apache Iceberg.

אתם יכולים גם להשתמש בכלים הבאים בקוד פתוח כדי לעזור בתהליך ההעברה:

  • הכלי להעברת נתונים: השתמשו בכלי להעברת נתונים כדי להעביר באופן אוטומטי את מחסן הנתונים ל-BigQuery. הכלי משתמש בשירות העברת הנתונים ל-BigQuery, בשירותי התרגום של BigQuery ובכלי לאימות נתונים כדי להעביר נתונים, לתרגם ולאמת שאילתות DDL,‏ DML ו-SQL.
  • כלי לאימות נתונים: אחרי שמעבירים את הנתונים ל-BigQuery, מריצים את הכלי לאימות נתונים כדי לוודא שהטבלאות במקור וביעד תואמות.
  • מיפוי הרשאות ב-BigQuery: אתם יכולים להשתמש במיפוי הרשאות כדי ליצור ולתחזק באופן אוטומטי מפות הרשאות שניתנות לשינוי על ידי המשתמשים. אתם יכולים להשתמש במיפוי ההרשאות כדי לנתח ולתאם הרשאות וקבוצות משתמשים כפולות, וגם ליצור דוחות שגיאות. הכלי יוצר סקריפטים ב-JSON וב-Terraform ליצירת קבוצות, משתמשים וקישורים ב-BigQuery.
  • תבניות של Managed Service for Apache Airflow: אתם יכולים להשתמש בתבניות של Managed Service for Apache Airflow כדי לפשט את היצירה של DAG חדשים ב-Airflow, או את ההעברה של משימות מתוזמרות קיימות מהסביבה המקומית לענן.
  • ‫Cloud Foundation Fabric: דוגמאות ומודולים של Terraform ל-Google Cloud, כולל תוכנית לאזור נחיתה ברמת הארגון, תוכניות לדוגמה לתבניות רשת ולתכונות של מוצרים וספרייה של מודולים שאפשר להתאים אישית.

מקורות להעברת נתונים

שירות ההעברה ל-BigQuery תומך בהעברה של מחסני הנתונים הבאים ל-BigQuery:

מכסות

המכסות והמגבלות חלות על מספר המשימות ועל גודל הקבצים. למידע נוסף על המכסות והמגבלות של שירות ההעברה, ראו מכסות ומגבלות.

תמחור

השימוש ב-BigQuery Migration API הוא בחינם. עם זאת, האחסון שמשמש לקובצי קלט ופלט כרוך בעמלות הרגילות. למידע נוסף, ראו תמחור של Storage.

בנוסף, אתם יכולים להשתמש בפונקציונליות של אומדן העלויות ב-Google Cloud Migration Center כדי ליצור אומדן עלויות להרצת ההגדרה של מחסן הנתונים שאתם מעבירים ל-BigQuery. למידע נוסף, קראו את המאמרים התחלת הערכת עלות וציון הדרישות של מחסן הנתונים.

המאמרים הבאים