מבוא להעברה ל-BigQuery

שירות ההעברה ל-BigQuery הוא פתרון מקיף להעברת מחסן הנתונים שלכם ל-BigQuery. הוא כולל תכונות שיעזרו לכם בכל שלב של המיגרציה, כולל הערכה ותכנון, תרגום SQL למגוון של דיאלקטים של SQL והעברת נתונים.

אפשר למצוא את BigQuery Migration Service במסוף BigQuery כשעוברים אל Migration (העברה) > Services (שירותים).

בעזרת BigQuery Migration Service, אתם יכולים:

  • הערכה: כדי לתכנן את ההעברה של מחסן הנתונים, מריצים הערכת העברה ל-BigQuery.
  • Translate SQL: שירותי התרגום מבצעים אוטומטית את ההמרה של שאילתות SQL ל-GoogleSQL, כולל התאמה אישית של SQL משופר באמצעות Gemini. אתם יכולים להשתמש בכלי לתרגום SQL באצווה, בכלי לתרגום SQL אינטראקטיבי או ב-SQL Translation API כדי להעביר את עומסי העבודה שלכם ל-BigQuery.
  • העברת נתונים: הגדרת העברת נתונים שמעבירה נתונים ממקור הנתונים ל-BigQuery. מידע נוסף זמין במאמר מהו שירות העברת נתונים ל-BigQuery?
  • רישום או העברה של lakehouse פתוח: העברת מטא-נתונים מקטלוגים חיצוניים, כמו Apache Hive Metastore ו-Apache Iceberg REST Catalogs, לטבלאות של Lakehouse REST catalog עבור Apache Iceberg.

אפשר גם להשתמש בכלים הבאים בקוד פתוח כדי לעזור בתהליך ההעברה:

  • כלי להעברת נתונים: אפשר להשתמש בכלי להעברת נתונים כדי לבצע אוטומציה של העברת מחסן הנתונים ל-BigQuery. הכלי משתמש בשירות העברת הנתונים ל-BigQuery, בשירותי התרגום של BigQuery ובכלי לאימות נתונים כדי להעביר נתונים, לתרגם ולאמת שאילתות DDL,‏ DML ו-SQL.
  • הכלי לאימות נתונים: אחרי העברת הנתונים ל-BigQuery, מפעילים את הכלי לאימות נתונים כדי לוודא שהטבלאות במקור ובמטרה זהות.
  • כלי למיפוי הרשאות ב-BigQuery: אפשר להשתמש בכלי למיפוי הרשאות כדי ליצור ולתחזק באופן אוטומטי מפות הרשאות שמשתמשים יכולים לשנות. אפשר להשתמש בכלי למיפוי הרשאות כדי לנתח ולתקן הרשאות כפולות וקבוצות משתמשים כפולות, וגם כדי ליצור דוחות שגיאות. הכלי יוצר קובץ JSON וסקריפטים של Terraform ליצירת קבוצות, משתמשים וקישורים ב-BigQuery.
  • תבניות של Managed Service for Apache Airflow: אפשר להשתמש בתבניות של Managed Service for Apache Airflow כדי לפשט את היצירה של DAG חדשים ב-Airflow או את ההעברה של משימות תזמור קיימות משרתים מקומיים לענן.
  • ‫Cloud Foundation Fabric: דוגמאות ומודולים של Terraform ל-Google Cloud, כולל תוכנית לניהול אזור נחיתה בכל הארגון, תוכניות לדוגמה לדפוסי רשת ולתכונות מוצר, וספרייה של מודולים שניתנים להתאמה.

מקורות למיגרציה

שירות המיגרציה ל-BigQuery תומך במיגרציה של מחסני הנתונים הבאים ל-BigQuery:

מכסות

יש מכסות ומגבלות על מספר המשימות ועל גודל הקבצים. מידע נוסף על המכסות והמגבלות של שירות ההעברה זמין במאמר מכסות ומגבלות.

תמחור

אין תשלום על השימוש ב-BigQuery Migration API. עם זאת, נפח האחסון שמשמש לקובצי קלט ופלט כרוך בעמלות הרגילות. מידע נוסף זמין במאמר בנושא תמחור של אחסון.

בנוסף, אתם יכולים להשתמש בפונקציית אומדן העלויות ב-Google Cloud Migration Center כדי ליצור אומדן עלויות להפעלת מחסן הנתונים שהגדרתם, שאותו אתם מעבירים ל-BigQuery. מידע נוסף זמין במאמרים איך מתחילים להעריך את העלויות ואיך מציינים את הדרישות של מחסן הנתונים.

המאמרים הבאים