מיקומים ב-BigQuery

במאמר הזה נסביר את המושג מיקום ואת האזורים השונים שבהם אפשר לאחסן ולעבד נתונים. התמחור של האחסון והניתוח מוגדר גם לפי המיקום של הנתונים וההזמנות. מידע נוסף על התמחור של מיקומים זמין במאמר תמחור ב-BigQuery. במאמר יצירת מערכי נתונים מוסבר איך מגדירים את המיקום של מערך הנתונים. מידע על מיקומי הזמנות זמין במאמר ניהול הזמנות באזורים שונים.

מידע נוסף על השימוש במיקום בשירות העברת הנתונים ל-BigQuery זמין במאמר בנושא מיקום נתונים והעברות.

מיקומים ואזורים

ב-BigQuery יש שני סוגים של מיקומי נתונים ומיקומי מחשוב:

  • השדה הזה יכול להכיל אזור, כלומר, מקום גיאוגרפי ספציפי, כמו לונדון.

  • מספר אזורים – אזור גיאוגרפי נרחב, כמו ארצות הברית או אירופה, שכולל הרבה אזורים ייחודיים ונפרדים. מיקומים של מספר אזורים יכולים לספק מכסות גדולות יותר מאשר אזורים יחידים, אבל הם לא מספקים יתירות אזורית. הנתונים מאוחסנים באזור אחד, והחישובים מתבצעים רק באזור הזה. לשם יתירות בין-אזורית, BigQuery מציע אפשרות מנוהלת לשחזור מאסון.

בכל אחד מסוגי המיקומים, BigQuery מאחסן באופן אוטומטי עותקים של הנתונים בשני אזורים שונים בתוך אזור יחיד במיקום שנבחר. אזורים מרובים נחשבים נפרדים מאזורים אחרים, גם אם הם ממוקמים באותו תחום. מידע נוסף על זמינות ועמידות של נתונים מופיע במאמר בנושא תכנון התאוששות מאסון.

מיקומים נתמכים

אפשר לאחסן מערכי נתונים ב-BigQuery באזורים ובמספר אזורים הבאים. מידע נוסף על אזורים ותחומים זמין במאמר מיקום גיאוגרפי ואזורים.

אזורים

בטבלה הבאה מפורטים האזורים באמריקה שבהם BigQuery זמין.
תיאור האזור שם האזור פרטים
קולומבוס, אוהיו us-east5
דאלאס us-south1 סמל של עלה רמה נמוכה של CO2
אייווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
צפון וירג'יניה us-east4
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
סנטיאגו southamerica-west1 סמל של עלה רמה נמוכה של CO2
דרום קרוליינה us-east1
טורונטו northamerica-northeast2 סמל של עלה רמה נמוכה של CO2
בטבלה הבאה מפורטים האזורים באסיה ובאוקיינוס השקט שבהם BigQuery זמין.
תיאור האזור שם האזור פרטים
בנגקוק asia-southeast3
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
בטבלה הבאה מפורטים האזורים באירופה שבהם BigQuery זמין.
תיאור האזור שם האזור פרטים
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
פינלנד europe-north1 סמל של עלה רמה נמוכה של CO2
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
מדריד europe-southwest1 סמל של עלה רמה נמוכה של CO2
מילאנו europe-west8
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
פריז europe-west9 סמל של עלה רמה נמוכה של CO2
שטוקהולם europe-north2 סמל של עלה רמה נמוכה של CO2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
בטבלה הבאה מפורטים האזורים במזרח התיכון שבהם BigQuery זמין.
תיאור האזור שם האזור פרטים
דמאם me-central2
דוחה me-central1
תל אביב me-west1
בטבלה הבאה מפורטים האזורים באפריקה שבהם BigQuery זמין.
תיאור האזור שם האזור פרטים
יוהנסבורג africa-south1

במספר אזורים

בטבלה הבאה מפורטים האזורים המרובים שבהם BigQuery זמין. כשבוחרים אזור מרובה, מאפשרים ל-BigQuery לבחור אזור יחיד בתוך האזור המרובה שבו הנתונים מאוחסנים ומעובדים.
תיאור של המיקום 'במספר אזורים' השם של המיקום 'במספר אזורים&#��
מרכזי נתונים במדינות החברות באיחוד האירופי1 EU
מרכזי נתונים בארצות הברית2 US

1 נתונים שנמצאים במיקום 'במספר אזורים' של EU מאוחסנים רק באחד מהמיקומים הבאים: europe-west1 (בלגיה) או europe-west4 (הולנד). המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.

2 נתונים שנמצאים במיקום 'במספר אזורים' של US מאוחסנים רק באחד מהמיקומים הבאים: us-central1 (איווה), us-west1 (אורגון) או us-central2 (אוקלהומה). המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.

מיקומים ב-BigQuery Studio

ב-BigQuery Studio אפשר לשמור, לשתף ולנהל גרסאות של נכסי קוד כמו מחברות ושאילתות שמורות.

בטבלה הבאה מפורטים האזורים שבהם BigQuery Studio זמין:

תיאור האזור שם האזור פרטים
אפריקה
יוהנסבורג africa-south1
אמריקה
קולומבוס us-east5
דאלאס us-south1 סמל של עלה רמה נמוכה של CO2
אייווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
צפון וירג'יניה us-east4
אוקלהומה us-central2 סמל של עלה רמה נמוכה של CO2
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סנטיאגו southamerica-west1 סמל של עלה רמה נמוכה של CO2
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
דרום קרוליינה us-east1
טורונטו northamerica-northeast2 סמל של עלה רמה נמוכה של CO2
אסיה והאוקיינוס השקט
בנגקוק asia-southeast3
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
אירופה
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
פינלנד europe-north1 סמל של עלה רמה נמוכה של CO2
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
מדריד europe-southwest1 סמל של עלה רמה נמוכה של CO2
מילאנו europe-west8
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
פריז europe-west9 סמל של עלה רמה נמוכה של CO2
שטוקהולם europe-north2 סמל של עלה רמה נמוכה של CO2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
המזרח התיכון
דמאם me-central2
דוחה me-central1
תל אביב me-west1

מיקומים של BigQuery Omni

מערכת BigQuery Omni מעבדת שאילתות באותו מיקום של מערך הנתונים שמכיל את הטבלאות שאתם שולחים לגביהן שאילתות. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום. הנתונים שלכם נמצאים בחשבון AWS או Azure שלכם. אזורי BigQuery Omni תומכים בהזמנות של מהדורת Enterprise ובתמחור של מחשוב על פי דרישה (ניתוח). מידע נוסף על מהדורות זמין במאמר מבוא למהדורות של BigQuery.
תיאור האזור שם האזור אזור BigQuery שמוקם באותו מיקום
AWS
‫AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) aws-us-east-1 us-east4
AWS - US West (Oregon) aws-us-west-2 us-west1
‫AWS - Asia Pacific (Seoul) aws-ap-northeast-2 asia-northeast3
AWS - Asia Pacific (Sydney) aws-ap-southeast-2 australia-southeast1
AWS - Europe (Ireland) aws-eu-west-1 europe-west1
AWS - Europe (Frankfurt) aws-eu-central-1 europe-west3
Azure
Azure - East US 2 azure-eastus2 us-east4

מיקומים של BigQuery ML

בקטעים הבאים מתוארים המיקומים הנתמכים של מודלים של BigQuery ML.

מיקומים של מודלים מרוחקים

בקטע הזה מפורט מידע על מיקומים נתמכים עבור מודלים מרוחקים ועל המיקום שבו מתבצע העיבוד של מודלים מרוחקים.

מיקומים אזוריים

במסמכים הבאים מפורטים המיקומים הנתמכים של מודלים מרוחקים על גבי מודלים של Google ומודלים של שותפים: בטבלה הבאה מפורטים האזורים שבהם יש תמיכה במודלים מרוחקים בשירותי Cloud AI ובמודלים בהתאמה אישית שנפרסו ב-Vertex AI. שם העמודה מציין את הסוג של המודל המרוחק.
תיאור האזור שם האזור מודלים שפריסתם בוצעה ב-Vertex AI Cloud Natural Language API Cloud Translation API Cloud Vision API Document AI API Speech-to-Text API
אמריקה
קולומבוס, אוהיו us-east5
דאלאס us-south1
איווה us-central1
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1
צפון וירג'יניה us-east4
אורגון us-west1
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
אירופה
בלגיה europe-west1
פינלנד europe-north1
פרנקפורט europe-west3
לונדון europe-west2
מדריד europe-southwest1
מילאנו europe-west8
הולנד europe-west4
פריז europe-west9
שטוקהולם europe-north2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6
אסיה והאוקיינוס השקט
בנגקוק asia-southeast3
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
המזרח התיכון
דמאם me-central2
דוחה me-central1
תל אביב me-west1

אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור יחיד, נקודת הקצה של מודל Vertex AI צריכה להיות באותו אזור. אם מציינים את כתובת ה-URL של נקודת הקצה של המודל, צריך להשתמש בנקודת הקצה באותו אזור כמו קבוצת הנתונים. לדוגמה, אם קבוצת הנתונים נמצאת באזור us-central1, צריך לציין את נקודת הקצה https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/<target_model>. אם מציינים את שם המודל, BigQuery ML בוחר באופן אוטומטי את נקודת הקצה באזור הנכון.

מיקומים במספר אזורים

התמיכה במודלים מרוחקים במספר אזורים היא כדלקמן:
  • מודלים של Gemini נתמכים באזורים US ובאזורים EU.
  • מודלים של Claude,‏ Llama ו-Mistral AI באזור הגיאוגרפי US שכולל מספר אזורים יכולים להשתמש בנקודת הקצה של Vertex AI בכל אזור יחיד באזור הגיאוגרפי US שכולל מספר אזורים. מודלים של Claude, ‏ Llama ו-Mistral AI בEU מספר אזורים יכולים להשתמש בנקודת הקצה של Vertex AI בכל אזור יחיד בEU מספר אזורים, למעט eu-west2 ו-eu-west6.
  • מודלים שפריסתם בוצעה ב-Vertex AI לא נתמכים באף אחד מהאזורים הגיאוגרפיים.
  • שירותי Cloud AI נתמכים באזורים המרובים US ו-EU.

אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור גיאוגרפי נרחב יותר שכולל מספר אזורים, נקודת הקצה של מודל Vertex AI צריכה להיות באזור שנמצא באותו אזור גיאוגרפי נרחב יותר. לדוגמה, אם מערך הנתונים נמצא באזור eu, אפשר לציין את כתובת ה-URL של נקודת הקצה באזור europe-west1, ‏https://europe-west1-aiplatform.googleapis.com/v1/projects/myproject/locations/europe-west1/publishers/google/models/<target_model>. אם מציינים את שם המודל במקום את כתובת ה-endpoint, מערכת BigQuery ML משתמשת כברירת מחדל ב-endpoint‏ europe-west4 למערכי נתונים באזור eu במספר אזורים, וב-endpoint‏ us-central1 למערכי נתונים באזור us במספר אזורים.

נקודת קצה גלובלית

במקרה של מודלים נתמכים של Gemini, אפשר לציין את נקודת הקצה הגלובלית.

נקודת הקצה הגלובלית מכסה את כל העולם ומספקת זמינות ואמינות גבוהות יותר מאשר אזור יחיד. שימוש בנקודת הקצה הגלובלית לבקשות יכול לשפר את הזמינות הכוללת, תוך צמצום השגיאות של מיצוי משאבים (429), שמתרחשות כשחורגים מהמכסה של נקודת קצה אזורית. אם אתם רוצים להשתמש ב-Gemini 2.0 ומעלה באזור שבו הוא לא זמין, אתם יכולים להשתמש בנקודת הקצה הגלובלית במקום להעביר את הנתונים לאזור אחר. אפשר להשתמש בפונקציה AI.GENERATE_TEXT רק עם מודל שפריסתו בוצעה בנקודת הקצה הגלובלית.

אם יש לכם דרישות לגבי המיקום שבו מתבצע עיבוד הנתונים, אל תשתמשו בנקודת הקצה הגלובלית. הסיבה לכך היא שכשמשתמשים בנקודת הקצה הגלובלית, אי אפשר לשלוט באזור שבו מתבצע עיבוד הבקשות או לדעת מהו האזור הזה.

מיקומי עיבוד למודלים של Google ולמודלים של שותפים

מידע על מיקומי העיבוד שבהם נעשה שימוש במודלים של Google שמתארחים ב-Vertex AI זמין במאמר עיבוד ML עבור מודלים. Google Cloud המידע הזה מתייחס למודלים שנפרסו באזורים או במספר אזורים. מודלים שמשתמשים בנקודת הקצה הגלובלית לא מבטיחים מיקום עיבוד מסוים.

מידע על מיקומי העיבוד שבהם נעשה שימוש במודלים של שותפים שמארחים ב-Vertex AI זמין במאמר עיבוד ML של מודלים של שותפים. Google Cloud

מיקומים של מודלים שלא מרוחקים

בקטע הזה מפורט מידע על מיקומים נתמכים של מודלים שאינם מודלים מרוחקים, ועל המיקום שבו מתבצע עיבוד המודלים.

מיקומים אזוריים

בטבלה הבאה מפורטים המיקומים הנתמכים לכל סוגי המודלים, מלבד מודלים מרוחקים:
תיאור האזור שם האזור מודלים
מיובאים
אימון
מודל
מוכלל
אימון של מודלים של DNN/Autoencoder/
Boosted Tree/
Wide-and-Deep
אימון
מודלים
ב-AutoML
כוונון
היפר-פרמטרים
שילוב של מרשם המודלים של Vertex AI
אמריקה
קולומבוס, אוהיו us-east5
דאלאס us-south1
איווה us-central1
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1
צפון וירג'יניה us-east4
אורגון us-west1
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
אירופה
בלגיה europe-west1
ברלין europe-west10
פינלנד europe-north1
פרנקפורט europe-west3
לונדון europe-west2
מדריד europe-southwest1
מילאנו europe-west8
הולנד europe-west4
פריז europe-west9
שטוקהולם europe-north2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6
אסיה והאוקיינוס השקט
בנגקוק asia-southeast3
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
המזרח התיכון
דמאם me-central2
דוחה me-central1
תל אביב me-west1
אפריקה
יוהנסבורג africa-south1

מיקומים במספר אזורים

כל המודלים הנתמכים, למעט מודלים מרוחקים, נתמכים באזורים הגיאוגרפיים US ו-EU שכוללים מספר אזורים.

נתונים שנמצאים במיקום EU במספר אזורים לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

האינטגרציה של מרשם המודלים של Vertex AI נתמכת רק באינטגרציות של אזור יחיד. אם שולחים מודל BigQuery ML רב-אזורי למאגר המודלים, הוא מומר למודל אזורי ב-Vertex AI. מודל של BigQuery ML בארה"ב במספר אזורים מסונכרן עם Vertex AI‏ us-central1 ומודל של BigQuery ML באיחוד האירופי במספר אזורים מסונכרן עם Vertex AI‏ europe-west4. במודלים של אזור יחיד, לא חלים שינויים.

מיקומים לעיבוד

במודלים שאינם מודלים מרוחקים, BigQuery ML מעבד את הנתונים ומעביר אותם למיקום זהה למיקום של מערך הנתונים שמכיל את הנתונים.

הנתונים נשמרים ב-BigQuery ML במיקום שנבחר, בהתאם לתנאים הספציפיים לשירות.

מיקומי מתרגם SQL של BigQuery

כשמעבירים נתונים ממחסן נתונים מדור קודם ל-BigQuery, אפשר להשתמש בכמה מתרגמי SQL כדי לתרגם את שאילתות ה-SQL ל-GoogleSQL או לדיאלקטים אחרים של SQL שנתמכים. הם כוללים את כלי ה-SQL האינטראקטיבי לתרגום, את ממשק ה-SQL API לתרגום ואת כלי ה-SQL לתרגום באצווה.

הכלי לתרגום SQL ב-BigQuery זמין במיקומי העיבוד הבאים:

תיאור האזור שם האזור פרטים
אסיה והאוקיינוס השקט
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
אירופה
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
מספר אזורים באיחוד האירופי eu
פינלנד europe-north1 סמל של עלה רמה נמוכה של CO2
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
מדריד europe-southwest1 סמל של עלה רמה נמוכה של CO2
מילאנו europe-west8
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
פריז europe-west9 סמל של עלה רמה נמוכה של CO2
שטוקהולם europe-north2 סמל של עלה רמה נמוכה של CO2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
אמריקה
קולומבוס, אוהיו us-east5
דאלאס us-south1 סמל של עלה רמה נמוכה של CO2
אייווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
צפון וירג'יניה us-east4
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
קוויבק northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סנטיאגו southamerica-west1 סמל של עלה רמה נמוכה של CO2
דרום קרוליינה us-east1
טורונטו northamerica-northeast2 סמל של עלה רמה נמוכה של CO2
ארה"ב במספר אזורים us
אפריקה
יוהנסבורג africa-south1
MiddleEast
דמאם me-central2
דוחה me-central1
ישראל me-west1

מיקומים של שאילתות מתמשכות ב-BigQuery

בטבלה הבאה מפורטים האזורים שבהם יש תמיכה בשאילתות רציפות:

תיאור האזור שם האזור פרטים
אמריקה
ארה"ב במספר אזורים us
קולומבוס us-east5
דאלאס us-south1 סמל של עלה רמה נמוכה של CO2
אייווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
צפון וירג'יניה us-east4
אוקלהומה us-central2 סמל של עלה רמה נמוכה של CO2
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סנטיאגו southamerica-west1 סמל של עלה רמה נמוכה של CO2
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
דרום קרוליינה us-east1
טורונטו northamerica-northeast2 סמל של עלה רמה נמוכה של CO2
אסיה והאוקיינוס השקט
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
אירופה
מספר אזורים באיחוד האירופי eu
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
פינלנד europe-north1 סמל של עלה רמה נמוכה של CO2
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
מדריד europe-southwest1 סמל של עלה רמה נמוכה של CO2
מילאנו europe-west8
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
פריז europe-west9 סמל של עלה רמה נמוכה של CO2
שטוקהולם europe-north2 סמל של עלה רמה נמוכה של CO2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
המזרח התיכון
דוחה me-central1
דמאם me-central2
תל אביב me-west1
אפריקה
יוהנסבורג africa-south1

מיקומים של כלי ההמלצות למחיצות ולאשכולות ב-BigQuery

הכלי להמלצות על חלוקה למחיצות ועל אשכולות ב-BigQuery יוצר המלצות לחלוקה למחיצות או לאשכולות כדי לייעל את הטבלאות ב-BigQuery.

שירות המלצות לחלוקה למחיצות ולאשכולות זמין במיקומי העיבוד הבאים:

תיאור האזור שם האזור פרטים
אסיה והאוקיינוס השקט
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
אירופה
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
מספר אזורים באיחוד האירופי eu
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
אמריקה
איווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מונטריאול northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
צפון וירג'יניה us-east4
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
טורונטו northamerica-northeast2 סמל של עלה רמה נמוכה של CO2
ארה"ב במספר אזורים us

מיקומי שיתוף ב-BigQuery

שיתוף ב-BigQuery (לשעבר Analytics Hub) זמין באזורים ובאזורים מרובים הבאים.

אזורים

בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
קולומבוס, אוהיו us-east5
דאלאס us-south1 סמל של עלה רמה נמוכה של CO2
אייווה us-central1 סמל של עלה רמה נמוכה של CO2
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 סמל של עלה רמה נמוכה של CO2
צפון וירג'יניה us-east4
אוקלהומה us-central2 סמל של עלה רמה נמוכה של CO2
אורגון us-west1 סמל של עלה רמה נמוכה של CO2
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 סמל של עלה רמה נמוכה של CO2
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
בטבלה הבאה מפורטים האזורים באסיה ובאוקיינוס השקט שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
בטבלה הבאה מפורטים האזורים באירופה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
בלגיה europe-west1 סמל של עלה רמה נמוכה של CO2
ברלין europe-west10
פינלנד europe-north1 סמל של עלה רמה נמוכה של CO2
פרנקפורט europe-west3
לונדון europe-west2 סמל של עלה רמה נמוכה של CO2
מדריד europe-southwest1 סמל של עלה רמה נמוכה של CO2
מילאנו europe-west8
הולנד europe-west4 סמל של עלה רמה נמוכה של CO2
פריז europe-west9 סמל של עלה רמה נמוכה של CO2
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 סמל של עלה רמה נמוכה של CO2
בטבלה הבאה מפורטים האזורים במזרח התיכון שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דמאם me-central2
דוחה me-central1
תל אביב me-west1
בטבלה הבאה מפורטים האזורים באפריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
יוהנסבורג africa-south1

במספר אזורים

בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.
תיאור של המיקום 'במספר אזורים' השם של המיקום 'במספר אזורים'
מרכזי נתונים במדינות החברות באיחוד האירופי1 EU
מרכזי נתונים בארצות הברית US

1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

אזורים בכל הערוצים

בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.
תיאור האזור הגיאוגרפי של Omni שם האזור ב-Omni
AWS
‫AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) aws-us-east-1
AWS - US West (Oregon) aws-us-west-2
‫AWS - Asia Pacific (Seoul) aws-ap-northeast-2
AWS - Asia Pacific (Sydney) aws-ap-southeast-2
AWS - Europe (Ireland) aws-eu-west-1
AWS - Europe (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

ציון מיקומים

כשמעלים נתונים, מריצים שאילתות על נתונים או מייצאים נתונים, מערכת BigQuery קובעת את המיקום להרצת העבודה על סמך מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה במערך נתונים שמאוחסן באזור asia-northeast1, עבודת השאילתה תפעל באזור הזה.

אם שאילתה לא מפנה לטבלאות או למקורות אחרים שנכללים במערכי נתונים, ולא מצוינת טבלת יעד, משימת השאילתה תפעל באזור US מרובה-האזורים. כדי לוודא ששאילתות BigQuery מאוחסנות באזור ספציפי או במספר אזורים, צריך לציין את המיקום בבקשת העבודה כדי לנתב את השאילתה בהתאם כשמשתמשים בנקודת הקצה הגלובלית של BigQuery. אם לא מציינים את המיקום, יכול להיות שהשאילתות יאוחסנו באופן זמני ביומני הנתונים של נתב BigQuery, כשהשאילתה משמשת לקביעת מיקום העיבוד ב-BigQuery.

אם לפרויקט יש הזמנה מבוססת-קיבולת באזור שאינו US, והשאילתה לא מפנה לטבלאות או למשאבים אחרים שנכללים במערכי נתונים, צריך לציין באופן מפורש את המיקום של ההזמנה מבוססת-הקיבולת כששולחים את העבודה. התחייבויות מבוססות-קיבולת קשורות למיקום, כמו US או EU. אם מריצים עבודה מחוץ למיקום של הקיבולת, התמחור של העבודה הזו משתנה אוטומטית לתמחור על פי דרישה.

אפשר לציין את המיקום להרצת משימה באופן מפורש בדרכים הבאות:

  • כשמריצים שאילתה על נתונים באמצעות Google Cloud המסוף בכלי לעריכת שאילתות, לוחצים על עוד > הגדרות שאילתה, מרחיבים את האפשרויות המתקדמות ואז בוחרים את מיקום הנתונים.
  • כשכותבים שאילתת SQL, צריך להגדיר את משתנה המערכת @@location בהצהרה הראשונה של השאילתה.
  • כשמשתמשים ב כלי שורת הפקודה של BigQuery, צריך לספק את --location הדגל global ולהגדיר את הערך למיקום שלכם.
  • כשמשתמשים ב-API, צריך לציין את האזור במאפיין location בקטע jobReference של משאב המשרה.

אם המיקום שצוין לא תואם למיקום של כל מערך נתונים שמעורב בבקשה, כולל אלה שהמערכת קראה מהם ואלה שהיא כתבה בהם, BigQuery מנסה להריץ את השאילתה כשאילתה עם אחזור נתונים גלובלי. ההצהרה הזו קובעת איפה הנתונים שלכם נאספים ומעובדים.

מיקומים באזור יחיד לא תואמים למיקומים במספר אזורים, גם אם המיקום באזור יחיד נכלל במיקום במספר אזורים. לכן, שאילתה תופעל כשאילתה עם אחזור נתונים גלובלי אם המיקום כולל גם מיקום באזור יחיד וגם מיקום במספר אזורים. לדוגמה, אם המיקום של משימה מוגדר ל-US, המשימה תהיה שאילתה עם אחזור נתונים גלובלי אם היא מפנה למערך נתונים ב-us-central1. באופן דומה, אם עבודה מפנה למערך נתונים אחד ב-US ולמערך נתונים אחר ב-us-central1, היא תהיה שאילתה עם אחזור נתונים גלובלי. הדבר נכון גם לגבי הצהרות JOIN עם טבלאות באזור אחד ובמספר אזורים.

שאילתות דינמיות לא מנותחות עד שהן מופעלות, ולכן אי אפשר להשתמש בהן כדי לקבוע באופן אוטומטי את האזור של שאילתה.

מיקומים, הזמנות ומשימות

התחייבויות לקיבולת הן משאב אזורי. כשקונים משבצות, הן מוגבלות לאזור ספציפי או למספר אזורים. אם ההתחייבות היחידה שלכם לקיבולת היא ב-EU, לא תוכלו ליצור הזמנה ב-US. כשיוצרים הזמנה, מציינים מיקום (אזור) ומספר משבצות. המשבצות האלה נלקחות מהתחייבות הקיבולת שלכם באותו אזור.

באופן דומה, כשמריצים עבודה באזור מסוים, המערכת משתמשת בהזמנה רק אם המיקום של העבודה תואם למיקום של ההזמנה, אלא אם העבודה היא שאילתה עם אחזור נתונים גלובלי. לדוגמה, אם אתם מקצים הזמנה לפרויקט ב-EU ומריצים שאילתה בפרויקט הזה על מערך נתונים שנמצא ב-US, השאילתה הזו לא תורץ על ההזמנה שלכם ב-EU. אם לא קיימת הזמנה של US, העבודה מופעלת על פי דרישה.

שיקולים בקשר למיקום

כשבוחרים מיקום לאחסון הנתונים, כדאי להביא בחשבון את הנקודות הבאות:

Cloud Storage

אפשר ליצור אינטראקציה עם נתונים ב-Cloud Storage באמצעות BigQuery בדרכים הבאות:

שאילתות על נתונים ב-Cloud Storage

כששולחים שאילתה לנתונים ב-Cloud Storage באמצעות BigLake או טבלה חיצונית שאינה BigLake, הנתונים ששולחים לגביהם את השאילתה צריכים להיות באותו מיקום כמו מערך הנתונים ב-BigQuery. אחרת, יחויבו עמלות על העברת נתונים. לדוגמה:

  • קטגוריה באזור יחיד: אם מערך הנתונים ב-BigQuery נמצא באזור ורשה (europe-central2), הקטגוריה התואמת ב-Cloud Storage חייבת להיות גם באזור ורשה, או בכל אזור כפול ב-Cloud Storage שכולל את ורשה. אם מערך הנתונים ב-BigQuery נמצא באזור US במספר אזורים, קטגוריית Cloud Storage יכולה להיות באזור יחיד באיווה (us-central1) או בכל אזור כפול שכולל את איווה. שאילתות מאזור יחיד אחר כרוכות בחיובים על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל במספר האזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזור US והקטגוריה של Cloud Storage נמצאת באורגון (us-west1), יחולו על העבודה חיובים על העברת נתונים.

    אם מערך הנתונים ב-BigQuery נמצא באזור EU במספר אזורים, אפשר להשתמש בקטגוריה של Cloud Storage שנמצאת באזור יחיד בהולנד (europe-west4) או בכל אזור בשני אזורים שכולל את הולנד (europe-west4). על שאילתות מאזור יחיד אחר יחולו עמלות על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל באזור במספר אזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזור EU מרובה אזורים וקטגוריה של Cloud Storage נמצאת בוורשה (europe-central2), תהיה עלות על העברת הנתונים.

  • קטגוריה בשני אזורים: אם מערך הנתונים ב-BigQuery נמצא באזור טוקיו (asia-northeast1), הקטגוריה התואמת ב-Cloud Storage צריכה להיות באזור טוקיו או בשני אזורים שכוללים את טוקיו, כמו שני האזורים ASIA1.

    אם קטגוריית Cloud Storage נמצאת בNAM4 שני אזורים או בכל שני אזורים שכוללים את אזור איווה(us-central1), מערך הנתונים התואם ב-BigQuery יכול להיות בUS מספר אזורים או באיווה(us-central1).

    אם קטגוריית Cloud Storage נמצאת באזור כפול EUR4 או בכל אזור כפול שכולל את הולנד (europe-west4), מערך הנתונים התואם ב-BigQuery יכול להיות באזור EU במספר אזורים או בהולנד (europe-west4).

  • קטגוריה במספר אזורים: לא מומלץ להשתמש במיקומים של מערכי נתונים במספר אזורים עם קטגוריות של Cloud Storage במספר אזורים עבור טבלאות חיצוניות, כי הביצועים של שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת.

    אם מערך הנתונים ב-BigQuery נמצא באזור US, הקטגוריה התואמת ב-Cloud Storage צריכה להיות בשני אזורים שכוללים את איווה (us-central1), כמו NAM4, או בשני אזורים מותאמים אישית שכוללים את איווה (us-central1).

    אם מערך הנתונים ב-BigQuery נמצא באזור EU במספר אזורים, קטגוריה של Cloud Storage המתאימה צריכה להיות באזור בשני אזורים שכולל את הולנד (europe-west4), כמו האזור בשני אזורים EUR4, או באזור בשני אזורים מותאם אישית שכולל את הולנד (europe-west4) .

מידע נוסף על מיקומים נתמכים ב-Cloud Storage זמין במאמר מיקומי קטגוריות במסמכי Cloud Storage.

טעינת נתונים מ-Cloud Storage ל-BigQuery

כשאתם טוענים נתונים מ-Cloud Storage, הנתונים שאתם טוענים צריכים להיות באותו מיקום עם מערך הנתונים שלכם ב-BigQuery. אחרת, תצטרכו לשלם על העברת הנתונים.

מידע נוסף על חיובים על העברת נתונים לטעינה מופיע בקטע שאילתות על נתונים ב-Cloud Storage, כי אותן הנחיות חלות גם על טעינות וגם על שאילתות.

מידע נוסף זמין במאמר בנושא טעינת נתונים באצווה.

Bigtable

כששולחים שאילתות לנתונים מ-Bigtable או מייצאים נתונים ל-Bigtable, צריך לקחת בחשבון את המיקום.

שליחת שאילתות לנתונים ב-Bigtable

כשמריצים שאילתה על נתונים ב-Bigtable דרך טבלה חיצונית ב-BigQuery, מופע Bigtable צריך להיות באותו מיקום כמו מערך הנתונים ב-BigQuery:

  • אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (europe-west1), מופע Bigtable המתאים חייב להיות באזור בלגיה.
  • ריבוי אזורים: מכיוון שביצועי שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת, לא מומלץ להשתמש במיקומי מערכי נתונים מרובי-אזורים בטבלאות חיצוניות ב-Bigtable.

מידע נוסף על מיקומי Bigtable נתמכים זמין במאמר מיקומי Bigtable.

ייצוא נתונים ל-Bigtable

  • אם מערך הנתונים ב-BigQuery נמצא במספר אזורים, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שהנתונים ינותבו לאשכול Bigtable בתוך אותם אזורים. לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור US מרובה אזורים, אפשר למקם את אשכול Bigtable באזור us-west1 (אורגון), שנמצא בארצות הברית.
  • אם מערך הנתונים ב-BigQuery נמצא באזור יחיד, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שינתב את הנתונים לאשכול Bigtable באותו אזור. לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור asia-northeast1 (טוקיו), גם אשכול Bigtable צריך להיות באזור asia-northeast1 (טוקיו).

Google Drive

שיקולי המיקום לא חלים על מקורות נתונים חיצוניים של Google Drive.

Cloud SQL

כששולחים שאילתות לנתונים ב-Cloud SQL באמצעות שאילתה לכמה מסדי נתונים ב-BigQuery, מופעלת שאילתה במופע Cloud SQL שנמצא באותו מיקום כמו מערך הנתונים ב-BigQuery.

  • אזור יחיד: אם מערך הנתונים ב-BigQuery נמצא במיקום האזורי בבלגיה (europe-west1), מופע Cloud SQL המתאים חייב להיות באזור בלגיה.
  • מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא במספר אזורים US, מופע Cloud SQL המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.

מידע נוסף על המיקומים הנתמכים ב-Cloud SQL מופיע במאמר מיקומים ב-Cloud SQL.

Spanner

כששולחים שאילתה לנתונים ב-Spanner באמצעות שאילתה לכמה מסדי נתונים ב-BigQuery, מופע Spanner צריך להיות באותו מיקום כמו מערך הנתונים ב-BigQuery.

  • אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (europe-west1), מופע Spanner המתאים חייב להיות באזור בלגיה.
  • מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא בUSמספר אזורים, מופע Spanner המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.

מידע נוסף על מיקומים נתמכים ב-Spanner זמין במאמר מיקומים ב-Spanner.

כלי ניתוח

ממקמים את מערך הנתונים של BigQuery באותו מיקום עם כלי הניתוח:

תוכניות לניהול נתונים

פיתוח תוכנית לניהול נתונים:

הגבלת מיקומים

אתם יכולים להגביל את המיקומים שבהם אפשר ליצור את מערכי הנתונים באמצעות שירות מדיניות הארגון. מידע נוסף זמין במאמרים בנושא הגבלת מיקומי משאבים ומיקומי משאבים שנתמכים בשירותים.

אבטחת מערך נתונים

מידע על בקרת גישה למערכי נתונים ב-BigQuery זמין במאמר בקרת גישה למערכי נתונים. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.

המאמרים הבאים