מיקומים ב-BigQuery
במאמר הזה נסביר את המושג מיקום ואת האזורים השונים שבהם אפשר לאחסן ולעבד נתונים. התמחור של האחסון והניתוח מוגדר גם לפי המיקום של הנתונים וההזמנות. מידע נוסף על התמחור של מיקומים זמין במאמר תמחור ב-BigQuery. במאמר יצירת מערכי נתונים מוסבר איך מגדירים את המיקום של מערך הנתונים. מידע על מיקומי הזמנות זמין במאמר ניהול הזמנות באזורים שונים.
מידע נוסף על השימוש במיקום בשירות העברת הנתונים ל-BigQuery זמין במאמר בנושא מיקום נתונים והעברות.
מיקומים ואזורים
ב-BigQuery יש שני סוגים של מיקומי נתונים ומיקומי מחשוב:
השדה הזה יכול להכיל אזור, כלומר, מקום גיאוגרפי ספציפי, כמו לונדון.
מספר אזורים – אזור גיאוגרפי נרחב, כמו ארצות הברית או אירופה, שכולל הרבה אזורים ייחודיים ונפרדים. מיקומים של מספר אזורים יכולים לספק מכסות גדולות יותר מאשר אזורים יחידים, אבל הם לא מספקים יתירות אזורית. הנתונים מאוחסנים באזור אחד, והחישובים מתבצעים רק באזור הזה. לשם יתירות בין-אזורית, BigQuery מציע אפשרות מנוהלת לשחזור מאסון.
בכל אחד מסוגי המיקומים, BigQuery מאחסן באופן אוטומטי עותקים של הנתונים בשני אזורים שונים בתוך אזור יחיד במיקום שנבחר. אזורים מרובים נחשבים נפרדים מאזורים אחרים, גם אם הם ממוקמים באותו תחום. מידע נוסף על זמינות ועמידות של נתונים מופיע במאמר בנושא תכנון התאוששות מאסון.
מיקומים נתמכים
אפשר לאחסן מערכי נתונים ב-BigQuery באזורים ובמספר אזורים הבאים. מידע נוסף על אזורים ותחומים זמין במאמר מיקום גיאוגרפי ואזורים.
אזורים
בטבלה הבאה מפורטים האזורים באמריקה שבהם BigQuery זמין.| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| קולומבוס, אוהיו | us-east5 |
|
| דאלאס | us-south1 |
|
| אייווה | us-central1 |
|
| לאס וגאס | us-west4 |
|
| לוס אנג'לס | us-west2 |
|
| מקסיקו | northamerica-south1 |
|
| מונטריאול | northamerica-northeast1 |
|
| צפון וירג'יניה | us-east4 |
|
| אורגון | us-west1 |
|
| סולט לייק סיטי | us-west3 |
|
| סאו פאולו | southamerica-east1 |
|
| סנטיאגו | southamerica-west1 |
|
| דרום קרוליינה | us-east1 |
|
| טורונטו | northamerica-northeast2 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בנגקוק | asia-southeast3 |
|
| דלהי | asia-south2 |
|
| הונג קונג | asia-east2 |
|
| ג'קארטה | asia-southeast2 |
|
| מלבורן | australia-southeast2 |
|
| מומבאי | asia-south1 |
|
| אוסקה | asia-northeast2 |
|
| סיאול | asia-northeast3 |
|
| סינגפור | asia-southeast1 |
|
| סידני | australia-southeast1 |
|
| טייוואן | asia-east1 |
|
| טוקיו | asia-northeast1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בלגיה | europe-west1 |
|
| ברלין | europe-west10 |
|
| פינלנד | europe-north1 |
|
| פרנקפורט | europe-west3 |
|
| לונדון | europe-west2 |
|
| מדריד | europe-southwest1 |
|
| מילאנו | europe-west8 |
|
| הולנד | europe-west4 |
|
| פריז | europe-west9 |
|
| שטוקהולם | europe-north2 |
|
| טורינו | europe-west12 |
|
| ורשה | europe-central2 |
|
| ציריך | europe-west6 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דמאם | me-central2 |
|
| דוחה | me-central1 |
|
| תל אביב | me-west1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| יוהנסבורג | africa-south1 |
במספר אזורים
בטבלה הבאה מפורטים האזורים המרובים שבהם BigQuery זמין. כשבוחרים אזור מרובה, מאפשרים ל-BigQuery לבחור אזור יחיד בתוך האזור המרובה שבו הנתונים מאוחסנים ומעובדים.| תיאור של המיקום 'במספר אזורים' | השם של המיקום 'במספר אזורים&#�� |
|---|---|
| מרכזי נתונים במדינות החברות באיחוד האירופי1 | EU |
| מרכזי נתונים בארצות הברית2 | US |
1 נתונים שנמצאים במיקום 'במספר אזורים' של EU מאוחסנים רק באחד מהמיקומים הבאים: europe-west1 (בלגיה) או europe-west4 (הולנד).
המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.
2 נתונים שנמצאים במיקום 'במספר אזורים' של US מאוחסנים רק באחד מהמיקומים הבאים: us-central1 (איווה), us-west1 (אורגון) או us-central2 (אוקלהומה). המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.
מיקומים ב-BigQuery Studio
ב-BigQuery Studio אפשר לשמור, לשתף ולנהל גרסאות של נכסי קוד כמו מחברות ושאילתות שמורות.
בטבלה הבאה מפורטים האזורים שבהם BigQuery Studio זמין:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
| אמריקה | |||
| קולומבוס | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| צפון וירג'יניה | us-east4 |
||
| אוקלהומה | us-central2 |
|
|
| אורגון | us-west1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
|
|
| אסיה והאוקיינוס השקט | |||
| בנגקוק | asia-southeast3 |
||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| פריז | europe-west9 |
|
|
| שטוקהולם | europe-north2 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| המזרח התיכון | |||
| דמאם | me-central2 |
||
| דוחה | me-central1 |
||
| תל אביב | me-west1 |
||
מיקומים של BigQuery Omni
מערכת BigQuery Omni מעבדת שאילתות באותו מיקום של מערך הנתונים שמכיל את הטבלאות שאתם שולחים לגביהן שאילתות. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום. הנתונים שלכם נמצאים בחשבון AWS או Azure שלכם. אזורי BigQuery Omni תומכים בהזמנות של מהדורת Enterprise ובתמחור של מחשוב על פי דרישה (ניתוח). מידע נוסף על מהדורות זמין במאמר מבוא למהדורות של BigQuery.| תיאור האזור | שם האזור | אזור BigQuery שמוקם באותו מיקום | |
|---|---|---|---|
| AWS | |||
| AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) | aws-us-east-1 |
us-east4 |
|
| AWS - US West (Oregon) | aws-us-west-2 |
us-west1 |
|
| AWS - Asia Pacific (Seoul) | aws-ap-northeast-2 |
asia-northeast3 |
|
| AWS - Asia Pacific (Sydney) | aws-ap-southeast-2 |
australia-southeast1 |
|
| AWS - Europe (Ireland) | aws-eu-west-1 |
europe-west1 |
|
| AWS - Europe (Frankfurt) | aws-eu-central-1 |
europe-west3 |
|
| Azure | |||
| Azure - East US 2 | azure-eastus2 |
us-east4 |
|
מיקומים של BigQuery ML
בקטעים הבאים מתוארים המיקומים הנתמכים של מודלים של BigQuery ML.
מיקומים של מודלים מרוחקים
בקטע הזה מפורט מידע על מיקומים נתמכים עבור מודלים מרוחקים ועל המיקום שבו מתבצע העיבוד של מודלים מרוחקים.מיקומים אזוריים
במסמכים הבאים מפורטים המיקומים הנתמכים של מודלים מרוחקים על גבי מודלים של Google ומודלים של שותפים:- למידע על האזורים שבהם נתמכים מודלים של Gemini ומודלים להטמעה, אפשר לעיין במאמר מיקומי נקודות הקצה של מודלים של Google.
- למידע על האזורים הנתמכים של מודלים של Claude, Llama ו-Mistral AI, אפשר לעיין במאמר מיקומי נקודות קצה של מודלים של שותפים ב-Google Cloud.
| תיאור האזור | שם האזור | מודלים שפריסתם בוצעה ב-Vertex AI | Cloud Natural Language API | Cloud Translation API | Cloud Vision API | Document AI API | Speech-to-Text API | |
|---|---|---|---|---|---|---|---|---|
| אמריקה | ||||||||
| קולומבוס, אוהיו | us-east5 |
|||||||
| דאלאס | us-south1 |
● | ||||||
| איווה | us-central1 |
● | ● | |||||
| לאס וגאס | us-west4 |
● | ||||||
| לוס אנג'לס | us-west2 |
● | ||||||
| מקסיקו | northamerica-south1 |
|||||||
| מונטריאול | northamerica-northeast1 |
● | ||||||
| צפון וירג'יניה | us-east4 |
● | ||||||
| אורגון | us-west1 |
● | ● | |||||
| סולט לייק סיטי | us-west3 |
● | ||||||
| סאו פאולו | southamerica-east1 |
● | ||||||
| סנטיאגו | southamerica-west1 |
|||||||
| דרום קרוליינה | us-east1 |
● | ● | |||||
| טורונטו | northamerica-northeast2 |
● | ||||||
| אירופה | ||||||||
| בלגיה | europe-west1 |
● | ● | |||||
| פינלנד | europe-north1 |
|||||||
| פרנקפורט | europe-west3 |
● | ● | |||||
| לונדון | europe-west2 |
● | ● | |||||
| מדריד | europe-southwest1 |
|||||||
| מילאנו | europe-west8 |
● | ||||||
| הולנד | europe-west4 |
● | ● | |||||
| פריז | europe-west9 |
● | ||||||
| שטוקהולם | europe-north2 |
|||||||
| טורינו | europe-west12 |
|||||||
| ורשה | europe-central2 |
● | ||||||
| ציריך | europe-west6 |
● | ||||||
| אסיה והאוקיינוס השקט | ||||||||
| בנגקוק | asia-southeast3 |
|||||||
| דלהי | asia-south2 |
|||||||
| הונג קונג | asia-east2 |
● | ||||||
| ג'קארטה | asia-southeast2 |
● | ||||||
| מלבורן | australia-southeast2 |
|||||||
| מומבאי | asia-south1 |
● | ● | |||||
| אוסקה | asia-northeast2 |
|||||||
| סיאול | asia-northeast3 |
● | ||||||
| סינגפור | asia-southeast1 |
● | ● | |||||
| סידני | australia-southeast1 |
● | ● | |||||
| טייוואן | asia-east1 |
● | ||||||
| טוקיו | asia-northeast1 |
● | ● | |||||
| המזרח התיכון | ||||||||
| דמאם | me-central2 |
|||||||
| דוחה | me-central1 |
|||||||
| תל אביב | me-west1 |
● | ||||||
אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור יחיד, נקודת הקצה של מודל Vertex AI צריכה להיות באותו אזור. אם מציינים את כתובת ה-URL של נקודת הקצה של המודל, צריך להשתמש בנקודת הקצה באותו אזור כמו קבוצת הנתונים. לדוגמה, אם קבוצת הנתונים נמצאת באזור us-central1, צריך לציין את נקודת הקצה https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/<target_model>.
אם מציינים את שם המודל, BigQuery ML בוחר באופן אוטומטי את נקודת הקצה באזור הנכון.
מיקומים במספר אזורים
התמיכה במודלים מרוחקים במספר אזורים היא כדלקמן:- מודלים של Gemini נתמכים באזורים
USובאזוריםEU. - מודלים של Claude, Llama ו-Mistral AI באזור הגיאוגרפי
USשכולל מספר אזורים יכולים להשתמש בנקודת הקצה של Vertex AI בכל אזור יחיד באזור הגיאוגרפיUSשכולל מספר אזורים. מודלים של Claude, Llama ו-Mistral AI בEUמספר אזורים יכולים להשתמש בנקודת הקצה של Vertex AI בכל אזור יחיד בEUמספר אזורים, למעטeu-west2ו-eu-west6. - מודלים שפריסתם בוצעה ב-Vertex AI לא נתמכים באף אחד מהאזורים הגיאוגרפיים.
- שירותי Cloud AI נתמכים באזורים המרובים
USו-EU.
אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור גיאוגרפי נרחב יותר שכולל מספר אזורים, נקודת הקצה של מודל Vertex AI צריכה להיות באזור שנמצא באותו אזור גיאוגרפי נרחב יותר. לדוגמה, אם מערך הנתונים נמצא באזור eu, אפשר לציין את כתובת ה-URL של נקודת הקצה באזור europe-west1, https://europe-west1-aiplatform.googleapis.com/v1/projects/myproject/locations/europe-west1/publishers/google/models/<target_model>.
אם מציינים את שם המודל במקום את כתובת ה-endpoint, מערכת BigQuery ML משתמשת כברירת מחדל ב-endpoint europe-west4 למערכי נתונים באזור eu במספר אזורים, וב-endpoint us-central1 למערכי נתונים באזור us במספר אזורים.
נקודת קצה גלובלית
במקרה של מודלים נתמכים של Gemini, אפשר לציין את נקודת הקצה הגלובלית.
נקודת הקצה הגלובלית מכסה את כל העולם ומספקת זמינות ואמינות גבוהות יותר מאשר אזור יחיד. שימוש בנקודת הקצה הגלובלית לבקשות יכול לשפר את הזמינות הכוללת, תוך צמצום השגיאות של מיצוי משאבים (429), שמתרחשות כשחורגים מהמכסה של נקודת קצה אזורית.
אם אתם רוצים להשתמש ב-Gemini 2.0 ומעלה באזור שבו הוא לא זמין, אתם יכולים להשתמש בנקודת הקצה הגלובלית במקום להעביר את הנתונים לאזור אחר. אפשר להשתמש בפונקציה AI.GENERATE_TEXT רק עם מודל שפריסתו בוצעה בנקודת הקצה הגלובלית.
מיקומי עיבוד למודלים של Google ולמודלים של שותפים
מידע על מיקומי העיבוד שבהם נעשה שימוש במודלים של Google שמתארחים ב-Vertex AI זמין במאמר עיבוד ML עבור מודלים. Google Cloud המידע הזה מתייחס למודלים שנפרסו באזורים או במספר אזורים. מודלים שמשתמשים בנקודת הקצה הגלובלית לא מבטיחים מיקום עיבוד מסוים.
מידע על מיקומי העיבוד שבהם נעשה שימוש במודלים של שותפים שמארחים ב-Vertex AI זמין במאמר עיבוד ML של מודלים של שותפים. Google Cloud
מיקומים של מודלים שלא מרוחקים
בקטע הזה מפורט מידע על מיקומים נתמכים של מודלים שאינם מודלים מרוחקים, ועל המיקום שבו מתבצע עיבוד המודלים.מיקומים אזוריים
בטבלה הבאה מפורטים המיקומים הנתמכים לכל סוגי המודלים, מלבד מודלים מרוחקים:| תיאור האזור | שם האזור | מודלים מיובאים |
אימון מודל מוכלל |
אימון של מודלים של DNN/Autoencoder/ Boosted Tree/ Wide-and-Deep |
אימון מודלים ב-AutoML |
כוונון היפר-פרמטרים |
שילוב של מרשם המודלים של Vertex AI | |||
|---|---|---|---|---|---|---|---|---|---|---|
| אמריקה | ||||||||||
| קולומבוס, אוהיו | us-east5 |
● | ● | |||||||
| דאלאס | us-south1 |
● | ● | |||||||
| איווה | us-central1 |
● | ● | ● | ● | ● | ● | |||
| לאס וגאס | us-west4 |
● | ● | ● | ● | |||||
| לוס אנג'לס | us-west2 |
● | ● | ● | ● | |||||
| מקסיקו | northamerica-south1 |
● | ● | |||||||
| מונטריאול | northamerica-northeast1 |
● | ● | ● | ● | ● | ● | |||
| צפון וירג'יניה | us-east4 |
● | ● | ● | ● | ● | ● | |||
| אורגון | us-west1 |
● | ● | ● | ● | ● | ||||
| סולט לייק סיטי | us-west3 |
● | ● | ● | ||||||
| סאו פאולו | southamerica-east1 |
● | ● | ● | ● | |||||
| סנטיאגו | southamerica-west1 |
● | ● | |||||||
| דרום קרוליינה | us-east1 |
● | ● | ● | ● | ● | ||||
| טורונטו | northamerica-northeast2 |
● | ● | ● | ||||||
| אירופה | ||||||||||
| בלגיה | europe-west1 |
● | ● | ● | ● | ● | ● | |||
| ברלין | europe-west10 |
● | ● | |||||||
| פינלנד | europe-north1 |
● | ● | ● | ||||||
| פרנקפורט | europe-west3 |
● | ● | ● | ● | ● | ● | |||
| לונדון | europe-west2 |
● | ● | ● | ● | ● | ● | |||
| מדריד | europe-southwest1 |
● | ● | |||||||
| מילאנו | europe-west8 |
● | ● | |||||||
| הולנד | europe-west4 |
● | ● | ● | ● | ● | ● | |||
| פריז | europe-west9 |
● | ● | |||||||
| שטוקהולם | europe-north2 |
● | ● | |||||||
| טורינו | europe-west12 |
● | ||||||||
| ורשה | europe-central2 |
● | ● | |||||||
| ציריך | europe-west6 |
● | ● | ● | ● | ● | ● | |||
| אסיה והאוקיינוס השקט | ||||||||||
| בנגקוק | asia-southeast3 |
● | ● | |||||||
| דלהי | asia-south2 |
● | ● | |||||||
| הונג קונג | asia-east2 |
● | ● | ● | ● | ● | ● | |||
| ג'קארטה | asia-southeast2 |
● | ● | ● | ||||||
| מלבורן | australia-southeast2 |
● | ● | |||||||
| מומבאי | asia-south1 |
● | ● | ● | ● | ● | ||||
| אוסקה | asia-northeast2 |
● | ● | ● | ||||||
| סיאול | asia-northeast3 |
● | ● | ● | ● | ● | ● | |||
| סינגפור | asia-southeast1 |
● | ● | ● | ● | ● | ● | |||
| סידני | australia-southeast1 |
● | ● | ● | ● | ● | ● | |||
| טייוואן | asia-east1 |
● | ● | ● | ● | ● | ● | |||
| טוקיו | asia-northeast1 |
● | ● | ● | ● | ● | ● | |||
| המזרח התיכון | ||||||||||
| דמאם | me-central2 |
● | ||||||||
| דוחה | me-central1 |
● | ||||||||
| תל אביב | me-west1 |
● | ● | |||||||
| אפריקה | ||||||||||
| יוהנסבורג | africa-south1 |
● | ● | |||||||
מיקומים במספר אזורים
כל המודלים הנתמכים, למעט מודלים מרוחקים, נתמכים באזורים הגיאוגרפיים US ו-EU שכוללים מספר אזורים.
נתונים שנמצאים במיקום EU במספר אזורים לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).
האינטגרציה של מרשם המודלים של Vertex AI נתמכת רק באינטגרציות של אזור יחיד. אם
שולחים מודל BigQuery ML רב-אזורי למאגר המודלים, הוא מומר למודל אזורי ב-Vertex AI.
מודל של BigQuery ML בארה"ב במספר אזורים מסונכרן עם Vertex AI us-central1 ומודל של BigQuery ML באיחוד האירופי במספר אזורים מסונכרן עם Vertex AI europe-west4. במודלים של אזור יחיד, לא חלים שינויים.
מיקומים לעיבוד
במודלים שאינם מודלים מרוחקים, BigQuery ML מעבד את הנתונים ומעביר אותם למיקום זהה למיקום של מערך הנתונים שמכיל את הנתונים.
הנתונים נשמרים ב-BigQuery ML במיקום שנבחר, בהתאם לתנאים הספציפיים לשירות.
מיקומי מתרגם SQL של BigQuery
כשמעבירים נתונים ממחסן נתונים מדור קודם ל-BigQuery, אפשר להשתמש בכמה מתרגמי SQL כדי לתרגם את שאילתות ה-SQL ל-GoogleSQL או לדיאלקטים אחרים של SQL שנתמכים. הם כוללים את כלי ה-SQL האינטראקטיבי לתרגום, את ממשק ה-SQL API לתרגום ואת כלי ה-SQL לתרגום באצווה.
הכלי לתרגום SQL ב-BigQuery זמין במיקומי העיבוד הבאים:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אסיה והאוקיינוס השקט | |||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| מספר אזורים באיחוד האירופי | eu |
||
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| פריז | europe-west9 |
|
|
| שטוקהולם | europe-north2 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| אמריקה | |||
| קולומבוס, אוהיו | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| צפון וירג'יניה | us-east4 |
||
| אורגון | us-west1 |
|
|
| קוויבק | northamerica-northeast1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
|
|
| ארה"ב במספר אזורים | us |
||
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
| MiddleEast | |||
| דמאם | me-central2 |
||
| דוחה | me-central1 |
||
| ישראל | me-west1 |
||
מיקומים של שאילתות מתמשכות ב-BigQuery
בטבלה הבאה מפורטים האזורים שבהם יש תמיכה בשאילתות רציפות:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אמריקה | |||
| ארה"ב במספר אזורים | us |
||
| קולומבוס | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| צפון וירג'יניה | us-east4 |
||
| אוקלהומה | us-central2 |
|
|
| אורגון | us-west1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
|
|
| אסיה והאוקיינוס השקט | |||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| מספר אזורים באיחוד האירופי | eu |
||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| פריז | europe-west9 |
|
|
| שטוקהולם | europe-north2 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| המזרח התיכון | |||
| דוחה | me-central1 |
||
| דמאם | me-central2 |
||
| תל אביב | me-west1 |
||
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
מיקומים של כלי ההמלצות למחיצות ולאשכולות ב-BigQuery
הכלי להמלצות על חלוקה למחיצות ועל אשכולות ב-BigQuery יוצר המלצות לחלוקה למחיצות או לאשכולות כדי לייעל את הטבלאות ב-BigQuery.
שירות המלצות לחלוקה למחיצות ולאשכולות זמין במיקומי העיבוד הבאים:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אסיה והאוקיינוס השקט | |||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| מספר אזורים באיחוד האירופי | eu |
||
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| הולנד | europe-west4 |
|
|
| ציריך | europe-west6 |
|
|
| אמריקה | |||
| איווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| צפון וירג'יניה | us-east4 |
||
| אורגון | us-west1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סאו פאולו | southamerica-east1 |
|
|
| טורונטו | northamerica-northeast2 |
|
|
| ארה"ב במספר אזורים | us |
||
מיקומי שיתוף ב-BigQuery
שיתוף ב-BigQuery (לשעבר Analytics Hub) זמין באזורים ובאזורים מרובים הבאים.
אזורים
בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| קולומבוס, אוהיו | us-east5 |
|
| דאלאס | us-south1 |
|
| אייווה | us-central1 |
|
| לאס וגאס | us-west4 |
|
| לוס אנג'לס | us-west2 |
|
| מקסיקו | northamerica-south1 |
|
| מונטריאול | northamerica-northeast1 |
|
| צפון וירג'יניה | us-east4 |
|
| אוקלהומה | us-central2 |
|
| אורגון | us-west1 |
|
| סולט לייק סיטי | us-west3 |
|
| סאו פאולו | southamerica-east1 |
|
| סנטיאגו | southamerica-west1 |
|
| דרום קרוליינה | us-east1 |
|
| טורונטו | northamerica-northeast2 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דלהי | asia-south2 |
|
| הונג קונג | asia-east2 |
|
| ג'קארטה | asia-southeast2 |
|
| מלבורן | australia-southeast2 |
|
| מומבאי | asia-south1 |
|
| אוסקה | asia-northeast2 |
|
| סיאול | asia-northeast3 |
|
| סינגפור | asia-southeast1 |
|
| סידני | australia-southeast1 |
|
| טייוואן | asia-east1 |
|
| טוקיו | asia-northeast1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בלגיה | europe-west1 |
|
| ברלין | europe-west10 |
|
| פינלנד | europe-north1 |
|
| פרנקפורט | europe-west3 |
|
| לונדון | europe-west2 |
|
| מדריד | europe-southwest1 |
|
| מילאנו | europe-west8 |
|
| הולנד | europe-west4 |
|
| פריז | europe-west9 |
|
| טורינו | europe-west12 |
|
| ורשה | europe-central2 |
|
| ציריך | europe-west6 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דמאם | me-central2 |
|
| דוחה | me-central1 |
|
| תל אביב | me-west1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| יוהנסבורג | africa-south1 |
במספר אזורים
בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.| תיאור של המיקום 'במספר אזורים' | השם של המיקום 'במספר אזורים' |
|---|---|
| מרכזי נתונים במדינות החברות באיחוד האירופי1 | EU |
| מרכזי נתונים בארצות הברית | US |
1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).
אזורים בכל הערוצים
בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.| תיאור האזור הגיאוגרפי של Omni | שם האזור ב-Omni | |
|---|---|---|
| AWS | ||
| AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) | aws-us-east-1 |
|
| AWS - US West (Oregon) | aws-us-west-2 |
|
| AWS - Asia Pacific (Seoul) | aws-ap-northeast-2 |
|
| AWS - Asia Pacific (Sydney) | aws-ap-southeast-2 |
|
| AWS - Europe (Ireland) | aws-eu-west-1 |
|
| AWS - Europe (Frankfurt) | aws-eu-central-1 |
|
| Azure | ||
| Azure - East US 2 | azure-eastus2 |
|
ציון מיקומים
כשמעלים נתונים, מריצים שאילתות על נתונים או מייצאים נתונים, מערכת BigQuery קובעת את המיקום להרצת העבודה על סמך מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה במערך נתונים שמאוחסן באזור asia-northeast1, עבודת השאילתה תפעל באזור הזה.
אם שאילתה לא מפנה לטבלאות או למקורות אחרים שנכללים במערכי נתונים, ולא מצוינת טבלת יעד, משימת השאילתה תפעל באזור US מרובה-האזורים. כדי לוודא ששאילתות BigQuery מאוחסנות באזור ספציפי או במספר אזורים, צריך לציין את המיקום בבקשת העבודה כדי לנתב את השאילתה בהתאם כשמשתמשים בנקודת הקצה הגלובלית של BigQuery. אם לא מציינים את המיקום, יכול להיות שהשאילתות יאוחסנו באופן זמני ביומני הנתונים של נתב BigQuery, כשהשאילתה משמשת לקביעת מיקום העיבוד ב-BigQuery.
אם לפרויקט יש הזמנה מבוססת-קיבולת באזור שאינו US, והשאילתה לא מפנה לטבלאות או למשאבים אחרים שנכללים במערכי נתונים, צריך לציין באופן מפורש את המיקום של ההזמנה מבוססת-הקיבולת כששולחים את העבודה. התחייבויות מבוססות-קיבולת קשורות למיקום, כמו US או EU. אם מריצים עבודה מחוץ למיקום של הקיבולת, התמחור של העבודה הזו משתנה אוטומטית לתמחור על פי דרישה.
אפשר לציין את המיקום להרצת משימה באופן מפורש בדרכים הבאות:
- כשמריצים שאילתה על נתונים באמצעות Google Cloud המסוף בכלי לעריכת שאילתות, לוחצים על עוד > הגדרות שאילתה, מרחיבים את האפשרויות המתקדמות ואז בוחרים את מיקום הנתונים.
- כשכותבים שאילתת SQL, צריך להגדיר את משתנה המערכת
@@locationבהצהרה הראשונה של השאילתה. - כשמשתמשים ב כלי שורת הפקודה של BigQuery, צריך לספק את
--locationהדגל global ולהגדיר את הערך למיקום שלכם. - כשמשתמשים ב-API, צריך לציין את האזור במאפיין
locationבקטעjobReferenceשל משאב המשרה.
אם המיקום שצוין לא תואם למיקום של כל מערך נתונים שמעורב בבקשה, כולל אלה שהמערכת קראה מהם ואלה שהיא כתבה בהם, BigQuery מנסה להריץ את השאילתה כשאילתה עם אחזור נתונים גלובלי. ההצהרה הזו קובעת איפה הנתונים שלכם נאספים ומעובדים.
מיקומים באזור יחיד לא תואמים למיקומים במספר אזורים, גם אם המיקום באזור יחיד נכלל במיקום במספר אזורים. לכן, שאילתה תופעל כשאילתה עם אחזור נתונים גלובלי אם המיקום כולל גם מיקום באזור יחיד וגם מיקום במספר אזורים. לדוגמה, אם המיקום של משימה מוגדר ל-US, המשימה תהיה שאילתה עם אחזור נתונים גלובלי אם היא מפנה למערך נתונים ב-us-central1. באופן דומה, אם עבודה מפנה למערך נתונים אחד ב-US ולמערך נתונים אחר ב-us-central1, היא תהיה שאילתה עם אחזור נתונים גלובלי. הדבר נכון גם לגבי הצהרות JOIN עם טבלאות באזור אחד ובמספר אזורים.
שאילתות דינמיות לא מנותחות עד שהן מופעלות, ולכן אי אפשר להשתמש בהן כדי לקבוע באופן אוטומטי את האזור של שאילתה.
מיקומים, הזמנות ומשימות
התחייבויות לקיבולת הן משאב אזורי. כשקונים משבצות, הן מוגבלות לאזור ספציפי או למספר אזורים. אם ההתחייבות היחידה שלכם לקיבולת היא ב-EU, לא תוכלו ליצור הזמנה ב-US. כשיוצרים הזמנה, מציינים מיקום (אזור) ומספר משבצות.
המשבצות האלה נלקחות מהתחייבות הקיבולת שלכם באותו אזור.
באופן דומה, כשמריצים עבודה באזור מסוים, המערכת משתמשת בהזמנה רק אם המיקום של העבודה תואם למיקום של ההזמנה, אלא אם העבודה היא שאילתה עם אחזור נתונים גלובלי.
לדוגמה, אם אתם מקצים הזמנה לפרויקט ב-EU ומריצים שאילתה בפרויקט הזה על מערך נתונים שנמצא ב-US, השאילתה הזו לא תורץ על ההזמנה שלכם ב-EU. אם לא קיימת הזמנה של US, העבודה מופעלת על פי דרישה.
שיקולים בקשר למיקום
כשבוחרים מיקום לאחסון הנתונים, כדאי להביא בחשבון את הנקודות הבאות:
Cloud Storage
אפשר ליצור אינטראקציה עם נתונים ב-Cloud Storage באמצעות BigQuery בדרכים הבאות:
- שליחת שאילתות לנתונים ב-Cloud Storage באמצעות טבלאות חיצוניות של BigLake או טבלאות חיצוניות שאינן של BigLake
- טעינת נתונים מ-Cloud Storage ל-BigQuery
שאילתות על נתונים ב-Cloud Storage
כששולחים שאילתה לנתונים ב-Cloud Storage באמצעות BigLake או טבלה חיצונית שאינה BigLake, הנתונים ששולחים לגביהם את השאילתה צריכים להיות באותו מיקום כמו מערך הנתונים ב-BigQuery. אחרת, יחויבו עמלות על העברת נתונים. לדוגמה:
קטגוריה באזור יחיד: אם מערך הנתונים ב-BigQuery נמצא באזור ורשה (
europe-central2), הקטגוריה התואמת ב-Cloud Storage חייבת להיות גם באזור ורשה, או בכל אזור כפול ב-Cloud Storage שכולל את ורשה. אם מערך הנתונים ב-BigQuery נמצא באזורUSבמספר אזורים, קטגוריית Cloud Storage יכולה להיות באזור יחיד באיווה (us-central1) או בכל אזור כפול שכולל את איווה. שאילתות מאזור יחיד אחר כרוכות בחיובים על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל במספר האזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזורUSוהקטגוריה של Cloud Storage נמצאת באורגון (us-west1), יחולו על העבודה חיובים על העברת נתונים.אם מערך הנתונים ב-BigQuery נמצא באזור
EUבמספר אזורים, אפשר להשתמש בקטגוריה של Cloud Storage שנמצאת באזור יחיד בהולנד (europe-west4) או בכל אזור בשני אזורים שכולל את הולנד (europe-west4). על שאילתות מאזור יחיד אחר יחולו עמלות על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל באזור במספר אזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזורEUמרובה אזורים וקטגוריה של Cloud Storage נמצאת בוורשה (europe-central2), תהיה עלות על העברת הנתונים.קטגוריה בשני אזורים: אם מערך הנתונים ב-BigQuery נמצא באזור טוקיו (
asia-northeast1), הקטגוריה התואמת ב-Cloud Storage צריכה להיות באזור טוקיו או בשני אזורים שכוללים את טוקיו, כמו שני האזוריםASIA1.אם קטגוריית Cloud Storage נמצאת ב
NAM4שני אזורים או בכל שני אזורים שכוללים את אזור איווה(us-central1), מערך הנתונים התואם ב-BigQuery יכול להיות בUSמספר אזורים או באיווה(us-central1).אם קטגוריית Cloud Storage נמצאת באזור כפול
EUR4או בכל אזור כפול שכולל את הולנד (europe-west4), מערך הנתונים התואם ב-BigQuery יכול להיות באזורEUבמספר אזורים או בהולנד (europe-west4).קטגוריה במספר אזורים: לא מומלץ להשתמש במיקומים של מערכי נתונים במספר אזורים עם קטגוריות של Cloud Storage במספר אזורים עבור טבלאות חיצוניות, כי הביצועים של שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת.
אם מערך הנתונים ב-BigQuery נמצא באזור
US, הקטגוריה התואמת ב-Cloud Storage צריכה להיות בשני אזורים שכוללים את איווה (us-central1), כמוNAM4, או בשני אזורים מותאמים אישית שכוללים את איווה (us-central1).אם מערך הנתונים ב-BigQuery נמצא באזור
EUבמספר אזורים, קטגוריה של Cloud Storage המתאימה צריכה להיות באזור בשני אזורים שכולל את הולנד (europe-west4), כמו האזור בשני אזוריםEUR4, או באזור בשני אזורים מותאם אישית שכולל את הולנד (europe-west4) .
מידע נוסף על מיקומים נתמכים ב-Cloud Storage זמין במאמר מיקומי קטגוריות במסמכי Cloud Storage.
טעינת נתונים מ-Cloud Storage ל-BigQuery
כשאתם טוענים נתונים מ-Cloud Storage, הנתונים שאתם טוענים צריכים להיות באותו מיקום עם מערך הנתונים שלכם ב-BigQuery. אחרת, תצטרכו לשלם על העברת הנתונים.
מידע נוסף על חיובים על העברת נתונים לטעינה מופיע בקטע שאילתות על נתונים ב-Cloud Storage, כי אותן הנחיות חלות גם על טעינות וגם על שאילתות.
מידע נוסף זמין במאמר בנושא טעינת נתונים באצווה.
Bigtable
כששולחים שאילתות לנתונים מ-Bigtable או מייצאים נתונים ל-Bigtable, צריך לקחת בחשבון את המיקום.
שליחת שאילתות לנתונים ב-Bigtable
כשמריצים שאילתה על נתונים ב-Bigtable דרך טבלה חיצונית ב-BigQuery, מופע Bigtable צריך להיות באותו מיקום כמו מערך הנתונים ב-BigQuery:
- אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Bigtable המתאים חייב להיות באזור בלגיה. - ריבוי אזורים: מכיוון שביצועי שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת, לא מומלץ להשתמש במיקומי מערכי נתונים מרובי-אזורים בטבלאות חיצוניות ב-Bigtable.
מידע נוסף על מיקומי Bigtable נתמכים זמין במאמר מיקומי Bigtable.
ייצוא נתונים ל-Bigtable
- אם מערך הנתונים ב-BigQuery נמצא במספר אזורים, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שהנתונים ינותבו לאשכול Bigtable בתוך אותם אזורים.
לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור
USמרובה אזורים, אפשר למקם את אשכול Bigtable באזורus-west1(אורגון), שנמצא בארצות הברית. - אם מערך הנתונים ב-BigQuery נמצא באזור יחיד, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שינתב את הנתונים לאשכול Bigtable באותו אזור. לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור
asia-northeast1(טוקיו), גם אשכול Bigtable צריך להיות באזורasia-northeast1(טוקיו).
Google Drive
שיקולי המיקום לא חלים על מקורות נתונים חיצוניים של Google Drive.
Cloud SQL
כששולחים שאילתות לנתונים ב-Cloud SQL באמצעות שאילתה לכמה מסדי נתונים ב-BigQuery, מופעלת שאילתה במופע Cloud SQL שנמצא באותו מיקום כמו מערך הנתונים ב-BigQuery.
- אזור יחיד: אם מערך הנתונים ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Cloud SQL המתאים חייב להיות באזור בלגיה. - מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא במספר אזורים
US, מופע Cloud SQL המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.
מידע נוסף על המיקומים הנתמכים ב-Cloud SQL מופיע במאמר מיקומים ב-Cloud SQL.
Spanner
כששולחים שאילתה לנתונים ב-Spanner באמצעות שאילתה לכמה מסדי נתונים ב-BigQuery, מופע Spanner צריך להיות באותו מיקום כמו מערך הנתונים ב-BigQuery.
- אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Spanner המתאים חייב להיות באזור בלגיה. - מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא ב
USמספר אזורים, מופע Spanner המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.
מידע נוסף על מיקומים נתמכים ב-Spanner זמין במאמר מיקומים ב-Spanner.
כלי ניתוח
ממקמים את מערך הנתונים של BigQuery באותו מיקום עם כלי הניתוח:- Dataproc: כשמריצים שאילתות במערכי נתונים ב-BigQuery באמצעות מחבר BigQuery, מערך הנתונים ב-BigQuery צריך להיות באותו מיקום כמו אשכול Dataproc. Dataproc נתמך בכל המיקומים של Compute Engine.
- Vertex AI Workbench: כשמריצים שאילתות במערכי נתונים של BigQuery באמצעות מחברות Jupyter ב-Vertex AI Workbench, מערך הנתונים של BigQuery צריך להיות ממוקם באותו מקום עם מכונת Vertex AI Workbench. רשימת המיקומים הנתמכים ב-Vertex AI Workbench
תוכניות לניהול נתונים
פיתוח תוכנית לניהול נתונים:- אם בוחרים משאב אחסון אזורי כמו מערך נתונים של BigQuery או קטגוריה של Cloud Storage, צריך לתכנן ניהול גיאוגרפי של הנתונים.
הגבלת מיקומים
אתם יכולים להגביל את המיקומים שבהם אפשר ליצור את מערכי הנתונים באמצעות שירות מדיניות הארגון. מידע נוסף זמין במאמרים בנושא הגבלת מיקומי משאבים ומיקומי משאבים שנתמכים בשירותים.
אבטחת מערך נתונים
מידע על בקרת גישה למערכי נתונים ב-BigQuery זמין במאמר בקרת גישה למערכי נתונים. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.
המאמרים הבאים
- איך יוצרים מערכי נתונים
- מידע נוסף על טעינת נתונים לתוך BigQuery
- מידע נוסף על התמחור של BigQuery
- מידע נוסף על שאילתות גלובליות
- כל השירותים שזמינים במיקומים שונים ברחבי העולם. Google Cloud
- מושגים נוספים שמבוססים על מיקום, כמו אזורים, שרלוונטיים לשירותים אחרים של Google Cloud .