מיקומים ב-BigQuery
במאמר הזה נסביר את המושג מיקום ואת האזורים השונים שבהם אפשר לאחסן ולעבד נתונים. התמחור של אחסון וניתוח מוגדר גם לפי מיקום הנתונים וההזמנות. מידע נוסף על התמחור של מיקומים במאמר יצירת מערכי נתונים מוסבר איך מגדירים את המיקום של מערך הנתונים. מידע על מיקומי הזמנות זמין במאמר ניהול הזמנות באזורים שונים.
מידע נוסף על השימוש במיקום בשירות העברת הנתונים ל-BigQuery זמין במאמר בנושא מיקום נתונים והעברות.
מיקומים ואזורים
ב-BigQuery יש שני סוגים של מיקומי נתונים ומיקומי מחשוב:
השדה הזה יכול להכיל אזור, כלומר, מקום גיאוגרפי ספציפי, כמו לונדון.
מספר אזורים – אזור גיאוגרפי נרחב, כמו ארצות הברית או אירופה, שכולל הרבה אזורים ייחודיים ונפרדים. מיקומים של מספר אזורים יכולים לספק מכסות גדולות יותר מאשר אזורים יחידים, אבל הם לא מספקים יתירות אזורית. הנתונים מאוחסנים באזור יחיד, והחישובים מתבצעים רק באזור הזה. לשם יתירות בין-אזורית, BigQuery מציע ניהול של התאוששות מאסון.
בכל אחד מסוגי המיקומים, BigQuery מאחסן באופן אוטומטי עותקים של הנתונים בשני אזורים שונים בתוך אזור יחיד במיקום שנבחר. אזורים מרובים נחשבים נפרדים מאזורים אחרים, גם אם הם ממוקמים באותו תחום. מידע נוסף על זמינות ועמידות של נתונים מופיע במאמר תכנון התאוששות מאסון.
מיקומים נתמכים
אפשר לאחסן מערכי נתונים ב-BigQuery באזורים ובמספר אזורים הבאים. מידע נוסף על אזורים ותחומים זמין במאמר מיקום גיאוגרפי ואזורים.
אזורים
בטבלה הבאה מפורטים האזורים באמריקה שבהם BigQuery זמין.| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| קולומבוס, אוהיו | us-east5 |
|
| דאלאס | us-south1 |
|
| אייווה | us-central1 |
|
| לוס אנג'לס | us-west2 |
|
| לאס וגאס | us-west4 |
|
| מקסיקו | northamerica-south1 |
|
| מונטריאול | northamerica-northeast1 |
|
| צפון וירג'יניה | us-east4 |
|
| אוקלהומה | us-central2 |
|
| אורגון | us-west1 |
|
| סולט לייק סיטי | us-west3 |
|
| סאו פאולו | southamerica-east1 |
|
| סנטיאגו | southamerica-west1 |
|
| דרום קרוליינה | us-east1 |
|
| טורונטו | northamerica-northeast2 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בנגקוק | asia-southeast3 |
|
| דלהי | asia-south2 |
|
| הונג קונג | asia-east2 |
|
| ג'קארטה | asia-southeast2 |
|
| מלבורן | australia-southeast2 |
|
| מומבאי | asia-south1 |
|
| אוסקה | asia-northeast2 |
|
| סיאול | asia-northeast3 |
|
| סינגפור | asia-southeast1 |
|
| סידני | australia-southeast1 |
|
| טייוואן | asia-east1 |
|
| טוקיו | asia-northeast1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בלגיה | europe-west1 |
|
| ברלין | europe-west10 |
|
| פינלנד | europe-north1 |
|
| פרנקפורט | europe-west3 |
|
| לונדון | europe-west2 |
|
| מדריד | europe-southwest1 |
|
| מילאנו | europe-west8 |
|
| הולנד | europe-west4 |
|
| פריז | europe-west9 |
|
| שטוקהולם | europe-north2 |
|
| טורינו | europe-west12 |
|
| ורשה | europe-central2 |
|
| ציריך | europe-west6 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דמאם | me-central2 |
|
| דוחה | me-central1 |
|
| תל אביב | me-west1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| יוהנסבורג | africa-south1 |
במספר אזורים
בטבלה הבאה מפורטים האזורים שבהם BigQuery זמין. כשבוחרים אזור מרובה, מאפשרים ל-BigQuery לבחור אזור יחיד בתוך האזור המרובה שבו הנתונים מאוחסנים ומעובדים.| תיאור של המיקום 'במספר אזורים' | השם של המיקום 'במספר אזורים' |
|---|---|
| מרכזי נתונים במדינות החברות באיחוד האירופי1 | EU |
| מרכזי נתונים בארצות הברית2 | US |
1 נתונים שנמצאים במיקום 'במספר אזורים' של EU מאוחסנים רק באחד מהמיקומים הבאים: europe-west1 (בלגיה) או europe-west4 (הולנד).
המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.
2 נתונים שנמצאים במיקום 'במספר אזורים' של US מאוחסנים רק באחד מהמיקומים הבאים: us-central1 (איווה), us-west1 (אורגון) או us-central2 (אוקלהומה). המיקום המדויק שבו הנתונים מאוחסנים ומעובדים נקבע באופן אוטומטי על ידי BigQuery.
מיקומים של נכסי קוד ב-BigQuery Studio
ב-BigQuery Studio אפשר לשמור, לשתף ולנהל גרסאות של נכסי קוד כמו מחברות ושאילתות שמורות.
בטבלה הבאה מפורטים האזורים שבהם BigQuery Studio זמין:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
| אמריקה | |||
| קולומבוס | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לוס אנג'לס | us-west2 |
||
| לאס וגאס | us-west4 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| N. וירג'יניה | us-east4 |
||
| אורגון | us-west1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| דרום קרוליינה | us-east1 |
||
| אסיה ואזור האוקיינוס השקט | |||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מומבאי | asia-south1 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| המזרח התיכון | |||
| דמאם | me-central2 |
||
| דוחה | me-central1 |
||
| תל אביב | me-west1 |
||
מיקומים של BigQuery Omni
מערכת BigQuery Omni מעבדת שאילתות באותו מיקום של מערך הנתונים שמכיל את הטבלאות שאתם שולחים לגביהן שאילתות. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום. הנתונים שלכם נמצאים בחשבון AWS או Azure שלכם. אזורים ב-BigQuery Omni תומכים בהזמנות של מהדורת Enterprise ובתמחור של מחשוב על פי דרישה (ניתוח). מידע נוסף על מהדורות זמין במאמר מבוא למהדורות BigQuery.| תיאור האזור | שם האזור | אזור BigQuery שמוקם באותו מיקום | |
|---|---|---|---|
| AWS | |||
| AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) | aws-us-east-1 |
us-east4 |
|
| AWS - US West (Oregon) | aws-us-west-2 |
us-west1 |
|
| AWS - Asia Pacific (Seoul) | aws-ap-northeast-2 |
asia-northeast3 |
|
| AWS - Asia Pacific (Sydney) | aws-ap-southeast-2 |
australia-southeast1 |
|
| AWS - Europe (Ireland) | aws-eu-west-1 |
europe-west1 |
|
| AWS - Europe (Frankfurt) | aws-eu-central-1 |
europe-west3 |
|
| Azure | |||
| Azure - East US 2 | azure-eastus2 |
us-east4 |
|
מיקומים של BigQuery ML
בקטעים הבאים מתוארים המיקומים הנתמכים של מודלים של BigQuery ML.
מיקומים של מודלים מרוחקים
בקטע הזה מפורט מידע על מיקומים נתמכים של מודלים מרוחקים ועל המיקום שבו מתבצעת העיבוד של המודלים המרוחקים.מיקומים אזוריים
במסמכי התיעוד הבאים מפורטים המיקומים הנתמכים של מודלים מרוחקים על גבי מודלים של Google ומודלים של שותפים:- למידע על האזורים שבהם נתמכים מודלים של Gemini ומודלים להטמעה, אפשר לעיין במאמר מיקומי נקודות הקצה של מודלים של Google.
- למידע על אזורים נתמכים של מודלים של Claude, Llama ו-Mistral AI, אפשר לעיין במאמר מיקומי נקודות קצה של מודלים של שותפים ב-Google Cloud.
| תיאור האזור | שם האזור | מודלים שנפרסו ב-Vertex AI | Cloud Natural Language API | Cloud Translation API | Cloud Vision API | Document AI API | Speech-to-Text API | |
|---|---|---|---|---|---|---|---|---|
| אמריקה | ||||||||
| קולומבוס, אוהיו | us-east5 |
|||||||
| דאלאס | us-south1 |
● | ||||||
| איווה | us-central1 |
● | ● | |||||
| לאס וגאס | us-west4 |
● | ||||||
| לוס אנג'לס | us-west2 |
● | ||||||
| מקסיקו | northamerica-south1 |
|||||||
| מונטריאול | northamerica-northeast1 |
● | ||||||
| צפון וירג'יניה | us-east4 |
● | ||||||
| אורגון | us-west1 |
● | ● | |||||
| סולט לייק סיטי | us-west3 |
● | ||||||
| סאו פאולו | southamerica-east1 |
● | ||||||
| סנטיאגו | southamerica-west1 |
|||||||
| דרום קרוליינה | us-east1 |
● | ● | |||||
| טורונטו | northamerica-northeast2 |
● | ||||||
| אירופה | ||||||||
| בלגיה | europe-west1 |
● | ● | |||||
| פינלנד | europe-north1 |
|||||||
| פרנקפורט | europe-west3 |
● | ● | |||||
| לונדון | europe-west2 |
● | ● | |||||
| מדריד | europe-southwest1 |
|||||||
| מילאנו | europe-west8 |
● | ||||||
| הולנד | europe-west4 |
● | ● | |||||
| פריז | europe-west9 |
● | ||||||
| שטוקהולם | europe-north2 |
|||||||
| טורינו | europe-west12 |
|||||||
| ורשה | europe-central2 |
● | ||||||
| ציריך | europe-west6 |
● | ||||||
| אסיה ואזור האוקיינוס השקט | ||||||||
| בנגקוק | asia-southeast3 |
|||||||
| דלהי | asia-south2 |
|||||||
| הונג קונג | asia-east2 |
● | ||||||
| ג'קארטה | asia-southeast2 |
● | ||||||
| מלבורן | australia-southeast2 |
|||||||
| מומבאי | asia-south1 |
● | ● | |||||
| אוסקה | asia-northeast2 |
|||||||
| סיאול | asia-northeast3 |
● | ||||||
| סינגפור | asia-southeast1 |
● | ● | |||||
| סידני | australia-southeast1 |
● | ● | |||||
| טייוואן | asia-east1 |
● | ||||||
| טוקיו | asia-northeast1 |
● | ● | |||||
| המזרח התיכון | ||||||||
| דמאם | me-central2 |
|||||||
| דוחה | me-central1 |
|||||||
| תל אביב | me-west1 |
● | ||||||
אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור יחיד, נקודת הקצה של המודל בפלטפורמת הסוכנים צריכה להיות באותו אזור. אם מציינים את כתובת ה-URL של נקודת הקצה של המודל, צריך להשתמש בנקודת הקצה באותו אזור כמו קבוצת הנתונים. לדוגמה, אם קבוצת הנתונים נמצאת באזור us-central1, צריך לציין את נקודת הקצה https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/<target_model>.
אם מציינים את שם המודל, BigQuery ML בוחר באופן אוטומטי את נקודת הקצה באזור הנכון.
מיקומים במספר אזורים
התמיכה במודלים מרוחקים במספר אזורים היא כדלקמן:- מודלים של Gemini נתמכים באזורים
USובאזוריםEU. - מודלים של Claude, Llama ו-Mistral AI באזור הגיאוגרפי הנרחב
USיכולים להשתמש בנקודת הקצה של Agent Platform בכל אזור יחיד באזור הגיאוגרפי הנרחבUS. מודלים של Claude, Llama ו-Mistral AI באזור הגיאוגרפי הנרחבEUיכולים להשתמש בנקודת הקצה של Agent Platform בכל אזור יחיד באזור הגיאוגרפי הנרחבEU, למעטeu-west2ו-eu-west6. - אין תמיכה במודלים שפריסתם בוצעה ב-Vertex AI באף אחד מהאזורים המרובים.
- שירותי Cloud AI נתמכים באזורים מרובים
USו-EU.
אם מערך הנתונים שבו אתם יוצרים את המודל המרוחק נמצא באזור גיאוגרפי נרחב יותר שכולל מספר אזורים, נקודת הקצה של המודל ב-Agent Platform צריכה להיות באזור שנמצא באותו אזור גיאוגרפי נרחב יותר. לדוגמה, אם מערך הנתונים נמצא באזור eu, אפשר לציין את כתובת ה-URL של נקודת הקצה של האזור europe-west1, https://europe-west1-aiplatform.googleapis.com/v1/projects/myproject/locations/europe-west1/publishers/google/models/<target_model>.
אם מציינים את שם המודל במקום את כתובת נקודת הקצה, מערכת BigQuery ML משתמשת כברירת מחדל בנקודת הקצה europe-west4 למערכי נתונים באזור eu במספר אזורים, ובנקודת הקצה us-central1 למערכי נתונים באזור us במספר אזורים.
נקודת קצה גלובלית
במודלים נתמכים של Gemini, אפשר לציין את נקודת הקצה הגלובלית.
נקודת הקצה הגלובלית מכסה את כל העולם ומספקת זמינות ואמינות גבוהות יותר מאשר אזור יחיד. שימוש בנקודת הקצה הגלובלית לבקשות יכול לשפר את הזמינות הכוללת ולצמצם את השגיאות של מיצוי משאבים (429), שמתרחשות כשחורגים מהמכסה של נקודת קצה אזורית.
אם אתם רוצים להשתמש ב-Gemini 2.0 ומעלה באזור שבו הוא לא זמין, אתם יכולים להשתמש בנקודת הקצה הגלובלית במקום להעביר את הנתונים לאזור אחר. אפשר להשתמש בפונקציה AI.GENERATE_TEXT רק עם מודל שפריסתו בוצעה בנקודת הקצה הגלובלית.
מיקומי עיבוד של מודלים של Google ומודלים של שותפים
מידע על עיבוד מיקומים שמשמשים מודלים של Google שמתארחים ב-Agent Platform זמין במאמר בנושא עיבוד ML של מודלים Google Cloud . המידע הזה מתייחס למודלים שנפרסו באזורים או במספר אזורים. מודלים שמשתמשים בנקודת הקצה הגלובלית לא מבטיחים מיקום עיבוד מסוים.
למידע על מיקומי העיבוד שבהם נעשה שימוש במודלים של שותפים שמארחים ב-Agent Platform, אפשר לעיין במאמר בנושא עיבוד ML של מודלים של שותפים Google Cloud .
מיקומים למודלים לא מרוחקים
בקטע הזה מפורט מידע על מיקומים נתמכים של מודלים שאינם מודלים מרוחקים, ועל המיקום שבו מתבצע עיבוד המודלים.מיקומים אזוריים
בטבלה הבאה מפורטים המיקומים הנתמכים לכל סוגי המודלים, מלבד מודלים מרוחקים:| תיאור האזור | שם האזור | מודלים מיובאים |
אימון מודל מוכלל |
אימון של מודלים של רשתות נוירונים עמוקות (DNN), מודלים של קידוד אוטומטי, מודלים של עץ מחוזק ומודלים רחבים ועמוקים |
אימון מודלים ב-AutoML |
כוונון היפר-פרמטרים |
שילוב של מרשם המודלים של Vertex AI | |||
|---|---|---|---|---|---|---|---|---|---|---|
| אמריקה | ||||||||||
| קולומבוס, אוהיו | us-east5 |
● | ● | |||||||
| דאלאס | us-south1 |
● | ● | |||||||
| איווה | us-central1 |
● | ● | ● | ● | ● | ● | |||
| לאס וגאס | us-west4 |
● | ● | ● | ● | |||||
| לוס אנג'לס | us-west2 |
● | ● | ● | ● | |||||
| מקסיקו | northamerica-south1 |
● | ● | |||||||
| מונטריאול | northamerica-northeast1 |
● | ● | ● | ● | ● | ● | |||
| צפון וירג'יניה | us-east4 |
● | ● | ● | ● | ● | ● | |||
| אורגון | us-west1 |
● | ● | ● | ● | ● | ||||
| סולט לייק סיטי | us-west3 |
● | ● | ● | ||||||
| סאו פאולו | southamerica-east1 |
● | ● | ● | ● | |||||
| סנטיאגו | southamerica-west1 |
● | ● | |||||||
| דרום קרוליינה | us-east1 |
● | ● | ● | ● | ● | ||||
| טורונטו | northamerica-northeast2 |
● | ● | ● | ||||||
| אירופה | ||||||||||
| בלגיה | europe-west1 |
● | ● | ● | ● | ● | ● | |||
| ברלין | europe-west10 |
● | ● | |||||||
| פינלנד | europe-north1 |
● | ● | ● | ||||||
| פרנקפורט | europe-west3 |
● | ● | ● | ● | ● | ● | |||
| לונדון | europe-west2 |
● | ● | ● | ● | ● | ● | |||
| מדריד | europe-southwest1 |
● | ● | |||||||
| מילאנו | europe-west8 |
● | ● | |||||||
| הולנד | europe-west4 |
● | ● | ● | ● | ● | ● | |||
| פריז | europe-west9 |
● | ● | |||||||
| שטוקהולם | europe-north2 |
● | ● | |||||||
| טורינו | europe-west12 |
● | ||||||||
| ורשה | europe-central2 |
● | ● | |||||||
| ציריך | europe-west6 |
● | ● | ● | ● | ● | ● | |||
| אסיה ואזור האוקיינוס השקט | ||||||||||
| בנגקוק | asia-southeast3 |
● | ● | |||||||
| דלהי | asia-south2 |
● | ● | |||||||
| הונג קונג | asia-east2 |
● | ● | ● | ● | ● | ● | |||
| ג'קארטה | asia-southeast2 |
● | ● | ● | ||||||
| מלבורן | australia-southeast2 |
● | ● | |||||||
| מומבאי | asia-south1 |
● | ● | ● | ● | ● | ||||
| אוסקה | asia-northeast2 |
● | ● | ● | ||||||
| סיאול | asia-northeast3 |
● | ● | ● | ● | ● | ● | |||
| סינגפור | asia-southeast1 |
● | ● | ● | ● | ● | ● | |||
| סידני | australia-southeast1 |
● | ● | ● | ● | ● | ● | |||
| טייוואן | asia-east1 |
● | ● | ● | ● | ● | ● | |||
| טוקיו | asia-northeast1 |
● | ● | ● | ● | ● | ● | |||
| המזרח התיכון | ||||||||||
| דמאם | me-central2 |
● | ||||||||
| דוחה | me-central1 |
● | ||||||||
| תל אביב | me-west1 |
● | ● | |||||||
| אפריקה | ||||||||||
| יוהנסבורג | africa-south1 |
● | ● | |||||||
מיקומים במספר אזורים
כל המודלים הנתמכים, מלבד מודלים מרוחקים, נתמכים באזורים הגיאוגרפיים US ו-EU שכוללים מספר אזורים.
נתונים שנמצאים במיקום EU במספר אזורים לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).
שילוב של מרשם המודלים של Vertex AI נתמך רק בשילובים של אזור יחיד. אם שולחים מודל BigQuery ML מרובה אזורים למאגר המודלים, הוא מומר למודל אזורי ב-Vertex AI.
מודל של BigQuery ML בארה"ב במספר אזורים מסונכרן עם Agent Platform us-central1 ומודל של BigQuery ML באיחוד האירופי במספר אזורים מסונכרן עם Agent Platform europe-west4. אין שינויים במודלים של אזור יחיד.
מיקומי עיבוד
במודלים שאינם מודלים מרוחקים, BigQuery ML מעבד את הנתונים ומעביר אותם למיקום זהה למיקום של מערך הנתונים שמכיל את הנתונים.
הנתונים נשמרים ב-BigQuery ML במיקום שנבחר, בהתאם לתנאים הספציפיים לשירות.
מיקומי מתרגם SQL של BigQuery
כשמעבירים נתונים ממחסן נתונים מדור קודם ל-BigQuery, אפשר להשתמש בכמה מתרגמי SQL כדי לתרגם את שאילתות ה-SQL ל-GoogleSQL או לדיאלקטים אחרים של SQL שנתמכים. הם כוללים את כלי ה-SQL האינטראקטיבי לתרגום, את ממשק ה-SQL Translation API ואת כלי ה-SQL לתרגום באצווה.
כלי התרגום של BigQuery SQL זמינים במיקומי העיבוד הבאים:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אסיה ואזור האוקיינוס השקט | |||
| בנגקוק | asia-southeast3 |
||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| אירופה, במספר אזורים | eu |
||
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| פריז | europe-west9 |
|
|
| שטוקהולם | europe-north2 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| אמריקה | |||
| קולומבוס, אוהיו | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| צפון וירג'יניה | us-east4 |
||
| אורגון | us-west1 |
|
|
| קוויבק | northamerica-northeast1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
|
|
| ארה"ב, במספר אזורים | us |
||
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
| MiddleEast | |||
| דמאם | me-central2 |
||
| דוחה | me-central1 |
||
| ישראל | me-west1 |
||
מיקומים של שאילתות מתמשכות ב-BigQuery
בטבלה הבאה מפורטים האזורים שבהם יש תמיכה בשאילתות רציפות:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אמריקה | |||
| ארה"ב, במספר אזורים | us |
||
| קולומבוס | us-east5 |
||
| דאלאס | us-south1 |
|
|
| אייווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מקסיקו | northamerica-south1 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| צפון וירג'יניה | us-east4 |
||
| אוקלהומה | us-central2 |
|
|
| אורגון | us-west1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סנטיאגו | southamerica-west1 |
|
|
| סאו פאולו | southamerica-east1 |
|
|
| דרום קרוליינה | us-east1 |
||
| טורונטו | northamerica-northeast2 |
|
|
| אסיה ואזור האוקיינוס השקט | |||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מלבורן | australia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| אירופה, במספר אזורים | eu |
||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| פינלנד | europe-north1 |
|
|
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| מדריד | europe-southwest1 |
|
|
| מילאנו | europe-west8 |
||
| הולנד | europe-west4 |
|
|
| פריז | europe-west9 |
|
|
| שטוקהולם | europe-north2 |
|
|
| טורינו | europe-west12 |
||
| ורשה | europe-central2 |
||
| ציריך | europe-west6 |
|
|
| המזרח התיכון | |||
| דוחה | me-central1 |
||
| דמאם | me-central2 |
||
| תל אביב | me-west1 |
||
| אפריקה | |||
| יוהנסבורג | africa-south1 |
||
מיקומים של כלי ההמלצות למחיצות ולאשכולות ב-BigQuery
הכלי להמלצות על חלוקה למחיצות וסידור באשכולות ב-BigQuery יוצר המלצות לחלוקה למחיצות או לסידור באשכולות כדי לייעל את הטבלאות ב-BigQuery.
שירות ההמלצות לחלוקה למחיצות וסידור באשכולות זמין במיקומי העיבוד הבאים:
| תיאור האזור | שם האזור | פרטים | |
|---|---|---|---|
| אסיה ואזור האוקיינוס השקט | |||
| דלהי | asia-south2 |
||
| הונג קונג | asia-east2 |
||
| ג'קארטה | asia-southeast2 |
||
| מומבאי | asia-south1 |
||
| אוסקה | asia-northeast2 |
||
| סיאול | asia-northeast3 |
||
| סינגפור | asia-southeast1 |
||
| סידני | australia-southeast1 |
||
| טייוואן | asia-east1 |
||
| טוקיו | asia-northeast1 |
||
| אירופה | |||
| בלגיה | europe-west1 |
|
|
| ברלין | europe-west10 |
||
| אירופה, במספר אזורים | eu |
||
| פרנקפורט | europe-west3 |
||
| לונדון | europe-west2 |
|
|
| הולנד | europe-west4 |
|
|
| ציריך | europe-west6 |
|
|
| אמריקה | |||
| איווה | us-central1 |
|
|
| לאס וגאס | us-west4 |
||
| לוס אנג'לס | us-west2 |
||
| מונטריאול | northamerica-northeast1 |
|
|
| צפון וירג'יניה | us-east4 |
||
| אורגון | us-west1 |
|
|
| סולט לייק סיטי | us-west3 |
||
| סאו פאולו | southamerica-east1 |
|
|
| טורונטו | northamerica-northeast2 |
|
|
| ארה"ב, במספר אזורים | us |
||
מיקומי שיתוף ב-BigQuery
BigQuery sharing (לשעבר Analytics Hub) זמין באזורים הבאים ובאזורים מרובים.
אזורים
בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| קולומבוס, אוהיו | us-east5 |
|
| דאלאס | us-south1 |
|
| אייווה | us-central1 |
|
| לאס וגאס | us-west4 |
|
| לוס אנג'לס | us-west2 |
|
| מקסיקו | northamerica-south1 |
|
| מונטריאול | northamerica-northeast1 |
|
| צפון וירג'יניה | us-east4 |
|
| אוקלהומה | us-central2 |
|
| אורגון | us-west1 |
|
| סולט לייק סיטי | us-west3 |
|
| סאו פאולו | southamerica-east1 |
|
| סנטיאגו | southamerica-west1 |
|
| דרום קרוליינה | us-east1 |
|
| טורונטו | northamerica-northeast2 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דלהי | asia-south2 |
|
| הונג קונג | asia-east2 |
|
| ג'קארטה | asia-southeast2 |
|
| מלבורן | australia-southeast2 |
|
| מומבאי | asia-south1 |
|
| אוסקה | asia-northeast2 |
|
| סיאול | asia-northeast3 |
|
| סינגפור | asia-southeast1 |
|
| סידני | australia-southeast1 |
|
| טייוואן | asia-east1 |
|
| טוקיו | asia-northeast1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| בלגיה | europe-west1 |
|
| ברלין | europe-west10 |
|
| פינלנד | europe-north1 |
|
| פרנקפורט | europe-west3 |
|
| לונדון | europe-west2 |
|
| מדריד | europe-southwest1 |
|
| מילאנו | europe-west8 |
|
| הולנד | europe-west4 |
|
| פריז | europe-west9 |
|
| טורינו | europe-west12 |
|
| ורשה | europe-central2 |
|
| ציריך | europe-west6 |
|
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| דמאם | me-central2 |
|
| דוחה | me-central1 |
|
| תל אביב | me-west1 |
| תיאור האזור | שם האזור | פרטים |
|---|---|---|
| יוהנסבורג | africa-south1 |
במספר אזורים
בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.| תיאור של המיקום 'במספר אזורים' | השם של המיקום 'במספר אזורים' |
|---|---|
| מרכזי נתונים במדינות החברות באיחוד האירופי1 | EU |
| מרכזי נתונים בארצות הברית | US |
1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).
אזורים בכל הערוצים
בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.| תיאור האזור הגיאוגרפי לאחסון נתונים ב-Omni | שם האזור ב-Omni | |
|---|---|---|
| AWS | ||
| AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) | aws-us-east-1 |
|
| AWS - US West (Oregon) | aws-us-west-2 |
|
| AWS - Asia Pacific (Seoul) | aws-ap-northeast-2 |
|
| AWS - Asia Pacific (Sydney) | aws-ap-southeast-2 |
|
| AWS - Europe (Ireland) | aws-eu-west-1 |
|
| AWS - Europe (Frankfurt) | aws-eu-central-1 |
|
| Azure | ||
| Azure - East US 2 | azure-eastus2 |
|
ציון מיקומים
כדי לוודא ששאילתות BigQuery מאוחסנות באזור ספציפי או במספר אזורים, צריך לציין את המיקום בבקשת העבודה. ציון המיקום מבטיח שהשאילתה תורץ במיקום הנכון כשמשתמשים בנקודת הקצה הגלובלית של BigQuery.
אם לא מציינים את המיקום, יכול להיות שהשאילתות יאוחסנו באופן זמני ביומני הנתונים של נתב BigQuery, כשהשאילתה משמשת לקביעת מיקום העיבוד ב-BigQuery.
אם בפרויקט יש הזמנה מבוססת-קיבולת באזור שאינו US, והשאילתה לא מפנה לטבלאות או למשאבים אחרים שנכללים במערכי נתונים, צריך לציין באופן מפורש את המיקום של ההזמנה מבוססת-הקיבולת כששולחים את העבודה. התחייבויות מבוססות-קיבולת קשורות למיקום, כמו US או EU. אם מריצים עבודה מחוץ למיקום הקיבולת, התמחור של העבודה הזו משתנה אוטומטית לתמחור על פי דרישה.
אפשר לציין את המיקום להרצת משימה באופן מפורש בדרכים הבאות:
- כשמריצים שאילתה על נתונים באמצעות Google Cloud המסוף בכלי לעריכת שאילתות, לוחצים על עוד > הגדרות שאילתה, מרחיבים את האפשרויות המתקדמות ואז בוחרים את מיקום הנתונים.
- כשכותבים שאילתת SQL, צריך להגדיר את משתנה המערכת
@@locationבהצהרה הראשונה של השאילתה. - כשמשתמשים בכלי שורת הפקודה של BigQuery, צריך לספק את
--locationהדגל global ולהגדיר את הערך למיקום שלכם. - כשמשתמשים ב-API, צריך לציין את האזור במאפיין
locationבקטעjobReferenceשל משאב המשרה.
המערכת של BigQuery מחזירה שגיאה אם המיקום שצוין לא תואם למיקום של מערכי הנתונים בבקשה. המיקום של כל מערכי הנתונים שמעורבים בבקשה, כולל אלה שהמערכת קראה מהם ואלה שהיא כתבה בהם, חייבים להתאים למיקום המשימה המשוער או המצוין.
מיקומים באזור יחיד לא תואמים למיקומים במספר אזורים, גם אם המיקום באזור יחיד נכלל במיקום במספר אזורים. לכן, שאילתה תופעל כשאילתה עם אחזור נתונים גלובלי אם המיקום כולל גם מיקום באזור יחיד וגם מיקום במספר אזורים. לדוגמה, אם המיקום של משימה מוגדר ל-US, המשימה תהיה שאילתה עם אחזור נתונים גלובלי אם היא מפנה לקבוצת נתונים ב-us-central1. באופן דומה, ג'וב שמפנה למערך נתונים אחד ב-US ולמערך נתונים אחר ב-us-central1 יהיה שאילתה עם אחזור נתונים גלובלי. הדבר נכון גם לגבי הצהרות JOIN עם טבלאות באזור אחד ובמספר אזורים.
שאילתות דינמיות לא מנותחות עד שהן מופעלות, ולכן אי אפשר להשתמש בהן כדי לקבוע באופן אוטומטי את האזור של שאילתה.
מיקום ברירת המחדל
אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:
- המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה במערך נתונים שמאוחסן באזור
asia-northeast1, משימת השאילתה תפעל באזורasia-northeast1. - האזור שצוין לחיבור שאליו מתייחסים בבקשה.
- המיקום של טבלת היעד.
אם המיקום לא מצוין במפורש, ולא ניתן לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום שמוגדר כברירת מחדל. אם לא מוגדר מיקום ברירת מחדל, העבודה מופעלת בUS מספר אזורים.
מידע נוסף על הגדרת מיקום ברירת המחדל זמין במאמר הגדרת הגדרות גלובליות.
מיקומים, הזמנות ומשימות
התחייבויות לקיבולת הן משאב אזורי. כשקונים משבצות, הן מוגבלות לאזור ספציפי או למספר אזורים. אם ההתחייבות היחידה שלכם לקיבולת היא ב-EU, לא תוכלו ליצור הזמנה ב-US. כשיוצרים הזמנה, מציינים מיקום (אזור) ומספר משבצות זמן.
המשבצות האלה נלקחות מהתחייבות הקיבולת שלכם באותו אזור.
באופן דומה, כשמריצים עבודה באזור מסוים, המערכת משתמשת בהזמנה רק אם המיקום של העבודה תואם למיקום של ההזמנה, אלא אם העבודה היא שאילתה גלובלית.
לדוגמה, אם אתם מקצים הזמנה לפרויקט ב-EU ומריצים שאילתה בפרויקט הזה על מערך נתונים שנמצא ב-US, השאילתה הזו לא מורצת על ההזמנה שלכם ב-EU. אם לא מוגדרת הזמנה של US, העבודה מופעלת לפי דרישה.
שיקולים בקשר למיקום
כשבוחרים מיקום לאחסון הנתונים, כדאי להביא בחשבון את הנקודות הבאות:
Cloud Storage
אפשר ליצור אינטראקציה עם נתונים ב-Cloud Storage באמצעות BigQuery בדרכים הבאות:
- שליחת שאילתות על נתונים ב-Cloud Storage באמצעות טבלאות חיצוניות של BigLake או טבלאות חיצוניות שאינן של BigLake
- טעינת נתונים מ-Cloud Storage ל-BigQuery
שאילתות על נתונים ב-Cloud Storage
כששולחים שאילתה לנתונים ב-Cloud Storage באמצעות BigLake או טבלה חיצונית שאינה BigLake, הנתונים ששולחים לגביהם את השאילתה צריכים להיות באותו מיקום כמו מערך הנתונים ב-BigQuery. אחרת, יחויבו עמלות על העברת נתונים. לדוגמה:
קטגוריה באזור יחיד: אם מערך הנתונים ב-BigQuery נמצא באזור ורשה (
europe-central2), הקטגוריה התואמת ב-Cloud Storage חייבת להיות גם באזור ורשה, או בכל אזור כפול ב-Cloud Storage שכולל את ורשה. אם מערך הנתונים ב-BigQuery נמצא במיקוםUSבמספר אזורים, אפשר למקם את קובץ ה-CSV ב-Cloud Storage באזור יחיד באיווה (us-central1) או בכל מיקום בשני אזורים שכולל את איווה. שאילתות מאזור יחיד אחר כרוכות בחיובים על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל במספר האזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזורUSמרובה אזורים וקטגוריית Cloud Storage נמצאת באורגון (us-west1), יחולו על העבודה חיובים על העברת נתונים.אם מערך הנתונים ב-BigQuery נמצא באזור
EUבמספר אזורים, אפשר למקם את קטגוריית Cloud Storage באזור יחיד בהולנד (europe-west4) או בכל אזור כפול שכולל את הולנד (europe-west4). על שאילתות מאזור יחיד אחר יחולו עמלות על העברת נתונים, גם אם הקטגוריה נמצאת במיקום שנכלל באזור במספר אזורים של מערך הנתונים. לדוגמה, אם הטבלאות החיצוניות נמצאות באזורEUרב-אזורי וקטגוריית Cloud Storage נמצאת בוורשה (europe-central2), על המשימה יחולו חיובים על העברת נתונים.קטגוריה בשני אזורים: אם מערך הנתונים ב-BigQuery נמצא באזור טוקיו (
asia-northeast1), הקטגוריה התואמת ב-Cloud Storage צריכה להיות באזור טוקיו או בשני אזורים שכוללים את טוקיו, כמו שני האזוריםASIA1.אם קטגוריית Cloud Storage נמצאת באזור הכפול
NAM4או בכל אזור כפול שכולל את האזור Iowa(us-central1), מערך הנתונים התואם ב-BigQuery יכול להיות באזור המרובהUSאו באזור Iowa(us-central1).אם קטגוריית Cloud Storage נמצאת באזור הכפול
EUR4או בכל אזור כפול שכולל את הולנד (europe-west4), מערך הנתונים התואם ב-BigQuery יכול להיות באזור המרובהEUאו בהולנד (europe-west4).קטגוריה במספר אזורים: לא מומלץ להשתמש במיקומים של מערכי נתונים במספר אזורים עם קטגוריות של Cloud Storage במספר אזורים עבור טבלאות חיצוניות, כי הביצועים של שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת.
אם מערך הנתונים ב-BigQuery נמצא באזור
US, הקטגוריה של Cloud Storage התואמת צריכה להיות בשני אזורים שכוללים את איווה (us-central1), כמוNAM4, או בשני אזורים מותאמים אישית שכוללים את איווה (us-central1).אם מערך הנתונים ב-BigQuery נמצא באזור
EUשפרוס במספר אזורים, קטגוריה של Cloud Storage המתאימה צריכה להיות באזור בשני אזורים שכולל את הולנד (europe-west4), כמו האזור בשני אזוריםEUR4, או באזור בשני אזורים בהתאמה אישית שכולל את הולנד (europe-west4) .
מידע נוסף על מיקומים נתמכים ב-Cloud Storage זמין במאמר מיקומי קטגוריות במסמכי Cloud Storage.
טעינת נתונים מ-Cloud Storage ל-BigQuery
כשאתם טוענים נתונים מ-Cloud Storage, הנתונים שאתם טוענים צריכים להיות באותו מיקום עם מערך הנתונים שלכם ב-BigQuery, אחרת תצטרכו לשלם על העברת הנתונים.
מידע נוסף על חיובים על העברת נתונים לטעינה מופיע בקטע שאילתות על נתונים ב-Cloud Storage, כי אותן הנחיות רלוונטיות גם לטעינות אצווה וגם לשאילתות.
מידע נוסף זמין במאמר בנושא טעינת נתונים באצווה.
Bigtable
כששולחים שאילתות לנתונים מ-Bigtable או מייצאים נתונים ל-Bigtable, צריך לקחת בחשבון את המיקום.
שליחת שאילתות לנתונים ב-Bigtable
כשמריצים שאילתה על נתונים ב-Bigtable באמצעות טבלה חיצונית ב-BigQuery, מופע Bigtable צריך להיות באותו מיקום כמו מערך הנתונים ב-BigQuery:
- אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Bigtable המתאים חייב להיות באזור בלגיה. - מספר אזורים: הביצועים של שאילתות חיצוניות תלויים בחביון מינימלי וברוחב פס אופטימלי ברשת, ולכן לא מומלץ להשתמש במיקומים של מערכי נתונים במספר אזורים עבור טבלאות חיצוניות ב-Bigtable.
מידע נוסף על מיקומי Bigtable נתמכים זמין במאמר מיקומי Bigtable.
ייצוא נתונים ל-Bigtable
- אם מערך הנתונים ב-BigQuery נמצא במספר אזורים, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שינתב את הנתונים לאשכול Bigtable באותו מיקום במספר אזורים.
לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור
USמרובה אזורים, אפשר למקם את אשכול Bigtable באזורus-west1(אורגון), שנמצא בארצות הברית. - אם מערך הנתונים ב-BigQuery נמצא באזור אחד, צריך להגדיר את פרופיל האפליקציה ב-Bigtable כך שהנתונים ינותבו לאשכול Bigtable באותו אזור. לדוגמה, אם מערך הנתונים ב-BigQuery נמצא באזור
asia-northeast1(טוקיו), גם אשכול Bigtable צריך להיות באזורasia-northeast1(טוקיו).
Google Drive
שיקולים לגבי מיקום לא חלים על מקורות נתונים חיצוניים של Google Drive.
Cloud SQL
כששולחים שאילתות לנתונים ב-Cloud SQL באמצעות שאילתה מאוחדת ב-BigQuery, מופעלת שאילתה במופע Cloud SQL שנמצא באותו מיקום כמו מערך הנתונים ב-BigQuery.
- אזור יחיד: אם מערך הנתונים ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Cloud SQL המתאים חייב להיות באזור בלגיה. - מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא במספר אזורים
US, מופע Cloud SQL המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.
מידע נוסף על המיקומים הנתמכים ב-Cloud SQL מופיע במאמר מיקומים ב-Cloud SQL.
Spanner
כששולחים שאילתה לנתונים ב-Spanner באמצעות שאילתה מאוחדת ב-BigQuery, מופעלת שאילתה במופע Spanner באותו מיקום שבו נמצא מערך הנתונים ב-BigQuery.
- אזור יחיד: אם מערך הנתונים שלכם ב-BigQuery נמצא במיקום האזורי בבלגיה (
europe-west1), מופע Spanner המתאים צריך להיות באזור בלגיה. - מספר אזורים: אם מערך הנתונים ב-BigQuery נמצא ב
USמספר אזורים, מופע Spanner המתאים צריך להיות באזור יחיד באזור הגיאוגרפי של ארה"ב.
מידע נוסף על מיקומי Spanner נתמכים זמין במאמר מיקומי Spanner.
כלי ניתוח
ממקמים את מערך הנתונים של BigQuery באותו מיקום עם כלי הניתוח:- Managed Service for Apache Spark: כשמריצים שאילתות על מערכי נתונים ב-BigQuery באמצעות מחבר BigQuery, מערך הנתונים ב-BigQuery צריך להיות ממוקם באותו מקום עם אשכול Managed Service for Apache Spark. השירות Managed Service for Apache Spark נתמך בכל המיקומים של Compute Engine.
- Vertex AI Workbench: כשמריצים שאילתות במערכי נתונים של BigQuery באמצעות מחברות Jupyter ב-Vertex AI Workbench, מערך הנתונים של BigQuery צריך להיות ממוקם באותו מקום עם מכונת Vertex AI Workbench. רשימת המיקומים הנתמכים ב-Vertex AI Workbench
תוכניות לניהול נתונים
פיתוח תוכנית לניהול נתונים:- אם בוחרים במשאב אחסון אזורי כמו מערך נתונים של BigQuery או קטגוריה של Cloud Storage, צריך לתכנן ניהול גיאוגרפי של הנתונים.
הגבלת מיקומים
אתם יכולים להגביל את המיקומים שבהם אפשר ליצור את מערכי הנתונים באמצעות שירות מדיניות הארגון. מידע נוסף זמין במאמרים בנושא הגבלת מיקומי משאבים ומיקומי משאבים שנתמכים בשירותים.
אבטחת מערך נתונים
מידע על שליטה בגישה למערכי נתונים ב-BigQuery זמין במאמר בנושא שליטה בגישה למערכי נתונים. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.
המאמרים הבאים
- איך יוצרים מערכי נתונים
- מידע נוסף על טעינת נתונים לתוך BigQuery
- מידע נוסף על התמחור של BigQuery
- מידע נוסף על שאילתות גלובליות
- כל השירותים שזמינים במיקומים שונים ברחבי העולם. Google Cloud
- מושגים נוספים שמבוססים על מיקום, כמו אזורים, שרלוונטיים לשירותים אחרים של Google Cloud .