ניהול החיבורים
במאמר הזה מוסבר איך לצפות בחיבור ל-BigQuery, לראות רשימה של חיבורים, לשתף, לערוך ולמחוק חיבורים, ואיך לפתור בעיות בחיבורים.
אדמינים ב-BigQuery יכולים ליצור ולנהל חיבורים שמשמשים לחיבור לשירותים ולמקורות נתונים חיצוניים. אנליסטים ב-BigQuery משתמשים בחיבורים האלה כדי לשלוח שאילתות למקורות נתונים חיצוניים בלי להעביר או להעתיק נתונים ל-BigQuery. אפשר ליצור את סוגי החיבורים הבאים:
- חיבורים ל-Amazon S3
- חיבורים ל-Apache Spark
- חיבורים ל-Blob Storage
- חיבורים למשאבי ענן כדי להתחבר לנתונים ב-Cloud Storage ולהטמיע פונקציות מרוחקות
- חיבורים ל-Spanner
- חיבורים ל-Cloud SQL
- חיבורים ל-AlloyDB
כדי ליצור חיבור ברירת מחדל לפרויקט, אפשר לעיין בסקירה הכללית של חיבור ברירת מחדל.
לפני שמתחילים
מוודאים שיש חיבור תקין. החיבורים הם ספציפיים לסוג ותלויים במקור הנתונים החיצוני המקושר.
מפעילים את BigQuery Connection API.
מוודאים שאפשר לראות רשימה של חשבונות שירות בפרויקט. מערכת BigQuery יוצרת חשבון שירות ומשתמשת בו כדי להתחבר למקור הנתונים החיצוני. כשיוצרים חיבור, נוצר בשמכם חשבון שירות של ניהול זהויות והרשאות גישה (IAM) שמנוהל על ידיGoogle Cloud. כדי לראות את חשבון השירות שמצורף לחיבור מסוים, צריך לראות את פרטי החיבור.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לניהול חיבורים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
הצגת פרטי החיבור:
משתמש בחיבור BigQuery (
roles/bigquery.connectionUser) במערך הנתונים -
List all connections:
BigQuery Connection User (
roles/bigquery.connectionUser) on your dataset -
שיתוף חיבור:
אדמין של חיבור BigQuery (
roles/bigquery.connectionAdmin) בחיבור שלכם -
עריכת חיבור:
BigQuery Connection Admin (
roles/bigquery.connectionAdmin) בחיבור שלכם -
כדי למחוק חיבור:
BigQuery Connection Admin (
roles/bigquery.connectionAdmin) בחיבור שלכם
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
במאמר התפקידים וההרשאות הנדרשים מוסבר אילו תפקידים צריך כדי ליצור חיבור ברירת מחדל ולהשתמש בו.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
- הצגת פרטי החיבור:
bigquery.connections.get - הצגת כל החיבורים:
bigquery.connections.list - עריכה ומחיקה של קישור:
bigquery.connections.update - שיתוף חיבור:
bigquery.connections.setIamPolicy
הצגת רשימה של כל החיבורים
בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections (חיבורים).
בחלונית הימנית, לוחצים על כלי הניתוחים:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
BQ
מזינים את הפקודה bq ls ומציינים את הדגל --connection. אופציונלי, מציינים את הדגלים --project_id ו---location כדי לזהות את הפרויקט ואת המיקום של החיבורים שיוצגו.
bq ls --connection --project_id=PROJECT_ID --location=REGION
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור
API
משתמשים ב-method projects.locations.connections.list בקטע ההפניה ל-API בארכיטקטורת REST.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
הצגת פרטי החיבור
אחרי שיוצרים חיבור, אפשר לקבל מידע על ההגדרה של החיבור. ההגדרה כוללת את הערכים שסיפקתם כשיצרתם את ההעברה.
בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections (חיבורים).
בחלונית הימנית, לוחצים על כלי הניתוחים:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
לוחצים על החיבור כדי לראות את הפרטים.
BQ
מזינים את הפקודה bq show ומציינים את הדגל --connection. אופציונלי, אפשר לציין את מזהה החיבור עם מזהה הפרויקט והאזור של החיבור.
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
API
משתמשים ב-method projects.locations.connections.get בקטע 'הפניה ל-API בארכיטקטורת REST'.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
קבלת מדיניות ניהול הזהויות והרשאות הגישה (IAM) עבור חיבור
כדי לקבל את מדיניות IAM לחיבור:
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
שיתוף חיבור עם משתמשים
אתם יכולים להקצות את התפקידים הבאים כדי לאפשר למשתמשים לשלוח שאילתות לנתונים ולנהל חיבורים:
roles/bigquery.connectionUser: מאפשר למשתמשים להשתמש בחיבורים כדי להתחבר למקורות נתונים חיצוניים ולהריץ עליהם שאילתות.
roles/bigquery.connectionAdmin: מאפשר למשתמשים לנהל את החיבורים.
במאמר תפקידים והרשאות מוגדרים מראש יש מידע נוסף על תפקידים והרשאות ב-IAM ב-BigQuery.
בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections (חיבורים).
בחלונית הימנית, לוחצים על כלי הניתוחים:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
לוחצים על הפרויקט, לוחצים על Connections (חיבורים) ובוחרים חיבור.
בחלונית פרטים, לוחצים על שיתוף כדי לשתף חיבור. לאחר מכן מבצעים את הפעולות הבאות:
בתיבת הדו-שיח Connection permissions, מוסיפים או עורכים חשבונות משתמשים כדי לשתף את החיבור עם חשבונות משתמשים אחרים.
לוחצים על Save.
BQ
אי אפשר לשתף חיבור עם כלי שורת הפקודה של BigQuery. כדי לשתף חיבור, משתמשים במסוף Google Cloud או בשיטה BigQuery Connections API.
API
משתמשים בשיטה projects.locations.connections.setIAM בקטע BigQuery Connections API בארכיטקטורת REST הפניית API ומספקים מופע של משאב policy.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
עריכת חיבור
החיבור משתמש בפרטי הכניסה של המשתמש שיצר אותו. אם אתם צריכים לשנות את המשתמש שמצורף לחיבור, אתם יכולים לעדכן את פרטי הכניסה של המשתמש. האפשרות הזו שימושית אם המשתמש שיצר את החיבור כבר לא עובד בארגון.
אי אפשר לערוך את הרכיבים הבאים של חיבור:
- סוג החיבור
- מזהה החיבור
- מיקום
בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית הימנית, לוחצים על כלי הניתוחים:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
כדי לראות את הפרטים, לוחצים על החיבור.
בקטע פרטי החיבור, לוחצים על עריכת הפרטים. לאחר מכן מבצעים את הפעולות הבאות:
בתיבת הדו-שיח עריכת החיבור, עורכים את פרטי החיבור, כולל פרטי הכניסה של המשתמש.
לוחצים על עדכון החיבור.
BQ
מזינים את הפקודה bq update ומספקים את דגל החיבור:
--connection. חובה לציין את connection_id המוגדר במלואו.
bq update --connection --connection_type='CLOUD_SQL'
--properties='{"instanceId" : "INSTANCE",
"database" : "DATABASE", "type" : "MYSQL" }'
--connection_credential='{"username":"USERNAME", "password":"PASSWORD"}'
PROJECT.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
INSTANCE: מכונת Cloud SQL -
DATABASE: שם מסד הנתונים -
USERNAME: שם המשתמש במסד הנתונים של Cloud SQL -
PASSWORD: הסיסמה למסד הנתונים של Cloud SQL -
PROJECT: מזהה הפרויקט Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
לדוגמה, הפקודה הבאה מעדכנת את החיבור בפרויקט עם המזהה federation-test ומזהה החיבור test-mysql.
bq update --connection --connection_type='CLOUD_SQL'
--properties='{"instanceId" : "federation-test:us-central1:new-mysql",
"database" : "imdb2", "type" : "MYSQL" }'
--connection_credential='{"username":"my_username",
"password":"my_password"}' federation-test.us.test-mysql
API
אפשר לעיין ב-method projects.locations.connections.patch בקטע הפניית API בארכיטקטורת REST ולספק מופע של connection.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
מחיקת חיבור
בוחרים באחת מהאפשרויות הבאות:
המסוף
עוברים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית הימנית, לוחצים על כלי הניתוחים:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
לוחצים על החיבור כדי לראות את הפרטים.
בחלונית הפרטים, לוחצים על מחיקה כדי למחוק את החיבור.
בתיבת הדו-שיח למחוק את הקישור?, מזינים
deleteכדי לאשר את המחיקה.לוחצים על Delete.
BQ
מזינים את הפקודה bq rm ומספקים את דגל החיבור:
--connection. חובה לציין את connection_id המוגדר במלואו.
bq rm --connection PROJECT_ID.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
API
מידע נוסף מופיע בקטע projects.locations.connections.delete method במאמר בנושא הפניית API בארכיטקטורת REST.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.