ניהול החיבורים
במאמר הזה מוסבר איך להציג, לפרט, לשתף, לערוך, למחוק ולפתור בעיות בחיבור ל-BigQuery.
אדמינים ב-BigQuery יכולים ליצור ולנהל חיבורים שמשמשים להתחברות לשירותים ולמקורות נתונים חיצוניים. מנתחי נתונים ב-BigQuery משתמשים בחיבורים האלה כדי לשלוח שאילתות למקורות נתונים חיצוניים בלי להעביר או להעתיק נתונים ל-BigQuery. אפשר ליצור את סוגי החיבורים הבאים:
- חיבורים ל-Amazon S3
- חיבורים ל-Apache Spark
- חיבורים ל-Blob Storage
- קישורים למשאבים ב-Cloud כדי להתחבר לנתונים ב-Cloud Storage ולהטמיע פונקציות מרוחקות
- חיבורים ל-Spanner
- חיבורים ל-Cloud SQL
- חיבורים ל-AlloyDB
כדי ליצור חיבור ברירת מחדל לפרויקט, קראו את הסקירה הכללית על חיבור ברירת מחדל.
לפני שמתחילים
מוודאים שיש חיבור תקין. החיבורים הם ספציפיים לסוג ותלויים במקור הנתונים החיצוני המחובר.
מפעילים את BigQuery Connection API.
מוודאים שאתם יכולים לראות את רשימת חשבונות השירות בפרויקט. כדי להתחבר למקור הנתונים החיצוני, BigQuery יוצר חשבון שירות ומשתמש בו. כשיוצרים חיבור, נוצר בשבילכם חשבון שירות לניהול זהויות והרשאות גישה (IAM) שמנוהל על ידיGoogle Cloud. כדי לראות את חשבון השירות שמצורף לחיבור מסוים, צפו בפרטי החיבור.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לניהול החיבורים, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:
-
הצגת פרטי החיבור:
משתמש בחיבור ל-BigQuery (
roles/bigquery.connectionUser) במערך הנתונים -
הצגת רשימה של כל החיבורים:
משתמש בחיבור BigQuery (
roles/bigquery.connectionUser) במערך הנתונים -
שיתוף חיבור:
אדמין של חיבור ל-BigQuery (
roles/bigquery.connectionAdmin) בחיבור שלכם -
עריכת חיבור:
אדמין של חיבור BigQuery (
roles/bigquery.connectionAdmin) בחיבור שלכם -
מחיקת חיבור:
אדמין של חיבור ל-BigQuery (
roles/bigquery.connectionAdmin) בחיבור שלכם
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
במאמר תפקידים והרשאות נדרשים מוסבר אילו תפקידים נדרשים כדי ליצור חיבור כברירת מחדל ולהשתמש בו.
התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי לבצע את המשימות שמפורטות במאמר הזה. כדי לראות את ההרשאות הנדרשות, מרחיבים את הקטע Required Permissions:
ההרשאות הנדרשות
- הצגת פרטי החיבור:
bigquery.connections.get - הצגת כל החיבורים:
bigquery.connections.list - עריכה ומחיקה של חיבור:
bigquery.connections.update - שיתוף חיבור:
bigquery.connections.setIamPolicy
הצגת כל החיבורים
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery.
הקישורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית השמאלית, לוחצים על Explorer:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
BQ
מזינים את הפקודה bq ls ומציינים את הדגל --connection. אפשר גם לציין את הדגלים --project_id ו---location כדי לזהות את הפרויקט ואת המיקום של החיבורים שרוצים להציג.
bq ls --connection --project_id=PROJECT_ID --location=REGION
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור
API
שימוש ב-method projects.locations.connections.list בקטע של מאמרי העזרה של ה-API בארכיטקטורת REST.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
הצגת פרטי החיבור
אחרי שיוצרים חיבור, אפשר לקבל מידע על ההגדרות שלו. ההגדרות כוללות את הערכים שסיפקתם כשיצרתם את ההעברה.
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery.
הקישורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית השמאלית, לוחצים על Explorer:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
לוחצים על החיבור כדי לראות את הפרטים.
BQ
מזינים את הפקודה bq show ומציינים את הדגל --connection. אם רוצים, אפשר להוסיף למזהה החיבור את מזהה הפרויקט והאזור של החיבור.
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
API
משתמשים ב-method projects.locations.connections.get בקטע של מאמרי העזרה של ה-API בארכיטקטורת REST.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
קבלת מדיניות ניהול הזהויות והרשאות הגישה (IAM) של חיבור
כדי לקבל את מדיניות ה-IAM של חיבור:
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
שיתוף חיבור עם משתמשים
כדי לאפשר למשתמשים לשלוח שאילתות לגבי נתונים ולנהל חיבורים, אתם יכולים להקצות את התפקידים הבאים:
roles/bigquery.connectionUser: מאפשרת למשתמשים להשתמש בחיבורים כדי להתחבר למקורות נתונים חיצוניים ולהריץ עליהם שאילתות.
roles/bigquery.connectionAdmin: מאפשר למשתמשים לנהל חיבורים.
במאמר תפקידים והרשאות מוגדרים מראש תוכלו לקרוא מידע נוסף על תפקידים והרשאות של IAM ב-BigQuery.
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery.
הקישורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית השמאלית, לוחצים על Explorer:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
לוחצים על הפרויקט, לוחצים על Connections ובוחרים חיבור.
כדי לשתף חיבור, בחלונית פרטים לוחצים על שיתוף. לאחר מכן מבצעים את הפעולות הבאות:
בתיבת הדו-שיח Connection permissions, משתפים את החיבור עם חשבונות משתמשים אחרים על ידי הוספה או עריכה של חשבונות משתמשים.
לוחצים על Save.
BQ
אי אפשר לשתף חיבור באמצעות כלי שורת הפקודה של BigQuery. כדי לשתף חיבור, משתמשים במסוף Google Cloud או ב-BigQuery Connections API.
API
משתמשים בשיטה projects.locations.connections.setIAM בקטע של מאמרי העזרה של ה-API בנושא BigQuery Connections API בארכיטקטורת REST, ומספקים מכונה של המשאב policy.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
עריכת חיבור
החיבור משתמש בפרטי הכניסה של המשתמש שיצר אותו. אם אתם צריכים לשנות את המשתמש שמקושר לחיבור, אתם יכולים לעדכן את פרטי הכניסה של המשתמש. האפשרות הזו שימושית אם המשתמש שיצר את החיבור כבר לא עובד בארגון.
אי אפשר לערוך את הרכיבים הבאים של חיבור:
- סוג החיבור
- מזהה החיבור
- מיקום
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית השמאלית, לוחצים על Explorer:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
כדי לראות את הפרטים, לוחצים על החיבור.
בקטע פרטי החיבור, לוחצים על עריכת הפרטים. לאחר מכן מבצעים את הפעולות הבאות:
בתיבת הדו-שיח Edit connection, עורכים את פרטי החיבור, כולל פרטי הכניסה של המשתמש.
לוחצים על עדכון החיבור.
BQ
מזינים את הפקודה bq update ומציינים את דגל החיבור: --connection. צריך לציין את ה-connection_id המלא.
bq update --connection --connection_type='CLOUD_SQL'
--properties='{"instanceId" : "INSTANCE",
"database" : "DATABASE", "type" : "MYSQL" }'
--connection_credential='{"username":"USERNAME", "password":"PASSWORD"}'
PROJECT.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
INSTANCE: המכונה של Cloud SQL -
DATABASE: שם מסד הנתונים USERNAME: שם המשתמש של מסד הנתונים ב-Cloud SQL-
PASSWORD: הסיסמה למסד הנתונים ב-Cloud SQL -
PROJECT: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
לדוגמה, הפקודה הבאה מעדכנת את החיבור בפרויקט עם המזהה federation-test ומזהה החיבור test-mysql.
bq update --connection --connection_type='CLOUD_SQL'
--properties='{"instanceId" : "federation-test:us-central1:new-mysql",
"database" : "imdb2", "type" : "MYSQL" }'
--connection_credential='{"username":"my_username",
"password":"my_password"}' federation-test.us.test-mysql
API
בקטע של מאמרי העזרה של ה-API בארכיטקטורת REST, עיינו בmethod projects.locations.connections.patch וציינו מכונה של connection.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
מחיקת חיבור
בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery.
החיבורים מופיעים בפרויקט בקבוצה שנקראת Connections.
בחלונית השמאלית, לוחצים על Explorer:

בחלונית Explorer, לוחצים על שם הפרויקט ואז על Connections כדי לראות רשימה של כל החיבורים.
לוחצים על החיבור כדי לראות את הפרטים.
בחלונית הפרטים, לוחצים על Delete כדי למחוק את החיבור.
בתיבת הדו-שיח Delete connection?, מזינים את הערך
deleteכדי לאשר את המחיקה.לוחצים על Delete.
BQ
מזינים את הפקודה bq rm ומציינים את דגל החיבור: --connection. צריך לציין את ה-connection_id המלא.
bq rm --connection PROJECT_ID.REGION.CONNECTION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
REGION: אזור החיבור -
CONNECTION_ID: מזהה החיבור
API
אפשר לעיין בmethod projects.locations.connections.delete בקטע של מאמרי העזרה של ה-API בארכיטקטורת REST.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Node.js
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.