יצירת פרופילי חיבור
בדף הזה מתואר שלב ההכנה של תהליך ההעברה, שבו יוצרים פרופילים של חיבור Datastream שישמשו בהמשך לייבוא נתונים ממסד הנתונים של המקור שתואם ל-MongoDB אל קטגוריית Cloud Storage.
בשלב הזה, מבצעים את הפעולות הבאות:
- יוצרים פרופיל חיבור ל-Cloud Storage עבור קטגוריה של Cloud Storage שיצרתם קודם.
- יוצרים פרופיל חיבור למסד הנתונים של המקור שתואם ל-MongoDB.
כניסה ל-CLI של gcloud
תהליך ההעברה שמתואר בקטעים הבאים משתמש ב-CLI של gcloud כדי להגדיר את שלבי ההעברה ולהפעיל אותם. מתחילים בכניסה לחשבון Google Cloud ובחירת הפרויקט שיארח את צינור ההעברה.
gcloud auth login
gcloud config set project "$PROJECT_ID"
יצירת פרופיל חיבור למסד הנתונים של המקור
MongoDB ב-Compute Engine
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB שמארח ב-Compute Engine.
כשמתחברים לאשכול עם שרדינג, משמיטים את הדגל --mongodb-replica-set מהפקודה הבאה:
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_IP_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--private-connection="$PRIVATE_CONNECTION_NAME" \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection
MongoDB באמצעות SSH
בדוגמה הזו אנחנו מניחים שכבר הגדרתם קישוריות SSH לרשת הפרטית שלכם, ישירות למכונה שמארחת את השרת שתואם ל-MongoDB, או דרך מארח Bastion.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB שמארח ב-Compute Engine.
כשמתחברים לאשכול עם שרדינג, לא כוללים את הדגל --mongodb-replica-set בפקודה הבאה.
כדי להתחבר באמצעות סיסמת SSH, מעבירים את האפשרות --forward-ssh-password במקום האפשרות --forward-ssh-private-key.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_IP_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--forward-ssh-hostname="$BASTION_IP_ADDRESS" \
--forward-ssh-port="$BASTION_SSH_PORT" \
--forward-ssh-username="$BASTION_SSH_USERNAME" \
--forward-ssh-private-key="$BASTION_SSH_PRIVATE_KEY" \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection
Amazon DocumentDB
בדוגמה הזו מניחים שהשגתם את הפרמטרים והאישורים שנדרשים לקישור ל-Amazon DocumentDB.
לפני שיוצרים פרופיל חיבור, צריך להפעיל במפורש את מקורות הנתונים לשינויים במסד הנתונים של Amazon DocumentDB. הוראות להפעלת התכונה הזו מופיעות במדריך בנושא Amazon DocumentDB Change Streams.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של DocumentDB:
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-replica-set="$REPLICA_SET" \
--forward-ssh-hostname="$BASTION_IP_ADDRESS" \
--forward-ssh-port="$BASTION_SSH_PORT" \
--forward-ssh-username="$BASTION_SSH_USERNAME" \
--forward-ssh-private-key="$BASTION_SSH_PRIVATE_KEY" \
--mongodb-ca-certificate="$DOCUMENT_DB_CA_CERTIFICATE" \
--mongodb-tls \
--mongodb-standard-connection-format \
--type=mongodb \
--mongodb-direct-connection
Azure Cosmos DB
צריך להפעיל במפורש את התכונה 'סנכרון שינויים בזרמי נתונים' ב-MongoDB API של Azure Cosmos DB כדי לאפשר הפעלה של זרמי Datastream.
בשלב הזה צריך להתקין את Azure CLI.
az resource patch --ids "/subscriptions/subscription_id/resourceGroups/resource_group_name/providers/Microsoft.DocumentDB/mongoClusters/vCore_cluster_name" \
--api-version 2024-10-01-preview \
--properties "{\"previewFeatures\": [ \"ChangeStreams\"]}"
מחליפים את subscription_id, resource_group_name ו-vCore_cluster_name בערכים שמתאימים לפריסת Azure Cosmos DB.
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למקור Azure Cosmos DB.
בדוגמה הזו אנחנו מניחים שהמקור נגיש דרך DNS ציבורי או כתובת IP שאפשר לבטא בפורמט החיבור של MongoDB SRV. ההוראות מניחות גם ששרת Azure Cosmos DB משתמש בשילוב של שם משתמש וסיסמה לאימות.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-srv-connection-format \
--type=mongodb \
--static-ip-connectivity \
--labels=skip_all_validations=true
MongoDB Atlas
מריצים את הפקודה הבאה כדי ליצור פרופיל של חיבור Datastream למסד הנתונים של MongoDB Atlas.
בדוגמה הזו אנחנו מניחים שהמקור נגיש דרך DNS ציבורי או כתובת IP שאפשר לבטא בפורמט החיבור של MongoDB SRV. ההוראות מניחות גם ששרת MongoDB Atlas משתמש בשילוב של שם משתמש וסיסמה לאימות.
gcloud datastream connection-profiles create "$SRC_CONNECTION_PROFILE_NAME" \
--display-name="$SRC_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--mongodb-username="$MONGODB_USERNAME" \
--mongodb-password="$MONGODB_PASSWORD" \
--mongodb-host-addresses="$MONGODB_HOST_ADDRESS" \
--mongodb-srv-connection-format \
--type=mongodb \
--static-ip-connectivity
מידע נוסף על מעקב אחרי יצירת פרופיל החיבור זמין במאמר פתרון בעיות.
יצירת פרופיל חיבור ל-Cloud Storage
מגדירים את פרופיל החיבור של Datastream ליעד Cloud Storage, שהוא הקטגוריה שיצרתם קודם.
gcloud datastream connection-profiles create "$DST_CONNECTION_PROFILE_NAME" \
--display-name="$DST_CONNECTION_PROFILE_NAME" \
--location="$LOCATION" \
--type=google-cloud-storage \
--bucket="$GCS_BUCKET_NAME" \
--root-path="/$GCS_BUCKET_ROOT_PATH"
מידע נוסף על מעקב אחרי יצירת פרופיל החיבור זמין במאמר פתרון בעיות.
המאמרים הבאים
ממשיכים אל ייבוא ממסד הנתונים של המקור.