במדריך הזה מוסבר איך לכתוב הודעות מאשכול של שירות מנוהל ל-Apache Kafka ל-Cloud Storage באמצעות Kafka Connect.
Kafka Connect מנהל את תנועת הנתונים בין אשכול Kafka למערכות אחרות. במדריך הזה תיצרו אשכול Connect ומחבר Cloud Storage Sink. המחבר Cloud Storage Sink קורא הודעות מ-Kafka וכותב אותן בקטגוריה של Cloud Storage.
אפשר גם להשתמש ב-Dataflow בתרחיש הזה. במאמר שילוב של השירות המנוהל ל-Apache Kafka עם שירותי Google Cloud אחרים מוסבר איך לבחור בין Kafka Connect ל-Dataflow.
לפני שמתחילים
המסוף
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
מוודאים שיש לכם בפרויקט את התפקידים הבאים: עריכת אשכולות מנוהלים של Kafka, עריכת אשכולות מנוהלים של Kafka Connect, עריכת מחברים מנוהלים של Kafka, עריכת נושאים מנוהלים של Kafka, אדמין של Storage
בדיקת התפקידים
-
נכנסים לדף IAM במסוף Google Cloud .
כניסה לדף IAM - בוחרים את הפרויקט.
-
בעמודה Principal, מחפשים את כל השורות שמזהות אתכם או קבוצה שאתם חברים בה. כדי לברר לאילו קבוצות אתם שייכים, פנו לאדמין.
- בכל השורות שבהן אתם מופיעים, בודקים בעמודה Role אם רשימת התפקידים כוללת את התפקידים הנדרשים.
מתן התפקידים
-
נכנסים לדף IAM במסוף Google Cloud .
כניסה לדף IAM - בוחרים את הפרויקט.
- לוחצים על Grant access.
-
בשדה New principals, מזינים את מזהה המשתמש. בדרך כלל מזהה המשתמש הוא כתובת האימייל של חשבון Google.
- לוחצים על Select a role ומחפשים את התפקיד.
- כדי לתת עוד תפקידים, לוחצים על Add another role ומוסיפים אותם.
- לוחצים על Save.
-
gcloud
- נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloudליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים פרויקט ב- Google Cloud .
התפקידים שנדרשים כדי לבחור או ליצור פרויקט
- בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים?
-
יוצרים פרויקט ב- Google Cloud :
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של הפרויקט ב- Google Cloud שאתם יוצרים. -
בוחרים את הפרויקט שיצרתם ב- Google Cloud :
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Managed Kafka API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable managedkafka.googleapis.com
-
התקינו את ה-CLI של Google Cloud.
-
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
-
כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:
gcloud init -
יוצרים או בוחרים פרויקט ב- Google Cloud .
התפקידים שנדרשים כדי לבחור או ליצור פרויקט
- בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
-
יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (
roles/resourcemanager.projectCreator), שכולל את ההרשאהresourcemanager.projects.create. איך מקצים תפקידים?
-
יוצרים פרויקט ב- Google Cloud :
gcloud projects create PROJECT_ID
מחליפים את
PROJECT_IDבשם של הפרויקט ב- Google Cloud שאתם יוצרים. -
בוחרים את הפרויקט שיצרתם ב- Google Cloud :
gcloud config set project PROJECT_ID
מחליפים את
PROJECT_IDבשם הפרויקט ב- Google Cloud .
מפעילים את Managed Kafka API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable managedkafka.googleapis.com
-
נותנים תפקידים לחשבון המשתמש. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM:
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
USER_IDENTIFIER: המזהה של חשבון המשתמש שלכם. לדוגמה,myemail@example.com. -
ROLE: התפקיד ב-IAM שאתם נותנים לחשבון המשתמש.
-
יצירת קטגוריה של Cloud Storage
בשלב הזה יוצרים קטגוריה של Cloud Storage. בקטגוריה הזו מאוחסנים הנתונים שהמחבר Cloud Storage Sink קורא מ-Kafka.
המסוף
נכנסים לדף Cloud Storage > Buckets.
לוחצים על Create.
בדף Create a bucket, מזינים שם שעומד בדרישות לשמות של קטגוריות. השמות של קטגוריות Cloud Storage חייבים להיות ייחודיים באופן גלובלי.
לוחצים על יצירה.
gcloud
כדי ליצור קטגוריה של Cloud Storage, מריצים את הפקודה gcloud storage buckets create.
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION
מחליפים את מה שכתוב בשדות הבאים:
BUCKET_NAME: שם לקטגוריה של Cloud Storage שעומד בדרישות למתן שמות לקטגוריות. השמות של קטגוריות Cloud Storage חייבים להיות ייחודיים באופן גלובלי.
BUCKET_LOCATION: המיקום של הקטגוריה. לדוגמה,
US.
יצירת משאבים של שירות מנוהל ל-Apache Kafka
בקטע הזה יוצרים את המשאבים הבאים של השירות המנוהל ל-Apache Kafka:
- אשכול Kafka עם נושא.
- אשכול Connect עם מחברים של Cloud Storage Sink.
יצירת אשכול Kafka
בשלב הזה יוצרים אשכול של שירות מנוהל ל-Apache Kafka. יצירת אשכול יכולה להימשך עד 30 דקות.
המסוף
- נכנסים לדף Managed Service for Apache Kafka > Clusters.
- לוחצים על Create.
- בתיבה Cluster name, נותנים שם לאשכול.
- ברשימה Region, בוחרים מיקום לאשכול.
-
בקטע Network configuration, מגדירים את רשת המשנה שבה האשכול נגיש:
- בשדה Project, בוחרים את הפרויקט.
- בשדה Network, בוחרים את רשת ה-VPC.
- בשדה Subnet, בוחרים את רשת המשנה.
- לוחצים על סיום.
- לוחצים על יצירה.
אחרי שלוחצים על Create, מצב האשכול הוא Creating. כשהאשכול מוכן, הסטטוס הוא Active.
gcloud
כדי ליצור אשכול Kafka, מריצים את הפקודה managed-kafka clusters
create.
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
מחליפים את מה שכתוב בשדות הבאים:
-
KAFKA_CLUSTER: שם לאשכול Kafka -
REGION: המיקום של האשכול -
PROJECT_ID: מזהה הפרויקט -
SUBNET_NAME: רשת המשנה שבה רוצים ליצור את האשכול, לדוגמהdefault
מידע נוסף על המיקומים הנתמכים זמין במאמר מיקומים של שירות מנוהל ל-Apache Kafka.
הפקודה פועלת באופן אסינכרוני ומחזירה מזהה פעולה:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
כדי לעקוב אחרי ההתקדמות של פעולת היצירה, משתמשים בפקודה gcloud managed-kafka
operations describe:
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
כשהאשכול מוכן, הפלט מהפקודה הזו כולל את הרשומה state:
ACTIVE. למידע נוסף, קראו את המאמר מעקב אחרי פעולת היצירה של האשכול.
יצירת נושא ב-Kafka
אחרי שיוצרים את האשכול של השירות המנוהל ל-Apache Kafka, יוצרים נושא ב-Kafka.
המסוף
נכנסים לדף Managed Service for Apache Kafka > Clusters.
לוחצים על שם האשכול.
בדף הפרטים של האשכול, לוחצים על Create Topic.
בתיבה Topic name, נותנים שם לנושא.
לוחצים על יצירה.
gcloud
כדי ליצור נושא ב-Kafka, מריצים את הפקודה managed-kafka topics create.
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
מחליפים את מה שכתוב בשדות הבאים:
-
KAFKA_TOPIC_NAME: השם של נושא Kafka שרוצים ליצור -
KAFKA_CLUSTER: השם של אשכול Kafka -
REGION: האזור שבו יצרתם את אשכול Kafka
יצירת אשכול Connect
בשלב הזה יוצרים אשכול Connect. יצירת אשכול Connect יכולה להימשך עד 30 דקות.
לפני שמתחילים את השלב הזה, צריך לוודא שהאשכול של השירות המנוהל ל-Apache Kafka נוצר במלואו.
המסוף
נכנסים לדף Managed Service for Apache Kafka > Connect Clusters.
לוחצים על Create.
מזינים מחרוזת בשדה Connect cluster name. לדוגמה:
my-connect-cluster.בשדה Primary Kafka cluster, בוחרים את אשכול Kafka שיצרתם קודם.
לוחצים על יצירה.
בזמן יצירת האשכול, הסטטוס שלו הוא Creating. כשהאשכול נוצר, הסטטוס שלו הוא Active.
gcloud
כדי ליצור אשכול Connect, מריצים את הפקודה gcloud managed-kafka connect-clusters create.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
מחליפים את מה שכתוב בשדות הבאים:
-
CONNECT_CLUSTER: שם לאשכול של Connect -
REGION: האזור שבו יצרתם את אשכול Kafka -
PROJECT_ID: מזהה הפרויקט -
SUBNET_NAME: תת-הרשת שבה יצרתם את אשכול Kafka -
KAFKA_CLUSTER: השם של אשכול Kafka
הפקודה פועלת באופן אסינכרוני ומחזירה מזהה פעולה:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
כדי לעקוב אחרי ההתקדמות של פעולת היצירה, משתמשים בפקודה gcloud managed-kafka operations describe:
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
למידע נוסף, ראו מעקב אחרי פעולת יצירת האשכול.
מתן תפקידים ב-IAM
מקצים לחשבון השירות של Managed Kafka את התפקיד יצירת אובייקטים באחסון בממשק לניהול זהויות והרשאות גישה (IAM). התפקיד הזה מאפשר למחבר לכתוב קבצים ב-Cloud Storage.
המסוף
נכנסים לדף IAM במסוף Google Cloud .
בוחרים באפשרות Include Google-provided role grants.
מוצאים את השורה של Managed Kafka Service Account ולוחצים על Edit principal.
לוחצים על Add another role ובוחרים את התפקיד Storage Object Creator.
לוחצים על Save.
למידע נוסף על הקצאת תפקידים, קראו את המאמר הקצאת תפקיד ב-IAM באמצעות המסוף.
gcloud
כדי להקצות תפקיד IAM לחשבון השירות, מריצים את הפקודה gcloud projects add-iam-policy-binding.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/storage.objectCreator
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט -
PROJECT_NUMBER: מספר הפרויקט
כדי למצוא את מספר הפרויקט, משתמשים בפקודה gcloud projects describe.
יצירת מחבר Cloud Storage Sink
בשלב הזה יוצרים מחבר Cloud Storage Sink. המחבר הזה קורא הודעות מנושא אחד או יותר ב-Kafka וכותב אותן ב-Cloud Storage.
המסוף
נכנסים לדף Managed Service for Apache Kafka > Connect Clusters.
לוחצים על השם של אשכול Connect.
לוחצים על Create connector.
מזינים מחרוזת בשדה Connector name. דוגמה:
pubsub-source.ברשימה Connector plugin, בוחרים באפשרות
Cloud Storage Source.בשדה Topics, בוחרים את הנושא של Kafka שיצרתם קודם ולוחצים על OK.
בקטע GCS Bucket, לוחצים על Browse.
בוחרים את הקטגוריה של Cloud Storage שיצרתם קודם ולוחצים על Select.
לוחצים על יצירה.
gcloud
כדי ליצור מחבר Cloud Storage Sink, מריצים את הפקודה gcloud managed-kafka connectors create.
gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
--location=REGION \
--connect-cluster=CONNECT_CLUSTER \
--configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false
מחליפים את מה שכתוב בשדות הבאים:
-
STORAGE_CONNECTOR_NAME: שם למחבר, למשלstorage-sink-connector -
CONNECT_CLUSTER: השם של אשכול Connect -
REGION: האזור שבו יצרתם את אשכול Connect -
PROJECT_ID: מזהה הפרויקט -
BUCKET_NAME: השם של הקטגוריה של Cloud Storage -
KAFKA_TOPIC_NAME: השם של הנושא ב-Kafka
הצגת תוצאות
כדי לראות את התוצאות, שולחים הודעות לנושא של Kafka. יש כמה דרכים לשלוח הודעות לשירות המנוהל ל-Apache Kafka, כולל:
- שימוש בכלי שורת הפקודה של Kafka.
- שימוש ב-Java producer.
- שימוש ב-producer של Python
- העברת הודעות בסטרימינג מ-Pub/Sub באמצעות Kafka Connect
המחבר Cloud Storage Sink קורא את ההודעות של Kafka וכותב אותן לקבצים ב-Cloud Storage. יכול להיות שיעברו כמה דקות עד שהקובץ הראשון ייכתב.
כדי לראות את קובצי הפלט:
המסוף
- נכנסים לדף Cloud Storage > Buckets.
ברשימת הקטגוריות, לוחצים על שם הקטגוריה שיצרתם קודם.
אם המחבר Cloud Storage Sink כתב קבצים בהצלחה, הם מופיעים בדף Bucket details. בוחרים קובץ אחד או יותר.
לוחצים על הורדה כדי להוריד את הקבצים שנבחרו.
gcloud
כדי להציג את רשימת קובצי הפלט, מריצים את הפקודה gcloud storage ls:
gcloud storage ls gs://BUCKET_NAME
כדי להוריד את הקבצים, מריצים את הפקודה gcloud storage cp.
gcloud storage cp --recursive gs://BUCKET_NAME .
מחליפים את BUCKET_NAME בשם הקטגוריה שלכם ב-Cloud Storage.
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים הנפרדים.
המסוף
מוחקים את הקטגוריה של Cloud Storage.
נכנסים לדף Cloud Storage > Buckets.
בוחרים את הקטגוריה ולוחצים על מחיקה.
מוחקים את אשכול Connect.
נכנסים לדף Managed Service for Apache Kafka > Connect Clusters.
בוחרים את האשכול של Connect ולוחצים על Delete.
מוחקים את אשכול Kafka.
נכנסים לדף Managed Service for Apache Kafka > Clusters.
בוחרים את אשכול Kafka ולוחצים על Delete.
gcloud
כדי למחוק את הקטגוריה של Cloud Storage ואת האובייקטים שבה, משתמשים בפקודה
gcloud storage rm.gcloud storage rm gs://BUCKET_NAME --recursiveכדי למחוק את אשכול Connect, משתמשים בפקודה
gcloud managed-kafka connect-clusters delete.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncכדי למחוק את אשכול Kafka, מריצים את הפקודה
gcloud managed-kafka clusters delete.gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async