פיתוח אפליקציית Java לפרסום הודעות

פיתוח אפליקציית Java לפרסום הודעות

במאמר הזה נסביר איך לפתח אפליקציית Java producer שמבצעת אימות באמצעות Application Default Credentials‏ (ADC) מול אשכול של שירות מנוהל ל-Apache Kafka. באמצעות ADC, אפליקציות שפועלות ב- Google Cloud יכולות למצוא באופן אוטומטי את פרטי הכניסה הנכונים ולאמת את עצמן בשירותי Google Cloud .

לפני שמתחילים

לפני שמתחילים את המדריך הזה, צריך ליצור אשכול חדש של שירות מנוהל ל-Apache Kafka. אם כבר יש לכם אשכול, אתם יכולים לדלג על השלב הזה.

איך יוצרים אשכול

המסוף

1. עוברים אל הדף שירות מנוהל ל-Apache Kafka > Clusters.

   מעבר אל Clusters

2. לוחצים על יצירה.
3. בתיבה שם האשכול, מזינים שם לאשכול.
4. ברשימה Region, בוחרים מיקום לאשכול.
5. בקטע Network configuration (תצורת רשת), מגדירים את רשת המשנה שבה אפשר לגשת לאשכול:
   1. בקטע Project (פרויקט), בוחרים את הפרויקט.
   2. בקטע רשת, בוחרים את רשת ה-VPC.
   3. בקטע רשת משנה, בוחרים את רשת המשנה.
   4. לוחצים על סיום.
6. לוחצים על יצירה.

אחרי שלוחצים על יצירה, מצב האשכול הוא Creating. כשהאשכול מוכן, הסטטוס שלו הוא Active.

gcloud

כדי ליצור אשכול Kafka, מריצים את הפקודה managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

מחליפים את מה שכתוב בשדות הבאים:

• ‫KAFKA_CLUSTER: שם לאשכול Kafka
• ‫REGION: המיקום של האשכול
• ‫PROJECT_ID: מזהה הפרויקט
• ‫SUBNET_NAME: תת-הרשת שבה רוצים ליצור את האשכול, לדוגמה default

מידע על מיקומים נתמכים זמין במאמר בנושא מיקומים של שירות מנוהל ל-Apache Kafka.

הפקודה פועלת באופן אסינכרוני ומחזירה מזהה פעולה:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

כדי לעקוב אחרי ההתקדמות של פעולת היצירה, משתמשים בפקודה gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

כשהאשכול מוכן, הפלט מהפקודה הזו כולל את הרשומה state: ACTIVE. מידע נוסף זמין במאמר בנושא מעקב אחרי פעולת יצירת האשכול.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה ולהגדרה של מכונת VM של לקוח, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1)
• אדמין IAM בפרויקט (roles/resourcemanager.projectIamAdmin)
• צפייה בתפקיד (roles/iam.roleViewer)
• משתמש בחשבון שירות (roles/iam.serviceAccountUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מכונה וירטואלית של לקוח

יוצרים מכונה וירטואלית (VM) של Linux ב-Compute Engine שיכולה לגשת לאשכול Kafka. כשמגדירים את המכונה הווירטואלית, צריך להגדיר את האפשרויות הבאות:

• אזור. יוצרים את המכונה הווירטואלית באותו אזור שבו נמצא אשכול Kafka.

• Subnet. יוצרים את המכונה הווירטואלית באותה רשת VPC כמו רשת המשנה שבה השתמשתם בהגדרת אשכול Kafka. מידע נוסף זמין במאמר בנושא הצגת רשתות המשנה של אשכול.

• היקפי הרשאות. מקצים את https://www.googleapis.com/auth/cloud-platform היקף הגישה למכונה הווירטואלית. היקף ההרשאות הזה מאשר למכונה הווירטואלית לשלוח בקשות אל Managed Kafka API.

בשלבים הבאים מוסבר איך מגדירים את האפשרויות האלה.

המסוף

1. נכנסים לדף Create an instance במסוף Google Cloud .

   יצירת מופע

2. בחלונית Machine configuration:

   1. בשדה Name, מציינים שם למכונה. מידע נוסף זמין במאמר מוסכמות למתן שמות למשאבים.

   2. ברשימה Region, בוחרים את אותו אזור כמו אשכול Kafka.

   3. ברשימה Zone, בוחרים אזור.

3. בתפריט הניווט, לוחצים על Networking (רשת). בחלונית Networking שמופיעה, מבצעים את הפעולות הבאות:

   1. עוברים לקטע Network interfaces.

   2. כדי להרחיב את ממשק ברירת המחדל של הרשת, לוחצים על החץ .

   3. בשדה Network, בוחרים את רשת ה-VPC.

   4. ברשימה Subnetwork, בוחרים את רשת המשנה.

   5. לוחצים על סיום.

4. בתפריט הניווט, לוחצים על אבטחה. בחלונית Security שמופיעה, מבצעים את הפעולות הבאות:

   1. בקטע Access scopes בוחרים באפשרות Set access for each API.

   2. ברשימת היקפי הגישה, מחפשים את הרשימה הנפתחת Cloud Platform ובוחרים באפשרות Enabled.

5. לוחצים על יצירה כדי ליצור את המכונה הווירטואלית.

gcloud

כדי ליצור את מכונת ה-VM, משתמשים בפקודה gcloud compute instances create.

gcloud compute instances create VM_NAME \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET \
  --zone=ZONE

מחליפים את מה שכתוב בשדות הבאים:

• ‫VM_NAME: השם של ה-VM
• ‫PROJECT_ID: מזהה הפרויקט
• ‫REGION: האזור שבו יצרתם את אשכול Kafka, לדוגמה us-central1
• ‫SUBNET: תת-רשת באותה רשת VPC כמו תת-הרשת שבה השתמשתם בתצורת האשכול
• ‫ZONE: אזור באזור שבו יצרתם את האשכול, למשל us-central1-c

מידע נוסף על יצירת מכונה וירטואלית זמין במאמר בנושא יצירת מופע של מכונה וירטואלית ברשת משנה ספציפית.

מתן תפקידים ב-IAM

מקצים את התפקידים הבאים בניהול זהויות והרשאות גישה (IAM) לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine:

• ‫Managed Kafka Client‏ (roles/managedkafka.client)
• יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)

• יצירת אסימונים מסוג OpenID בחשבון שירות (roles/iam.serviceAccountOpenIdTokenCreator)

המסוף

1. נכנסים לדף IAM במסוף Google Cloud .

   כניסה לדף IAM

2. מחפשים את השורה של חשבון השירות של Compute Engine שמוגדר כברירת מחדל ולוחצים על עריכת החשבון הראשי.

3. לוחצים על Add another role ובוחרים את התפקיד Managed Kafka Client. חוזרים על השלב הזה עבור התפקידים יצירת אסימונים בחשבון שירות ויצירת אסימונים מסוג OpenID בחשבון שירות.

4. לוחצים על Save.

gcloud

כדי להקצות תפקידים ב-IAM, משתמשים בפקודה gcloud projects add-iam-policy-binding.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:[e-mail]" \
  --role=roles/managedkafka.client

gcloud projects add-iam-policy-binding PROJECT_ID\
  --member="serviceAccount:[e-mail]" \
  --role=roles/iam.serviceAccountTokenCreator

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:[e-mail]" \
  --role=roles/iam.serviceAccountOpenIdTokenCreator

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט

• ‫PROJECT_NUMBER: מספר הפרויקט

כדי לקבל את מספר הפרויקט, מריצים את הפקודה gcloud projects describe:

gcloud projects describe PROJECT_ID

מידע נוסף זמין במאמר איך מוצאים את השם, המספר והמזהה של הפרויקט.

התחברות למכונה הווירטואלית

משתמשים ב-SSH כדי להתחבר למופע של המכונה הווירטואלית.

המסוף

1. נכנסים לדף VM instances.

   כניסה לדף VM instances

2. ברשימת המכונות הווירטואליות, מוצאים את שם המכונה הווירטואלית ולוחצים על SSH.

gcloud

כדי להתחבר למכונה הווירטואלית, משתמשים בפקודה gcloud compute ssh.

gcloud compute ssh VM_NAME \
  --project=PROJECT_ID \
  --zone=ZONE

מחליפים את מה שכתוב בשדות הבאים:

• ‫VM_NAME: השם של ה-VM
• ‫PROJECT_ID: מזהה הפרויקט
• ‫ZONE: האזור שבו יצרתם את המכונה הווירטואלית

יכול להיות שיהיה צורך בהגדרה נוספת כדי להשתמש ב-SSH בפעם הראשונה. מידע נוסף זמין במאמר מידע על חיבורי SSH.

הגדרת פרויקט Apache Maven

מריצים את הפקודות הבאות בסשן ה-SSH כדי להגדיר פרויקט Maven.

1. מתקינים את Java ואת Maven באמצעות הפקודה: sudo apt-get install maven openjdk-17-jdk.

   הערה: יכול להיות שההתקנה של OpenJDK תימשך יותר מ-5 דקות, ויכול להיות שהיא תיראה תקועה. אפשר לנסות להפסיק את ההתקנה באמצעות Ctrl+C. ברוב המקרים, החבילות הנדרשות מותקנות גם אם התהליך מופסק. כדי לוודא שההתקנה בוצעה בהצלחה, ממשיכים לשלב הבא.

2. מגדירים פרויקט Apache Maven.

   הפקודה הזו תיצור חבילה com.google.example בספרייה בשם demo.

   mvn archetype:generate -DartifactId=demo -DgroupId=com.google.example\
      -DarchetypeArtifactId=maven-archetype-quickstart\
      -DarchetypeVersion=1.5 -DinteractiveMode=false
   

3. עוברים לספריית הפרויקט באמצעות cd demo.

יצירת אפליקציית הפקה ב-Java

בקטע הזה מוסבר איך ליצור אפליקציית Java שמפיקה הודעות לנושא Kafka. כותבים ומקמפלים קוד Java באמצעות Maven, מגדירים את הפרמטרים הנדרשים בקובץ kafka-client.properties ומריצים את האפליקציה כדי לשלוח הודעות.

כתיבת הקוד של המפיק

מחליפים את הקוד ב-src/main/java/com/google/example/App.java בקוד הבא:

  package com.google.example;

  import java.util.Properties;
  import org.apache.kafka.clients.producer.KafkaProducer;
  import org.apache.kafka.clients.producer.ProducerRecord;
  import org.apache.kafka.clients.producer.RecordMetadata;
  import org.apache.kafka.clients.producer.Callback;


  class SendCallback implements Callback {
          public void onCompletion(RecordMetadata m, Exception e){
              if (e == null){
                System.out.println("Produced a message successfully.");
              } else {
                System.out.println(e.getMessage());
              }
          }
  }

  public class App {
      public static void main(String[] args) throws Exception {
          Properties p = new Properties();
          p.load(new java.io.FileReader("kafka-client.properties"));

          KafkaProducer producer = new KafkaProducer(p);
          ProducerRecord message = new ProducerRecord("topicName", "key", "value");
          SendCallback callback = new SendCallback();
          producer.send(message,callback);
          producer.close();
      }
  }

קומפילציה של האפליקציה

כדי לקמפל את האפליקציה הזו, צריך חבילות שקשורות ללקוחות Kafka באופן כללי וללוגיקת אימות שספציפית ל- Google Cloud.

1. בספריית פרויקט ההדגמה, מוצאים את pom.xml עם הגדרות Maven לפרויקט הזה. מוסיפים את השורות הבאות לקטע <dependencies> של pom.xml.

   <dependency>
       <groupId>org.apache.kafka</groupId>
       <artifactId>kafka-clients</artifactId>
       <version>3.7.2</version>
   </dependency>
   <dependency>
       <groupId>com.google.cloud.hosted.kafka</groupId>
       <artifactId>managed-kafka-auth-login-handler</artifactId>
       <version>1.0.5</version>
   </dependency>
   

2. קומפילציה של האפליקציה באמצעות mvn compile.

הגדרת האפליקציה והרצתה

1. היצרן מצפה לפרמטרים של הגדרת הלקוח בקובץ בשם kafka-client.properties. יוצרים את הקובץ הזה בספרייה של פרויקט ההדגמה (הספרייה שמכילה את pom.xml) עם התוכן הבא:

   bootstrap.servers=bootstrap.CLUSTER_ID.REGION.managedkafka.PROJECT_ID.cloud.goog:9092
   value.serializer=org.apache.kafka.common.serialization.StringSerializer
   key.serializer=org.apache.kafka.common.serialization.StringSerializer
   security.protocol=SASL_SSL
   sasl.mechanism=OAUTHBEARER
   sasl.login.callback.handler.class=com.google.cloud.hosted.kafka.auth.GcpLoginCallbackHandler
   sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
   

2. עכשיו אפשר להפעיל את האפליקציה:

   mvn exec:java -Dexec.mainClass="com.google.example.App" --quiet
   

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

המסוף

1. מוחקים את מכונת ה-VM.

   1. נכנסים לדף VM instances.

      כניסה לדף VM instances

   2. בוחרים את המכונה הווירטואלית ולוחצים על מחיקה.

2. מוחקים את אשכול Kafka.

   1. עוברים לדף שירות מנוהל ל-Apache Kafka > Clusters (אשכולות).

      מעבר אל Clusters

   2. בוחרים את אשכול Kafka ולוחצים על מחיקה.

gcloud

1. כדי למחוק את מכונת ה-VM, משתמשים בפקודה gcloud compute instances delete.

   gcloud compute instances delete VM_NAME --zone=ZONE
   

2. כדי למחוק את אשכול Kafka, משתמשים בפקודה gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete CLUSTER_ID \
     --location=REGION --async
   

המאמרים הבאים

• שימוש במאגר הסכימות ליצירת הודעות Avro

• סקירה כללית על השירות המנוהל ל-Apache Kafka

• אימות ל-Managed Kafka API.

‫Apache Kafka®‎ הוא סימן מסחרי רשום של The Apache Software Foundation או של השותפים העצמאיים שלה בארצות הברית או במדינות אחרות.