Nachrichten von Ihrem Mainframe in Pub/Sub veröffentlichen

Mit dem Mainframe Connector können Sie Nachrichten von Ihrem Mainframe an Pub/Sub veröffentlichen. Sie können diese Funktion beispielsweise verwenden, um Ihren Mainframe in BigQuery oder Cloud Storage einzubinden, Nachrichtendaten mit Dataflow zu ergänzen oder Cloud Run-Funktionen auszulösen.

Hinweise

• Installieren Sie Mainframe Connector auf Ihrem Mainframe, falls Sie das noch nicht getan haben.
• Damit Sie Pub/Sub-Befehle ausführen können, müssen Sie Ihrem Nutzerkonto die Rolle Pub/Sub-Publisher zuweisen. Informationen zum Zuweisen von Rollen zu einem Nutzerkonto finden Sie unter Zugriff mit IAM verwalten.
• Richten Sie Standardanmeldedaten für Anwendungen ein.

Nachricht in einem Pub/Sub-Thema veröffentlichen

Wenn Sie eine unstrukturierte Pub/Sub-Nachricht von Ihrem Mainframe veröffentlichen möchten, verwenden Sie den Befehl pubsub topics publish so:

//STEP01 EXEC BQSH
//STDIN DD *
pubsub topics publish TOPIC --data="Hello,World"
/*

Ersetzen Sie TOPIC durch den Namen des Pub/Sub-Themas. Das erforderliche Format ist projects/{project}/topics/{topic}.

Nachrichten in einem Pub/Sub-Thema veröffentlichen

Mit dem Mainframe-Connector können Sie strukturierte Nachrichten von einem Mainframe in einem Pub/Sub-Thema veröffentlichen. Mit dieser Funktion können Sie beispielsweise QSAM-Datensätze (Queued Sequential Access Method) mithilfe von Pub/Sub von Ihrem Mainframe in BigQuery übertragen. Dieser Ansatz bietet folgende Vorteile:

• Sie können Daten mithilfe von KI über Dataflow oder Pub/Sub-Simultan-Multithreading (SMTs) transformieren oder ergänzen.
• Sie können Datensätze von einem Mainframe in Cloud Storage verschieben.
• Sie können Mainframe-Anwendungsupdates ähnlich wie bei der Datenerfassung (Change Data Capture, CDC) mit cloudbasierten Systemen synchronisieren.

So veröffentlichen Sie strukturierte Nachrichten von Ihrem Mainframe in einem Pub/Sub-Thema:

1. Erstellen Sie ein Pub/Sub-Thema, um Nachrichten zu veröffentlichen. Optional können Sie ein Thema mit einem Schema erstellen, um weitere Einschränkungen festzulegen. Weitere Informationen finden Sie unter Thema erstellen oder Schema beim Erstellen eines Themas erstellen und verknüpfen.
2. Erstelle ein Pub/Sub-Thema, um Informationen zu Datensätzen zu erfassen, die nicht transkodiert werden können. Dieses Thema wird als Spillover-Thema bezeichnet. Informationen zum Erstellen eines Pub/Sub-Themas finden Sie unter Thema erstellen.
3. Optional: Wenn Sie die Einträge vor dem Senden an Pub/Sub in JSON konvertieren möchten, konfigurieren Sie die JSON-Konfigurationsdatei. Wenn Sie keine Konfigurationsdatei angeben, wird die Standard-JSON-Konfiguration verwendet.

4. Optional: Standardmäßig enthalten Pub/Sub-Nachrichten keine Sortierungsschlüssel und Attribute. Nachrichten, die nicht an das Hauptthema gesendet werden können, werden an das Thema mit dem Suffix _spillover gesendet. Wenn Sie die Standardeinstellungen ändern möchten, können Sie die Pub/Sub-Konfigurationsdatei für die Veröffentlichung konfigurieren. Sie können beispielsweise die folgende Konfiguration verwenden:

   {
     "spillover-configuration": {
       "name": SPILLOVER_TOPIC_NAME
     }
   }
   

   Ersetzen Sie SPILLOVER_TOPIC_NAME durch den Namen des Themenbereichs, den Sie in Schritt 2 erstellt haben. Das erforderliche Format ist projects/{project}/topics/{topic}. Informationen zu Nachrichten, die nicht richtig decodiert werden, werden in diesem Überlaufthema gespeichert.

5. Wenn Sie Mainframe-Einträge mit dem Befehl qsam decode in Pub/Sub veröffentlichen möchten, führen Sie die folgende JCL aus:

   //STEP01 EXEC BQSH
   //STDIN DD *
   qsam decode INPUT OUTPUT \
    --copybook COPYBOOK
    --transcode-configuration TRANSCODE-CONFIG
        --output-format=JSONL
        --input-parameter=json-dialect=JSON_CONFIGURATION
        --input-parameter=pubsub-publish-configuration=PUBSUB_CONFIGURATION
   /*
   

   Ersetzen Sie Folgendes:

   • INPUT: den Dateipfad der QSAM-Datei.
   • OUTPUT: der Datenpfad des Pub/Sub-Themas, das Sie in Schritt 1 erstellt haben. Das erforderliche Format ist pubsub:projects/{project}/topics/{topic}.
   • TRANSCODE-CONFIG: der Datenpfad der Datei mit der Transcodierungskonfiguration. Weitere Informationen zum Transcoder-Konfigurationsformat findest du unter Transcoder-Konfiguration.
   • JSON_CONFIGURATION: (optional) der Datenpfad der JSON-Konfigurationsdatei. Wenn Sie keine Konfigurationsdatei angeben, wird die Standard-JSON-Konfiguration verwendet.
   • PUBSUB_CONFIGURATION: (optional) der Datenpfad der Pub/Sub-Konfigurationsdatei für die Veröffentlichung. Wenn Sie keine Konfigurationsdatei angeben, wird die Standard-Pub/Sub-Konfiguration verwendet.