Dieses Dokument bietet Entwicklern, Architekten und Entscheidungsträgern Optionen für die Integration von Managed Service for Apache Kafka in andere Google Cloud-Dienste.
In der folgenden Tabelle sind einige Faktoren aufgeführt, die Sie bei der Auswahl einer Integrationslösung für Ihre Kafka-Daten in Google Cloudberücksichtigen sollten.
| Lösung | Anwendungsfälle |
|---|---|
| Kafka Connect |
Häufige Aufgaben bei der Datenintegration Kafka-Daten zwischen Clustern replizieren Hochverfügbarkeit/Notfallwiederherstellung |
| Dataflow |
Datenpipelines mit hohem Volumen Komplexe Datentransformationen oder Datenaggregation Erweiterte Fensterung |
| Managed Service for Apache Spark |
In vorhandene Apache Spark-Arbeitslasten einbinden Apache Spark-Arbeitslasten zu Google Cloudmigrieren |
Kafka Connect verwenden
Kafka Connect bietet ein Framework für das Streamen von Daten zwischen Kafka und anderen Systemen. Mit Managed Service for Apache Kafka können Sie Cluster bereitstellen, auf denen Kafka Connect ausgeführt wird.
Kafka Connect wird für die meisten gängigen Datenintegrationsaufgaben empfohlen, für die ein unterstützter Connector verfügbar ist. Kafka Connect mit MirrorMaker 2.0 wird für die Replikation von Daten zwischen Kafka-Clustern empfohlen, z. B. in Architekturen für Hochverfügbarkeit und Notfallwiederherstellung (HA/DR).
Die Verwendung von Kafka Connect bietet folgende Vorteile:
Integrierte Connectors für Quellen und Senken wie BigQuery, Cloud SQL und Cloud Storage.
Vollständig in Managed Service for Apache Kafka integriert, was die Verwaltung, den Betrieb und die Überwachung vereinfacht.
Unterstützung für Filterung und Transformationen pro Nachricht.
Dataflow verwenden
Dataflow ist eine verwaltete Streamingplattform, die auf dem Open-Source-Projekt Apache Beam basiert. Sie können Dataflow-Pipelines ausführen, um Kafka-Daten in Senken wie BigQuery und Cloud Storage zu schreiben.
Dataflow eignet sich für die folgenden Szenarien:
Datenpipelines mit hohem Volumen. Dataflow-Jobs können auf Tausende von Workern skaliert werden. Dataflow unterstützt auch horizontales Autoscaling, bei dem Worker nach Bedarf hinzugefügt oder entfernt werden.
Datenpipelines, die komplexe Transformationen erfordern, z. B. Datenbereinigung, ‑anreicherung oder ‑aggregation.
KI und ML in Ihre Datenpipeline einbinden
Mehrere Datenstreams zusammenführen und dabei Fensterung und Verarbeitung von verspätet eingehenden Daten detailliert steuern.
Zum Bereitstellen einer Dataflow-Pipeline können Sie eine vordefinierte Vorlage ausführen oder eine Apache Beam-Pipeline erstellen. Für häufige Szenarien zur Datenintegration können Sie eine Vorlage verwenden. Wenn Sie maximale Flexibilität und Kontrolle benötigen oder Ihre Pipeline benutzerdefinierte Logik erfordert, erstellen Sie eine Apache Beam-Pipeline.
Managed Service for Apache Spark verwenden
Mit Managed Service for Apache Spark können Sie Apache Spark-Arbeitslasten mit einem serverlosen Modell oder einem clusterbasierten Modell ausführen.
Wenn Sie bereits Spark-Pipelines haben, sollten Sie Managed Service for Apache Spark mit Ihren Kafka-Daten verwenden. Wenn Sie beispielsweise eine Spark-Anwendung haben, die Streamingdaten aus Kafka verarbeitet, und Sie diese Anwendung zuGoogle Cloudmigrieren möchten, ist Managed Service for Apache Spark eine gute Wahl.
Nächste Schritte
Weitere Informationen zu Kafka Connect in Managed Service for Apache Kafka
Dataflow-Vorlage verwenden:
Apache Beam-Pipeline erstellen:
Für Spark Streaming und Kafka bietet Apache Spark eine Integrationsanleitung.