Daten von Kafka in Cassandra laden mit Sink-Connector?

  • Hallo!


    Ich benutze seit Kurzem Kafka und möchte nun Daten aus Kafka in eine Datenbank laden. Als Provider verwende ich Aiven.
    Aufgrund der Skalierbarkeit und der großen Datenmenge, die geladen werden muss, habe ich mich für Cassandra entschieden.
    Cassandra ist ja eine NoSQL-Datenbank und in Java implementiert - mit Java arbeite ich selbst schon seit einigen Jahren, sodass sich das super ergänzt.
    Damit ich jedoch jetzt Cassandra mit Kafka verbinden kann, um die Daten zu laden, brauche ich einen sogenannten Sink-Connector.


    Kann mir jemand sagen, wie ich diesen Connector bei Aiven einrichten kann?

  • Hey!


    Ja, das hast du richtig verstanden. Um die Daten aus den Topics von Apache Kafka zu laden, um sie dann in Cassandra einzulesen, braucht man einen sogenannten Sink-Connector.
    Ich kann dir dazu raten, dass Kafka-Schema-Register für die Erzeugung von Daten zu verwenden. Diese sollten dem Avro-Schema entsprechen.
    Bevor du mit dem Einrichten des Sink-Connectors beginnen kannst, sind ein paar Angaben zum Cassandra-Dienst erforderlich: cassandra_host, cassandra_port, cassandra_user und cassandra_pw.
    Zum Kafka-Service benötigst du folgende: kafka_host, kafka_port, schema_reg_port, schema_reg_pw und kafka_connect_service_uri.
    Zuerst musst du einen Kafka-Service erstellen, dann Kafka-Connect und Schema-Register aktivieren und die erforderlichen Angaben sammeln. Danach kannst du Topics und Ordner-Topis in Kafka erstellen.
    Im nächsten Schritt erstellst du einen Cassandra-Dienst und verwende den Cassandra Client, um Keyspace und Table zu erstellen.
    Danach musst du einen etwas längeren Befehl eingeben und ausführen. Diesen findet du auf der Support-Seite auf der Website: https://aiven.io/cassandra
    Der Connector muss dann als Status "Running" anzeigen und mind. 1/1 Task muss im Kafka Connect Tab für den Kafka-Service ausgeführt werden.
    Die gesamte Anleitung inkl. dem Befehl der Unix-Kommandozeile findest du auf der Support-Seite für Aiven für Cassandra.


    Liebe Grüße

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!