RapidMinerでkafkaを使用する方法

投稿日: 2022年8月3日
OS: MacOS Monterey
バージョン: RapidMiner 9.10

前提条件

以下のサービスが起動している。

• Zookeeper
• Kafka-server

kafka Connectorのインストール

メニューバーの「拡張機能」>「マーケットプレイス(更新と拡張機能)」をクリックし、検索 タブの検索ボックスで「kafka connector」を検索してください。結果が表示されましたら、「このアイテムを選択する」にチェックをつけて、インストールボタンをクリックし、ライセンスの規約を読み、同意頂けましたらパッケージをインストールしてください。

kafka Connectorの接続設定

「Connections」の右クリックでメニューから「Create Connection」をクリックします。

「Connection Type:」に「Kafka Cluster」を選択して、任意のConnection Nameを設定し「Create」をクリックします。

「ホスト名:ポート」を指定します。ここでは追加のセキュリティー機能は使わずに接続しています。「Test connection」をクリックして問題なければ「Save」をクリックして完了です。

Kafka topicにメッセージを送信する

コネクションとTitanicデータ、Write kafka Topicを以下のように配置します。

topicはドロップダウンリストから既存のものを指定できます。また、新たにtopic名を指定すると新規でtopicが作成され、そこへメッセージを送信することができます。

実行ボタンをクリックすると以下の出力が得られます。

コマンドラインからメッセージの受信を確認することができます。

Kafka topicからメッセージを受信する

コネクションとRead kafka Topicを以下のように配置します。

topicはドロップダウンリストから既存のものを指定できます。今回は先ほど送信したtopicを設定し、そこへメッセージを受信します。

実行ボタンをクリックすると以下の出力が得られます。

Kafka Connectorの詳細については、以下のドキュメントをご参照ください。

Using the Kafka Connector Extension

[New Extension] Kafka Connector