RapidMinerジョブコンテナ

ジョブコンテナはモデルの学習や予測など、CPU負荷の高い処理が必要な時に利用する RapidMiner Goのバックエンドコンポーネントです。 デフォルトのdocker-composeサービスはジョブコンテナをRapidMiner Goと同じホストで起動しますが、本番環境では複数のジョブコンテナを異なるマシンで起動する場合もあります。ジョブコンテナインスタンス間のロードバランスはAMQサービスによって処理されます。１つのジョブコンテナインスタンスは同時に複数のジョブを処理する事はできないので、キューにある次のジョブは最初にidle状態になったジョブコンテナインスタンにより処理されます。

ライセンス

ジョブコンテナはlicenses/rapidminer-go-on-premディレクトリのライセンスファイルを参照し、ここにライセンスファイルがない場合、ジョブコンテナは起動しません。このフォルダは全てのRapidMiner Goとジョブコンテナインスタンスに自動的にマウントされるので手動でコピーする必要はありません。

環境変数を利用した設定

ジョブコンテナはSpring Bootアプリケーションです。現在有効なSpringプロファイル値はbroker-amqのみです。

環境変数のデフォルト値

複数のジョブコンテナとユーザーごとのジョブの制約

複数のジョブコンテナをインスタンスを実行するには.envファイルでJOB_CONTAINERS変数の設定値を変更します。この場合、それらのインスタンスが利用するRAMがホストマシンで確保されているか事前に確認しておく必要があります。デフォルト設定ではジョブコンテナ毎のMEMORY_PER_JOB_CONTAINER に4GBのRAMが割り当てられています。例えば、デフォルト設定で２つのジョブコンテナを利用する場合は、4 + 4 * 2 = 12GbのRAMが必要です。

複数のジョブコンテナが利用できればAutoModelerのMAUTOMODELER_EXECUTION_QUEUE_LIMIT_PER_USERの設定値を変更する事ができます。 この設定値がジョブコンテナの数と同じであれば１ユーザーが複数のジョブを並列で実行する事ができます。この場合、ジョブを実行する他のユーザーは全てのジョブコンテナの処理が終了するまで待つ必要があります。キューリミットの設定値を下げると各ユーザーが利用するジョブコンテナを制限する事ができるので、他のユーザーの為に実行リソースを確保する事ができます。