GPU対応のジョブエージェント

独自のGPU対応ジョブエージェントを作成する前に、RapidMinerがDeep Learning用に設定済みのDockerイメージを提供していることに留意してください。本ドキュメントは技術的な詳細を知りたい方向けの記事になります。

主なポイントは以下の通りです。

互換性には十分注意してください。

CUDA compatibility

Deep Learning エクステンション	ND4J Back-End	対応するCUDAのバージョン	対応するcuDNNのバージョン
1.1.2	1.0	10.1	7.6
1.1.1	1.0	10.1	7.6
1.1.0	1.0	10.1	7.6
1.0.1	1.0	10.1	7.6
1.0	1.0	10.1	7.6
0.9.4	0.1.1	10.0	7.4
0.9.3	0.1.0	10.0	–
0.9.1	–	9.0	–
0.9.0	–	9.0	–
0.8.1	–	9.1	–
0.8.0	–	9.1	–

GPU対応のジョブエージェントの作成

ジョブエージェントでは、画像処理やニューラルネットワークの学習・スコアリングにGPUを活用することができます。現在、1つのジョブエージェントにつき、1つのGPUを使用することができます。

以下の手順で行います。

CUDA対応のGPUを搭載したコンピュータに、ジョブエージェントをインストールします。
CUDA 10.1（およびcuDNNバージョン7.6）のインストール手順に従います。
RapidMinerマーケットプレイスからND4J Back EndとDeep Learningエクステンションをダウンロードし、ジョブエージェントが所属するextensionsフォルダ{homeDir}/resources/extensions/に移動させます。
設定ファイル{homeDir}/config/rapidminer/rapidminer.propertiesを以下のように作成します。
rapidminer.backend.nd4j=GPU-CUDA
rapidminer.backend.nd4j.max_bytes=32G
rapidminer.backend.nd4j.max_physical_bytes=48G
rapidminer.deeplearning.training_ui.ports=60080

現在の状況では、これらの設定のうち最初のもの（GPU-CUDA）は必須ですが、残りの3つはオプションで、ここで説明しているRapidMiner Studioの設定に対応しています。

これらの設定は、ジョブエージェントのホームディレクトリに置かれている、プロパティファイル{homeDir}/config/rapidminer/rapidminer.propertiesによって定義されます。

パラメータキー	可能なパラメータ値	説明
rapidminer.backend.nd4j	CPU-OpenBLAS,CPU-MKL,GPU-CUDA	計算に使用するバックエンドを選択します。
rapidminer.backend.nd4j.max_bytes	1024M,16G	バックエンドの計算におけるJVMオフヒープメモリ制限（ネイティブメモリ制限）
rapidminer.backend.nd4j.max_physical_bytes	1024M,16G	プロセス全体の最大バイト数で、通常は max-bytes、Xmx、etc（他のライブラリがオフヒープメモリを必要とする場合に備える用）を足したものが設定されます。
rapidminer.deeplearning.training_ui.ports	1-65535	ジョブエージェントのトレーニングUIがリッスンするポートを選択します。ポート0も許可されていますが、その場合ランダムなポートが割り当てられます。