Bayesian Boosting

詳細

ベイジアンブースティング演算子はネストされた演算子です。つまり、サブプロセスがあります。サブプロセスには、学習者、つまりExampleSetを予期してモデルを生成する演算子が必要です。この演算子は、サブプロセスで提供される学習器を使用して、より良いモデルを構築しようとします。この演算子を適用するには、サブプロセスの基本的な理解が必要です。サブプロセスの基本的な理解については、サブプロセス演算子のドキュメントをご覧ください。

この演算子は、ブールターゲット属性の分類子のアンサンブルをトレーニングします。反復ごとにトレーニングセットの重み付けが変更されるため、以前に発見されたパターンやその他の種類の事前知識が「サンプリング」されます。通常はルールまたは決定木誘導アルゴリズムである内部分類子が連続して数回適用され、モデルは単一のグローバルモデルに結合されます。トレーニングするモデルの最大数は、 繰り返しパラメーターによって指定されます。

再スケールラベルの事前分布パラメータがtrueに設定されている場合は、ExampleSetは、すべてのクラスが等しい確率（あるいは頻繁に）あるのでこと、再重み付けされます。 2クラスの問題の場合、これにより、モデルの近似の問題が重み付けされた相対精度を最大化して、分類器誘導のより一般的なタスクに変わります。ルール学習アルゴリズムを内部学習者として適用すると、サブグループの発見が可能になります。このオプションは、判定スタンプのような非常に弱い学習器が使用される場合、クラススキューのあるデータセットにも推奨されます。 再スケールラベルの優先順位パラメーターが設定されていない場合、オペレーターは確率推定に基づいてブースティングを実行します。

[ 周辺スキューを許可]パラメーターが設定されていない場合、一般的なベースモデル予測に関して定義された各サブセットのサポートは、反復ごとに変わりません。同様に、クラスの優先順位は変更されません。これは、サブグループ検出のコンテキストで「Scholz / 2005b」で最初に説明された手順です。 allow marginal skewsオプションをtrueに設定すると、ブーストコンテキストで有益な場合にサブセットの周辺の重み/確率を変更し、2つのクラスを同じように層化する手順になります。 AdaBoostに関しては、この場合、総重量がトレーニングエラーの上限になります。この限界は、ベイジアンブースティング演算子によってより迅速に削減されます。

サブグループ検出用の「Scholz / 2005b」からシーケンシャルサンプリングまたは知識ベースサンプリングを再現するには、この演算子の2つのデフォルトパラメータ設定を変更する必要があります。 ラベルの事前確率を再スケールし、マージナルスキューを許可する必要があります。 falseに設定されます。さらに、ブール（二項）ラベルを使用する必要があります。

この演算子には、入力としてExampleSetが必要です。異なる形式の事前知識を抽出するために、別のモデルをオプションの追加入力として提供することができます。このモデルの予測は、トレーニングセットの初期重み付けを生成するために使用されます。演算子の出力は、条件付きクラス確率の推定または単純な鮮明な分類に適用可能な分類モデルです。指定された数までの内部ベースモデルが含まれます。オプションの初期モデルの場合、このモデルは出力モデルにも保存され、モデル適用中に同じ初期重みが生成されます。

アンサンブル理論のブースティングはアンサンブル手法であるため、ここではアンサンブル理論の概要について説明しました。 Ensembleメソッドは、複数のモデルを使用して、構成モデルのいずれかから得られるよりも優れた予測パフォーマンスを取得します。言い換えると、アンサンブルは、強い学習者を生成するために、多くの弱い学習者を組み合わせる手法です。通常、アンサンブルの予測を評価するには、単一のモデルの予測を評価するよりも多くの計算が必要です。そのため、アンサンブルは、多くの余分な計算を実行することにより、貧弱な学習アルゴリズムを補う方法と考えることができます。

アンサンブルはそれ自体が教師あり学習アルゴリズムです。これは、アンサンブルをトレーニングしてから予測を行うために使用できるためです。したがって、訓練された集団は単一の仮説を表します。ただし、この仮説は、それが構築されたモデルの仮説空間に必ずしも含まれるわけではありません。したがって、アンサンブルは、表現できる機能の柔軟性が高いことを示すことができます。この柔軟性により、理論的には、単一のモデルよりもトレーニングデータをオーバーフィットできますが、実際には、いくつかのアンサンブル手法（特にバギング）は、トレーニングデータのオーバーフィットに関連する問題を軽減する傾向があります。

経験的に、アンサンブルは、モデル間に大きな多様性がある場合により良い結果をもたらす傾向があります。したがって、多くのアンサンブルメソッドは、組み合わせたモデル間の多様性を促進しようとします。おそらく直感的ではありませんが、よりランダムなアルゴリズム（ランダムな決定木など）を使用して、非常に意図的なアルゴリズム（エントロピーを削減する決定木など）よりも強いアンサンブルを生成できます。ただし、さまざまな強力な学習アルゴリズムを使用することは、多様性を促進するためにモデルをダムダウンする手法を使用するよりも効果的であることが示されています。