Remove Duplicates

概要

この演算子は、指定された属性に基づいてすべての例を相互に比較することにより、ExampleSetから重複した例を削除します。選択した属性の値が同じ場合、2つの例は重複していると見なされます。

詳細

Remove Duplicatesオペレーターは、指定された属性に基づいてすべての例を相互に比較することにより、ExampleSetから重複した例を削除します。この演算子は、すべての重複した例のうちの1つだけが保持されるように、重複した例を削除します。選択した属性の値が同じ場合、2つの例は重複していると見なされます。属性は、 属性フィルタータイプパラメーターおよびその他の関連パラメーターから選択できます。 2つの属性「att1」と「att2」が選択され、「att1」と「att2」にはそれぞれ3つの値と2つの可能な値があるとします。したがって、これら2つの属性の合計6（3 x 2）の一意の組み合わせがあります。したがって、結果のExampleSetには最大6つの例を含めることができます。この演算子は、すべての属性タイプで機能します。

入力

サンプル入力（IOObject）この入力ポートには、ExampleSetが必要です。これは、添付のプロセス例のRetrieveオペレーターの出力です。他の演算子の出力も入力として使用できます。

出力

設定出力の例（IOObject）指定されたExampleSetから重複した例が削除され、結果のExampleSetがこのポートを介して配信されます。
オリジナル（IOObject）入力として指定されたExampleSetは、このポートを介して出力に変更せずに渡されます。これは通常、別の演算子で同じExampleSetを再利用するため、または結果ワークスペースでExampleSetを表示するために使用されます。
複製（IOObject）指定されたExampleSetから複製された例は、このポートを介して配信されます。

パラメーター

attribute_filter_typeこのパラメーターを使用すると、属性選択フィルターを選択できます。必要な属性を選択するために使用する方法。次のオプションがあります。
- all：このオプションは、単にExampleSetのすべての属性を選択します。これがデフォルトのオプションです。
- single：このオプションでは、単一の属性を選択できます。このオプションを選択すると、別のパラメーター（属性）がパラメーターパネルに表示されます。
- サブセット：このオプションを使用すると、リストから複数の属性を選択できます。 ExampleSetのすべての属性がリストに存在します。必要な属性は簡単に選択できます。メタデータが不明な場合、このオプションは機能しません。このオプションを選択すると、別のパラメーターがパラメーターパネルに表示されます。
- regular_expression：このオプションを使用すると、属性選択用の正規表現を指定できます。このオプションを選択すると、他のパラメーター（正規表現、式以外の使用）がパラメーターパネルに表示されます。
- value_type：このオプションを使用すると、特定のタイプのすべての属性を選択できます。型は階層的であることに注意してください。たとえば、実数型と整数型は両方とも数値型に属します。このオプションを使用して属性を選択する場合、ユーザーはタイプ階層の基本を理解している必要があります。このオプションを選択すると、他のパラメーター（値の型、値の型の例外を使用）がパラメーターパネルに表示されます。
- block_type：このオプションは、値タイプのオプションと機能が似ています。このオプションにより、特定のブロックタイプのすべての属性を選択できます。このオプションを選択すると、他のいくつかのパラメーター（ブロックタイプ、ブロックタイプの例外を使用）がパラメーターパネルに表示されます。
- no_missing_values：このオプションは、どの例でも欠損値を含まないExampleSetのすべての属性を選択するだけです。欠損値が1つでもある属性は削除されます。
- 数値フィルター：このオプションを選択すると、パラメーターパネルに別のパラメーター（数値条件）が表示されます。例がすべて上記の数値条件を満たす数値属性がすべて選択されます。指定された数値条件に関係なく、すべての名義属性も選択されることに注意してください。
範囲：選択
attributeこのオプションから目的の属性を選択できます。メタデータがわかっている場合は、属性パラメーターのドロップダウンボックスから属性名を選択できます。範囲：文字列
attributesこのオプションから必要な属性を選択できます。これにより、2つのリストを含む新しいウィンドウが開きます。すべての属性は左側のリストに存在し、右側のリストにシフトできます。右側のリストは、名義から数値への変換が行われる選択された属性のリストです。他のすべての属性は変更されません。範囲：文字列
regular_expressionこの式と名前が一致する属性が選択されます。正規表現は非常に強力なツールですが、初心者には詳細な説明が必要です。正規表現の編集およびプレビューメニューから正規表現を指定することは常に有効です。このメニューは、正規表現の良いアイデアを提供します。このメニューでは、異なる表現を試して、結果を同時にプレビューすることもできます。これにより、正規表現の概念が強化されます。範囲：文字列
use_except_expression有効にすると、選択したタイプの例外を指定できます。このオプションを選択すると、別のパラメーター（ 値のタイプを除く ）がパラメーターパネルに表示されます。範囲：ブール
except_regular_expressionこのオプションを使用すると、正規表現を指定できます。この式に一致する属性は、最初の式（ 正規表現パラメーターで指定された式）に一致する場合でも除外されます。範囲：文字列
value_type選択する属性のタイプは、ドロップダウンリストから選択できます。次のタイプのいずれかを選択できます：名義、テキスト、二項、多項式、ファイルパス。範囲：選択
use_value_type_exception有効にすると、選択したタイプの例外を指定できます。このオプションを選択すると、別のパラメーター（ 値のタイプを除く ）がパラメーターパネルに表示されます。範囲：ブール
except_value_typeこの型に一致する属性は、前述の型、つまり値型パラメーターの値に一致した場合でも、最終出力から削除されます。ここでは、nominal、text、binominal、polynominal、file_pathのいずれかのタイプを選択できます。範囲：選択
block_type選択する属性のブロックタイプは、ドロップダウンリストから選択できます。ここで可能な値は「single_value」のみです。範囲：選択
use_block_type_exception有効にすると、選択したブロックタイプの例外を指定できます。このオプションを選択すると、別のパラメーター（ ブロックタイプを除く ）がパラメーターパネルに表示されます。範囲：ブール
except_block_typeこのブロックタイプに一致する属性は、前述のブロックタイプに一致した場合でも、最終出力から削除されます。範囲：選択
numeric_condition数値属性の例をテストするための数値条件をここで指定します。たとえば、数値条件「> 6」は、すべての例ですべての名義属性と6より大きい値を持つすべての数値属性を保持します。条件の組み合わせが可能です： ‘> 6 && <11’または ‘<= 5 || <0 ‘。しかし、&&および|| 1つの数値条件で一緒に使用することはできません。 ‘（> 0 && <2）のような条件|| （> 10 && <12） ‘は、&&と||の両方を使用するため許可されません。「>」、「=」、「<」の後に空白を使用します。たとえば、「<5」は機能しないため、代わりに「<5」を使用します。範囲：文字列
include_special_attributes特別な属性は、例を識別する特別な役割を持つ属性です。対照的に、通常の属性は単に例を示しています。特別な属性は、id、ラベル、予測、クラスター、重量、およびバッチです。範囲：ブール
invert_selectionこのパラメーターがtrueに設定されている場合、NOTゲートとして機能し、選択を反転します。その場合、選択された属性はすべて選択解除され、以前に選択されていなかった属性が選択されます。たとえば、属性「att1」が選択され、このパラメーターのチェック前に属性「att2」が選択されていない場合。このパラメーターを確認すると、「att1」が選択解除され、「att2」が選択されます。範囲：ブール
treat_missing_values_as_duplicatesこのパラメーターは、欠損値を重複として扱うかどうかを指定します。 trueに設定すると、欠損値は重複値と見なされます。範囲：ブール

チュートリアルプロセス

OutlookおよびWind属性に基づいてゴルフデータセットから重複する値を削除する

「ゴルフ」データセットは、検索演算子を使用してロードされます。 ExampleSetを見ることができるように、ブレークポイントがここに挿入されます。 Outlook属性には、「晴れ」、「雨」、「曇り」の3つの値があります。風属性には、「true」と「false」の2つの値があります。 OutlookおよびWind属性に基づいて重複する例を削除するには、このExampleSetに重複の削除演算子を適用します。属性フィルタータイプパラメーターは「値タイプ」に設定され、値タイプパラメーターは「ノミナル」に設定されるため、OutlookおよびWind属性に同じ値を持つ2つの例は重複していると見なされます。 Play属性は選択されていないことに注意してください。値のタイプは特別な属性であるため（ラベルの役割があるため）、値のタイプは公称です。特別な役割を持つ属性を選択するには、特別な属性を含めるパラメーターをtrueに設定する必要があります。 OutlookおよびWind属性には、それぞれ3および2の可能な値があります。したがって、結果のExampleSetには最大で6つの例、つまり属性値の可能な組み合わせごとに1つの例が含まれます。結果ワークスペースで結果のExampleSetを確認できます。 6つの例があり、すべての例にOutlookとWindの属性値の異なる組み合わせがあることがわかります。