多ラベル問題での外部テストおよび精度計算方法について

[rtnka]

①多ラベル問題での外部テストについて

モデルの予測タブから予測データをUploadする際、

ターゲット列に値が入力されていると、

DataRobotでは「外部テスト」として扱い、その精度をリーダボード上に追加できると理解しております。

こちら、多ラベルでは実装されていないのでしょうか。

（画面を確認した限り見えなく、、、）

②多ラベル問題での精度計算について

リーダボード上に表示されるAUCやloglossといった値の計算はどのようにして行われるのでしょうか。

各ラベルに対する2値分類の精度計算結果を平均しているのでしょうか。

現在、外部テストが行えないため自分の手元で精度計算を行おうと思っておりご質問させていただきました。

[YasunariN]

@rtnka ご質問ありがとうございます。

①外部テストですが以下のマニュアルにございますように教師あり時系列以外のすべてのプロジェクトタイプに対応しておりますので、多ラベル分類でも利用可能です。（念の為、私の手元でも確認致しました。）

https://docs.datarobot.com/ja/docs/predictions/pred-test.html#make-predictions-on-an-external-test-d...

②精度の算出方法ですが以下のマニュアルにありますように、AUCでは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行っています。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#aucweighted-auc

LogLossでは多クラス用のLogLossの計算式が用いられます。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#loglossweighted-l...

よろしくお願い致します。