多ラベル問題での外部テストおよび精度計算方法について

[rtnka]

①多ラベル問題での外部テストについて

モデルの予測タブから予測データをUploadする際、

ターゲット列に値が入力されていると、

DataRobotでは「外部テスト」として扱い、その精度をリーダボード上に追加できると理解しております。

こちら、多ラベルでは実装されていないのでしょうか。

（画面を確認した限り見えなく、、、）

②多ラベル問題での精度計算について

リーダボード上に表示されるAUCやloglossといった値の計算はどのようにして行われるのでしょうか。

各ラベルに対する2値分類の精度計算結果を平均しているのでしょうか。

現在、外部テストが行えないため自分の手元で精度計算を行おうと思っておりご質問させていただきました。

[YasunariN]

@rtnka ご質問ありがとうございます。

①外部テストですが以下のマニュアルにございますように教師あり時系列以外のすべてのプロジェクトタイプに対応しておりますので、多ラベル分類でも利用可能です。（念の為、私の手元でも確認致しました。）

https://docs.datarobot.com/ja/docs/predictions/pred-test.html#make-predictions-on-an-external-test-d...

②精度の算出方法ですが以下のマニュアルにありますように、AUCでは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行っています。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#aucweighted-auc

LogLossでは多クラス用のLogLossの計算式が用いられます。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#loglossweighted-l...

よろしくお願い致します。

[rtnka]

@YasunariN 

ご回答ありがとうございます。

①②ともに、多クラス分類に関するご確認結果かと思いますが、多ラベルではいかがでしょうか。

①：画像が多クラスのものかと

②：以下の記載がdocにありますが、多クラスについての言及でした。

多ラベルですと、クラスAとBが同時に発生する可能性もあるため、考え方が異なるのでは？と思っております。

正例と負例を識別する能力を測定します。多クラスの場合、AUCは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行います。

[YasunariN]

@rtnka 大変失礼致しました。おっしゃるように多クラスプロジェクトの場合でのご回答をしておりました。
①現在のところ、多ラベルプロジェクトでは外部テストは今のところ未対応となっております。
②計算方法につきましては現在確認しておりますのでお待ちいただけますと幸いです。

[YasunariN · Accepted solution]

@rtnka ご連絡遅れ、失礼致しました。添付の画像がマルチラベルでの評価の計算方法になります。

LogLossは、まず各インスタンスについて計算され、次にインスタンス間で平均化され、最後にラベルの数（画像の例では4）で割ることでスケーリングされます。AUC・PR-AUCは、まず各ラベルについて計算され、次にラベル間で平均化されております。

[rtnka]

ご回答ありがとうございます！仕様について理解しました。