キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

多ラベル問題での外部テストおよび精度計算方法について

rtnka
青色LED

多ラベル問題での外部テストおよび精度計算方法について

①多ラベル問題での外部テストについて

モデルの予測タブから予測データをUploadする際、

ターゲット列に値が入力されていると、

DataRobotでは「外部テスト」として扱い、その精度をリーダボード上に追加できると理解しております。

 

こちら、多ラベルでは実装されていないのでしょうか。

(画面を確認した限り見えなく、、、)

 

 

②多ラベル問題での精度計算について

リーダボード上に表示されるAUCやloglossといった値の計算はどのようにして行われるのでしょうか。

 

各ラベルに対する2値分類の精度計算結果を平均しているのでしょうか。

現在、外部テストが行えないため自分の手元で精度計算を行おうと思っておりご質問させていただきました。

 

 

 

 

 

 

 

 

 

 

 

1件の返信1
YasunariN
データサイエンティスト
データサイエンティスト

@rtnka ご質問ありがとうございます。

①外部テストですが以下のマニュアルにございますように教師あり時系列以外のすべてのプロジェクトタイプに対応しておりますので、多ラベル分類でも利用可能です。(念の為、私の手元でも確認致しました。)

https://docs.datarobot.com/ja/docs/predictions/pred-test.html#make-predictions-on-an-external-test-d...

スクリーンショット 2023-01-07 0.54.07.png

②精度の算出方法ですが以下のマニュアルにありますように、AUCでは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行っています。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#aucweighted-auc

LogLossでは多クラス用のLogLossの計算式が用いられます。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#loglossweighted-l...

dnt-opt-logloss-2.png

よろしくお願い致します。

0 件の賞賛