キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

多ラベル問題での外部テストおよび精度計算方法について

rtnka
イメージセンサー

多ラベル問題での外部テストおよび精度計算方法について

①多ラベル問題での外部テストについて

モデルの予測タブから予測データをUploadする際、

ターゲット列に値が入力されていると、

DataRobotでは「外部テスト」として扱い、その精度をリーダボード上に追加できると理解しております。

 

こちら、多ラベルでは実装されていないのでしょうか。

(画面を確認した限り見えなく、、、)

 

 

②多ラベル問題での精度計算について

リーダボード上に表示されるAUCやloglossといった値の計算はどのようにして行われるのでしょうか。

 

各ラベルに対する2値分類の精度計算結果を平均しているのでしょうか。

現在、外部テストが行えないため自分の手元で精度計算を行おうと思っておりご質問させていただきました。

 

 

 

 

 

 

 

 

 

 

 

5件の返信5
YasunariN
データサイエンティスト
データサイエンティスト

@rtnka ご質問ありがとうございます。

①外部テストですが以下のマニュアルにございますように教師あり時系列以外のすべてのプロジェクトタイプに対応しておりますので、多ラベル分類でも利用可能です。(念の為、私の手元でも確認致しました。)

https://docs.datarobot.com/ja/docs/predictions/pred-test.html#make-predictions-on-an-external-test-d...

スクリーンショット 2023-01-07 0.54.07.png

②精度の算出方法ですが以下のマニュアルにありますように、AUCでは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行っています。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#aucweighted-auc

LogLossでは多クラス用のLogLossの計算式が用いられます。

https://docs.datarobot.com/ja/docs/modeling/reference/model-detail/opt-metric.html#loglossweighted-l...

dnt-opt-logloss-2.png

よろしくお願い致します。

0 件の賞賛
rtnka
イメージセンサー

@YasunariN 

ご回答ありがとうございます。

①②ともに、多クラス分類に関するご確認結果かと思いますが、多ラベルではいかがでしょうか。

 

①:画像が多クラスのものかと

②:以下の記載がdocにありますが、多クラスについての言及でした。

多ラベルですと、クラスAとBが同時に発生する可能性もあるため、考え方が異なるのでは?と思っております。

 

正例と負例を識別する能力を測定します。多クラスの場合、AUCは各クラスについて一対多で計算された後にクラスの出現頻度に基づいた加重平均を行います。

 

 

0 件の賞賛
YasunariN
データサイエンティスト
データサイエンティスト

@rtnka 大変失礼致しました。おっしゃるように多クラスプロジェクトの場合でのご回答をしておりました。
①現在のところ、多ラベルプロジェクトでは外部テストは今のところ未対応となっております。
②計算方法につきましては現在確認しておりますのでお待ちいただけますと幸いです。

YasunariN
データサイエンティスト
データサイエンティスト

@rtnka ご連絡遅れ、失礼致しました。添付の画像がマルチラベルでの評価の計算方法になります。

LogLossは、まず各インスタンスについて計算され、次にインスタンス間で平均化され、最後にラベルの数(画像の例では4)で割ることでスケーリングされます。AUC・PR-AUCは、まず各ラベルについて計算され、次にラベル間で平均化されております。

 

YasunariN_1-1679457432588.png

 

 

0 件の賞賛
rtnka
イメージセンサー

ご回答ありがとうございます!仕様について理解しました。