キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 

二値分類でウェイトをつけた場合のAIスコアの補正

ynabekur
イメージセンサー

二値分類でウェイトをつけた場合のAIスコアの補正

不均衡データに対して、ウェイトをつけて予測すると、予測値がウェイト後の正例・負例分布に基づいたAIスコアになると思いますが、これを元の分布に基づいた確率値に変換するにはどうすればよいでしょうか。

Next Best Offer等、モデル間の予測値を比較したいときに、課題となっています。

0 件の賞賛
1件の返信1
Ryosuke Hata
データサイエンティスト
データサイエンティスト

ご質問ありがとうございます。

 

ウェイトをつけた指標(加重logloss、加重AUCなど)をDataRobotのダッシュボード上でウェイトをつけていない状態に変換することはできません。また、指標の計算の途中でウェイトを利用していますので、これを元の指標に戻すのはなかなか難しいと思います。

 

そのため、モデルをウェイトあり/なしでの比較を行うためには、あらかじめ一定数のデータを評価用に分けておく必要があります。評価用に分ける方法として二通りあると思っています。

 

1. ファイルごと分けておく方法
あらかじめモデル間の性能評価用のデータとして一部を学習させずに残しておき、学習の後に外部テストとして使用すればウェイトあり/なしでの性能の比較が可能です。

あらかじめ外部テストのデータをアップロードしておけば、図のようにリーダーボードのメニュー→リーダーボードオプション→外部テストの列を表示、でみることができます。

スクリーンショット 2021-10-12 22.05.07.png

2. ホールドアウトとして分けておく方法

もう一つは、datarobotの設定を使って、ホールドアウト用のデータとしてパーテションの設定を行っておく方法です。
パーテションの設定については、ドキュメントから確認することができます。
パーテションでホールドアウトの設定をしたものについては、ウェイトを全て同じ値(例えば1)にしておけば、ホールドアウトの評価値は元々の指標になります。