キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

AUCの目安について

Giyu_Tom
NiCdバッテリー

AUCの目安について

本日の研修ではAUCが0.67くらいだったけれど、一般的にいくつまでを目指せば使えるモデルになるのか? AUC/MAPEなど様々な評価指標を教えていただきましたが、 実際に分析を行う時いくつになるまでモデルの精度を上げれば良いのか(ゴール)分からなかったです。 経験則になるのでしょうか?

0 件の賞賛
1件の返信1
Kei
データサイエンティスト
データサイエンティスト

AUCは1に近い方が良く、全くのランダムな予測であれば0.5の値をとりますが、

「AUCがいくらになれば使えるモデルだ」とデータサイエンス観点から断言することはできません。

ビジネス課題によってリコール、プレシジョン、偽陽性率、陰性的中率、などのどの指標を重視するかを考察し、それらの指標に基づいて閾値を変更しながらシミュレーションを行い、予測モデルが現実的に使えるかどうかをご判断いただくことになります。 「モデル作成に使用した学習データ」から得られるベストな精度の予測モデルをDataRobotは自動で作成しますが、それが現実的に使えるかどうかの判断には別の観点が必要ということになります。