DataRobotオンラインハンズオンセッション(不正検知)

DRCommunityJP
モデレータ
モデレータ
0 2 1,232

DataRobot AI Platformのフリートライアルを使った、オンラインハンズオンセッションを定期的に開催しております。

12/16開催のハンズオンウェビナーは「不正検知」をテーマに行いました。

このとき使用した学習データと予測用データは下のリンクからダウンロードできますので、是非ビデオをご覧になりながら、DataRobotに触れてみてください。

今後も、ハンズオンセミナーを定期的に開催しています。

DataRobot AI Platformフリートライアルににて日程をご案内しておりますので、ぜひお申し込みの上、ハンズオンをご体験ください。

なお、フリートライアルの有効期限は14日間ですので、ハンズオンを申し込まれる場合は、ハンズオン実施日の1~2日前にフリートライアルに申し込まれることをおすすめします。

2 コメント
kyosuke
NiCdバッテリー

ー過去に遡って不正データを取得しようとした場合、数年・数十年前のデータを入れないといけないわけですが、その場合、正例と負例で時期がずれないようにしようとすると、正例も数年・数十年前のデータに遡って入れていく必要が出てくるかと思います。そうするべきなのか、またはえいやと過去の分は削除すべきなのか、そこらへんの利用データのベストプラクティスはありますか?

ー不正と判断したらその決済や発送は止めてしまうわけですが、そうなった場合、実際にそれが正しかったのか間違えていたのかはわからないと思います。かといってチャージバックだけを考慮するのもおかしいかと思うのですが、そこらへんのモデルの運用のベストプラクティスはありますでしょうか?

Miogawa
データサイエンティスト
データサイエンティスト

@kyosuke さん、

もし過去の不正も入れるのであれば、正常なデータも同じ期間で入れていただくのが良いです。その際にデータ量が大きくなるのが問題であれば、正常なデータ側に関してはダウンサンプリングしていただくのが良いかと思います。

ただ、過去不正と判断したものがしっかりとセキュリティ対策などで止められているというのであれば、そのデータを学習する価値はほとんどないので、バッサリと過去データを全て捨てていただくのが良いかと思います。

不正データが過去データをバッサリ切ったときに少なくなりすぎるのであれば、以下のブログで書いているプロキシターゲットなどを使って対応していただくのが良いです。

https://www.datarobot.com/jp/blog/sophisticated-fraud-detection-with-ai/

初期段階での運用スコアとしては、そもそも既存アプローチとの比較になると思うので、コントロールグループを設けていただき、既存手法で不正とならないものが何件不正と判定されて、それが実際どうだったのかをリコールやプリシジョンといつもどおりの指標で見ていただくのは重要です。

定常的に運用されることが決まった不正モデルの運用スコアに関してですが、前提として不正の発生数は時系列でどう変わっているのかを見ていただき、対応によってどれだけそのラインから外れているのかを見ていただくのが良いかと思います。定常的に0.5%の不正が報告されていたものが、0.2%になったのであればそれはそのタイミングで介入効果として見るという形です。そもそも不正の数が時系列で変化するのであれば、その数自体の時系列分析を行うのが良いかと思います。

お知らせ
DataRobotコミュニティにようこそ!

AIとMLに関するあらゆることについて探求し、学び、コミュニティの仲間と交流しましょう。

クラスルーム形式のトレーニングをご希望の方は DataRobot University へどうぞ