精度指標のN/Aについて

[zawa]

オートパイロット後に自動で作られる100%モデルの検定・交差検定・ホールドアウトの精度指標がすべて「N/A」と表示されるのですが、どこに問題がありそうかご教示いただけると幸いです。

以下のドキュメントは読みまして、時系列プロジェクトではない二値分類で、データセットサイズはアップロード時点で743MBなので問題ないかと思っています。

https://app.datarobot.com/docs-jp/modeling/compare/leaderboard.html#understanding-scores-displayed-a...

※アップロード時データセットサイズが750MBギリギリなのですが、DataRobot上にアップロードすると超えてしまうといったことが起こり得たりするのでしょうか。。

[Miogawa · Accepted solution]

@zawa さん

時系列プロジェクトでないということはパーティションではOTVは使っていないという認識でよろしいでしょうか。時系列オプションを使用していなくともOTVを使用していると同じようにNAとなります。

750MB制限はDataRobotで読み込まれたときのエンコーディングを経て判定されているので手元でギリギリの場合にはアップロード後に超えている可能性はあります。元のファイルがshiift-jisなどだとUTF-8変換で日本語部分が増えるので、そこの影響もあった可能性があるかと思います。

ただ、基本的に100%学習などで表示される検定スコアのアスタリスク付きのものは検定パートも学習に一部利用している性質上他のアスタリスクが付いていないモデルと比較して同じ条件の検定になっていないのであくまで参考としていただくのが良いかと思います。

[zawa]

迅速にご回答いただき大変助かります。ありがとうございます。

パーティションでOTVは使用していないので、日本語部分でサイズが増えていたのかもしれないです。
ダウンサンプリングして再度試してみようと思います。

>基本的に100%学習などで表示される検定スコアのアスタリスク付きのものは検定パートも学習に一部利用している性質上他のアスタリスクが付いていないモデルと比較して同じ条件の検定になっていないのであくまで参考としていただくのが良いかと思います。

こちらもアドバイスいただきありがとうございます。
（比較に使う予定ではなかったのですが、見慣れないN/Aが表示されていたのでどこかで設定上のミスなどがあったら困ると思い質問させていただいておりました！）