English
残差タブの「残差分布」の中の、一番左の
「残差と実測」のグラフが右下がり傾向にあるとき
どのようにチューニングをすれば良いかをコメント頂けますと幸いです。
データロボットのマニュアルはこちらを参照しております
https://docs.datarobot.com/ja/docs/modeling/analyze-models/evaluate/residuals.html
Linear Regressionで残差と実測のグラフを表示すると
概ね横一列に点が並んでいるのですが
Eureqa Regressor (Quick Search: 250 Generations)の場合、上記のマニュアルの図と同じような、下記の右下がりのグラフとなってしまいました。
つまり残差プロットが、目的変数の値が大きくなるほど過小評価され、小さくなるほど過大評価となる傾向が見られました。
本来であれば横一列に点が並ぶ方が望ましいと思うのですが
このような場合、どのようなチューニング（またはそもそも）のアクションが考えられるでしょうか？
なお別件となりますが、残差タブの横にリフトチャートがありますが、
こちら実測のオレンジの丸のサイズが大小あるのですが、何の大小を表現しているかマニュアルに記載がないように思えたので、お分かりでしたらコメント頂けますと幸いです。
なお青の線上にも一部、白い十字マークが付与されている点があるのですが、十字の意味もコメント頂けますと幸いです。
よろしくお願いいたします。
Kei-san
コメント頂きありがとうございます。
新規で特徴量を追加すると、この傾向が変わる可能性が高い、ということですね。
リフトチャートにつきまして、スクリーンショットを添付させていただきます。
コメントいただけますと幸いです。
よろしくお願いいたします。
@Kei -san
コメント頂きありがとうございます。
データの特性を捉えたモデルを構築することができていれば、残差plotはノイズだけになるはずで、そこに規則性は生じない結果が出る
ということでおっしゃる通りだと思う一方で、同じデータセットなのですが、もっと単純な Linear Regression の結果が下記で
左端の、実測と残差のグラフが、縦軸の０付近に上記よりも点が集まっているので
こちらのほうが「データの特性を捉えたモデル」にはなっているような気もする一方で
R2乗はこちらのが低く、さらにこの決定係数が-1.6という状況なので、良いモデルとは言えなさそうです。
上述のEureqa Regressor は過学習してしまい、性能指標自体は高くなったが、
過学習の裏付けとして、残差分布は右下がりになっていると考えられるでしょうか？
今回の例のように「残差分布」にて左上から右下へ一直線の残差プロットに関しては、「予測分布」の方で予測vs実測のプロットを見ていただくと問題点が直感的にわかると思います。
下図の例であれば、実測と無関係に一定の値をただ予測している、と言うことが分かります。このケースであれば結局「何も予測できていないモデル」が出来ており、今のデータには予測に必要な特徴量が入っていないと言う結論になるかと思います。（該当のモデルの決定係数は恐らく0付近と推察します。）
@Kei -san
コメントありがとうございます。
確かにy軸のスケールに着目すると
Linear regressionの方が、外すときに幅（残差）が大きくなっているので
Eureqa RegressorよりもLinear Regressionの方が単純に予測精度が低い
という風に表現するのが妥当なように思えてきました。
@Isao -san
コメントありがとうございます。
予測分布を確認すると、
Linear Regression については
となっており、縦か横に一直線、という状況にまではいっていない
という風にも解釈できそうでしょうか？
なお、Eureqa Regressor (Quick Search: 250 Generations)
の予測分布はこちらで
決定係数は0.13と低いものの、こちらも
実測とは無関係に予測を一直線に出す、とまではいっていないようにも見えますでしょうか？
（実測が1.8等の特に大きいデータの情報を反映していないという観点もありますが）
