解決済! 解決策の投稿を見る。
ご質問ありがとうございます。
まず、大前提としては100%モデルの精度は「 *(アスタリスク) 」付きの参考スコアであり、通常のモデルの精度スコアと比較しないで頂く性質のものになります。その為、再トレーニング前のモデルにて「*」のついていない、通常の交差検定の精度スコアで評価して頂くのが原則です。以下、ご回答です。
①ご理解の通り、100%モデルは交差検定を行うデータが残っていませんので、100%モデルの精度ではありません。100%モデルでチューニングされたハイパーパラメータを用いて、80%のモデルを構築し直して交差検定を行い、そのスコアを参考に表示します。しかし、交差検定のパーティションは通常のモデルと異なりますので、繰り返しですが精度の評価はできません。
②前述の通り、100%モデルはそもそも精度を評価出来ませんので、悪化して見えたとしてもCV=10の交差検定の精度スコアが良かったモデルを100%まで引き上げたモデルを採用するのが通常の選択肢になります。ただし、あまりに極端に悪化して気になる場合には、CV=10の交差検定スコアに極端にオーバーフィットしている可能性を検証した方が良いかもしれません。その場合、以下のような確認手段が取れます。
・交差検定モデルのホールドアウトのスコアの確認
・予測タブからトレーニングデータのダウンロードを行い、データのパーティションを確認し、極端なデータが検定データやホールドアウトに割り振られていないかを確認
・高度なオプションからランダムシードを変更し、違う組み合わせでCV=10の交差検定のスコアを確認
ご参考になりましたら幸いです。