テキスト型の特徴量について

[DRCommunityJP]

①特徴量の型：テキスト、カテゴリについて、 特徴量のインパクト、作用でどのように利用されているのでしょうか？ 例）購買有無をターゲットにした場合、購入者の顧客アンケートでは「〇〇が良かった」などの出現頻度が多いなど

②特徴量の型：テキストは形態素解析等で単語抜き出しの可否や数値データに変換しているのでしょうか

[Kei · Accepted solution]

1.特徴量のインパクト、作用におけるテキスト、カテゴリの扱いについて インパクトではテキスト、カテゴリの扱いは特に数値と変わりがありません。入力データ側を行方向にランダマイズすることでどれだけ予測力が低下するかを計測し定量化しています。(参考:https://blog.datarobot.com/jp/permutation-importance) 作用においては、テキストの特徴量は用いられません。カテゴリについては数値と同じように算出されます。（参考:https://blog.datarobot.com/jp/2018/02/15/modelxray）

2.テキストデータの扱いについて 基本的には形態素解析を行った上で、bag-of-wordsの処理をかけています。処理について詳しく知りたい場合は、BP上で前処理部分のドキュメンテーションを参照下さい。