AIが何を学習したのかを知ろう

キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

AIが何を学習したのかを知ろう

このレッスンのゴール

 

AIがブラックボックスですと、いくら良い結果が得られそうでも、現場の人は使ってくれません。そこで、AIがデータからどういうパターンを見つけたのか、DataRobotを使って確認していきましょう。

 

 

 

課題

 

前のレッスンで、AIが「成約する確率が高い」と予測した案件を優先して営業活動することにより、成約率の大幅な向上が期待できることが分かりました。

早速、AIの予測を元に「営業案件リスト」を作って、営業さんに「このリストのお客様に営業をかけて行きませんか?」と提案してみました。

すると、営業さんの反応は消極的です。

「単に『AIがこの案件は成約しそうと予測してます』じゃ、安心して行けないな。もし、成約率が落ちたら、その分のコミッションは保証してくれるの?」

「『成約率が上がりそう』っていうけど、俺の予測とAIの予測はどこが違うの?」

「俺は、昔のコネがあるところには絶対に行きたいんだよね。それ全部入ってる?」

確かに、AIがどうしてそのように予測したのかを知らないと、AIの予測のみにしたがって営業活動を行うのには不安を感じます。

課題:AIの予測結果を現場の人が使ってくれない。

対策:AIがデータから学習した内容を調べて、AIがどうしてそのように予測したのかを現場の人に説明する。

 

 

 

AIがデータから学習した内容を知ろう

 

営業さんに、AIの予測結果を使って営業活動をしてもらうためには、AIがどうしてそのように予測したのかを説明する必要があることが分かりました。

DataRobotには、AIがデータから学習した内容を知るためのビジュアライゼーションが豊富に用意されているようです。

 

 

実習:DataRobotを使ってみよう

 

それでは、DataRobotを使って、AIが、どういう案件が成約する確率が高く、どういう案件が成約する確率が低い、と学習したのかを見てみましょう。

 

 

成約に関係のある特徴量を知る

 

まず、たくさんの特徴量の中で、どれが成約と関係あるとAIは学習したのでしょうか?

※「特徴量」は「説明変数」とも呼びます。データの列のことです。

DataRobotでは、「特徴量のインパクト」という機能で、それが分かるようになっています。一緒に見ていきましょう。

下図を参照して、以下の手順で、特徴量のインパクトを表示してください。

  1. 画面最上部にある「モデル」をクリックしてください。
    リーダーボードが表示されます。

  2. 一番上のデプロイ推奨というバッジの付いたモデルの名前をクリックしてください。
    ※特徴量のインパクトはモデルごとに異なります。モデルごとに学習方法が異なるので、その学習した内容を示す特徴量のインパクトもモデルごとに異なるのです。ここでは、これから使おうとしている「DataRobotが推奨するモデル」の特徴量のインパクトを見ていきます。

  3. 表示されたメニューから「解釈」をクリックしてください。
    特徴量のインパクト」が表示されます。
    ※もし特徴量のインパクトを有効化というボタンが表示されましたら、それをクリックして、特徴量のインパウトが表示されるまでお待ちください。

 feature_impact.png

 

特徴量のインパクトの部分だけを取り出すと、下図のようになります。

feature_impact_2.png

縦軸は、特徴量が、成約するかどうかを予測するのに重要な順番で表示されています。

横軸は特徴量の重要度を表します。最も重要な特徴量の重要度を100%として相対的に表現しています。

具体的には、案件が成約するかどうかを予測するのに最も重要な特徴量は「流入経路」です。すなわち、資料のダウンロードページにどこから来たのかが成約するかどうかを予測に重要な役割を果たすとAIは学習したようです。これは意外ですね。AIの予測を信じて良いのか、不安になります。これに関しては、後ほど詳しく見ていきます。

2番目に重要な特徴量は「導入予定時期」で、この重要度は「流入経路」の重要度の半分くらい(55%)です。

表にまとめると、下表のようになります。

特徴量名 もっとも重要な特徴量に対する相対的な重要度
流入経路 1.00
導入予定時期 0.55
関与 0.40
ダウンロードの目的 0.39
職種 0.20
業種 0.11
導入予算状況 0.10
役職 0.06
ウェビナー受講履歴 0.04

 

「流入経路」以外は、納得のいく特徴量ばかりが並んでいます。少し、安心してきました。

ただ、順序は、営業さんが重視している順序とは異なる部分もありそうです。例えば、ある営業さんは「『役職』を重視して営業をかけている」と言っていたのですが、AIは「役職」はそれほど重要ではないと学習したようです。

さて、この特徴量のインパクトを見ていると、一点気になるところがあります。たしか、特徴量は12個あったはずですが、それが全部表示されていません。

実は、特徴量は「たくさんあればあるほど良い」というものではありません。むしろ、成約に関係ない特徴量は取り除いてしまった方が精度が上がる場合があります。DataRobotは、データにある特徴量をすべて使わずに、成約に関係なさそうな特徴量を取り除いて、予測精度が向上しないか、自動で試してくれます。今の場合、「従業員数」「ダウンロードからの日数」「キャンペーン応募履歴」の3つは、案件が成約するかどうかの予測には関係ないようで、取り除いた方が精度が向上するようです。

DataRobotがこうした特徴量の絞り込みを自動で試してくれるので、皆さんは、関係ありそうな特徴量はとりあえずすべて投入するようにしてください。今回の「流入経路」のように、意外に重要な特徴量が見つかる場合があります。

 

 

それぞれの特徴量がどういう値だと成約するのかを知る

 

「特徴量のインパクト」は、案件が成約するかどうかを予測するのにどの特徴量が重要かということをランキング形式で示すだけです。それぞれの特徴量がどういう値だと案件の成約確率が高くなって、どういう値だと低くなるのかは分かりません。

DataRobotでは、それを「特徴量ごとの作用」というビジュアライゼーションで見ることができます。一緒に見ていきましょう。

今、「特徴量のインパクト」を見ている状態にあるとして、下図を参照して、以下の手順で「特徴量ごとの作用」を表示してください。

  1. 特徴量ごとの作用」をクリックして、特徴量ごとの作用が表示されるまで、お待ちください。
    ※もし、「特徴量ごとの作用を計算中…」と表示されましたら、グラフが表示されるまでお待ち下さい。また、もし特徴量ごとの作用を計算しますというボタンが表示されましたら、それをクリックして、グラフが表示されるまでお待ちください。

feature_effects.png

 

特徴量ごとの作用の部分だけを取り出すと、下図のようになります。

feature_effects_2.png

 左側には「特徴量のインパクト」と同じものが表示されています。これはセレクタになっていて、特徴量の名前をクリックすると、右側に、その特徴量の「特徴量ごとの作用」が表示されます。初期状態は、一番上の特徴量が選択されています。今の場合は「流入経路」です。

それでは、「流入経路」の「特徴量ごとの作用」をよく見てみましょう。

feature_effects_2.png

縦軸の「ターゲット(90日以内に成約)」は、最初の営業活動から90日以内に成約する確率を表しています。横軸は「流入経路」です。資料のダウンロードページにどこから来たかを示しています。したがって、黄色い点は、「流入経路」がどの値だと案件が成約する確率がどのくらいになるかを表しています。

※横軸が数値のような連続して変化する特徴量の場合は、黄色いで表現されます。

資料のダウンロードページに来る経路には、以下の3通りがあります。

  • メールマガジン
  • 動画広告
  • 自社サイト(検索サイト)

メールマガジンの中のリンクをクリックして、資料のダウンロードページに来た場合、その案件の成約確率は3.5%とかなり低くなると予測されます。

自社サイトの内部リンクなどをたどって来た場合は、若干上がって、5.8%になると予測されます。

そして、90秒のビデオを見たあとに表示されるリンクをクリックして来た場合は、成約確率が16.4%にまで跳ね上がります。こんなことってあるのでしょうか?

このグラフをマーケティング部の人に見せて、意見を聞いてみました。すると「あるかもしれないよ」という答えが返ってきました。

ビデオ広告で90秒というのはとても長く、最後まで見る人は少ないのだそうです。資料のダウンロードページへのリンクはビデオの最後に表示されるので、資料のダウンロードページに来たということは、その長いビデオを最後まで見たということを表しています。90秒もある長いビデオを最後まで見るということは、私達のサービスにとても関心があると考えられるので、成約する確率が高いのだろう、というのがマーケティング部の見解でした。

当初は「流入経路」が成約するかどうかの予測に重要な役割を果たしているということには意外な印象を受けましたが、マーケティング部の話を聞いて、納得できるようになりました。

このように、意外に重要な特徴量が見つかることがありますので、最初の段階では、「関係あるかもしれない」特徴量をなるべく投入してモデルを作ってみることが重要です。関係の無い特徴量が含まれていても、前述のように、DataRobotが自動で絞り込んでくれるからです。

それでは、2番目の「導入予定時期」の「特徴量ごとの作用」も見てみましょう。下図を参照して、以下の操作をしてください。

  1. 左側のセレクタの「導入予定時期」をクリックしてください。

  2. ソート条件を「影響のサイズ」に変更してください。これで、「ターゲット(90日以内に成約)」の小さい順に表示されます。

feature_effects_3.png

「情報収集/調査段階」の案件の成約確率が最も低く予測されるのは納得がいきます。

次に低いのが「3ヶ月以内」というのはなぜでしょうか?

今度は、営業さんに聞いてみることにしました。すると、「これは分かるような気がする」と言われました。

大手の会社になると、稟議に時間がかかるので、3ヶ月では足りない場合が多いのだそうです。それでは、なぜ資料をダウンロードするのかと言うと、たいてい、そういう会社では、稟議を通すときに「他の製品と比較したのか?」とか「相見積もりはとったのか?」と聞かれるので、そのために資料や見積もりをとるところは多いのだそうです。

マーケティング部や営業さんと一緒に分析した結果、

「AIが学習した結果は、よく考えると、もっともだね」

「AIの予測に基づいて営業活動をしてもいいかもしれないね」

と、営業さんが前向きに取り組んでくれることになりました。ただ、営業さんの昔からコネがある会社がすべて含まれているわけではないので、次のように運用することにしました。

  • 70%の案件は、AIが成約確率が高いと予測した案件にする
  • 残りの30%の案件は、営業さんが好きに選んで構わない

これで運用してみて、成約率がどう変わるかを確認して、AIの予測を使う比率を調整していけば、営業さんの納得を得ながらAIを使っていくことができそうです。

 

 

 

AIが学習したことを知ることの効果

 

AIがデータから学習したことを知ることで、幾つか良いことがありました。

 

 

アンケート項目の削減

 

まず、アンケートの項目を減らすことができました。

「特徴量のインパクト」を見たときに、DataRobotが特徴量の絞り込みを自動で行うことをお話しました。すなわち、成約するかどうかを予測するのに関係無いと思われる特徴量を自動で使わないようにするのです。今の場合、「従業員数」が使われなくなっています。

そこで、たった一つではありますが、アンケート項目から「従業員数」を削除することにしました。これは、次のような副次的な効果をもたらします。

  • アンケート項目が減ると、アンケートに真面目に答えてくれるようになるので、アンケート結果の品質が上がり、結果として、モデルの精度も上がる可能性がある。
  • アンケートの集計を外部の業者に委託していて、費用がアンケート項目数に比例するので、アンケート項目が減ると、費用を削減することができる。

 

 

マーケティング施策への反映

  

同様に、「キャンペーン応募履歴」も成約するかどうかにはあまり関係が無いようです。

マーケティング部門では、毎月、詳細なアンケートに答えていただくのと引き換えに抽選で5名にTシャツをプレゼントするというキャンペーンも実施しています。AIに指摘される前から、うすうす感じていたのですが、このプレゼントが案件の成約に結びつくことはなさそうです。このアンケートで得られる結果もあまり有効活用できていないので、今回のAIの指摘をきっかけとして、このキャンペーンはやめることにしました。

※成約の予測に全く役に立たないわけではありませんが、どのモデルでも、他の特徴量にくらべて影響度は低いです。しかも、データをよく見ると、キャンペーンに応募をした企業の方が成約率が低いので、その点でもキャンペーンは実施する価値は無いと言えます。

 

 

 

まとめ

 

AIの予測結果を現場の人に使ってもらうために、AIがデータからどんなことを学習したのかを見てみました。

AIが学習した内容には意外なこともありましたが、よく考えると納得できる内容で、AIの予測結果を安心して現場の人に使ってもらえそうです。

また、AIがデータから学習した内容を応用して、副次的な効果も期待できそうです。

 

 

 

アンケート

 

お疲れさまでした!

AIがどういうものか、仕事でAIを使うとはどういうことか、お分かりいただけたでしょうか?

最後に、コンテンツをより良いものにしていくために、アンケートにご協力いただけますと幸いです。

ここをクリックして、アンケートにお進みください。よろしくお願い致します。

バージョン履歴
最終更新日:
‎04-27-2021 11:22 AM
更新者:
寄稿者