キャンセル
次の結果を表示 
次の代わりに検索 
もしかして: 
DataRobot コミュニティ

モデルの業務適用について

1040727
リニアアクチュエータ

モデルの業務適用について

基本的な質問ですみません。これまでの社内事例から振り返ると、業務適用まで至らずPoCのみで終わったものが多い要因として、「モデルの精度を検証するにとどまり、業務適用した際の姿を描けていなかった」という点があると考えております。

一方、業務適用する先のシステムを考えた際、DataRobot導入以上にそこで費用がかかってしまうのではないかと想像しております。ゴールを考える必要がある一方井、その点が悩ましいと思っていますが、業務適用を考える際のTip的な知見があればお教えいただきたいです。

0 件の賞賛
7件の返信7
Miogawa
データサイエンティスト
データサイエンティスト

@1040727 さん

理想としてはアクションから考えるというのが主軸になるかと思います。

そもそものアクションを考えた際にそのテーマを行う価値がいまあるのか、あるとしてもどこまでの予算と体制で望まないといけないのかがクリアできます。またターゲットの定義をどこまで変えられる可能性があるのかなども序盤のフェーズで確認することができます。

また、私自身気を付ける点としては、特徴量エンジニアリングにこだわりすぎないという点もあります。どうしてもDataRobotのようにモデルが可視化できるツールを使っていると、こんな特徴量も入れた方が精度が出るなどわかってきてしまい、そちらに拘りたくなりますが、それゆえにデータフローまで大規模な変更が必須となるとおっしゃる通りインテグレーションでのコストや時間が大幅に膨らみます。なので、若干の精度なら目をつぶり、あまりデータフローに影響を与えづらい特徴量エンジニアリングに絞るなども意識します。

最後にデプロイの手法と段階も考えます。かっこいいインテグレーションを考えると直接APIでつないでリアルタイムとかありますが、SLAが合わない、シングルポイントを作らないようにしていくと膨大なコストがかかってきますので、その業務では

  • アプリ化は必須か。最悪excelファイル渡すだけでも可能か判断
  • 日次バッチでデータベースに書き戻す選択肢は取れないのか。可用性はDBの機能をそのまま利用可能
  • ホワイトリスト・ブラックリスト登録のようにシステムの回収を少なくバッチで対象だけ登録する形はとれないのか(DB書き戻しと近いデザイン)
  • ルールベース登録でも十分な結果が出せないか。DataRobotのホットスポットから抜き出したルールを登録するだけでも効果はないか
  • Java書き出しの方式をとって、既存webサーバの資産を再利用するか
  • SlackなどのチャットボットインテグレーションでUI開発をゼロにできないか

大体上記のことを考えてモデリングの段階から各フェーズの部分最適でなく、全体最適を狙っていきます。不格好なインテグレーションでも業務適用で実績を積むことによって、より大きなインテグレーションに進んでいるのをよく見ています。

DataRobotもデプロイのパターンが多いがゆえに、周りのシステム状況や人のリテラシー状況を踏まえていかにシンプルに最終結果にたどり着くかを視点にプランニングされるとうまくいきやすいかと思います。

1040727
リニアアクチュエータ

早速にありがとうございます。大変参考になります。

「デプロイの手法と段階」の段に記載いただいたとおり、どのように利用するか、どのレベルのアウトプットで良いのかはモデル精度同様、社内でうまく導いていくのが大切なんだと感じました。

一方、私自身のレベルですと「Excel還元で充足するのでは」という程度は思いつくのですが、具体例として挙げていただいた適用方法など、例えば「こういう予測をして、このような業務に適用したい」というユースケースをこのコミュニティに挙げれば、アドバイスいただけるものでしょうか?

0 件の賞賛
Miogawa
データサイエンティスト
データサイエンティスト

ぜひ、私以外の方々も答えるかもしれませんが、どんなテーマで予測は誰が使う想定なのか、どういうデータソースから抜き出しているのかなどの情報があればこちらのコミュニティでアイデアを出し合えるかと思います!

0 件の賞賛
1040727
リニアアクチュエータ

ありがとうございます!

ユースケースの具体化、またゴールも見据えた計画、進め方の具体的な設計を考えようと思っているところですので、引続きコミュニティを利用させていただきたいと思います。

ManaM
データロボット同窓生

テーマ創出に関して、記事も挙がっていますのでご覧になってみてください

業務課題とビジネスの意思決定をセットで考える。

ラベル 「AIサクセス」の記事

IJICHI_DR
コミュニティチーム
コミュニティチーム

1040727さん、こんにちは!
ご質問ありがとうございます。

最近私のチームのデータサイエンティストがある病院様とのプロジェクトで実施したことから貴重な学びを得たのでご紹介します。

当初彼は作成されたモデルを院内のシステムと連携させて使うかなり大規模なシステムを構想していました。
彼からその構想を聞いたときに私は「それはドクター達が本当に望んでいるものですか?」と質問し、もし本当に望まれているものが何なのかが曖昧なのであれば、彼にとってのお客様であるドクター達にまず聞いてみたらどうだろうか?とアドバイスしました。

(その際、今の彼が構想しているシステムを具体的に理解してもらうために「操作画面の紙芝居」をパワポで作って見せたら良いともアドバイスしました)

直ちに簡単な紙芝居を作って病院に赴きドクター達にヒアリングした結果、ドクターが本当に望んでいるシステムの要件が明らかになっただけでなく、彼らがやりたいことを実現するにはエクセルベースで作った簡単なツールで十分だと判明しました。
(つまり、当初弊社データサイエンティストが構想していたシステムは、「ドクターが望んでいるものはこれに違いない」と彼が思い込んでいただけあって、本当はそんな大袈裟なソリューションは必要とされていませんでした)

結果、彼は直ちにエクセルベースのツールを作って病院にご紹介し、そのソリューションでの試験運用を始めていただくことが出来ました。

実は、以前メーカー勤めだった頃に私は「リーンスタートアップ」のコンサルテーションなども社内の製品開発部隊に対してやっていたため、弊社データサイエンティストが最初に構想した内容を聞いたときに、「そのシステムがドクターに受け入れられ、使っていただける」という「最も重要な仮説」が本当に証明されているのかが気になりました。

そこで部下のデータサイエンティストに、彼が構想したシステムの概要を理解いただいて仮説を検証する目的には十分な「実用最小限の製品(MVP: Minimum Viable Product)」である「パワーポイント紙芝居」を作ることと、すぐに顧客(ドクター)に聞いて仮説を証明することをアドバイスしました。

https://ja.wikipedia.org/wiki/実用最小限の製品

ご参考になれば幸いです。

0 件の賞賛
1040727
リニアアクチュエータ

@IJICHI_DR 様、ご返答いただき、ありがとうございます!

業務適用を考えたとき、アウトプットとして既存システムへの組込みが発生するケースも想定しておりました。
選択肢としては必要だと思いますが、それがベストなのか、求めるものなのかをどのようにPoC段階からイメージさせられるものなのだろうか、という悩みがございます。
その手段として、MVPの考え方は非常に参考になりました。是非、アウトプットまで考慮する際にはこの考えを利用させていただき、業務適用をイメージしたPoCに繋げていきたいと思います。

また是非お気付きの点、参考事例などございましたらご紹介いただきますと幸いです。

0 件の賞賛