データサイエンス

ビジネスデータとAI技術(機械学習)の相性の良さ

適切な問いとは

AI技術を上手に利用するための最重要ポイントは適切な問いを作ることです。

現状のAIが返答に困る質問は、このようなものです。Hey Siri,

  • 優良顧客になりそうな見込み客を教えて?
  • どうしたら優良顧客を増やせるの?

先ほどのAIが困る質問に手を加え、良い精度を実証できている手法があります。それは「機械学習」を用いた手法で、以下のような付帯事項を付けます。

  • 大量の顧客リスト(属性、過去の行動、趣味、嗜好のデータ)と優良顧客の条件を教えるので

この付帯条件と共に機械学習を活用する手順を紹介します。解きたい問いを下記に設定

  • 優良顧客の態度変容の予測

この問いに答える機械学習モデルを構築するために、図1(訓練データの例)のような表形式の顧客リストを訓練データとして用意します。訓練データは顧客IDごとの例題と回答の組み合わせのようなもので、例題は顧客IDごとに優良顧客を見分けられそうな特徴量データ(顧客ごとの属性、過去の行動、趣味、嗜好など)で構成され、その回答は正解データ(それぞれの顧客が態度変容したか否かの2種類を示す優良顧客フラグ)で表現されます。訓練により、特徴量を与えられたらどのように回答を提示する関係性(法則)をモデル化します。この態度変容を予測する機械学習モデルを使うと、図2(推論データの例)のように新しい特徴量データがあれば優良顧客の態度変容予測(推論)を得ることができます。

f:id:gri-blog:20200222155525j:plain
図1(訓練データの例)
f:id:gri-blog:20200222160147j:plain
図2(推論データの例)

このような機械学習モデルがビジネスの実践現場に使えるようになってきたのは様々な要因が絡み合っています。ここでは、6つの理由と共に説明をしていきます。

1.未来の事象の予測

第1点目として、機械学習は過去のデータを利用して未来の事象に焦点を当てていることです。従来のマーケティング現場でのデータ活用の代表例であるRFM分析やデシル分析は、優良顧客の特定やセグメント分けによる顧客の特徴を明らかにできます。ただし、顧客は製品やサービスの購入体験済みなので、全て過去の話に閉じています。つまり、これからの顧客行動が分からない物足りなさがあります。一方、機械学習モデルでは正解データと特徴量に時間差を付けることにより、将来の予測をモデル化できます。学習済みの機械学習モデルは、顧客の購入体験状況に応じた未来の予期を表現したものとなります。

f:id:gri-blog:20200222164034j:plain
図3(未来の予期)

2. 高速化による顧客理解の多角化

第2点目は、超高速に高精度で学習できる機械学習アルゴリズムが開発されたことが挙げられます。特徴量と正解データの関係性を学習する方法は、いくらでも存在しており、高精度な予測モデルを構築するには、最近までは計算時間がとてもかかるものでした。例えば高性能サーバで夜間バッチでも学習が終わらないようなことは、よくありました。高速に処理ができるということは、多くの種類の特徴量を機械学習モデルに使えることを意味します。より多くの特徴量を使えば、顧客の特徴を多角的に検討できるので、より立体的に顧客を理解できることになり、より良い施策立案できる可能性が広がります。

3. ETLツールによる前処理の現場への浸透

第3点目は、機械学習用のデータを準備しやすくなった点が挙げられます。企業と顧客の接点は大幅に増え、顧客IDと共にCRM、EC、コールセンター、SCM、基幹システム、位置情報収集システムなどにログとして保存されるようになりました。これらのログを組み合わせるだけでなく、政府の提供しているパブリック・データや気象データなどを付与することも一般的になってきました。これらのログをまとめて扱うのは、SQLなどでデータを取り出し、Java、RやPythonなどで前処理のためのプログラムをエンジニア素養のある人が書くのが主流でした。これらは機械学習プロジェクトの消費時間の80%と呼ばれており、ビジネスのドメイン知識を有していないエンジニアには、ビジネスの背景をデータから理解する時間も多く費やす必要があります。最近では、データの前処理が得意なETLツール(図4)が広まり、現場の施策立案担当者が特徴量の準備を簡単にできるようになりました。例えば、AlteryxやTableau Prepなどを使うとGUIの操作で、多様なソースシステム(サイトアクセス解析ツール、CRMシステム、クラウドサービス、RDBMS、業務システム、NoSQL、Hadoop)からデータを取得し、データの整形処理ができます。これらのツール活用で大幅な時間短縮が見込まれます。よって、今まで何年もビジネスをやってきて、こんな短時間で多角的に顧客の特徴を理解できるとは思わなかったという感想が出てきます。

f:id:gri-blog:20200222170754j:plain
図4(ETLツールの位置付け)

4. 機械学習の解釈性の向上

第4点目は、機械学習モデルの解釈のしやすさが向上した点が挙げられます。旧来の機械学習のコミュニティでは、予測精度の向上と高速化のみが最大の関心事でした。以前は機械学習の判定過程はブラックボックスで、人が理解できるようなものではありませんでしたが、機械学習の実用性が実証されはじめると、機械学習の解釈性や公平性が議論されるようになり発達してきました。例えば、図5に示すような優良顧客を判別するための重要特徴量トップ10や、それぞれの特徴量がどのように判別に寄与しているかの感度分析(Partial Dependence Plot)により、施策担当者が機械学習モデルを理解しやすくなりました。つまり、どの特徴量がどのように効いているか見えるようになり、現場で納得感のある機械学習モデルの選定、及び特徴量と施策立案の関係を思考レベルで結び付けやすくなりました。機械学習を導入した現場で真っ先に選ばれることは、効果の薄い施策を廃止することだったりします。

f:id:gri-blog:20200222171006j:plain
図5(機械学習の解釈)

5. PDCAやOODAサイクルへの機械学習推論結果の組み込み

第5点目は、機械学習の効率的な推論利用が挙げられます。最新の状態の顧客データから機械学習モデルより、優良顧客の態度変容確率を得ることができます。これらは機械学習モデルと先ほどのETLツールやBIツールと連携させることにより、施策立案担当者自ら無限の組み合わせを全自動化させることができます。つまり、いつでもどこでも顧客行動の予測結果を立体的に可視化したダッシュボード(図6)で確認することができます。今までのようにデータの準備やグラフ作成に時間を浪費することなく、お客様に製品やサービスの良さを理解してもらうための施策実施に時間を集中することができます。さらに、最新の顧客データに対して、ETLツールやBIツールでシミュレーション・データを増幅させ、いくつかのWhat-ifシナリオを作った上での優良顧客になる確率を可視化することも可能です。よって施策の効果検証PDCAやOODAサイクルに組み込みやすいメリットが挙げられます。

f:id:gri-blog:20200222171931j:plain
図6(推論結果ダッシュボード)

6. AutoML(自動機械学習基盤)の広がり

第6点目は、機械学習を上手く活用するための自動化プロセスが整備されたことが挙げられます。機械学習モデルの実装(アルゴリズムの選定や最適パラメタの探索)は、データサイエンティストの高度なスキルが必要な領域でしたが、弊社GRIの開発したForecastFlowをはじめ、DataRobot, dotData, H2O, Sony Prediction One, MatrixFlow, Google AutoML Tables, AWS Sagemaker, Azure Machine Learningなど、多くのAutoML(自動機械学習基盤)が存在します。どのAutoMLも、トップ・データサイエンティストが構築する機械学習モデルの精度に肉薄するレベルに達しているのが現状です。ただ、これらは施策立案に役立つ特徴量を自動生成するまでには達していません。トップ・データサイエンティストは、ビジネスの環境やデータから顧客理解を深め、施策立案に役立つ特徴量を構築します。ただ、この領域はドメイン知識を有した現場の施策立案者こそ得意な領域なので、AutoMLを現場の人が使うのが、良い特徴量作りに役立つと考えております。

ForecastFlowの大切にしていること

自動機械学習基盤ForecastFlowは、現代的なデータ利活用プロセスにおいて、現場が機械学習を業務の中で活用しやすくするという実践的な考えの元、クラウド上に開発されています。現場の施策担当者が何回も高速で特徴量を作り直しながら機械学習モデルを作り、新しい施策の効果検証を繰り返すことにより顧客理解を深め、良い製品やサービスの提供に繋がることを心がけています。よって、現実的な価格帯で、データソースからETLツールやBIツールと連携しやすく、現場の担当者が業務に組み込みやすい特徴を持っています。ただし、優良顧客の育成や離反防止を進める有機的な組織の構築は企業により千差万別なので、初期導入コンサルテーションをお薦めしています。機械学習の扱いをご存知の方は、アカウント作成と同時に機械学習モデルの構築へと進むことができます。

古幡征史