この記事ではデータ活用が進んでいる企業で実際に見かけたデータ活用方法を4つのアクションにわけて説明します。 やや抽象的に書いていますが、多くの企業では共通して下記に説明するようなことを実施しています。 どこの会社も具体的な部分は異なりますが考え方は同じです。 やっていることはシンプルで単純だということを感じ取ってもらえると嬉しいです。
データ活用の4つのアクション
データを用いた経営やサービス開発では大きく下記の4つのアクションに基づいて行われます。 それぞれが完全に独立していることはなく組み合わせて実行されることもあります。 このなかで1~3に対して4番の監視は少し趣が違うアクションですが、まずは説明のために併記します。
- 調査
- 予測
- 検証
- 監視
調査
データからユーザやマーケットなどを調べることです。 たとえば「機能Aを使っていないユーザ属性の調査」とか「課金までに離脱しているプロセスの特定」など。 多くの場合で、データのみならずドメイン知識やヒアリングのような定性情報を踏まえて分析されます。
予測
データから将来の需要や施策の効果を見積もることです。 たとえば「在庫発注数を見積もるために4月の商品Bの需要を予測したい」とか「施策Cが寄与するユーザ数から効果を見積もりたい」といった場合です。
検証
施策の効果を客観的に評価することです。 たとえば「広告DとEでどちらのほうがCTRが高くなったのか知りたい」とか「施策Fが売上にどれくらい貢献したのか知りたい」といったケースです。
監視
KPIのような指標として継続的に観察し改善をおこなうことです。 たとえば「サービスの継続率をKPIとして改善しよう」というケースです。
実際の運用
ここまでに4つのアクションを紹介しましたが、実際の現場ではそれぞれが独立に考えられることはあまりないでしょう。 多くは複数のアクションをつなげたサイクルとして実行されます。
実際の現場で多く見かけるパターンは、常時KPIを監視しつつ施策に関して調査・予測・検証をおこなうという方法です。
KPIを監視する
データを活用している企業ではKPIを設定し、それに対して施策を行い改善する方法がよく取られます。 KPIを設定することでチーム内外に対して自分たちの目的を明確に成果を定量的に評価することができます。
KPIの監視は誰もがいつでも見られる状態にし定期的に観察し振り返りを行います。 KPIの変化をとおして自分たちが目標に対して自分たちがどのような位置にいるのが常に把握できるようにしましょう。 ダッシュボードを作成したりメールやSlackで定期的に通知が届くようにする方法もよいですね。 定例会議などで数値をメンバーで確認して変化について議論する方法は取り組みやすく効果的です。
大事なことは、チームはKPIを改善することを目標に動いているのだ、ということをメンバーが心の底から理解し行動することです。 ダッシュボードやSlackの通知は見るキッカケを与えますが、それによって考えや行動に変化が起きないのであれば意味がありません。 KPIを見る、考察する、行動を変えるという一連の流れが起きる必要があります。継続的かつ明示的にKPIを利用しましょう。
どのような施策をおこなうか調査する
前述のようにKPIを改善するために施策を打つことを検討します。そのときに、どの領域に課題があるのか調査するのがこのフェーズです。 定量データに限らずドメイン知識やヒアリングなどで得られる定性データなどを加えて課題の分析と打つべき施策を検討します。
クリティカルな問題を見つけることは一般的に難しい行為です。 問題を見つける方法はいくつもありますが、基本的にはサービスに詳しい人の意見を参考にしながら論点を洗い出し、その周辺を集中して検討する流れが良いでしょう。 全体を網羅的に探す方法は見落としが生まれやすく時間もかかるため、あまり良い方法ではありません。 問題を定量的に調査する際はファネル分析やセグメント分析が役に立ちます。 たとえば、離脱率の改善であればファネル分析をとおして離脱ポイントを解析したり、離脱するセグメントを特定するという方法です。
このようにして課題となる領域を見つけたら、それらの領域を改善するアイディアを出して施策を行います。 施策を定量的に検討する方法として、セグメントによって離脱率の差があるならば上手くいっているセグメントを参考にするやり方があります。 たとえば、離脱率の低いセグメントの多くがなにかの機能を使っているが、離脱率の高いセグメントにおける機能の利用率が低いことがわかっているならば、その機能を使うように促すという施策を考えます。 これは上手くいっているやり方を横展開するという方法なので時間がかからずやるべきことが明確なので非常にやりやすい方法です。 とはいえ、このように改善を行うための施策が定量的に見つかるとは限りません。 なぜなら問題はすでにデータとして蓄積されていますが、上手くいっている状態は未来に話でありデータに存在しないことが多いからです。 そのような場合はドメインに詳しい人から意見を集めたりユーザリサーチをおこなう必要があるでしょう。
施策の効果を予測する
施策を行うときはなにか効果を期待する領域があり、それに対して期待する効果量があるはずです。これを見積もる行為が予測になります。 これは古典的な経営戦略を立案する際にシミュレーションをおこなうことを想像するとわかりやすいでしょう。 調査から得られた施策の効果を見積り優先度やリソース配分、スケジュールなどを決定します。
予測をおこなう最もシンプルな方法は指標の現在と値と施策による変化を経験や一般的な効果から置く方法です。 これはいくらか主観的な予測になりますが何度か繰り返すことでそれなりに実用的な精度になります。 過去に似たような施策を行っている場合はそのときの結果を引用するのがよいでしょう。
重要なことは、どのセグメントにどれくらい効くのか数と割合をそれぞれ考えることです。 たとえば、あるターゲットに対して出している広告を変えることを考えましょう。 このとき、影響を与えるのは当然ターゲットになっているユーザのみになります。 広告を変えたときCTRが1ポイント増加してもクリックするユーザの数はターゲットユーザの領域のみになります。 もし多くのユーザが属しているセグメントが対象となる施策であれば効果は大きくなりますし、少なければ効果も小さくなります。 一方で、広いユーザをターゲットにするほど効果量は小さくなりがちですし、狭いユーザ層であれば効果は大きくなりやすいです。 自分たちのおこなう施策のターゲットになるユーザの数と施策の効果の割合を考慮することでKPIの改善を予測し目標へ必要な施策の種類や数を見積もりましょう。
施策の結果を検証する
施策を行った結果を定量的に検証します。事前にこの検証方法は施策を行う前に考慮しておく必要があります。 検証方法は統計的な手段を用いることが多いですが、難しければ単純に数値を比較するだけでも価値があります。 重要なのは感覚だけで判断せず数値を通して客観的かつ定量的に判断するということです。
検証方法には様々なやり方があります。最もシンプルな方法はKPIを中心に事前に見積もった効果に対して実際の効果を数値で比較するやり方です。 たとえば、広告を既存のものと変えることでCTRが1ポイント向上することを期待していた場合、実際に新しい広告でCTRが何ポイント改善したのか比較します。 新しい広告が2ポイント上昇していれば期待以上の成果ですし、変化が0.1ポイントだったら効果がなかっただろう、という結論になります。 この方法はシンプルで簡単ですが広告以外の影響を除外することができないため確実な方法とは言えません。 広告を入れ替えたと同時にSNSでバズったから伸びただけ、ということもありえます。 しかし、数値も出さずに感覚で判断するよりはずっと良いことは間違いありません。 数値を比較するよりも良い方法としてランダム化比較試験や差分の差分法など様々な統計的手法があります。 詳細は他の専門書に譲りますが、ケースに応じて適切な手法を用いるのがよいでしょう。
数値を用いた検証をおこなう際に難しい点は、事前に検証方法を踏まえて施策を行う必要があることです。 数値を単純に比較するだけならばさほど問題になることはありません。 しかし、統計学的手法を用いる場合は検証に必要な数字を記録したり適切な手法をとおした実験を行わなければいけません。 たとえばランダム化比較試験をおこなうためには対象をランダムに選ぶ必要がありますし、どのサンプルになにが適用されたのかログを残す必要があります。 施策を行う前に検証方法を決めておかなければ妥当な検証を行うことができないということです。
サイクルを回す
以上を踏まえて、KPIを監視しながら課題を調査し施策の効果を予測し結果を検証する、というサイクルをまわします。 データをビジネスで活用するという営みにおいて最も重要なのは1度で終わらせずにサイクルを回し経験を積み重ねることです。 サイクルを回し続けることでビジネスにおける投資の効率がよくなります。
サイクルをとおして経験を積み重ねることで大きく2つのメリットを得られます。 1つ目は成功・失敗する方法が客観的な評価を元に蓄積できること。 2つ目はデータを活用する方法自体の経験値が積まれることです。
1つ目の成功・失敗する方法が客観的な評価の蓄積はデータドリブンの強力な利点です。 データで評価を行うことで再現性のある成功・失敗施策を積み上げることができます。 サービスを成長させるためには継続して成功できる方法を獲得することが必要です。 つまり施策の再現性です。 勘や経験で評価する場合に比べて定量的な評価、特に統計的な手法による評価は客観的に事象を検証することが可能です。 たまたま上手くいった施策にずっと投資したり、運悪く失敗したように見える施策への投資を止めてしまうケースが減ります。 データを活用したサイクルを回すことで再現性のある成功施策を積み重ね、失敗する施策を除外することでサービスの成長への投資が効率よくなるでしょう。
2つ目のデータ活用の経験値をためるということは精度が上がり横展開も可能になるということです。 経験値を貯めることができれば過去の施策の結果を参考にすることで類似の施策を行う際に施策の効果を見積もることが可能です。 精度よく効果を見積もることができれば計画と実績の乖離が減り、適切な投資が可能になります。 また、最初は1つの機能や部署で行っていたことを別の機能やサービスへ横展開することで会社全体でデータを使った管理をより上手く実行することが可能になります。 経験や勘を横展開するためには経験豊富な人材を異動さえる必要があるなど、横展開に限界があります。 一方で定量的に行われた施策は効果が数字として残るため他の人からもわかりやすく参考としやすくなります。 このようにしてデータを活用した管理を精度よく全体へ広げることで会社全体で投資の効率を向上させることが可能です。
まとめ
本記事では、実際にデータ活用を行っている現場でどのようにしてデータを用いた施策実行を行っているのか抽象化し解説しました。 大きく調査・予測・検証・監視の4つに分類し、それらをどのように扱うのか1つのサイクルにまとめています。 データ活用とは抽象化してしまうとやっていることはとてもシンプルでどこも似たようなものだということです。
この記事は抽象的に書いているのでこれだけだと具体的な施策として落とし込みにくいかもしれません。 具体的なケーススタディなんかを参考にアクションに落としやすい解説を追加でやりたいですね。
蛇足：例外について
データドリブンな運営において、KPIへ寄与しないがどうしてもやらなければいけないことは発生します。データをもちいて管理することは強力な手法ですが、データに紐付けることができない、もしくは、紐付けることが難しい状況は生まれてしまいます。そのようなときは悲観せず定性的な感覚から施策を実行してもよいでしょう。これは今までの考え方を破壊するようなやり方に見えますが何事も例外は存在します。
一方で、例外は稀に起きるから例外です。例外が起きる頻度を下げる工夫をおこなったり、自分たちが行っていることが例外であることを自覚することは重要です。例外が増えすぎて常態化するとデータで改善サイクルを回すことは困難になります。そのような状態に近づいてしまった場合は施策の緊急度や重要度をリストアップしてみたり、KPIを中心に目標の認識を揃えるのがよいでしょう。
宣伝
最近はYoutubeで活動しているのでよかったらチャンネル登録してね！
今回の記事の解説配信とかやるよー
