人工知能してみる

人工知能の中の人が機械学習とか統計とかAI的なことを書き連ねます

予測精度はKPI足り得るのか?

こんにちはGrahamianです。
今日は予測精度について話します。

プロダクト開発においてKPIの設計は非常に重要です。
最近のWEBプロダクト開発ではKPI設計が成否を分けているといっても過言ではありません。
しかし機械学習を用いるとKPIの設定が非常に難しくなります。

例えば...

レコメンドエンジンや工業的なものは評価が簡単ですね。
これはアウトプットがCTPや不良率など分かりやすい数字として現れるからです。
もちろん、これらも実際に機械学習がどのように影響を与えているのか評価する必要がありますが影響は割りと直接的です。

しかし、実際のwebプロダクトなどでは評価するのが難しくKPIの設定が難しいです。
プロダクト中の何かの精度が10%上がったとしてプロダクトとして性能がどのくらい上がったと言えるのでしょうか?
10%の上昇がユーザー体験をどれほど向上させるのかは評価が非常に難しいです。
コホート分析や利用率などである程度分析できますが、影響が直接的でないため評価しにくいといえるでしょう。

つまり...

KPI設定が難しいことはROI評価が難しいことにつながります。
導入することはエイヤっとやってしまってもよいのですが、そこからイテレーションするにあたってどのくらい投資すれば良いのかが難しいです。
80%から90%に上げてどのくらいリターンがあるのか。
これは重要な要素ですがその評価が困難です。
「作りっぱなしではなく精度向上したい、でも機能の追加にリソースを割きたい」
そんな悩みを抱えてる企業は多いのではないでしょうか?

解決策は?

確実な判断方法はありません。
プロダクトのステータスによっても変わるでしょうし、リソースにもよると思います。
それがコア技術であるなら精度をあげる重要度が変わるかもしれないし、重要でも精度向上がUXに大きな影響を与えないかもしれません。
もしかしたら10%では全然変わらないけど20%あげたら革命的に変化するかもしれません。
ここらへんは確実なやり方が無い領域だと思います。
個人的には新機能をバンバン開発したいのですけどね(笑)