Data Developerのメモ帳

機械学習とかデータ分析とかしているData Developerのメモ帳です

データ分析基盤とアナリストはどちらが先か?卵と鶏問題

2021/02/26 最後尾に追記あり

酒を飲んでるけどブログなんてそんなもんやろと思いながら書く。

旧知*のTJO氏がこんな引用RTをしていました。
Twitterでは、の意味

これは自分もはむかずさんの意見に近くて、最初に3をやってその人に全権委任して1と2をやってもらう(その代わり相応の待遇で報いる&完遂するまで忍耐強く待つ)というのがベターかつ現実的だと思ってます。全体像が見えない中で1と2を先にやろうとすると、それまでに組織が疲弊して3に辿り着けない

ここで挙げられている下記の3軸が組織でのデータ活用において重要であるということは言うまでもないでしょう。

  1. 基盤の構築
  2. 組織内への浸透
  3. アナリストの採用

その中で順番は非常に重要になります。で、私もTJO氏やはむかずさんの意見に全く同意で専門家を雇う(もしくはコンサルタントなどに短期で入ってもらう)ことで全体像をみてから具体的に作っていく流れが必要だと思っています。

これは極めてシンプルな理由で、使う人の意見なくデータ基盤を構築するというコストを払うことはリスクが高いからです。プロダクト開発と同じような考え方なんじゃないかな。特にデータ活用は専門性が高い領域なので専門家が全体像を見せることが重要になってきます。

ここで「データの専門家を先に雇うことは無駄なんじゃないか」という意見がでてきます。「高い金を払ってアナリストやデータサイエンティストを雇ったのに実際にやっていることは分析環境作るためにテーブルのcreateみたいなことしてるの金の無駄じゃない?」みたいなコスト感に対する意見がでてくるのはまっとうだと思います。しかし、私はそれが必要だとわかること自体に専門家を雇う価値があるとおもってます。専門家を入れていなければ、おおよそ見当違いのデータ基盤を作って時間と金と精神力を無駄にしていた可能性があるからです。

なぜ、このような意見のすれ違いが発生しうるのかというと「コスト」というものを考えるときにリスクを考慮にいれるか否かという点に尽きると考えます。「何を作ればよいのかわからないけど、とりあえず作る」をするよりも(場合によっては業務委託など費用を抑えた上で)「なにを作るべきか見極めながら作る」ほうが最終的な損失が減る可能性が高くなる、実質的な利益を得やすくなるわけです。

なので、TJO氏がいうようにデータの専門家にまず参加してもらいプロジェクトの権限を渡して基盤開発を行ってもらうという流れが妥当な判断となる、というのが私の意見になります。

ちなみに、まともなデータサイエンティストやアナリストならば十分に整った分析基盤がなくてもある程度の価値を発揮することが可能です。なぜならデータ分析は分析基盤がなくても可能だからです。たとえば、サービスのデータベースから直接データを抽出して手元でアルゴリズムを構築したりスプレッドシートで分析するようなことはできます。これでも、実行速度やセキュリティの課題などはありながらもアナリストとして価値を発揮することはできます。(あくまでも分析基盤というものをBigQueryのような分散処理基盤やデータマートのようなもの、と仮定した場合です)

まとめると、まずは専門家を招き入れ全体像の認識を整える、専門家に権限を渡して必要なものを構築する指揮をしてもらいながら可能な範囲で分析をしてもらうというのがデータ活用な第一歩になると私は考えています。
(こういう「まずなにからしたらいいんだ…」みたいな課題感を抱えている会社の方いたらご相談いただければコンサルするのでご連絡を!)

追記 2021/02/26 鮭さんの意図を誤読していたようです。大変失礼しました。 こちらの考えは私の意見と全く一致しますね。

最近はYoutubeでもデータの話をしはじめたのでよかったらチャンネル登録してね www.youtube.com