📒

独自のメトリクスを持とう

時間ができると、現在は東京大学本郷テックガレージのTaka Umadaさんの記事をよく読み返している。
馬田さんはMicrosoftのプロダクトマネージャーとしてのキャリアをもつ。 彼の資料は、世界で最も成功しているスタートアップ養成所である「Y combinator」が行っている”How to Start a Startup"という講義の資料を日本語に翻訳し、かつ彼自身の視点を加えた非常に骨太なものが多い。僕がよく見返しているのは以下の3つの資料だ。
「御社の独自のメトリクスは何ですか?」あるいはプロダクトのビジョン
本日は メトリクスのイベント へのご参加、ありがとうございました。会のあと U さんと議論させていただきましたが、メトリクスの議論は本当に難しいなと改めて思いました。 ただ、改めて重要だと思ったのは、メトリクスを決めるときに立ち返るべきはビジョン、言い換えれば「このプロダクトはどういうプロダクトであるべきか」という理想像なのだろうなと、今回の会を通して改めて感じたので書き留めておきます。 Linkedin, Facebook, Twitter でプロダクトを成長させてきて、現在 Greylock で VC をやっている Josh Elman は「 "本当に"にユーザーが使っているか分かるメトリクスを持て」( 500 Distro での PPT)と言っています。その本当の使われ方というものはプロダクトによって異なっているでしょうし、その違いが「 スタートアップは(勇気を持って)各社独自のメトリクスを持て 」ということに繋がるのだろうなと考えています。 たとえば Linkedin では PV ではなく「プロフィールページの PV」をメトリクスとしておいていました。これはタレントを探すサービスだからプロフィールを見る数が本当に使っているユーザー数になるはずだからそう設定した、と Josh は言っており、そこには Linkedin というサービスの本来のビジョンを感じます。 同様に Medium では Total Time of Reading がメトリクス であるのは、彼らのプロダクトのビジョン - we want people to write, and others to read, great posts - に直結している問題です。 一見似たような機能のプロダクト(たとえば Medium と他のブログサービス)でも、ビジョンが異なればメトリクスは異なるでしょうし、異なっているべきなのだろうなと思います。 なので、もっとも端的にそれぞれの会社のプロダクトの特徴を知りたいときに中の人に聞くべき質問は「御社の独自のメトリクスは何ですか?」なのかもしれません。そこにはプロダクトのビジョンが反映されているはずなので。 ただその一方で、その強い思いやビジョンがマーケットに受け入れられない時も当然あるので、そこは難しいとは思いますが...。 とはいえある程度のガイドラインはあって、初期は Sam Altman の言うとおり、 自然なリファラルの発生率 かもしれませんし、あるいは高いリテンションなのかもしれません。とにかく少数の人でも良いので愛してもらっている証拠を見つける、といのが初期のメトリクスの置き方として重要なのかなと。このあたりは話せなかったので捕捉です。 逆に言えば独自のメトリクスが決められないということは、プロダクトのビジョンが定まっていない、あるいは度重なる機能の追加や組織の肥大化などでビジョンがブレ始めてきている、ということなのかもしれません。多少勇み足な話のような気もしますが。 もちろん当然ながら、最も重要なメトリクスは状況によって変わると思います。「今は」オペレーションが重要だったり、「今は」継続率が重要だったり。それは今現在のボトルネックがどこにあるのかに依存すると思いますしボトルネックは移動するものなので、重要なメトリクスが移り変わっていくこと自体は仕方ないのかなと。 しかし一個メトリクスを設定したら他のメトリクスはなかなか上がりませんし、そこを決断するにはやはりビジョンが必要で、他とのバランスを考えながら設定しなければいけないメトリクスは、かなり頭を使わなきゃいけないところなのだろうなと。正解はないなと思いながらも、より良い答えを探すためにも、人類が積み重ねてきた知識をうまく使いたいものです。 今日はこちらの資料をベースにお話しました。
これらに共通するキーワード「メトリクス」について簡単にまとめておきたい。

メトリクスとは?

以下の3つの要素を満たす指標がメトリクスである。
  • 今の居場所と現実を理解するための指標
  • 行動を起こすための指標
  • コミュニケーションのための指標
この3つの要件を満たす、事業における中間指標といったほうがわかりやすい。 3つ目の「コミュニケーション」については社内での共通認識を醸成するためのメトリクスという顔もあるが、投資家向けにトラクションを証明する数字としての顔のほうが強いかもしれない。
同時にメトリクスに見られる性質として以下があるかな、と個人的に考えている。
  • フェーズによって異なる。
  • ある時点でスタートアップが定めるメトリクスは数個に限られる。
  • メトリクスとはボトルネックである。
  • Aというメトリクスを伸ばすために、スタートアップは全力を使う。
  • メトリクスをミスるとことは行動指針を間違えていることと同義。
  • 追っても行動につながらないメトリクスはゴミである。無い方がいい。
メトリクスをミスると何が起きるか、とてもわかり易いスライドを1枚抜粋させてもらった。
 
 
同一の業界、類似した事業を展開していたとしても、そのフェーズで着目する指標一つで得られるアウトカムにこれだけの差がでるということを肝に銘じたい。あな、恐ろしや。

KPIとメトリクス

「KPIとメトリクスは何が違うのか?」という質問を僕自身社員から受けることがあったので、個人の見解をまとめおく。 「メトリクスはKPIからフェーズに合わせて最適なものを2~3抽出したもの」という理解で良いと思っている。
基本的に企業活動は様々な変数=KPIから成り立っている。スタートアップは急速な成長を目指すために、変数の絶対数を抑える事業ドメインを選ぶことが多いが、自社で在庫を抱えるタイプの商売をする場合は仕入からデリバリーまでやることが多いため、どうしても変数の量が膨張しがちである。
数百から数千に及ぶKPIからメトリクスを選ぶという行為は、
  • リターンとリスクを把握し
  • 日々追いかけるKPIを意図的に絞り込み、
  • ひたすら実践力を上げて数値を伸ばすこと
これは経営判断であり、多くの場合もっともサービスやプロダクトに対しての情報を持つ人間が行うべきだ。 すなわち、Product Managerの最も重要なタスクの一つに数えられると考えている。

メトリクスはビジョンでもある

上にも書いたとおりメトリクスとはボトルネックである。しかし、ビジョンでもある。
ボトルネックは、まるでモグラたたきのように動き続ける。Aを潰したと思ったら、今度はBで詰まる。 「今は」継続率が大事、「今は」オペレーションが大事。「今は」「今は」と尾崎豊のように「今」を問い続けて移動するボトルネックを追いかけていく。
スタートアップは、「何をしないか」が重要と言われる。その所以は重要なボトルネック以外にリソースを割いている余裕が無いからだ。 フェーズごとに対処すべき最適なボトルネックを定義し、そのための行動をし続けることでプロダクトを進化させていくことが求められ続ける。
これを読み替えると、正しいメトリクスはビジョンを示すことと等しい。 忌々しいボトルネックであるメトリクスは、同時にプロダクトの描き出す未来を体現したビジョンでもあるようだ。

自社のメトリクスを持とう

Taka氏の資料にて、メトリクスにまつわる注意点として3点上げられている。
  1. 独自のメトリクスがない
  1. 計測後のプロセスがない
  1. メトリクスが決められない
特にスタートアップとして最も注意したい点は「独自のメトリクスをもつこと」だろう。
スタートアップは何らかの新規性をもったビジネスモデルやプロダクトを創ることで市場を広げたり新しく創っていく会社を指すので、スタートアップが自社に対して設定するメトリクスは他者の模倣からは生まれない。
PVという指標はあらゆるメディアにおいて今もこれからも重要なものであり続けると思うが、
「あなたの会社のメトリクスは?」 「PVです!」
というやり取りがあるとするなら、それは自社の課題を正確に把握できていない証拠だろう。 という指標は絶対値として、また相対値としてサイトやサービスのパワーを示すものではあるが、それだけでは自分の現在の居場所を知ることも、次に起こすべき行動を特定することも、密なコミュニケーションを取ることもできない。

LinkedInのメトリクス

逆に、独自のメトリクスを上手く活用しサービスを成長させた例としてLinkedInの話がよく挙げられる。
世界最大のビジネスSNSであるLinkedInはPVではなくプロフィールページの訪問数をメトリクスとして置いた。
これはLinkedInを利用するヘッドハンターやリクルーターがどれだけ多くの人間のプロフィールを見ることができたか?というイシューに絞り込んだ結果生まれたメトリクスだった。
「世界一のプロフェッショナル達のネットワーク」というプロダクトのビジョン、そしてそれを活用し「プロフェッショナルの流通の中からフィーをとる」というビジネスのビジョンの両方に非常にマッチしたメトリクスだと思う。 この例のように、自社にフィットした精度の高いメトリクスを設定することでうまくサービスを成長させていきたいところ。
僕自身もサービスに対しメトリクスを設定しひたすらExecutionを行っているが、メトリクスは動き続ける という前提を忘れると一度設定して安心してしまうもので、非常に怖い。常にサービスやプロダクトに対して緊張を張り巡らせておかなくてはいけないのは、Product Managerの痛みかもしれない。

追記 : ebayのメトリクス

元・ebayのPMを務めたマーティ・ゲーガン氏がグローバルなサービスの定義を行う上で如何にメトリクスを設定したかを詳細に記載されている本。何度か紹介しているが改めてこのテーマに絞って読み解くのにも使える。