#451 生産性メトリクスの基礎と運用の勘所は、健康診断と同じ

この番組は「エンジニアの成長は楽しい学びから」をモットーに、昨日より少し成長できる学びをわいわいお届けするエンタメ系テックラジオです。

さあやってきました。

はい、ということで、まあちょっと世間話から入るんですけど、えー、なんか最近ちょっと僕自画自賛ムーブ、うん、あ、を、ん、してですね。

自画自賛ムーブ、はい。

はい、自画自賛ムーブ、いや違うな、自画自賛したいムーブをしたんですけど。

自画自賛したいムーブ。

はい、そう、自画自賛のムーブだとちょっと自画自賛になっちゃう。

まだしてないんだ、オッケー。その気持ちで聞くわ。

はい。

はい。

今から自画自賛します。

はいはいはい。

え、開発チームの、うん、え、生産性を測るツール。

生産性測るツール、はい。

が、まあ、ないので。

ああ、今。

はい。

ほお。

で、まただ、あのー、なんでしょうね、これからも、ま、チームで、うん、なんか振り返りをして、で、何かのアクションをして、やってくわけじゃないですか。

うん。

常に。で、なおかつ、おそらく2026年、開発チーム中に僕はなんかすごい開発のライフサイクルが結構抜本的に変わるんじゃないかと思ってて、特にハーネスエンジニアリング周りで。

ハーネスエンジニアリングっていう単語があるんですか、今。

はい。すいません、ちょっと知らん単語出してしまって。今日はハーネスエンジニアリングの話じゃないんですけど。

はいはい。

まあ要するにね、AIにやらせる仕事を、まあ増やそうというムーブメントだと思ってるんですけど。

なるほどなるほど。

まあレビューどこまで人間がやるようにするかみたいなところ含め。それって多分結構インパクトあると思ってて。

はい。

測れるようにしときたいなと思って。

うん。

で、一晩で、その開発チームの生産性を測るメトリクスを、まあ少し取れるアプリを作って。

うん。

で、動かして、で、チーム内で、まあ確認できる状態まで持ってったんですけど。

一晩で？

一晩で。

それはあれ、寝てる間にAIが働いてみたいなこと？

えっと、まあ正確なこと言うと、15時ぐらいにやりたいなと思って、AIがまあ終業ぐらいまで働いてくれて。

はいはいはい。

で、次の日の朝もちょろっとやって、動いたぐらいの感じ。

なるほどね。すげえ、BANを丸ごとすっ飛ばしてた。

まあBANはすっ飛ばしてません、はい。

BANを丸、なるほどね。BANまた入れて。

ほんとにサクッと作れる範囲でやったんですけど。

はいはいはい。

っていうのでちょっと今すごい開発チームの生産性のメトリクスというところに非常に関心があるんですよ。

おお。

で、というのでなんかちょっと改めて、開発チームの生産性のメトリクスって、まあどんなのがあるんだろうかっていうところ。

うんうんうんうん。

をちょっとまあ勉強した話と。

うん。

で、あとちょっと勉強した結果ですね。

はい。

これちょっと数字取るのも大事だけど、数字よりもなんか正しく運用するほうも結構大事そうだなと。

うん。

思っていて。

うんうんうん。

でもっと言うと、多分数字を正しく運用してないからうまみを得られてないっていうチームのほうが多そうだなと思ったので。

はい。

今日は、なんか正しい運用方法の勘どころ。

うん。

を理解できるような。

うんうんうん。

ちょっと例え話で締めていくみたいな。最初にだからメトリクスの話をして。

うん。

例え話をして締めるみたいな。

なるほど。

はい。感じのエピソードを話していこうかなと思ってます。

おお、え、この、なんでしょう、うーん、生産性の指標っていうのは、さっきあの言ってたなんか、え、今後AI時代で結構そこ変わってくよねみたいな。

うん。

ので、えー、新時代に求められる生産性みたいな、なんかそういうことってことですか。

うーんと、まあ新時代に求められる生産性ではあるんですけど、昔からあるやつです。

ああ、なるほどなるほど。まあ言うて本質は変わってないよねっていうことか。

まあそうですね。結局ね、その開発チームのパフォーマンスを測るのって何っていうところは多分変わらないとは思うので。

なるほど。

言い方が変わったとしても。

うんうん。

うん。というので、まあちょっと昔からあるやつと最近出たやつ紹介しつつ、えー、それを運用する上での勘どころをわいわいお話しさせていただきます。

お願いします。

はい。で、まず開発チームの生産性のメトリクスって何言ってんだっていうところがあるかもなと思ってて。

はい。

じゃあちょっとのりさんに質問なんですけど。

はい。

もし、えー、そうですね、なんか開発チーム、この開発チーム生産性が高い、低いみたいなものを測ろうと思ったときに、のりさんだったらなんかどんなことを見ようと思いますか。

えーとですね、やっぱこの生産性っていうと、一番よく聞くメトリクスはあの4Keysってやつだと思うんですよ。

はい。

で、これ四つの指標がありまして。

うん。

で、俺その四つの指標一つも何がなんだか分かってないんですけど。

はい。

多分、プルリクを作ってからマージされるまでのリードタイム。

うん。

と。

うん。

朝会のときの笑い声のデシベル。

はいはいはいはい。

と、1on1のときの盛り上がり。と。

おい。

えー、寿司田の平均速さ。

ああ。

かなって思いますね、多分。はい。

4Keys。

4Keys。

えーと、1eと0byteって感じなんですか。

1eと0byte。ちょっと、な、なんですか、それ。な、何の世界のやつですか、これ。

すいません、その辺は。

そのNumeronっていう昔流行ったV1組の。

いや、ああ、ちょうどテレビ見なくなったタイミングで始まってたやつですよ、それ。

はい。ちょっと全然伝わらないんですけど。まあ一個だけ当てた、当たってたっていうタイミング。

一個だけ当たってた。あ、じゃあ、あれかな、デシベルかな、多分。

うん。あ、そっちかい。

ああ。

えっと、4Keysよく言われて、あ、ごめんなさい、しかも一個当たってないわ、すいません。

当たってないんだ、しかも。

はい。

やっぱ。

ちょっと惜しかったです、はい。

やば。

まあ一つのりさんが言ってた4Keysってやつよく言われるもので。

はい。

えー、これはあの、一つがデプロイ頻度ですね。

デプロイ頻度。

本番に変更どんぐらいの頻度でデプロイしてるか。

はいはいはい。

と、あとはまあ変更のリードタイム。

うん。

コードを変更してからマージじゃなくて本番環境にデプロイされるまでの時間。

ああ、そっちなんだ、ゴールが。

はい。

なるほどね。

そうですね。で、あとは変更失敗率。

変更。

デプロイした変更のうちどのくらいの割合で、まあ障害が起きて修正しなきゃいけなくなったか。

ああ、はいはいはい。

はい。で、最後がサービス復旧時間。障害が発生したときにそれを復旧させるまでにかかる時間。

はいはいはい。

はい。まあなんかこの辺を見るのが、まあいわゆる4Keysと言われるもので。

はい。

で、これはあの開発組織のパフォーマンスを測る四つの指標っていうので。

うん。

えー、まあ測られるもので。まあなんで、なんでしょうね、まあ今挙げた四つって結局、えー、細かく変更しなさい、えー、コードの変更し始めたら早く本番にデプロイできるような仕組みにしなさい。

うんうん。

で、変更は失敗しないようにしましょうね。障害起きてもすぐ直るようにしましょうね。

うんうんうん。

まあ確かに。これでまあかい、えーと生産性のメトリクス測れそうだなっていう感じするじゃないですか、これら全部測ったら。

うん。なんかMeeshiじゃない感じもす、なんか、なんとなく感じるけどな。

まあそれはそうですね。ただこの四つもおそらく。

うん。

もうすっごい揉めに揉めて、厳選に厳選して、まあこの四つにしようってなったんでしょうね。

うんうんうん。これまず誰が考えた基準なの、これって。

これはDevOps Research and Assessmentっていう団体? まあDoRAっていう団体なのかな?

はい。

が提唱してる指標らしいです。

あ、そうなんだ。

はい。これいつからあるんだろう? ちょっと待ってくださいね。2019年?

え? ミルクボーイが優勝した年ですか、じゃあ。

いや、なんでM1換算なん? そして一番ピンとこない、僕はミルクボーイの優勝した年。

2019だっけ、あれ?

おお。

ちょっと不安になったな。

裏取りしなきゃいけなくなる。

不安になった。

ちょっと待ってね。誰だ? ミルクボーイだ。すげえ。

おい。ほら。

なんでぱっと出てくんね?

ほら見ろ。

すごすぎる。なんのスキルなんすか?

ほら見ろ。

はい。で、まあこれはまあ4Keysっていうメトリクスなんですけど、もう一個有名なのがあって。

うんうん。

スペースっていうのがあります。

スペース? これ頭文字だろ、絶対。

そうです。

えー、スピード、パワー、アクロバティック、チーズ、エクセレント。

チーズ。ちょっと惜しかったっすね。

惜しかった?

途中までそろっぽかったっすけどね。

そうだよね。

はい。まあこれあの2021年にマイクロソフトとビクトリア大学の共同研究でなんか出たやつで。

ほお。

ちょっと2021年で誰ですか、優勝したの。

えー、あー、錦鯉。

わー、めっちゃぽいな。正解は?

レストランとか?

錦鯉。

ほら見える。ほら見える。

すごすぎるだろ。なんのスキルなんすか、それ。いやいいな。ちょっといいっすね、それ特技に書いていいっすよ、のりさん。

マジで? じゃあ。

はい。

アバウトなところ覚え直さなきゃいけないな。

うん。まあそんな数ないっすよ、多分。

そうか、確かに。

はい。で、まあちょっと戻って、スペースですね。これあの4Keysだけだとまあ測りきれないよねっていうので。

うんうん。

で、4Keys結構なんか定量的に測れるところ。

うん。

のメトリクスが並んでたんですけど、スペースはもっとなんか多角的に見るもので。

うん。

Sがサティスファクションアンドウェルビーイング。

アンド?

はい。

うん。

まあ開発者がね、どんぐらい満足度が高くて、いい感じに働いてるかっていう。

いきなり計測むずそうだね。

これむずいっすね。これもインタビューで。

これスタンプの数とかで測んのかな?

いや、大体インタビューで測るのが多いですね、これは。

うん。

なんか定期的なアンケートっていうんですか。

うんうんうん。

で、二つ目がパフォーマンス。

パフォーマンス。

はい。これは。

雑。

エンジニアのパフォーマンスじゃなくて。

うん。

プロダクトの利用者数とか、なんかそういう。プロダクトにどんだけ。

うんうんうん。

影響を与えたかとか。

ああ、じゃあそのプロダクトのKPIによって変わってくるみたいな感じ?

ああ、うん、そうっすね。

うんうんうん。

まああとはまあ品質とかバグのなさとかも含まれるみたいですけど。

おお。

で、Aがアクティビティ。

はいはいはい。

まあこれはまあリリースした数も入るし、えー、インシデントの数とかも入るし、まあいろいろ。

はいはい。

だからまあ結構4Keysって具体的に測るものが来ましたけど、スペースはなんかこういうの取りましょうねぐらいの。

うんうん。

リードになってますね。

なるほど。

で、Cがコミュニケーションアンドコラボレーション。

うんうん。

これはあの、いわゆるのりさんが言ってた朝会で。

盛り上がり?

した盛り上がりのデシベル数も入るかもしれないし。

はいはいはい。

まああとはチーム内でちゃんとコミュニケーション取れてるかとか、あとドキュメントとかがちゃんと整理されてて、見つけやすくなってるかとか。

うんうんうん。

コミュニケーションとかコラボレーションの周りのもの。

うん。

で、最後がエフィシエンシーアンドフローっていうので、効率とフロー。

うん。

えー、これは、まああの4Keysで言うね、変更リードタイム、なんかコード変更始めてからデプロイされるまでにかかる時間も含まれるし。

うんうんうん。

まあエンジニア個々人が、その集中状態を維持して仕事を完遂できるような状態になってるかとか、なんかその辺? フローだからフロー状態か。

あ、そ、それなんだ。

はい。

マジで計測方法謎すぎるけどね。

いやそう。で、スペースはね、計測方法が全体的にむずい。

そうだよね。なんならなんか一個一個の文字に対していろいろ詰め込みまくってる印象もありました。

あ、そうですそうです。

うん。

これはだからすごい、なんでしょうね、その4Keysを名指しはしてないんですけど、これなんか論文もあるんですけど。

うん。

4Keys名指しにしてないんですけど、僕はなんか4Keysに対してそんななんか、い、い、一つの見方だけじゃ分からんだろう。

うん。

だから多角的に見るフレームワーク作ったぜ、的なメッセージを勝手に受け取ってます。

ああ。

うん。

なるほどな。なんか直感だとその中間に何かありそうだけどなって気もしちゃうけど。

結局多分スペースもまるっと取るんじゃなくて、多分チームにあった、なんかこのチームではここがボトルネックというか、ここを改善すると良さそうだよねみたいな、えーと診断項目っていうんですかね。

うんうんうん。

を設定して、で運用していくようなものになるんだろうなって感じですね。なんか論文出てるんですけど、論文の中でなんか具体的にこうやることもできるよっていうのは書いてるんですけど、あんまり実践的なこと書いてねって言ったらあれですけど。

うんうんうん。

だからそのまままるっとチーム内に入れられる感じではないなとは思ってるので。

うーん。

まあかなり、うーん、まあ理論への熟知というか。

ああああ。

うん、開発チームの解像度が高い、なんか組織というか、組織作りへの解像度が高いかつフレームワークを理解して、じゃあ何しようってみたいな。

はいはいはい。

そういう理解が求められるフレームワークだったりしますと。

なるほど。え、てかあれだね、指標、歴史、新しいな。

うん。まあ今紹介したのはどっちもそうですね。

なんかこんなにさ、あのー、大事そうなものなのにReactより新しいとなんか不思議でしょうがないね。

あんまりなんか定量的に測ってこなかったのかな。

もしくは別の指標があったのかな、当時は。

まあスクラムで言うとベロシティとかがね、まあ一個言われますけどね。まああれもちょっと生産性を測るものでもないか。未来を予測するために使うだけのものなんで。

うん。

うん。

やっぱステップ数ですか。

えっとー、コードの?

うん。

ね、アンチパターンって言われるやつね。

そうなんだ。

あの、複雑なコードをね、書いたらね、それ増えますから。

いやまあそうだよな、確かに。

はい。まあそういうのもあったりするんでね。

うん。

まあていうので、えっとー、まあ今までちょっとね、こういう指標がありますよと。

うん。

いうのがまあ、これこんなんインターネットで調べたらすぐ出るんですけど。

うん。

で、これをね、じゃあ、よっしゃーじゃあツールに入れてつっかおうって思ってもですね、まあうまくいかないですと。

そうなんだ。

うん。で、なんでうまくいかないか。

うん。

これはですね、まあ運用方法を間違えると良くないんですよね。

うん。

で、えっとー、ちょっとのりさんになんかお聞きしたいんですけど。

はい。

なんかそういう4Keysとかのなんかアンチパターンって言うんですか。

うん。

こうやって運用するとうまくいかないよみたいなので、なんか聞いたことあるやつとかってなんかあったりします?

1個もないんですけど。

1個もないんですけど、どうでもいいです。

えー、そうだな、なんていうか、例えばだけど。

うんうん。

えーっと、うちのチームではこれしか測れないからこれでやってこうってなると、なんか数字のハックとかできるようになりそうだなと思ってて。

うん。

例えば極端なこと言うと、えーとー、なんだっけ、あのインシデント、インシデントが起きた回数とか言ってたよね。インシデントだっけ?

えっとー、4Keysで言うと、例えば障害が発生したあとに復旧させるまでにかかる時間がし。

あとなんか、なんか失敗した数みたいなやつか。

あ、そうですね、変更失敗率も4Keysにありますね。

うん。あれとかってデプロイの回数とセットで測らないと。

うん。

あのー、デプロイ減らせば減るじゃんってなっちゃうから。

うんうん。

なんかその数値だけを追っても意味ない状況が起きうるなってのは、まあぱっと思いつくとこですかね。

うんうん。あ、ありがとうございます。それもまあ、ね、アンチパターンですけど、でも現場で実際運用するとね、まあなんか小さいところから始めようというところの言い訳で。

うん。

なんか正当化されちゃいそうじゃないですか。

そうだね、なんか例えばだけどもうデプロイサイクル決まってるからとか。

うん。そうそうそうそうそう。いいっすね、いいっすね。で、そのへんってやっぱりこの理論に対して深くね、改めてめっちゃ勉強して理解しないといけないんじゃないかって思われるかもしんないんですけど。

うん。

実はそんなことなくてですね。

ほお。

誰もが知っているものと照らし合わせながら考えると。

うん。

ひょっとしたら全部正しい理解できんじゃないかという仮説を持っていて。

おお、こっからじゃあ大きな社会実験が始まるわけですね。

はい。こっからちょっと大きな社会実験です。

はい。

で、まああんまりね、ちょっと遠からずな例えで超申し訳ないんですけど。

うん。

皆さんが1年に1回受ける。

うん。

健康診断に例えるとですね。

うわー、去年受けてねー。

受けてねえんだ。ちょっとじゃあ例外の人がいるんですけど。

はい。

健康診断に例えると、メトリクスの運用の正しい運用の勘どころが。

うん。

見えてくるんですね。

なるほど。

はい。っていうちょっと仮説の実験をさせてください。

はい。

で、まあよくあるなーっていうアンチパターンを。

うん。

並べつつなんですけど。

うん。

えー、例えばじゃあ。

はい。

僕がまあ今回あのアプリ作ったって言ってますけど、まあでも世の中にもやっぱりこういう生産性を測るツールはいっぱいありますと。

まあ有名なやつだとね、Findyさんとかが出してるイメージありますね。

うん。で、ああいうのってね、まあもちろん入れるとまあすごいいろいろ見えますと。

うん。

で、これは想像なんですけど、見えるようになって満足する。

ああ。

ことあるんですよ。

はいはいはい。

ああよしよし見えたっつって。

うん。

じゃあまあこれこのままちょっと様子見してこうかみたいな。

うんうんうん。

で、そのまま1年経つみたいな。

なるほどね。

うん。で、これも結構まあ危機感持ったほうがよくて。

うん。

例えばね、多分Findyさんのやつだったらまあ有料なんでしょうしね。

うんうんうん。

うん。で、これあの健康診断に照らし合わせてみましょう。

はい。

これ健康診断受けます。

受けました。

受けました。よっしゃー今年の健康診断も終わったって。

うん。

で、数週間後結果届きます。

届きました。

見ません。

見ましょう。

え、見。

見ません。

み、見ないの。

はい。

そんなやついる?

もうね。

うん。

そういう状態なんですよ。

えー。

よし、メトリクス見えるツール入れたぞ。

うん。

で、結果を見てちゃんと考えないっていうのは健康診断の結果見ないのと一緒。

えー、とりあえずニヤニヤしちゃうけどな、見て。でも。

でしょ?

でも、とりあえず見てニヤニヤしなきゃいけないんですよ。

うん。

てかまあもっと、もう一歩踏みの込むんですけどね、健康診断はね。

うんうんうん。

その結果の良し悪しを考えて、で、ネクストアクションがないかどうかっていうのがちゃんと健康診断に書かれてます。

はいはいはい。

けどそれをやってない状態と一緒なんですよ。

そうなんだ。

うん。

いやでも全然あるあるか。

うん。

あるあるですよ。

あるあるですよ、多分。

うん。で、あるあるだし。

うん。

で、もっと言うとね、仮に結果が、まあ届いたと。

はい。

で、ちゃんと見ましたと。

うん。

ニヤニヤしますと。

うん。

で、あーなんか体重増えてきたなあ。

うん。

メタボリックシンドロームって言われてるなあ。

うんうん。

なんかちょっと、なんだっけ、対面で最後お医者さんとしゃべるときにもなんかチクッと言われたなあ。

うんうん。

これで終わっちゃだめなんですよ。

うん。

これで終わっちゃう人いますよね、多分ね。

いますね。僕毎年あの尿酸値高いんですけど。

そうなんだ。

はい。でもね、どうしていいか分かんない。

尿酸値ね。

うん。

ちょっと僕も専門家じゃないから、尿酸値分かんないですね。

うん。

まあでもそれはね、でも多分聞いたら教えてくれるんじゃない?

聞いたら教えてくれるか。そこ聞かないからだめなんだよね、きっと。

そうそうそう。

うん。

これも結局ツール入れて。

うん。

グラフ見て。

うん。

うーん、なんかデプロイ頻度下がってるけどなあとか。

はいはいはい。

えー、変更失敗率上がってるなあ。

うん。

って終わってるのと一緒なんですよ。

うんうんうんうん。

ちゃんと行動を変えて健康になりましょう。

なるほどね。

うん。っていうのがまずその1ね。

はい。

あるある。あるあるその2。

うん。

じゃあデプロイ頻度の話。

うん。

あるじゃないですか。で、例えばですよ。じゃあうちの組織はアジャイルなチームだから。

うん。

デプロイ頻度。この例えばさっき紹介した4Keysっていうやつって。

うん。

このぐらいの基準満たしてたらエリート、エリートランクですみたいなのが基準決まってるんですよ、がっちり。

へー。

で、それが1日数回だっけな。ちょっと待ってくださいね。うん、1日複数回。

うん。

デプロイをしてたらエリートランク。

ふーん。

なんですけど。

うん。