先週のありえるえりあ勉強会に出席したかったのに、来ないでほしいオーラを感じて出席できなかった井上です。 ちょっと ウノウラボ っぽい書き出しにしてみました。

「ソフトウェアテストシンポジウム JaSST'10」のレポートがgihyo.jpにありました。

• http://gihyo.jp/news/report/2010/01/2901

自分は行っていませんが、行った人によると面白かったとのことです。

上のレポートからの引用です。

一方，比較的どんな現場でも有効なデータとして，有能なマネージャの働きは65％の改善をもたらすという。これに対して，有能なスタッフ（部下）の働きや開発プロセスの変更による効果はそれぞれ55％，35％の改善効果となる。これらの数字を比較すると，もっとも適用効率が良く，改善をもたらすのは，有能なマネージャをもつことなのだ。

なんという眉唾物。一体、どうやればこんな数値を導き出せるのか不思議でなりません。

野球の監督にたとえてみます。有能な監督はチームの勝利に65%貢献すると言われたら、誰もが、なんだそれはとなるはずです。一方、有能であることを、チームの勝利やプロジェクトの成功の確率を上げることだと仮定すると、トートロジーめいて何を根拠に数字を出しているのかまったくわからなくなります。

話は変わりますが、去年、「 マネーボール 」を読みました。話題になったのはだいぶ前で、セイバーメトリクスなどこの本由来の知識を色々知っていましたが、実は読んでいない本でした(時々あります、間接的に色々聞いて読んだ気になっているけど実は読んでいない本というのは)。

セイバーメトリクスの詳細は他所に譲りますが、たとえば、選手の特性がチームの勝利にどれだけ貢献したかを統計的に導き出すなどの手法です。チームの勝利と正の相関の強い数値を導き出して、その数値の高い選手を集めてアスレチックスが強くなるのがこの本の本筋です。で、これらに出てくる指標が今までの常識に反したり、経験者特有の思い込みやプライドと衝突するのが本の肝になっています。

出塁率重視、盗塁軽視などは既に有名で知っていました。実際に本を読むまで知らなかったのが、スカウトと(セイバーメトリクス派)GMの対立の部分です。スカウト(たいてい元プロ野球選手)は、その選手の足が速いとか肩が強いとか球が速いとかを重視して選手をドラフトで上位指名しようとします。そして高校生の本格派投手(要は球が速い投手)をドラフト1位に推したがります。それに対して、GM派は、球が速いとか足が速いとかそんな未知数の才能はどうでもいいので、実績の数値(出塁率など)だけを見ろと主張します。

本の中では、この対立を、スカウト側は元プロ野球選手ゆえの偏見があるという書き方をします。才能やスター性に対する憧憬だったり、本格派投手を技巧派投手より格上に見たり、長打力があり足の速い打者を重視するのは、経験者特有の思い込みなのでは、という書き方をします。

なんかわかります。

自分がプログラマを採用する時も、実績、つまり、どこで何年働いたとか何の資格を持っているかよりも、輝く才能を見つけて人を採用したくなります。優れた才能に対する憧憬もあるかもしれませんし、多少なりとも、自分はプログラマだから優れたプログラマの才能を見つけることができるのだというエゴもあるかもしれません。本の中のスカウトと同じように、経験や技巧は後から身につけられるけれど才能は後からは買えない、という思いもあります。

でも、もしかしたらこれは、足の速さや球の速さを見ているのに近いかもしれません。ソフトウェア開発のプロジェクト成功に強い相関があると信じていますが、たいして根拠はないのかもしれません。

わからないものはわからないので、信じるしかありません。65%のような数字でわかった気になっても救いはありません(ちなみに、これらの数字を除いて、Johanna女史の話したことにケチをつける気は別にありません)。