Leverage libraries and frameworks used by many applications which have around large communities. Consider data points such as the number of GitHub stars a package’s source code repository has received, and number of downloads from within a package manager.

これ気にくわない

リリースのたびにマニュアルテストに300万ドルかけてた組織やばい…スケールが違すぎる

このことを考えると、真のE2Eテストというのは、顧客自身がシステムを使わないことには成り立たないというところに行き着くな。

受け入れテストは顧客の期待するビジネス価値をべつに保証せんだろう

「受け入れテストが、顧客の期待するビジネス価値をアプリケーションが提供していることを保証する」という言説は、かなりよく言われる一般的な見方な気がするけど、個人的には、ほんとに違和感しかないなあ。定義された要件は満たしてて、リリースはしてみたものの、期待したほど顧客に価値を提供しなかった、なんてことは極めてよくあることだろうに。顧客の期待するビジネス価値をアプリケーションが提供しているかどうかは、リリースした後にオンラインモニタリングを見たり、顧客から直接フィードバックを受けたりしないとほんとうにはわからなくて、仮説の検証ができるまでにタイムラグがあるのが普通であり、はるかに難しいことなんだよな。受け入れテストが保証できることは、せいぜい仮説を検証するための機能が期待通りに動作しているかどうか、というところに留まると思うんだけどな。つまり、言いたいことは、リリースというのは、ゴールではなく、仮説検証プロセスのはじまりにすぎないということ。

と、同時にシステム開発・運用ムズいとも思う