新しいガイドで製品主導の実験の力を解き放つ

今日の競争の激しい環境では、製品主導の実験は良いアイデア以上のものです。製品チームとエンジニアリング チームがその影響を定量化する必要があります。しかし、チームは実験の文化を育み、それを製品開発プロセスのあらゆる段階に吹き込んで、自信を持って構築する必要があります。

Reforge と協力して、製品主導の実験に関する包括的なガイドを作成し、この分野の専門家からの洞察とアドバイスを掲載しています。 このガイドは、製品チームとエンジニアリング チームが実験プログラムを確立し、製品の可能性を最大限に引き出すのに役立ちます。 この投稿では、ガイドで期待される内容の概要を説明します。

完全なガイド —Build with Confidence: Your Guide to Scaling Product-Led Experimentation — をダウンロードして、実験文化を構築する方法、実験の実践を理解する方法、実験のロードマップに優先順位を付ける方法などを学習してください。

実験が重要な理由

今日の競争の激しい環境では、実験は製品チームにとってオプションではありません。 これは、チームが成功する革新的な製品を構築し、彼らの仕事をより広い組織に結びつけるのに役立ちます。

Reforge のエグゼクティブ イン レジデンスである Saleem Malkana 氏は、実験は製品チームが自分たちの仕事の影響を測定し、製品戦略を改善するのに役立つと説明しています。 「最高の製品チームは、本当に重要なのは成果物を出荷することではなく、どのような結果をもたらすかということを知っています」と彼は説明します。

製品変更の影響を測定するには、チームは仮説を立て、実験を行い、結果を評価する必要があります。 実験の結果を使用して、将来の製品戦略を知らせることができます。

テストは、製品変更のリスクを軽減する方法でもあります。 製品チームは、すべてのユーザーに製品を展開する前に、製品の決定が与える影響を評価できます。これは、コストのかかるミスにつながる可能性があります。

Amplitude Experiment の製品責任者である Wil Pong 氏は、WYSIWYG アプローチなどのより表面レベルのツールを使用して、製品主導の実験により、エンジニアリングの開発サイクルを中断することなく、より迅速なイノベーションを実現できると主張しています。

以前は、Netflix のような大企業だけが、カスタマイズされたエクスペリエンスを提供し、さまざまな製品インターフェイスやレコメンデーション エンジンを試すことができました。 現在、Amplitude Experiment のような新しいアプリケーションを使用すると、あらゆる規模の組織が、ユーザーのニーズに基づいて製品をリアルタイムで反復および改良できます。

製品主導の実験により、製品チームは、機能フラグを使用して製品全体に対象を絞った実験を提供できます。これにより、チームはエクスペリエンスを完全に制御してオンまたはオフにすることができます。 これにより、チームは「残りの製品開発を強化するのと同じプロセスとテクノロジーを使用して、ターゲットを絞った実験と機能リリースを提供する」ことができ、最終的には技術チームを混乱させることなく迅速なイノベーションを推進することができます、と Wil は説明します。

最近の説明責任の変化を考えると、実験は製品リーダーにとっても重要です。 CAUSL の創設者兼マネージング ディレクターである Bhavik Patel 氏は、組織がアウトプット ベースのアプローチから結果ベースのアプローチに移行し、プロダクト リーダーをより精査するようになったと説明しています。 製品チームの ROI を測定することは困難ですが (組織は通常、人員数またはエンジニアリング時間を使用します)、実験を通じて製品の影響を追跡することは、製品チームが自分たちの仕事をより広い会社の目標に結びつけるのに役立ちます。

実験の文化を築くとは

実験文化には、組織のすべての部分が関与する必要があります。 その文化を確立するには、組織は考え方を変え、具体的なシステムとプロセスを構築して、迅速に出荷するだけでなく、学習速度をサポートする必要があります。

Saleem は、実験の文化は純粋に技術的なものではないと説明しています。 次の組み合わせです。

• 人:チーム メンバーはデータドリブンです。
• 統合されたプロセスとコミュニケーション:実験は、チーム間の健全なコミュニケーションを伴う製品開発プロセスの一部です。
• テクノロジー:組織は、実験を可能にするプラットフォームを使用しています。

チームレベルを中心に、組織のあらゆるレベルで実験が行われることが理想的です。 また、テストは日常業務の一部である必要があります。これにより、チームは製品の改善に使用できる洞察を安定して得ることができます。

実験の文化を作るには、チームは好奇心と「失敗」を受け入れる考え方を開発する必要があります。これは、どちらも学習のメカニズムであるためです。 実験に弾みをつけるには、エグゼクティブ チャンピオンを確保することも重要です。

実験に賛同するエグゼクティブは、時間、予算、ツールなどのリソースを提供するのに役立ちます。 また、部門間のオープンなコミュニケーションとコラボレーションのためのチャネルの作成も支援します。

詳細については、完全なガイドをご覧ください。

実験の旅を始める方法

組織での実験プログラムの実装には時間がかかります。 ここでは、開始時のベスト プラクティスをいくつか紹介します。

小さく始めてスケールアップ

最終的な目標は、組織全体に実験を展開することです。 ただし、組織は、規模を拡大する前に、1 つのチームで低リスクのテストから始めて小規模に開始する必要があります。

Saleem は、1 つの「センター オブ エクセレンス」を確立することを推奨しています。つまり、基本的な実験スタックを検証し、そこから構築する単一のチームです。 Growth Advisor で Interim Growth Exec の Elena Verna 氏は、次のように説明しています。

彼女は次のように続けています。 そうすれば、組織全体が実験で勝つ方法を学ぶことができます。」 最終的には、すべての部門のチーム メンバーがテストを実行して、日々の決定を通知できるようにする必要があります。

Bhavik は、チームがリスクの低いテストから始めることを提案しています。

彼はまた、非現実的な数字にとらわれないよう警告しています。 大多数の企業は、何千もの実験を実行しようとするべきではありません。 代わりに、「目標は、前四半期または前年よりも多くの [テスト] を実行することです」と彼は言います。

アイデアを出し、検証し、優先順位を付ける

不必要な実験を行うとリソースが浪費されるため、チームは実行する実験を慎重に選択する必要があります。

メトリクス ツリー (製品のすべての要素が会社の目標に至るまでの経路を示す図) または太陽図 (組織のワークストリームの概要) から着想を開始します。 これらの図を確認すると、実験の取り組みをどこに集中すべきかがわかります。

アイデアをテストするには、まずテストの概念を検証して、追求する価値のあるアイデアを特定します。 検証するには、塗装ドア テスト、デスク リサーチ、または同様の実験の結果を調べることができます。

次に、潜在的な各テストから洞察を得るまでの時間を検討します。 Elena は、チームは学習の速度を優先し、実験を実行するだけでなく、実験を構築するのにかかる時間を考慮する必要があることを強調しています。 Saleem はまた、大きな課題をテスト可能な小さな仮説に分割して、フィードバック ループを高速化することも提案しています。

考慮すべきその他の要因は次のとおりです。

• テストを実行するのに十分なトラフィックが必要なため、製品のさまざまなポイントでのボリューム
• 実行したいテストが、お持ちの分析ツールで測定できるかどうか

テストのアイデアを検証したら、次の基準に基づいて実行する実験に優先順位を付けます。

• あなたのテスト能力
• テストがどの程度の影響を期待するか
• それが望ましい影響を与えることにどの程度自信がありますか
• テストの実行に伴う労力

ベスト プラクティスを使用して実験を設計する

Bhavik は、適切に設計された実験は科学的方法に根ざしていると説明しています。 それらは、実験前の計画、実験中の監視、および実験後の分析の段階に分けることができます。

実験のアイデアを検証し、優先するテストを選択したら、実験を計画する必要があります。 実験を実行する理由を文書化します。 何がテストおよび変更されているかを明確に説明します。それは、設計変更または新しい機能またはエクスペリエンスである可能性があります。

仮説を立て、実験のために明確に定義された製品指標または KPI を設定します。 考えられる結果に基づいて、次のステップを決定します。 各バリアントが勝った場合、またはテストが統計的有意性に達しない場合に何が起こるかを判断します。

完全なガイドで、実験前の計画をさらに深く掘り下げます。

実験中に、分析ダッシュボードを作成して、テストを継続的に監視します。 実験の後、結果を分析し、結果を明確にします。 その後、チームはあらかじめ決められた次のステップに進むことができます。

自信を持って構築する

実験プログラムを成功させる方法の詳細については、製品主導の実験ガイドをダウンロードしてください。