Forrester と Elena Verna をフィーチャーした実験を使用して製品主導の成長を推進

Amplitude の成長責任者である Elena Verna と Forrester のプリンシパル アナリストであるゲスト スピーカーの Chris Condo は最近、製品主導の成長 (PLG) と、どの製品や機能がさらに注目して投資する価値があるかを企業が判断するのに役立つ実験の役割について話しました。

収益センターとしての製品

Elena はウェビナーの冒頭で、あらゆるビジネスの最終的な目標が成長であることを強調しました。 「成長レバー」は、獲得、注目（または活性化）、および収益化の形で現れます。 販売およびマーケティング主導の成長は依然として有用であり、補完的な取り組みになる可能性がありますが、製品主導の成長には明確な利点があります。

• 製品主導の成長では、ユーザーは他のユーザーを獲得し、効果的にマーケティング担当者として行動します。 それらは人が介在することなく購入またはアップグレードに導かれ、それらの使用はより多くの使用を引き起こす可能性があります. これは、多くの場合、製品が彼らの興味やニーズに合わせて調整されているためであり、パーソナライズや価値の向上につながります.
• マーケティング主導の成長では、見込み顧客がすでに活発なサードパーティのプラットフォームまたはプロパティでリード生成が行われます。 次に、マーケティングは、購入オプションまたはパイプラインの認知度を高めるために機能します。 変換後、マーケティングはユーザーに継続的または拡張された使用をトリガーするように教育します。
• 販売主導の成長では、アウトバウンド コミュニケーションが新しいバイヤーを引き込み、契約は手動でクローズされることがよくあります。 定期的なチェックインは、四半期ごとのビジネス レビューと合わせて、またはカスタマー サクセス アウトリーチの一環として、顧客維持に価値をもたらします。

通常、これらの形態の成長はすべて必要であることに注意することが重要です。 ただし、これらの領域の優先順位付けまたは順序付けは、固有のビジネス ニーズに依存し、ケースバイケースで異なります。

B2B では、マーケティングおよびセールス主導の成長は、多くの場合、顧客インタビューに依存しています。 また、多くの場合、顧客数が少なく、対応可能な市場が小さいため、顧客の生涯価値を最適化することがビジネス上の必須事項になります。

製品主導の成長では、買収、保持、および収益化の圧力が製品自体に適用されます。 このシフトの一環として、直感はこれまでしかあなたを導くことができず、実験は交渉の余地がありません.

顧客へのインタビューは、マーケティング主導とセールス主導の成長における知識のギャップを埋めることができますが、製品自体に変更を加える場合は、適切なデータ、方法論、実験の枠組みが必要です。

ユーザーの関心を維持する

ある意味で、製品主導の成長とは、マーケティングではなくユーザーに投資することです。 それは、あなたの製品に関わる人々の関心を維持することです。

企業が「自分自身を売る」ことができる製品に移行するにつれて、B2B の焦点はついに変わりつつあります。 B2B はおそらく「パーティーに 10 年遅れている」と Elena は見積もっていますが、今は実験が必須です。 実験をしない人は、認識と現実のギャップが広がるため、混乱の影響を受けやすくなります。

Elena は、顧客インタビューからの定性的なフィードバックは、部屋で最も大きな声からのフィードバックを過度に強調する傾向があると説明しました。 「私たちは最も声の高い人々に焦点を当てています。 パワー ユーザーは声が大きいので、私たちはしばしばパワー ユーザーに焦点を当てています」と彼女は詳しく説明しました。 これは、市場の大部分を占めるコア ユース ケースを犠牲にして発生する可能性があります。

Chris は、製品主導の成長には、製品を変更し、機能や高度な設定の有用性を判断することが含まれると述べました。 これにより、企業は実際のエンド ユーザーからフィードバックを得て仮説をテストし、さまざまなバージョンを比較して、最終的に「顧客にとって何が重要か」を判断できます。 答えが直観に反する場合もあります。そのため、マーケット フィットを評価する際に当て推量では十分な方法とは言えません。

PLG はコストを削減し、コア ビジネス ニーズを満たします

適切な投資を行うことは、景気後退期には特に重要です。 幸いなことに、製品主導の成長により、さまざまな方法でコストを削減し、コア ビジネス ニーズに対応できます。

デジタル広告バキュームに投入される金額が少なくなる

製品主導の成長は、費用対効果が高いこともあり、人気が高まっています。 PLG に投資することで、費用がかかり、しばしば変動する Google やソーシャルの広告費を、成長を促進する研究開発に再配分することができます。

リリース ケイデンスをスピードアップし、パイプラインの優先順位を再設定します。

多くの企業では、製品リリースのペースが停滞しているため、変更も必要です。 「価値のない無駄な技術的負債の機能がパイプラインにプッシュされすぎています」と Chris は観察しました。

製品主導のモデルでは、ユーザーのニーズに合わない低価値の未処理アイテムが排除されます。 さらに、パイプラインに投入するものを変更することで、個人および組織の生産性が向上します。

カスタマーサポートの負担が軽減される

カスタマー エクスペリエンスの向上により、サービスの問い合わせやカスタマー サポートのバックエンド コストが削減される可能性があります。 製品が使いやすくなり、ユーザーが「あはは」の瞬間に到達するとすぐに価値が引き出されます。

顧客はより多くを費やす

カスタマー エクスペリエンスを向上させると、業界全体で顧客の支出が増える傾向があります。 ウェビナーで、Chris は Forrester の表を提供しており、大規模な顧客ベース全体で乗算すると、わずかな利益であっても収益に大きな影響を与える可能性があることを示しています。

顧客を維持しやすくなります

また、製品主導の成長に着手しないことで、顧客を失うリスクもあります。 皮肉なことに、失敗への恐れは実験を妨げ、顧客が製品をあきらめて解約するまで同じ過ちを繰り返すことにつながる可能性があります。

誰が実験でき、なぜ実験すべきなのか?

銀行などの一部の組織は、実験は立ち入り禁止と考える場合があります。 しかし、実験は、機能やバリエーションを内部的に、または小さなサブセットでテストするためのより制御されたアプローチであり、その後、ユーザーベースへの段階的なロールアウトが続きます。 Chris 氏によると、これにより、「製品チームの他のメンバーをリリース サイクルに人質にするのではなく、リリースを管理するのではなく、展開を管理することができます。」

また、組織は漸進的な変更と導入コストの削減に対して慣性を維持できます。 このアプローチは、市場と一致しない可能性のある 1 つのリリースに重点を置き、6 か月後に投資を放棄するよりもはるかに持続可能です。

部屋の最高位の人からの完全かつ統一的な同意または経営陣の決定を求めることは、前者の場合は独創的でない、または市場投入が遅れた製品を作成するか、後者の場合はチームの士気を低下させるという有害な影響を与える可能性があります。 結局のところ、提案された製品に関するコンセンサスはイノベーションを促進するものではありません。

客観的な顧客データを使用して直感を磨き、実験を導き、製品主導の成長を後押しする方が、はるかに説明責任があり、包括的です。 その結果、恣意的なプロジェクト要件ではなく、役立つ製品を中心とした優れたカスタマー エクスペリエンスが実現します。

実験を実行し、何が機能しているか (または機能していないか) を測定する方法

多機能チームは現在、より深いレベルで実験を実行し始めています。 製品主導の成長は、マイクロサービスの拡大とエンドユーザーの推測ゲームを伴う複雑なアーキテクチャからの移行を表しています。そこでは、チームはユーザーが何を望んでいるのか、最初に (または、少なくとも以前に) 正しく理解するかを推測します。 内部テストまたは厳密に範囲を絞った最小実行可能製品の実験により、ユーザー ベース全体に影響を与えることなく顧客体験を最適化できます。また、企業はテレメトリを導入して製品メトリックのベースラインを確立できます。

Chris が述べたように、組織の硬直性から抜け出すには、新しいバージョン、機能、または製品が、置き換えられるものと同じレベルのサービス、使いやすさ、および機能を提供するかどうかを判断するために、少なくとも実験する価値があります. おそらく優れていると思われる新しいバージョンでは、ユーザーが高く評価した機能の一部が削除された可能性があります. どんな実験でも、失​​敗は非常に有益です。

場合によっては、大規模なローンチやリリースによって指標が向上することを期待している企業もありますが、そうではありません。 認識と現実のギャップを特定することは、組織の変化とコンセンサスを促進するのに役立ちます。 企業は、失敗を定量化し、その理由を判断する方法を学ぶ必要があります。つまり、「学習方法を学ぶ」ことです。 これは最終的に、より予測可能な勝利と再現可能な成功につながります。

実験は、単純化、強化、並べ替え、再構築、追加、または再発明に努めることができます。 最適化は、摩擦を減らすことを目的としています。 イノベーションは潜在的に価値を拡大します。

ウェビナー中に、Elena と Chris は実験に関する次のガイダンスを提供しました。

次の場合は実験しないでください。

• 実験費用が高すぎる。
• 学習を収集するのに十分なデータがありません。
• 明確な仮説はありません。
• このテストは、ビジネスの成果と戦略的に一致していません。
• 学ぶべきことは何もありません。
• 不利になる可能性はありません。

実験することに決めたら、次のことを忘れないでください。

• 強力な仮説から始めます (チームには直感があるかもしれませんが、テストする必要があります)。
• 変数が多すぎる実験を作成する場合は注意してください。
• タスクに十分な技術リソースを用意し、自家製のツールがデータ ガバナンスを破る可能性があることに注意してください。
• 確証バイアスを避ける。 科学における目標は、何かが機能した理由を解明することです。 ビジネスでは、機能しているものに触れたり、説明を深めたりする価値があるにもかかわらず、ためらうことがよくあります。
• 変更管理の重要性を認識します。
• 最初に実験的な文化を構築します。

より具体的で、大きな問題を小さなテストに分解しやすくするために、仮定ごとに実験を設計することが重要です。 初期段階の企業は、データ量が少なく、統計的有意性が手の届かないものに見える場合があります。 しかし、これでも何らかの形の実験を排除するものではありません。 組織は引き続き、ベータ テストやパイロットを実施したり、それに応じてテスト方法を調整したりできます。 間違いなく、これはアイデアを評価して何が定着するかを確認する最も適切な時期です。

実験の開始

実験は、顧客が適切な機能を見て、ロイヤルティを生み出す価値を受け取ることを保証し、最終的にビジネスの拡大に役立ちます。 これにより、価値実現までの時間を短縮し、アジャイルな方法論を採用する効果的なリリース プロセスに経営陣とチームが関与し、調整されます。

リソースがある場合は、社内に実験ベースの文化の基礎を築く価値があります。 製品を展開する際の当て推量を自信を持って取り除くと同時に、コラボレーションと説明責任の内部環境を促進することができます。

この要約を楽しんだ場合は、完全なウェビナーを視聴するか、無料の Amplitude アカウントにサインアップして製品主導の成長と実験について学んでください。

ウェビナー Q&A

ウェビナーに続いて Q&A セッションが行われ、製品主導の成長における実験の役割をさらに探りました。 私たちの答えを見るために読んでください：

1. 製品主導の成長をコア ユーザー以外にどのように適用しますか? 一部の企業には、製品を購入するコア ターゲット オーディエンスがいます。 製品主導の成長を、単なる視聴者または消費者である可能性がある他のペルソナにどのように適用しますか?

ウェビナーで製品主導の成長について説明したとき、私たちは 3 つの主要な目標、つまり保持、獲得、収益化に注目しました。 他の人があなたの製品の消費者 (あなたの製品が発行するレポートやダッシュボードを見るエグゼクティブなど) であるが、それを毎日使用しない場合でも、それは全体的なリテンションに役立ちます.

コア ユーザーは、仕事をより効率的に行うのに役立ち、製品が定着するため、製品から多くの価値を得ることができます。 しかし、これらのコア ユーザーだけでなく、それらを取り巻くエコシステム全体と、製品が内部からの採用に影響を与えるように改善を段階的に推進する方法を考慮することが重要です。

2. 当社が製品主導であるかどうかを判断するために、当社はどのようなパフォーマンス データ メトリクスを使用する必要がありますか?

ウェビナーで説明したように、Elena は製品主導の成長をリテンション、獲得、収益化の集大成と見なしています。 彼女はまた、製品、マーケティング、セールス リードにわたる成長マトリックスにも注目しました。

たとえば、買収が製品主導の場合、何人のユーザーが他のユーザーを製品に招待したかなどの指標が表示されます。 しかし、販売主導の場合は、新しいバイヤーやユーザーへのアウトバウンド アクティビティが多くなります。

ウェビナーの 5 分 14 秒の部分で、この概要がよくわかります。

3. 実験の価値は非常に明確ですが、組織全体に実験を採用するよう説得するのは困難です。 これに取り組む方法に関する推奨事項はありますか？

これについてはウェビナーで詳しく説明しましたが、一般的なテーマに注目する価値があります。 組織全体やリーダーシップまで賛同するのに苦労している場合は、もっと小規模から始めてください。 1 つのチームから始めて、実験を実行してもらいます。

秘訣は、良いことも悪いことも含めて、発見したことを共有することです。 肯定的なリフトと結果を示した良好な結果と、機能のリリースが有害であった (リスクが軽減された) ことを示した結果を表示します。

最終的に、他のチームは、彼らが出荷したものが重要であることを示すために、どのようにして貴重なデータを取得できるかに関心を持つようになるでしょう。 社会的証明は強力なツールです！

より詳細な回答については、リプレイの 45:45 分のマークを確認してください。

4. トラフィックがはるかに少ない B2B 製品のコンテキストで、どのように実験に取り組みますか?

これは、多くの企業にとって難しい領域です。 通常、これには、大きなサンプルサイズを必要とせずに実験で統計的有意性を達成できるさまざまな統計分析が必要になります。 場合によっては、これらの方が方向性が高い場合もありますが、それでも大きな上昇が見られます。 真の統計情報を十分に把握していない可能性がありますが、ビジネス上の意思決定のコンテキストから、機能をリリースするのに十分な方向性があります. これを解決するのに役立ついくつかのエキサイティングなアップデートがあるので、しばらくお待ちください.

5. 何かを真のまたは有効な実験と見なすには、最低何人のユーザーが必要ですか?

ヒットする正確な数を提供できる、これに対する簡単な答えはありません。 それは、実験がもたらすと予想される影響の大きさ、結果にどの程度自信を持ちたいか、許容できる偽陽性率、およびどのタイプの統計分析を行うかなど、いくつかの要因に帰着します。行っています。

おそらく探しているのは、サンプルサイズの計算機です。 この質問に役立つように製品に組み込まれていますが、推奨されるサンプルサイズに到達するのに役立つ多くの手動および自動計算機がオンラインにあります.

6. 各 A/B テストについて、顧客からのフィードバックをどのように得ていますか? インタビュー？ フィードバックフォーム?

これは、ほとんどの企業におけるプロダクト マネージャーの特徴的な役割であり、何を構築するかについてのフィードバックは複数の場所から寄せられます。 それは、1 対 1 の顧客インタビューまたは電話である場合もあれば、営業電話、アナリストのフィードバック、市場調査、さらには実際の顧客データから得られる場合もあります。

人々が振幅分析を使用する大きな理由であるため、私たちは最後のものに部分的です. 当社の分析製品を使用すると、ユーザーが製品内をどのように移動するか、どのような機能を使用しているか、製品使用のさまざまな段階でのコンバージョン率などを確認できます。ユーザーが離れたり、離れたり、混乱したりしている場所を見つけることができます。 . これがどのユーザーに起こっているかを知ることができるので、対象を絞った調査を送信したり、ユーザーがその摩擦点に到達したときにアプリ内フィードバックをトリガーしたりできます.

エクスペリエンスのその部分をよりシームレスにし、実装するいくつかの方法をすばやく特定できます。 機能フラグの背後にある新しいエクスペリエンスをスローして実験し、修正したいエンゲージメントが向上するかどうかを確認してください。 その場合は、全員に展開します。 そうでない場合は、害を及ぼすことなく破棄し、新しいことを試してください。

7. 現在のユーザーのプールで実験を実行すると、データの現実に影響がありますか?

良い意味でも悪い意味でも絶対に可能です。 場合によっては、ユーザーにとって不快に感じる変更をリリースすることができます。ユーザーは、それが新しいものであるという理由だけで、それに関与することを拒否します。 それ以外の場合は、「ピカピカの新しいオブジェクト」のように感じる変更をリリースします。 より多くの人がそれに従事するようになりますが、効果は短命かもしれません.

どちらの場合でも、貴重な情報を得ることができます。 何かが新しいために耳障りな場合は、新しい機能をユーザーにそっと紹介して、ユーザーが驚かないようにする方法を検討するとよいでしょう。 「光沢のある新しいオブジェクト」の問題が疑われる場合は、実験をより長く実行して、人々が新しい機能に慣れるにつれて効果の大きさがどのように正規化されるかを確認することを検討してください.

Amplitude のようなツールを使用すると、コホート分析を通じて、実験のユーザー コホートをより詳しく調べることもできます。 彼らは新しい機能を繰り返し使用していますか、それとも「ピカピカの新しいオブジェクト」だったので一度だけ使用しましたか?

8. ランディング ページの画像、ボタンの色、広告コピーの変更など、マーケティングの世界ではしばらく前から実験が行われてきました。 製品チームが実験を受け入れることを妨げているのは何ですか?

最も簡単な答えは、主にエクスペリエンスの変更方法 (ランディング ページのコピーと製品の機能) が異なるということです。 変更の全体的な影響は、製品に対してより大きな脅威 (実際のまたは認識された) をもたらす可能性があります。 製品の変更について誤った決定を下すと、それが実験であっても、ユーザーや顧客を完全に失うリスクがあります。 広告コピーについて誤った判断を下すと、期待したほど多くのインバウンド リードを獲得できなくなります。

しかし、本番環境の製品のように、ハイリスクでハイリターンな環境では、すべての人に展開された悪い機能によってほとんどのユーザーを失うよりも、実験を通じて展開された悪い機能の決定によって数人のユーザーを失う方が良いです. . 私たちの能力を過大評価するのはよくあることですが、リスクを非常に嫌う傾向もあります。 実験には本質的に、「不確かなものをテストする」という隠された意味があります。製品チームにとって、不確実であることは恐ろしいことです。

より詳細な回答については、42:00 分あたりのウェビナーのリプレイをご覧ください。

9. ユーザーからのフィードバックを待っているために実験の実行に時間がかかる場合、どのように対処しますか?

これは、実際の実験プラットフォームが役立つ場所です。なぜなら、ユーザーがそれを気に入ったかどうかを言うことに依存していないからです。 代わりに、実験を行ったユーザーの行動を監視して測定します。

たとえば、e コマース ストアの新しいチェックアウト フローを追跡する実験を行ったとします。 新しいチェックアウト フローのユーザーがより速くチェックアウトし、より多くのトランザクションを完了する場合、新しいチェックアウト フローが優れていることを知るために口頭または書面によるフィードバックは必要ありません。 これは、実験と分析を組み合わせた力です。

10. 言い回しと仮説の形成をどのようにすすめますか? ベースラインから始めますか? 「改善」の基準は何ですか？

私たちは比較的一般的な方法で製品の仮説を構築します。そこでは、影響を与えたい製品メトリックと、それにどれだけ影響を与えたいかとして表される実験の目標を設定します。 たとえば、「バリアント Aは、コントロールよりもチェックアウト完了率を 8% 向上させると考えています。」 ここで、Amplitude のような強力な分析ツールを使用して、メトリクスのパフォーマンスに関する履歴ベースラインを確実に把握できるようにします。 以前のやり方がわからない場合は、新しい経験でうまくいっているか悪いかを知ることができません。

どのような改善が必要かという点では、ビジネスの状況に大きく依存します。 一部の企業は、収益、エンゲージメント、リテンションの向上など、意味のあるビジネス成果を得るために、指標を 10 ～ 15% 上昇させる必要があります。 他の企業 (通常、高度に最適化された製品と多くのユーザーを持つ大規模な企業) の場合、1% のリフトで大きなビジネス成果を得ることができます。

11. 企業が今日から始められるクラス最高の実験ツールをいくつかお勧めできますか?

製品実験の市場で間違いなく最高のクラス最高の実験プラットフォームである Amplitude Experiment を販売しているため、これは少し利己的です。 当社の製品は、製品の実験を 1 か所で計画、構成、監視、および分析できるオールインワン プラットフォームで必要なすべてを提供します。 また、これらの実験を提供し、自動的に追跡するための完全に成熟した機能管理システムもあります。

これを分析プラットフォームと結び付けて、堅牢なメトリック追跡と、実験以外の顧客の行動に関する深い洞察を得ると、これらの洞察を実際のビジネス成果に影響を与える行動に変える方法がわかります。

12. 非 UI ベースの実験の例を教えてください。

多くの人は、マーケティングの世界でコンバージョンの最適化に焦点を当てた実験に精通しています。 これらは、テキスト、画像、または色を変更して、ユーザーがどれを好むかを確認するように見えます. これらすべてを Amplitude で行うこともできますが、私たちは主に製品エクスペリエンスの変更に焦点を当てています。たとえば、チェックアウト フロー、ユーザー オンボーディング、ナビゲーションの変更、アプリケーション ページ構造、構成オプションなどを考えてみてください。 ユーザーが仕事を遂行するために製品とやり取りする方法に関係するものはすべて、実験によって影響を与えることができます。

13. プロダクト マネージャーとして、プロダクトの変更について第六感や直感を構築することがあります。 そうではないと言うデータに直面しても、私たちは自分の直感に任せるべきでしょうか?

データはまさにデータです。 ビジネスについてデータが把握していないことがあり、データが示す内容にどれだけ重みを置いているかが歪められる可能性があります。 あなたの会社の戦略が進んでいる方向性や、市場全体がどのように変化しているかについて、現時点での実験データでは分からないことがあるかもしれません。

通常、プロダクト マネージャーとしての私たちの直感は何かに由来しますが、それが何であるかを言語化することはできない場合があります。 実験とデータを使用して、その時点で最も理にかなった方法で意思決定を行います。 場合によっては、それは結果に完全に依存してそれに基づいて決定することを意味する場合もあれば、データでは伝えられない説得力のある証拠が他の場所にあるため、わずかに異なる方向に進むことを意味する場合もあります.

14. 最初の実験を開始した後に、プログラム全体が下向きのスパイラルに陥る可能性のある一般的な落とし穴は何ですか?

多くの場合、実験が企業文化の一部になると、多くの実験は失敗します。 別の言い方をすれば、実験の結果は、製品の変更があなたが望んでいた上昇をもたらさないこと、または場合によっては、完全にロールアウトされた場合に製品に悪影響を与えることを教えてくれます.

最初に実行した実験がたまたまそれらの実験の 1 つであり、祝うべき大きな勝利を得られなかった場合、作業を行ったチームにとって非常にやる気をなくし、コードを公開してから、そうしないように指示するデータを参照してください。リリースを進めます。 これが、この文化を構築するための重要なステップが「学び方を学ぶこと」であると Elena が指摘した理由の 1 つです。 これは、「失敗した」実験であっても、ユーザーに関する貴重な知識と洞察を得ていることを意味します。

どの機能が製品に悪影響を及ぼし、どの機能が顧客に好まれるかを知ることのどちらかを選択しなければならない場合は、前者について知ることをお勧めします。 これは大きな考え方の変化であり、多くの人にとって不快です。 「失敗した」実験を認め、そのための努力さえすることは、その下向きのスパイラルを回避する上で健康的であり、役立つ場合があります。

15. 企業の製品主導の成長戦略を担当するのは誰ですか? それは製品チームであるべきですか？ それともグロースマーケティングチーム？ または両方？

成長は会社の全員の仕事であり、複数の要因が製品主導の成長を成功させることができます。 その一部は、コンバージョンの最適化と、より多くのユーザーの無料から有料への移行、または認知から試用への移行です。 他の部分は、人々がそれなしでは生きていけないロックスター製品を確実に手に入れることができます. 最終的には、目標を調整し、力を合わせてリテンション、獲得、収益化にどのように影響を与え、より強力な成長を実現しているかを理解することが重要です。

これについては、ウェビナーの早い段階で取り上げました。最初の 10 分間をご覧ください。

16. このウェビナーの録画はありますか?

絶対！ 見逃した場合や、ウェビナーを同僚と共有したい場合は、リプレイを見ることができます。