実験ブリーフを使用してより良い実験を計画する
公開: 2023-02-03あなたの会社が実験の旅を始めたばかりであるか、すでに実験の文化を確立しているかにかかわらず、Experiment Briefs を使用すると、実験を民主化し、より良い実験を設計し、各実験の目標と次のステップについて透明性を高めることができます。
実験を民主化する
民主化とはどういう意味ですか？ 民主化とは、何かを誰もが利用できるようにする行為です。 実験を民主化するには、組織は次の 2 つのことをアクセス可能にする必要があります。
- 実験を実行する機能は、組織のどの部分の誰でもアクセスできる必要があります
- 誰もがすべての実験の重要な事実と結果にすばやくアクセスできる必要があります
実験の重要な事実と結果を民主化するための優れたアプローチは、実験ブリーフを使用することです。
チームが実験ブリーフを使用する必要があるのはなぜですか?
より良い実験を計画する
実験を実行することは、科学的方法の基本的な構成要素です。科学は重要な言葉です。 実験計画はプロセスの重要な部分ですが、多くのチームはプロセスのこの重要なステップを見落としがちです。 これについては、次のセクションで詳しく説明します。
プロセスに透明性を組み込む
透明性のある文書がなければ、事実を学んだ後で意思決定を合理化し、物語に当てはめることは簡単であり、実験結果が悪いことにつながります。 実験の実行後に明確な次のステップを文書化することで、チームは実験から学んだことに基づいて前進する可能性がはるかに高くなります。
良い実験とはどのようなものですか？
多くの実践者は、実験はアイデアから始め、プロトタイプを作成し、それをテストし、次に何をすべきかを考え出すことで構成されると想定しています。 間違い。
優れた実験は、科学的方法の骨格に従います。 これらのコア コンセプトは、いくつかの特注コンポーネントとともに、デジタル実験の世界に引き継がれます。 ちなみに、私が「良い実験」と言うとき、私は実験の結果について言及しているわけではありません。 「良い実験」は、よく計画された実験を意味します。」
優れた実験計画の重要な要素は次のとおりです。
企画（事前実験）
- なぜこの実験を行う予定なのかを明確にする観察結果を文書化する
- 私たちの観察を検証するための研究。 この調査は、定量的、定性的、競合に関する洞察などです。
- 明確に定義された指標または KPI を使用して仮説を構築する
- 各バリアントが成功するかどうか、またはテストが統計的有意性に達しないかどうかなど、考えられるそれぞれの結果に基づいて、チームの次のステップに関する調整を行います
- テスト設定の特徴には、期間、オーディエンス、トラフィック分割、重要なしきい値などがあります
- 何をテストし、何を変更するかを明確に表現します。 これは、デザインの変更、新しい機能またはエクスペリエンスなどである可能性があります
- 実験が測定できることを確認する
テストの実行中
- 継続的な監視のための分析ダッシュボード
実験後
- 結果を分析する
- 実験の結果を明確にし、事前に決めた次のステップに進みます。
実験概要
優れた実験計画の構成要素が理解できたので、プロセスをテンプレート化して、実験を開始する前にすべての重要な情報を毎回確実に文書化することができます。
これにより、組織内の誰もが簡単に実験について非同期に学習できるようになり、民主化が可能になります。
フェーズ 1: 計画
| プラン | ||
| 観察と洞察:この実験につながった観察は何ですか?この調査には、定量的、定性的、競合に関する洞察、ユーザー調査などがあります。 | ||
| 実験のタイプを定義します:仮説検定または害なしテスト | ||
| 仮説 | 定性的、定量的、または競争力のある洞察を文書化する | |
| By:独立変数の導入または変更 | ||
| 期待すること: 期待する行動の変化を定義する | ||
| 結果:従属変数に予想される影響を述べる | ||
| Do No Harm テスト用 | ||
| メトリクス:製品の新しいエクスペリエンスなどの大きな変更を導入する場合は、プライマリ メトリクスとガードレール メトリクスの両方に対して Do No Harm テストを使用して、重要なメトリクスへの悪影響を検出します。 | プライマリ:これはコンバージョン率の可能性があります | |
| ガードレール(オプション) | ||
| 仮説検定用 | ||
| 指標 | プライマリ:これはコンバージョン率の可能性があります | |
| セカンダリ(オプション) | ||
| ガードレール(オプション) | ||
| 合計サンプルサイズ | ||
| 最小限の検出可能な効果 | 主要な | |
| ガードレール(オプション) | ||
| 実験イベント名 | ||
| 実験イベント パラメータ | ||
| アクション:テストの次の各結果に基づいて、どのようなアクションを実行しますか? | 勝つ | |
| 失う | ||
| 平らな | ||
フェーズ 2: 構成する
| 構成、設定 | ||
| バリエーションデザイン | バリエーション 1:コントロール グループとどのように異なるかを定義します。また、関連するデザインにリンクする必要があります | |
| バリエーション 2 (オプション) | ||
| 割り当て | 分割:これは 50/50 の可能性があります | |
| オーディエンス コホート:既存の顧客、新規ユーザーなどをターゲットにしていますか? | ||
| プラットフォーム | ||
| サイトのセクション:製品のどのセクションでテストが実施されていますか? | ||
| JIRA チケットと分析 (リンク) | アナリティクス JIRA | リンク |
| テックJIRA | リンク | |
| テスト前の分析 | リンク | |
| テスト後の分析 | リンク | |
フェーズ 3: 監視
| モニター | |||
| 試験予定日 | 開始日: [MM/DD/YYYY] | 宛先: [MM/DD/YYYY] | |
| 期間（日） | |||
| 分析での追跡が機能していることを確認します: (1)関連するプラットフォーム、デバイス、ユーザー グループでイベントが発生すること、(2) すべてのプラットフォームでコントロールとバリアントに一貫したイベント名が設定されていること、(3)露出イベントが発生することを確認します。ユーザーが実験にさらされたとき | |||
フェーズ 4: 分析と決定
| 分析と決定 | ||
| 分析:実験結果の文書化 | ||
| 決定:計画フェーズに基づいて次のステップを決定します。 | ||
| 進行中のパフォーマンスを監視する:実験後の行動を分析し続けます | ||
最終的な考え
これらの実験概要は、日付、セグメント、Web サイト セクション、プラットフォームごとに簡単に分類できます。 また、人々が行き来してもこの制度的知識が持続するように、誰もがアクセスできるようにする必要があります。 Experiment Briefs を使用すると、各実験を透過的に文書化してこの情報を民主化することで、チームが実験プログラムを強化するのに役立ちます。
このテンプレートに関するご意見や、修正を希望される場合は、ぜひお聞かせください。 LinkedIn または Twitter で私に連絡するか、私のブログをチェックしてください。
実験概要テンプレートへのリンクは、このリンク → 実験概要テンプレートをたどることで見つけることができます。
