새로운 가이드를 통해 제품 주도 실험의 힘을 잠금 해제하십시오.

오늘날의 경쟁 환경에서 제품 주도 실험은 좋은 생각 그 이상입니다. 제품 및 엔지니어링 팀이 그 영향을 정량화하는 것이 필요합니다.그러나 팀은 실험 문화를 배양하고 이를 제품 개발 프로세스의 모든 단계에 주입하여 확신을 가지고 구축해야 합니다.

우리는 Reforge와 협력하여 해당 분야 전문가의 통찰력과 조언을 제공하는 제품 주도 실험에 대한 포괄적인 가이드를 만들었습니다. 이 가이드는 제품 및 엔지니어링 팀이 실험 프로그램을 설정하고 제품의 잠재력을 최대한 활용하는 데 도움이 됩니다. 이 게시물에서는 가이드에서 기대할 수 있는 사항에 대한 개요를 제공합니다.

전체 가이드(신뢰할 수 있는 구축: 제품 주도 실험 확장에 대한 가이드)를 다운로드하여 실험 문화를 구축하고, 실험 방식을 이해하고, 실험 로드맵의 우선순위를 지정하는 방법 등에 대해 알아보세요.

실험이 중요한 이유

오늘날의 경쟁 환경에서 실험은 제품 팀에게 선택 사항이 아닙니다. 이는 팀이 성공적이고 혁신적인 제품을 구축하고 작업을 더 넓은 조직에 연결하는 데 도움이 됩니다.

Reforge 상주 이사인 Saleem Malkana는 실험이 제품 팀이 작업의 영향을 측정하고 제품 전략을 개선하는 데 도움이 된다고 설명합니다. "최고의 제품 팀은 진정으로 중요한 것이 이러한 결과를 전달하는 것뿐만 아니라 결과를 이끌어내는 것임을 알고 있습니다."라고 그는 설명합니다.

제품 변경의 영향을 측정하기 위해 팀은 가설을 세우고 실험을 실행하고 결과를 평가해야 합니다. 실험 결과를 사용하여 향후 제품 전략을 알릴 수 있습니다.

테스트는 제품 변경의 위험을 제거하는 방법이기도 합니다. 제품 팀은 모든 사용자에게 배포하기 전에 제품 결정이 미칠 영향을 평가할 수 있습니다. 이는 비용이 많이 드는 실수로 이어질 수 있습니다.

Amplitude Experiment의 제품 책임자인 Wil Pong은 제품 주도 실험이 WYSIWYG 접근 방식과 같은 더 많은 표면 수준 도구를 사용하여 엔지니어링 개발 주기를 방해하지 않고 더 빠른 혁신을 제공한다고 주장합니다.

과거에는 Netflix와 같은 대기업만이 맞춤형 경험을 제공하고 다양한 제품 인터페이스나 추천 엔진을 실험할 수 있었습니다. 이제 Amplitude Experiment와 같은 새로운 애플리케이션을 통해 모든 규모의 조직에서 사용자의 필요에 따라 제품을 실시간으로 반복하고 개선할 수 있습니다.

제품 주도 실험을 통해 제품 팀은 기능 플래그를 사용하여 전체 제품에서 목표가 높은 실험을 수행할 수 있으므로 팀은 경험을 켜거나 끌 수 있습니다. 이를 통해 팀은 "나머지 제품 개발을 지원하는 것과 동일한 프로세스 및 기술을 사용하여 고도로 표적화된 실험 및 기능 릴리스를 제공"할 수 있으며, 이는 궁극적으로 기술 팀을 방해하지 않고 빠른 혁신을 주도할 것이라고 Wil은 설명합니다.

실험은 또한 최근 책임의 변화를 고려할 때 제품 리더에게 매우 중요합니다. CAUSL의 창립자이자 상무이사인 Bhavik Patel은 조직이 결과 기반 접근 방식에서 결과 기반 접근 방식으로 이동하여 제품 리더를 더 면밀히 조사하고 있다고 설명합니다. 제품 팀의 ROI를 측정하기는 어렵지만(조직에서는 일반적으로 인원 수 또는 엔지니어링 시간을 사용함) 실험을 통해 제품 영향을 추적하면 제품 팀이 작업을 보다 광범위한 회사 목표에 연결하는 데 도움이 됩니다.

실험 문화를 구축한다는 것은 무엇을 의미합니까?

실험 문화는 조직의 모든 부분을 포함해야 합니다. 그러한 문화를 확립하기 위해 조직은 사고 방식의 전환을 거쳐 빠른 배송뿐만 아니라 학습 속도를 지원하는 구체적인 시스템과 프로세스를 구축해야 합니다.

Saleem은 실험 문화가 순전히 기술적인 것이 아니라고 설명합니다. 다음의 조합입니다.

• 사람: 팀 구성원은 데이터 중심입니다.
• 통합 프로세스 및 커뮤니케이션: 실험은 팀 간의 건전한 커뮤니케이션을 통한 제품 개발 프로세스의 일부입니다.
• 기술: 조직은 실험을 가능하게 하는 플랫폼을 사용합니다.

이상적으로는 분대 수준에 중점을 두고 조직의 모든 수준에 실험이 존재해야 합니다. 이것이 민첩성과 적응성의 기반을 만드는 것입니다. 테스트는 또한 일상적인 작업의 일부여야 팀이 제품을 개선하는 데 사용할 수 있는 통찰력을 꾸준히 얻을 수 있습니다.

실험 문화를 조성하기 위해 팀은 호기심과 "실패"를 포용하는 사고 방식을 개발해야 합니다. 두 가지 모두 학습 메커니즘이기 때문입니다. 실험에 대한 모멘텀을 생성하려면 경영진 챔피언을 확보하는 것도 중요합니다.

실험을 구매하는 경영진은 시간, 예산 및 도구와 같은 리소스를 제공하는 데 도움이 됩니다. 또한 부서 간 열린 커뮤니케이션 및 공동 작업을 위한 채널을 만드는 데 도움이 됩니다.

전체 가이드에서 자세히 읽어보세요.

실험 여정을 시작하는 방법

조직에서 실험 프로그램을 구현하려면 시간이 걸립니다. 다음은 시작할 때의 몇 가지 모범 사례입니다.

작게 시작하여 확장

궁극적인 목표는 조직 전체에 실험을 적용하는 것입니다. 그러나 조직은 규모를 확장하기 전에 한 팀 전체에서 위험도가 낮은 테스트로 소규모로 시작해야 합니다.

Saleem은 기본 실험 스택을 검증하고 거기에서 구축해야 하는 단일 팀인 하나의 "우수성 센터"를 구축할 것을 권장합니다. Growth Advisor이자 Interim Growth Exec인 Elena Verna는 "단일 팀은 먼저 테스트 방법, 학습 방법 및 승리 방법을 배워야 합니다."라고 설명합니다.

그녀는 계속해서 다음과 같이 말합니다. 그렇게 하면 전체 조직이 실험을 통해 승리하는 방법을 배울 수 있습니다.” 궁극적으로 모든 부서의 팀 구성원은 테스트를 실행하여 일상적인 결정을 내릴 수 있어야 합니다.

Bhavik은 팀이 저위험 테스트로 시작할 것을 제안합니다.

그는 또한 비현실적인 숫자에 매달리지 않도록 경고합니다. 대부분의 회사는 수천 가지 실험을 시도해서는 안 됩니다. 대신 "목표는 지난 분기 또는 전년도보다 더 많은 [테스트]를 실행하는 것"이라고 그는 말합니다.

아이디어, 검증, 우선 순위 지정

불필요한 실험을 실행하면 리소스가 낭비되므로 팀은 실행할 실험을 선택해야 합니다.

메트릭 트리(제품 사다리의 모든 요소가 회사 목표에 이르는 방법을 보여주는 다이어그램) 또는 선 다이어그램(조직의 작업 흐름에 대한 개요)으로 아이디어를 시작하십시오. 이러한 다이어그램을 검토하면 실험 노력을 어디에 집중해야 하는지 알 수 있습니다.

아이디어를 테스트하려면 먼저 테스트 개념을 검증하여 추구할 가치가 있는 아이디어를 식별하십시오. 검증을 위해 페인트 문 테스트, 책상 조사를 사용하거나 유사한 실험의 결과를 검토할 수 있습니다.

그런 다음 각 잠재적 테스트에서 인사이트를 얻는 시간을 고려하십시오. Elena는 팀이 학습 속도를 우선시하고 실험을 실행하는 데 그치지 않고 실험을 구축하는데 걸리는 시간을 고려해야 한다고 강조합니다. Saleem은 또한 더 빠른 피드백 루프를 얻기 위해 큰 문제를 더 작은 테스트 가능한 가설로 나눌 것을 제안합니다.

고려해야 할 다른 요소는 다음과 같습니다.

• 테스트를 실행하려면 충분한 트래픽이 필요하기 때문에 제품의 다른 지점에서의 볼륨
• 실행하려는 테스트를 보유하고 있는 분석 도구로 측정할 수 있는지 여부

테스트 아이디어를 확인한 후에는 다음을 기준으로 실행할 실험의 우선순위를 정하세요.

• 테스트 용량
• 테스트가 미칠 것으로 예상되는 영향
• 원하는 영향을 미칠 것이라고 얼마나 확신하십니까?
• 테스트 실행에 관련된 노력

모범 사례를 사용하여 실험 설계

Bhavik은 잘 설계된 실험은 과학적 방법에 뿌리를 두고 있다고 설명합니다. 실험 전 계획, 실험 중 모니터링, 실험 후 분석의 단계로 나눌 수 있습니다.

실험 아이디어를 확인하고 우선 순위를 지정할 테스트를 선택한 후에는 실험을 계획해야 합니다. 실험을 실행하는 이유를 문서화합니다. 디자인 변경 또는 새로운 기능이나 경험이 될 수 있는 테스트 및 수정 대상을 명확하게 설명합니다.

가설을 세우고 실험을 위해 명확하게 정의된 제품 지표 또는 KPI를 설정합니다. 가능한 결과에 따라 다음 단계를 결정합니다. 각 변형이 이길 때 또는 테스트가 통계적 유의성에 도달하지 않을 때 어떤 일이 발생하는지 확인합니다.

전체 가이드에서 사전 실험 계획에 대해 자세히 알아보세요.

실험 중에 분석 대시보드를 생성하여 테스트를 지속적으로 모니터링합니다. 실험 후 결과를 분석하고 결과를 설명합니다. 그러면 팀은 미리 결정된 다음 단계로 진행할 수 있습니다.

자신감 있게 구축

성공적인 실험 프로그램을 실행하는 방법에 대한 자세한 지침을 보려면 제품 주도 실험 가이드를 다운로드하세요.