Fazendo apostas mais seguras otimizando seu produto com análises

Como gerentes de produto (PMs), essencialmente apostamos no melhor caminho a seguir para nossos produtos. Mas não é suficiente apenas jogar todo o seu dinheiro em uma coisa. Os PMs precisam entender como fazer as apostas mais inteligentes em primeiro lugar e, em seguida, determinar o que funcionou e o que não funcionou para melhorar as chances para a próxima rodada.

Na Jumbo Interactive, tendemos a pensar na estratégia do produto em termos de apostas ofensivas e defensivas. A Jumbo desenvolve soluções para possibilitar as melhores experiências de loteria do mundo, e estou na Jumbo há pouco mais de um ano como PM no espaço de crescimento. No lado do crescimento do negócio, quase todas as nossas apostas serão ofensivas, então eu exploro, adiciono ou otimizo nossos ciclos de crescimento para fazê-los girar melhor e mais rápido.

Os PMs precisam entender como fazer apostas inteligentes e, em seguida, determinar o que funcionou e o que não funcionou para melhorar as chances para a próxima rodada.

Um dos nossos produtos é o Lotto Party, que é uma forma de os amigos juntarem o seu dinheiro para terem mais hipóteses de ganhar o grande jackpot. A Lotto Party mantém o controle de quem contribuiu com o quê para um sorteio específico. Dessa forma, se uma festa ganhar muito, todos são notificados e automaticamente recebem sua fatia do bolo.

A abordagem de crescimento da Jumbo é ir atrás dos ciclos de crescimento viral fornecidos por produtos como o Lotto Party. É importante crescer não apenas linearmente, mas exponencialmente. O Lotto Party oferece um crescimento composto: alguém convida seus amigos para participar e, em seguida, um subconjunto desses amigos criará suas próprias festas de loteria e convidará mais amigos.

O mecanismo de crescimento do Jumbo inclui vários desses loops de crescimento viral, que são complementados por loops de anúncios pagos: Os anúncios pagos geram leads, que geram capital, que depois gastamos para encontrar mais leads. Pago e viral – os dois trabalham em conjunto.

Para fazer essas apostas com confiança, impulsionar a descoberta e medir nosso sucesso, contamos com a Amplitude. Observamos um aumento de 40% nos usuários ativos mensais no Lotto Party no ano passado, muitos dos quais podem ser atribuídos aos insights que obtivemos do Amplitude Analytics, Amplitude Experiment e Amplitude Audiences.

O Analytics garante que todos estejam na mesma página

A principal coisa que fazemos com o Analytics é medir nossos indicadores principais e atrasados. Portanto, uma métrica importante que monitoramos para o Lotto Party é quantos grupos foram criados, porque um novo grupo significa o fim de um ciclo e o início de um novo. A pessoa que iniciou o novo grupo foi um membro recente do grupo ou não? Isso nos ajuda a entender o mecanismo de crescimento do companheiro.

Mas não sou apenas eu que estou olhando essas informações no Analytics: elas abrangem toda a empresa. Cada equipe de engenharia com a qual trabalho tem acesso aos meus painéis e gráficos, e eu os incentivo a examiná-los com frequência. Eu gerencio seus espaços de equipe e crio um Notebook para cada aposta que fazemos. Vou jogar todas as análises nesse notebook para a equipe de engenharia revisar.

Também faço vídeos curtos do Loom para um painel específico ou um gráfico no Analytics para explicar sucintamente o que pode ser uma informação complicada. Eu compartilho isso com todos, incluindo engenheiros, analistas de dados, outros PMs, meus chefes e os chefes do meu chefe. Em vez de tentar agendar oito reuniões diferentes, posso compartilhar um vídeo de quatro minutos da análise com todos. Todos podem ver o que estou fazendo, os resultados desse trabalho, e isso ajuda a tornar nossas suposições mais precisas sobre como os usuários realmente usam o produto.

O experimento nos diz quais investimentos valem a pena investir

O que vemos no Analytics naturalmente leva ao teste A/B no Experiment. Esses testes nos permitem criar declarações de hipóteses, determinar se são verdadeiras ou falsas e, então, saber onde ir all-in (ou onde recuar). A experiência aumenta nossa confiança em fazer uma aposta específica porque nos dá uma análise clara de risco-benefício.

Começamos criando um documento de projeto de experimento onde explicamos o problema e fornecemos o máximo de evidências de apoio possível sobre o problema e a possível oportunidade. Em seguida, escrevemos uma hipótese e chamamos a métrica primária, que geralmente descrevemos como uma métrica de troca. Na maioria dos experimentos, também listamos algumas métricas secundárias. Essas informações determinarão como será o sucesso ou o fracasso, bem como o tamanho da amostra de que precisamos para significância estatística, o que determinará a duração do experimento.

O documento de design do experimento nos dá definições fortes do que estamos testando no Experimento. Também nos ajuda a priorizar os experimentos. Um experimento de três meses é bastante lento. Se sabemos que um experimento vai demorar tanto, é melhor tirar um par de experimentos de uma semana antes de começar o mais longo.

O design do experimento é importante, porque queremos construir tudo de forma rápida, suja e barata. Queremos lançar algo o mais rápido possível para que possamos coletar mais dados, e fazer o menor investimento inicial possível nos permite testar extensivamente e construir de forma inteligente.

Fazer um investimento inicial tão pequeno quanto possível permite que as equipes de produto testem extensivamente e construam de forma inteligente.

Um exemplo da Lotto Party foi a falta de descoberta em torno do produto. A maioria dos usuários em uma plataforma está no que chamamos de experiência de “jogar”, e a Lotto Party estava bastante divorciada dessa experiência. Se trouxermos a Lotto Party mais para a experiência de jogo, que impacto isso teria? Essa mudança exigiria um aumento significativo da engenharia e um investimento significativo como resultado.

Nossa mentalidade de experimento leva todos – produto, engenharia, perguntas e respostas, quem quer que esteja envolvido no processo – a pensar em simplificar esse experimento para obter os melhores insights com o menor investimento. No Experimento, vimos que a incorporação do Lotto Play na experiência de jogo quase dobrou as vendas da Lotto Party e mais que dobrou o número de grupos criados. Investir ainda mais nisso foi um acéfalo.

O público-alvo aumenta o valor da transação com carrinhos mais personalizados

Usamos Audiences para fazer recomendações de carrinho mais inteligentes, que incluímos na divulgação por e-mail e também no fluxo de compra. Seja algo que o usuário comprou no passado ou está prestes a comprar, oferecemos produtos adicionais de que eles podem gostar ou uma sugestão como "Jogue novamente este bilhete que você jogou antes". É uma reviravolta mais inteligente nessa pergunta clássica: “Você quer batatas fritas com isso?” O público sabe que esse cliente em particular não quer batatas fritas, mas eles gostam de milkshakes. Seria muito difícil construir nossa própria estrutura algorítmica para descobrir os desejos do usuário, mas Amplitude fornece isso para nós.

Quanto mais personalizada a recomendação, maior a probabilidade de o usuário selecioná-la.

As recomendações em Audiences, que são fornecidas pelo Amazon Personalize, pagam-se facilmente. Quanto mais personalizada a recomendação, maior a probabilidade de o usuário selecioná-la. O Jumbo sabe disso porque tínhamos posicionamentos de carrinho antes de começarmos a usar o Audiences, e esses posicionamentos tiveram um desempenho muito melhor desde então.

Cerca de oito meses atrás, tive uma ideia sobre os produtos em nossos posicionamentos de carrinho. Anteriormente, os posicionamentos de carrinho se concentravam em um subconjunto de produtos relacionados a sorteios de caridade, mas eu queria expandi-lo para todos os nossos produtos e deixar o público decidir o que é melhor para cada cliente. Veja bem, vimos um aumento nos cliques e nos valores das transações. Com o Audiences, quanto mais opções você fornecer, mais pessoas atingirá.

Retenha os usuários existentes e faça apostas inteligentes para ganhar novos

Essa personalização também é significativa para a integração da Amplitude com o Braze, que usamos para mensagens. Se você pensar em nosso motor de crescimento, temos todos esses ciclos de aquisição gerando clientes, mas o outro lado – o núcleo do nosso motor – é retenção e engajamento, e é aí que a Braze está. Ser mais inteligente em saber quando enviar uma mensagem a um usuário faz toda a diferença, e é tão importante saber o canal certo. Se a pessoa usa um aplicativo específico com frequência, provavelmente faz mais sentido enviar uma notificação por push ou uma mensagem no aplicativo do que um e-mail.

Braze está lá para nos ajudar a continuar os loops de hábitos. Definimos um loop de hábito como um cliente sendo um jogador ativo por dois meses após a ativação. Se eles jogam por dois meses, eles se tornam um jogador habitual. Usamos o Braze para acionar esses loops de hábito e mantê-los girando para impulsionar nossa retenção. Mas para fazer isso, precisamos ter os melhores dados fluindo para o Braze. O Analytics nos ajuda a fazer isso criando coortes mais inteligentes e personalizando o conteúdo. Quanto mais específicos pudermos ser sobre esse conteúdo, seu prazo e entrega, melhores serão os resultados dessas campanhas.

Aprendi muito trabalhando na Jumbo e tenho uma perspectiva totalmente nova de crescimento. Trabalhar com a Amplitude também foi uma grande vitória. Não teríamos visto o aumento de usuários ativos mensais para Lotto Party sem Amplitude. A plataforma permite-nos fazer as apostas mais inteligentes.