Hacer apuestas más seguras al optimizar su producto con análisis

Como gerentes de producto (PM), esencialmente hacemos apuestas sobre el mejor camino a seguir para nuestros productos. Pero no basta con tirar todo el dinero en una sola cosa. Los PM deben comprender cómo hacer las apuestas más inteligentes en primer lugar y luego determinar qué funcionó y qué no para mejorar las probabilidades para la próxima ronda.

En Jumbo Interactive, tendemos a pensar en la estrategia de producto en términos de apuestas ofensivas y defensivas. Jumbo desarrolla soluciones para habilitar las mejores experiencias de lotería del mundo, y he estado con Jumbo por poco más de un año como PM en el espacio de crecimiento. En el lado del crecimiento del negocio, casi todas nuestras apuestas serán ofensivas, así que exploro, agrego u optimizo nuestros ciclos de crecimiento para que funcionen mejor y más rápido.

Los PM deben entender cómo hacer apuestas inteligentes y luego determinar qué funcionó y qué no para mejorar las probabilidades para la próxima ronda.

Uno de nuestros productos es Lotto Party, que es una forma en que los amigos juntan su dinero para tener una mejor oportunidad de ganar el premio mayor. Lotto Party realiza un seguimiento de quién contribuyó con qué para un sorteo en particular. De esa manera, si un grupo gana a lo grande, todos reciben una notificación y automáticamente reciben su porción del pastel.

El enfoque de crecimiento de Jumbo es ir tras los bucles de crecimiento viral proporcionados por productos como Lotto Party. Es importante crecer no solo linealmente, sino exponencialmente. Lotto Party proporciona un crecimiento compuesto: alguien invita a sus amigos a participar, y luego un subconjunto de esos amigos creará sus propias fiestas de lotería e invitará a más amigos.

El motor de crecimiento de Jumbo incluye varios de estos bucles de crecimiento viral, que luego se complementan con bucles de anuncios pagados: los anuncios pagados generan clientes potenciales, que generan capital, que luego gastamos en encontrar más clientes potenciales. Pagado y viral: los dos funcionan en conjunto.

Para hacer estas apuestas con confianza, impulsar el descubrimiento y medir nuestro éxito, confiamos en Amplitude. Hemos visto un aumento del 40 % en los usuarios activos mensuales en Lotto Party durante el año pasado, mucho del cual se puede atribuir a los conocimientos que obtuvimos de Amplitude Analytics, Amplitude Experiment y Amplitude Audiences.

Analytics asegura que todos estén en la misma página

Lo principal que hacemos con Analytics es medir nuestros indicadores principales y rezagados. Entonces, una métrica clave que monitoreamos para Lotto Party es cuántos grupos se han creado, porque un nuevo grupo significa tanto el final de un ciclo como el comienzo de uno nuevo. ¿La persona que inició el nuevo grupo se unió recientemente al partido o no? Eso nos ayuda a comprender el mecanismo de crecimiento de los compañeros.

Pero no soy solo yo quien mira esta información en Analytics: es para toda la empresa. Todos los equipos de ingeniería con los que trabajo tienen acceso a mis paneles y gráficos, y los animo a que los consulten con frecuencia. Administro los espacios de su equipo y creo un cuaderno para cada apuesta que hacemos. Pondré todos los análisis en ese cuaderno para que el equipo de ingeniería los revise.

También hago videos cortos de Loom para un tablero específico o un gráfico en Analytics para explicar de manera sucinta lo que de otro modo podría ser información complicada. Los comparto con todos, incluidos ingenieros, analistas de datos, otros PM, mis jefes y los jefes de mi jefe. En lugar de tratar de programar ocho reuniones diferentes, puedo compartir un video de cuatro minutos de los análisis con todos. Todos pueden ver lo que estoy haciendo, los resultados de ese trabajo, y ayuda a que nuestras suposiciones viscerales sean más precisas sobre cómo los usuarios realmente usan el producto.

El experimento nos dice en qué inversiones vale la pena apostar todo

Lo que vemos en Analytics lleva naturalmente a las pruebas A/B en Experiment. Estas pruebas nos permiten crear declaraciones de hipótesis, determinar si son verdaderas o falsas y luego saber dónde ir con todo (o dónde retirarse). Experimentar aumenta nuestra confianza al realizar una apuesta en particular porque nos brinda un análisis claro de riesgo-beneficio.

Comenzamos creando un documento de diseño de experimento en el que explicamos el problema y proporcionamos la mayor cantidad posible de evidencia de respaldo sobre el problema y la posible oportunidad. Luego escribimos una hipótesis y mencionamos la métrica principal, que generalmente describimos como una métrica de compensación. En la mayoría de los experimentos, también enumeramos algunas métricas secundarias. Esa información determinará cómo se ve el éxito o el fracaso, así como el tamaño de la muestra que necesitamos para la significación estadística, que luego determina la duración del experimento.

El documento de diseño del experimento nos brinda definiciones sólidas de lo que estamos probando en Experimento. También nos ayuda a priorizar los experimentos. Un experimento de tres meses es bastante lento. Si sabemos que un experimento va a llevar tanto tiempo, es mejor hacer un par de experimentos de una semana antes de comenzar con el más largo.

El diseño de los experimentos importa, porque queremos construir todo rápido, sucio y barato. Queremos sacar algo lo antes posible para poder recopilar más datos, y hacer una inversión inicial lo más pequeña posible nos permite realizar pruebas exhaustivas y construir de manera inteligente.

Hacer una inversión inicial tan pequeña como sea posible permite que los equipos de productos realicen pruebas exhaustivas y construyan de manera inteligente.

Un ejemplo de Lotto Party fue la falta de visibilidad del producto. La mayoría de los usuarios de una plataforma se encuentran en lo que llamamos nuestra experiencia de "juego", y Lotto Party se divorció bastante de esa experiencia. Si incorporamos Lotto Party más a la experiencia de juego, ¿qué impacto tendría eso? Ese movimiento habría requerido un impulso significativo de ingeniería y, como resultado, una inversión significativa.

Nuestra mentalidad de experimento atrae a todos (producto, ingeniería, preguntas y respuestas, cualquiera que esté involucrado en el proceso) a pensar en optimizar este experimento para obtener los mejores conocimientos con la inversión más pequeña. En Experiment, vimos que incorporar Lotto Play en la experiencia de juego casi duplicó las ventas de Lotto Party y más que duplicó la cantidad de grupos creados. Invertir más en esto fue una obviedad.

Las audiencias aumentan el valor de las transacciones con carros más personalizados

Usamos audiencias para hacer recomendaciones de carritos más inteligentes, que incluimos en el alcance del correo electrónico y también en el flujo de compra. Ya sea que se trate de algo que el usuario haya comprado en el pasado o esté a punto de comprar, ofrecemos productos adicionales que podrían gustarle o una sugerencia como "Reproduzca este boleto que ha jugado antes". Es un giro más inteligente en esa pregunta clásica, "¿Quieres papas fritas con eso?" El público sabe que este cliente en particular no quiere papas fritas, pero sí le gustan los batidos. Sería bastante difícil construir nuestro propio marco algorítmico para descubrir los deseos del usuario, pero Amplitude nos lo proporciona.

Cuanto más personalizada sea la recomendación, más probable es que el usuario la seleccione.

Las recomendaciones en Audiencias, que funcionan con Amazon Personalize, se amortizan fácilmente. Cuanto más personalizada sea la recomendación, más probable es que el usuario la seleccione. Jumbo lo sabe porque teníamos ubicaciones de carrito antes de que empezáramos a usar Audiences, y esas ubicaciones han funcionado mucho mejor desde entonces.

Hace aproximadamente ocho meses, tuve una idea sobre los productos en las ubicaciones de nuestro carrito. Anteriormente, las ubicaciones del carrito se enfocaban en un subconjunto de productos relacionados con rifas benéficas, pero quería expandirlo a todos nuestros productos y dejar que el público decida qué es lo mejor para cada cliente. He aquí que vimos un aumento en los clics y los valores de las transacciones. Con Audiencias, cuantas más opciones brindes, más personas llegarás.

Retenga a los usuarios existentes y haga apuestas inteligentes para ganar nuevos

Esa personalización también es importante para la integración de Amplitude con Braze, que usamos para enviar mensajes. Si piensa en nuestro motor de crecimiento, tenemos todos estos bucles de adquisición que generan clientes, pero el otro lado, el núcleo de nuestro motor, es la retención y el compromiso, y ahí es donde se encuentra Braze. Ser más inteligente para saber cuándo enviar un mensaje a un usuario marca la diferencia, y es igual de importante conocer el canal correcto. Si la persona usa una aplicación en particular con frecuencia, probablemente tenga más sentido enviarle una notificación automática o un mensaje dentro de la aplicación que un correo electrónico.

Braze está ahí para ayudarnos a continuar con los bucles de hábitos. Definimos un ciclo de hábito como un cliente que es un jugador activo durante los dos meses posteriores a la activación. Si juega dos meses, se ha convertido en un jugador habitual. Usamos Braze para desencadenar esos bucles de hábitos y mantenerlos girando para impulsar nuestra retención. Pero para hacer esto, necesitamos tener los mejores datos fluyendo hacia Braze. Analytics nos ayuda a hacer eso creando cohortes más inteligentes y personalizando el contenido. Cuanto más específicos podamos ser sobre este contenido, su tiempo y entrega, mejores serán los resultados de esas campañas.

He aprendido mucho trabajando en Jumbo y tengo una perspectiva completamente nueva sobre el crecimiento. Trabajar con Amplitude también ha sido una gran victoria. No habríamos visto el aumento de usuarios activos mensuales de Lotto Party sin Amplitude. La plataforma nos permite hacer las apuestas más inteligentes.