3 trampas métricas de productos que debe evitar

En mi libro, The Insights Driven Product Manager , cubro por qué es importante rastrear menos para crear más enfoque y dedicar más tiempo a extraer información verdadera de sus datos.

El siguiente paso es asegurarse de que, en el nivel esencial, esté rastreando lo que yo llamo "métricas de buena calidad". Esta publicación, un extracto del capítulo 7 de mi libro, se centrará en cómo mejorar la calidad general de sus métricas, cómo hacerlas más procesables y qué trampas evitar.

Trampa #1: métricas de vanidad

Hace unos años estaba trabajando en un producto SaaS B2B para la gestión de entornos de oficina. Acabamos de lanzar el producto y comenzamos a ejecutar nuestras primeras campañas de publicidad paga, así que configuré un panel que rastreaba el número total de registros durante 30 días:

Los números parecían estar subiendo, por lo que estábamos muy contentos con el impulso.

El problema era que, si bien este gráfico se veía bien en las presentaciones, la dura realidad era que solo el 4 % de las nuevas suscripciones se convirtieron en conversiones e ingresos reales y, como resultado, no alcanzamos nuestros objetivos de ingresos recurrentes mensuales.

Es un gráfico acumulativo, por lo que el peor de los casos sería que el gráfico simplemente se estancaría si no adquirimos nuevos usuarios, pero el número nunca puede disminuir. Es un ejemplo clásico de una métrica de vanidad:

• Mirar este gráfico nos hizo sentir bien.
• Esta métrica fue especialmente útil en las presentaciones de las partes interesadas.
• No nos dio ninguna idea de si realmente lo estábamos haciendo bien o no.
• Debido a que no nos dio ninguna idea, no nos impulsó a tomar medidas para mejorar el producto o las funciones de ninguna manera.
• Y a pesar de mirar esta métrica a diario, nos tomó dos meses (cuando terminaron y se agitaron todas las pruebas de 30 días) para descubrir que había un problema.

Si bien una parte del problema fue nuestra falta de conocimiento sobre cómo medir mejores métricas en ese momento, el problema en las organizaciones a menudo es mucho más profundo: la mayoría de los equipos o partes interesadas simplemente no están listos para escuchar la verdad de sus métricas, por lo que buscamos por los números que nos hacen quedar bien.

En mi entrevista con Crystal Widjaja, CPO en Kumu y escritora de Reforge, resumió maravillosamente cómo ver los datos como una forma de capitalizar las fallas e impulsar mejoras:

“Cuando la gente comete errores (experimento fallido, implementación fallida, etc.), ya pagó ese costo. Deberíamos pensar en los datos como una forma de capitalizar los errores y aprender de ellos. En lugar de 'pagar la matrícula de la falla' y despedir a la persona, use la información de los datos para decirnos POR QUÉ fue una falla, aprenda de ella y aproveche para que la próxima iteración sea 10 veces mejor que la primera".

– Crystal Widjaja

Para obtener más información de sus datos, realmente necesita dejar de rastrear métricas de vanidad y, en su lugar, usar datos para descubrir la verdad e impulsar mejoras reales. Si observa de cerca, es fascinante la frecuencia con la que los equipos muestran métricas muy selectivas para apaciguar a ciertas partes interesadas o hacer que los números suenen mejor de lo que realmente son. Tenga cuidado con otros ejemplos clásicos de métricas de vanidad como:

• Número de páginas vistas o visitantes
• Número de seguidores/me gusta
• Tiempo pasado en el sitio (duración de la sesión)
• Número de descargas

Las métricas como las visitas a la página y la duración de la sesión todavía se usan mucho en el análisis de sitios web, donde el enfoque es medir el tráfico, la conciencia y el compromiso inicial. Le brindan una idea de lo que llamamos la parte superior del embudo, la adquisición inicial de clientes, pero no si los clientes realmente se están activando e interactuando con el producto, lo que tendrá una correlación mucho más significativa con su producto y objetivos comerciales más amplios.

Cómo hacerlo mejor: para comprender realmente si una métrica es buena o mala, debemos poner los números en contexto. Como mínimo, desea intentar comparar un número en diferentes períodos de tiempo, como comparar sus números de registro este mes con el mes anterior.

Otra forma efectiva de hacer que sus métricas sean más útiles es usar proporciones en lugar de números totales. Las proporciones son inherentemente comparativas. Como ejemplo, los contadores no solo miran los ingresos totales, sino que normalmente comparan los costos de producir un producto con las ventas que hicieron de él. De esta manera, los contadores pueden realizar un seguimiento de su margen de beneficio (un gran ejemplo de una relación útil) a lo largo del tiempo para evaluar si el negocio es saludable.

Ejemplos de métricas mejores y más comparables:

• % de suscripciones por canal de adquisición
• % de registros que completaron el proceso completo de registro
• % de suscripciones que realizaron una métrica de activación clave
• % de usuarios que usan el producto después de 4 semanas

Escollo n.º 2: solo seguimiento de métricas rezagadas

Un gran problema fue la cantidad de tiempo que nos llevó averiguar si estábamos alcanzando nuestros objetivos de conversión (o no). El producto tenía una prueba gratuita de 30 días y nuestro objetivo era convertirlos en clientes de pago después del final de la prueba, por lo que, si bien el primer mes se veía bien en términos de suscripciones, finalmente solo lo sabríamos al final de la prueba. segundo mes cuántos de esos registros se convirtieron en clientes de pago.

Este es un ejemplo clásico de una métrica rezagada. Las métricas rezagadas informan retrospectivamente sobre resultados pasados. Por ejemplo, sus números de ingresos para el año son métricas rezagadas como la mayoría de sus otras métricas operativas. Solo sabes si lo hiciste bien una vez que tienes los resultados.

El valor real de rastrear el comportamiento de los usuarios a través del análisis de su producto es que puede comenzar a buscar indicadores antes de tener que esperar por sus cifras finales de ingresos. Si sus métricas principales no funcionan bien, tiene la oportunidad de corregir el rumbo antes de que sea demasiado tarde. Es por eso que diseñé Holistic Metrics One Pager en el capítulo cinco de mi libro para incluir tanto el comportamiento del cliente como las métricas operativas, para que los equipos puedan rastrear una combinación saludable de métricas de avance y retroceso para obtener una imagen completa.

Una de las métricas principales más poderosas es la métrica de activación. Una buena métrica de activación representa el porcentaje de clientes que realizan una acción clave para configurar o comenzar a usar el producto. Muchas empresas han descubierto que si los usuarios realizan una determinada acción dentro de su producto durante la incorporación, tienden a darse cuenta del verdadero valor del producto, lo que conduce a una mayor participación en el futuro. Algunos llaman a este paso de activación alcanzar el "momento aha" en su producto.

Aquí hay algunos ejemplos simples de métricas de activación líderes:

• Producto de red social: un ejemplo clásico fue la primera métrica de activación de Facebook de agregar un mínimo de siete amigos en 10 días.
• Producto de agregación de panel: la propuesta de valor es agrupar varias herramientas en una sola vista, por lo que es posible que los usuarios que agregan un mínimo de dos o tres herramientas durante la incorporación obtengan todo el potencial del producto.
• Producto de utilidad: su propuesta de valor podría ser simplificar o digitalizar una tarea, como el seguimiento de conversaciones de ventas en un CRM, de modo que pueda realizar un seguimiento de la cantidad de usuarios que completan su primera entrada de cliente lo más rápido posible como una métrica de activación.
• Producto de atención: si su producto se centra en el entretenimiento y el contenido, puede realizar un seguimiento de los usuarios que consumieron una cierta cantidad de contenido en la primera semana de registro.

Por cierto, las métricas rezagadas no son inherentemente malas. De hecho, son una parte fundamental de los informes, especialmente para medir métricas comerciales como los resultados financieros. Su ventaja es que representan los resultados finales, los hechos reales.

Las métricas principales, por otro lado, a menudo incluyen cierta cantidad de suposiciones, como la suposición de que una gran cantidad de llamadas en frío todos los días aumenta la cantidad de usuarios que pagan más adelante. A medida que obtenga más datos, debe probar si esas suposiciones son realmente ciertas, pero incluso entonces todavía hay cierta incertidumbre sobre si la métrica de activación realmente causó el aumento en la retención o si otros factores contribuyeron a ello.

Esto significa que las métricas anticipadas nunca serán tan precisas como las métricas rezagadas, pero son cruciales para obtener información real de sus métricas. Nos permiten aprender del comportamiento del cliente e identificar indicadores tempranos que pueden cambiar nuestras decisiones de productos para optimizar y obtener mejores resultados comerciales en el futuro. El uso de la plantilla One Pager de Holistic Metrics lo obliga a realizar un seguimiento de los indicadores principales y atrasados, así como a pensar en cómo se influyen entre sí.

Trampa #3: Métricas que nadie entiende

Cuando entrevisto a los gerentes de producto, a menudo escucho que el conocimiento analítico y las perspectivas de datos se ocultan en rincones oscuros y misteriosos de las oficinas, con nombres de eventos que solo un par de analistas altamente especializados entienden. Todos los meses, esos especialistas se reunían con varios equipos de productos en un intento de compartir y traducir algunos de sus hallazgos.

Si queremos que nuestros equipos de productos y partes interesadas creen una comprensión compartida de nuestros datos y discutan las mejoras del producto en colaboración, debemos trabajar activamente para democratizar nuestros datos, asegurarnos de que nuestras métricas sean accesibles para todos y fáciles de entender.

Intercom compartió lo que aprendió al hacer una limpieza masiva de eventos hace unos años. Tuvieron alrededor de 350 eventos para su producto que se veían así:

¿Esto te parece familiar?

Intercom compartió que fallaron en un principio clave de análisis: tenían muy poco sentido para cualquiera que no fuera el equipo de análisis. Redefinieron y reconstruyeron toda su estructura de nombres de todos sus eventos para introducir una mejor legibilidad como un paso clave para democratizar los datos analíticos de sus productos.

También es importante hacer que los informes sean más accesibles para varias partes interesadas y equipos de la organización. Desafortunadamente, a menudo veo equipos temerosos de abrir sus tableros, ya que nuevamente descubriría los verdaderos números de participación o adquisición que pueden no parecer muy buenos para las partes interesadas. Para evitar conversaciones incómodas o preguntas molestas, a menudo es más fácil para los equipos esconderse detrás de una apariencia de complejidad.

Cómo hacerlo mejor:

• Paso 1: Trabaje con sus equipos de ingeniería y analistas para simplificar los nombres de los eventos de análisis de productos: "Incorporación completada" y "Widget de tablero agregado" son acciones que todos entenderán.
• Paso 2: si tiene un equipo de análisis, inclúyalo mejor en sus equipos de productos. Cuanto más contexto tengan los analistas sobre en qué está trabajando su equipo de producto, qué experimentos está probando y qué preguntas deben responderse, mejor podrán ayudarlo a profundizar en los datos para encontrar los conocimientos más relevantes. Debería ser una colaboración en lugar de un enfoque de subcontratación.
• Paso 3: haga que sus paneles e informes analíticos sean accesibles para la organización en general. Sus paneles deben reflejar las métricas clave de su producto (que puede definir utilizando el Holistic Metrics One Pager del libro). Esto es fundamental para la escala (su equipo no quiere verse inundado con solicitudes de informes manuales todos los días), así como para construir verdaderamente una cultura más basada en datos dentro de la organización en general.

“Cuando se les pregunta a los equipos sobre el estado del negocio, pueden buscarlo o hacer conjeturas hipotéticas. Es fundamental hacer que la primera sea la forma más fácil y predeterminada para que el liderazgo responda a estas solicitudes mediante la creación de paneles detallados personalizados y fáciles de usar para elementos como cohortes, embudos y eventos de usuarios”.

-Crystal Widjaja

Recuerde que el trabajo para el que contratamos nuestros datos es descubrir la verdad para que podamos tomar medidas y mejorar las experiencias de nuestros productos. Hacer que sus métricas sean fáciles de entender y más accesibles son pasos clave para incluir información de datos en la toma de decisiones del día a día en su organización. Una organización de productos fuerte debería estar más motivada que nunca para resolver esos problemas una vez que saben dónde están los problemas.

Cómo mejorar sus métricas usando la lista de verificación de métricas

Creé una lista de verificación simple que resume las características clave de las métricas procesables de buena calidad que lo ayudarán a obtener más información de sus datos. Utilice esta lista de verificación para evaluar y mejorar todas sus métricas existentes:

Se necesita práctica real para obtener realmente las métricas correctas, y encontrará que el diablo a menudo está en los detalles. Es absolutamente normal y, de hecho, se recomienda revisar con frecuencia las métricas que ha elegido y refinarlas varias veces para que sean más útiles.

Tenga cuidado con las trampas de compartir métricas de vanidad, centrándose demasiado en indicadores rezagados en los que no tiene tiempo para corregir el rumbo, y asegúrese de simplificar y democratizar sus métricas para realmente mejorar la madurez de los datos en su organización.