De la correlación a la causalidad: adoptar el análisis de autoservicio mejoró las conversiones en 28 veces

En Brainly, nos encanta aprender. Viene con el territorio: somos una aplicación de educación global líder, con 300 millones de usuarios mensuales. Nuestros sitios y aplicaciones permiten a los estudiantes, padres y maestros hacer y responder preguntas sobre la tarea, y alentamos a los miembros de nuestra comunidad en línea a responder las preguntas de los demás también.

Detrás de escena, somos curiosos e impulsados ​​por los datos, y creemos en hacer tantas preguntas como sea posible para hacer avanzar nuestro negocio. Usamos datos para estimular el crecimiento del producto, pero comprender los eventos de los usuarios, interpretar los análisis y vincular ambos a nuestro resultado final puede ser complicado.

Impulsado por la curiosidad pero obstaculizado por nuestras herramientas de análisis de datos

Como gerente de análisis de datos de Brainly, ayudo a nuestros equipos a comprender las tendencias, explorar las correlaciones y establecer la causalidad. Fue un desafío extraer información procesable de nuestros datos con nuestra configuración anterior, ya que éramos una tienda de Google Analytics. Les pediríamos a nuestros analistas de datos que escribieran consultas en SQL, Python y R, y luego presentarían sus hallazgos como gráficos y otras visualizaciones que los gerentes de productos y las partes interesadas internas pudieran entender. Somos un entorno de ritmo acelerado, y las respuestas llegaban demasiado lentamente. Nuestros analistas estaban sobrecargados y, a menudo, nos encontrábamos esperando una semana o dos para obtener la respuesta a una pregunta urgente.

Extraer datos de Google Analytics era una carga. Nuestros embudos son elaborados y segmentamos a nuestros usuarios en varias cohortes de comportamiento. Si bien las consultas codificadas a mano arrojaron resultados (aunque lentamente), la interfaz de usuario de Google Analytics no era fácil de usar y agregaba una capa de complejidad. No podíamos visualizar nuestros datos sin pasar por una serie de menús contraintuitivos, e incluso entonces, nuestras opciones de segmentación y visualización eran extremadamente limitadas. Teníamos una gran cantidad de información, pero no podíamos sumergirnos en nuestros datos sin pasar por el aro.

De 10 a 80 usuarios semanales en unos meses

Empezamos a buscar plataformas de análisis alternativas. Invitamos a varios proveedores a hacer demostraciones de sus productos, pero mi jefe siempre tuvo en mente Amplitude Analytics y el equipo no defraudó. Nos mostraron casos de uso que no habíamos considerado y crearon datos ficticios para demostrar cómo podíamos segmentar y visualizar los datos de los usuarios de Brainly.

Una herramienta de análisis fácil de usar elimina la presión de los equipos de análisis y pone los datos de los usuarios a disposición de cualquiera que los necesite.

Lo que es más importante, estas demostraciones ayudaron a la empresa a darse cuenta de que nuestros equipos podían usar las herramientas de análisis de autoservicio de Amplitude para extraer datos de los usuarios en lugar de pedirles a nuestros sobrecargados analistas que lo hicieran. Habíamos encontrado una herramienta colaborativa que alivió un poco la presión de nuestro equipo de análisis y puso los datos de los usuarios a disposición de cualquiera que los necesitara.

Lanzamos Analytics en febrero de 2022 con 10 usuarios semanales activos. Para noviembre, ese número había aumentado a 80 usuarios semanales activos y 140 usuarios registrados. Hemos visto que el elemento de autoservicio de la plataforma cambia la forma en que los equipos interactúan con los datos. Nuestros diversos equipos, incluidos nuestros gerentes de productos, usan Analytics para extraer métricas de embudo y conversión sin esperar a los analistas. Nuestros ingenieros móviles, que crean eventos de usuario, la utilizan con fines de implementación, y nuestro equipo de control de calidad emplea la plataforma para verificar que los eventos funcionan correctamente en tiempo real.

Sin embargo, el mayor impacto ha sido en nuestra creación de contenido.

Transformando nuestro contenido central

El núcleo de Brainly es nuestro producto de preguntas y respuestas de la comunidad. Los alumnos inician sesión y hacen preguntas, y otros alumnos pueden responder. Cada respuesta gana puntos, alentando a los usuarios a hacer sus propias preguntas, desbloquear páginas y mejorar el estado de su comunidad. Nuestro equipo de contenido verifica estas respuestas y recompensa las correctas con cheques verdes. Estas respuestas verificadas por expertos se presentan luego como respuestas instantáneas, por lo que los usuarios no tienen que buscar una solución en nuestra base de datos. Sospechábamos que las respuestas instantáneas mejoraban la experiencia del usuario y hacían que los estudiantes se registraran para una prueba gratuita, pero no teníamos los números para confirmar si se trataba de una correlación o de una causalidad.

Gracias a Analytics, determinamos que los usuarios que ven más respuestas instantáneas en sus primeros siete días en el sitio o la aplicación tienen muchas más probabilidades de registrarse para una prueba gratuita que aquellos que no ven ninguna. La tasa de conversión fue fantástica y mucho más alta de lo que esperábamos. Esta realización hizo que mejorar nuestras respuestas verificadas y aumentar nuestra tasa de coincidencia de respuestas instantáneas fueran nuestras principales prioridades de contenido. Para hacer esto, construimos una base de datos de respuestas instantáneas que nuestro equipo de contenido ha verificado.

Ahora aprovechamos la inteligencia artificial (IA) y el aprendizaje automático (ML) para verificar automáticamente las respuestas que gustan o reciben una calificación positiva de un cierto número de personas porque hay una mayor probabilidad de que sean respuestas de alta calidad.

Pruebas A/B sobrealimentadas con Amplitude Experiment

Recientemente, adoptamos Amplitude Experiment para simplificar las pruebas A/B y ejecutar experimentos simultáneos sin exponer a los usuarios a más de un escenario de prueba a la vez. Anteriormente usábamos Google Optimize para ejecutar estas pruebas en nuestro sitio web y Firebase para probar nuestra aplicación. Encontramos un truco que envió los datos de prueba de Google Optimize a Analytics, pero no había forma de enviar los datos de Firebase. Experiment nos permite integrar pruebas y análisis dentro de un solo ecosistema, lo que lo convierte en una obviedad.

En el primer mes de uso de Experiment, lanzamos seis experimentos para probar varias hipótesis, una de las cuales demuestra el poder del producto. Después de que comenzamos a optimizar y priorizar nuestras respuestas verificadas, el porcentaje de respuestas instantáneas en los resultados de búsqueda aumentó del 5 % al 10 %. Con Experiment, confirmamos que un mayor número de usuarios veía más de cinco respuestas instantáneas y que las tasas de conversión habían aumentado en consecuencia.

Esperamos implementar la plataforma para todos en Brainly para fines de 2022.

Funciones potentes e integraciones perfectas

Las funciones más utilizadas dentro de Analytics son las cohortes de comportamiento y los gráficos de segmentación. Nuestros gerentes de producto, entre otros, crean segmentos de usuarios altamente personalizados para comprender cómo las diferentes cohortes de comportamiento interactúan con las funciones nuevas y existentes. Los gráficos de retención son igualmente populares y los usamos para ver con qué frecuencia los usuarios regresan para crear contenido nuevo y si participan en interacciones de aprendizaje semanales. Estos incluyen leer, responder o hacer una pregunta y tener una sesión de tutoría. Si alguien participa en al menos una de estas acciones cada semana, significa que está teniendo una experiencia de usuario positiva, lo que lleva a un aprendizaje acumulativo.

Uso las fórmulas en la sección de segmentos de Analytics para comparar segmentos de usuarios. También encuentro que las tablas de datos son increíblemente útiles porque puedo ver métricas específicas como conversiones y ensamblar diferentes páginas, funciones y usuarios en visualizaciones que brindan información más profunda sobre nuestros embudos.

Analytics se integra a la perfección con otras herramientas de análisis, específicamente Branch.io y Snowflake. Usamos Branch.io para rastrear a los usuarios no registrados que migran de nuestro sitio web a nuestra aplicación móvil. Es una gran victoria porque podemos ver a qué experimentos fueron expuestos en la web y determinar qué contenido y características llevan mejor a los usuarios a la aplicación.

Usamos Snowflake para todos nuestros datos de back-end, pero la integración con Amplitude nos permite intercambiar eventos de usuario. Por ejemplo, cuando el Usuario B comenta la respuesta del Usuario A a una pregunta, Analytics genera un evento para el comentario del Usuario B, pero no puede generar un evento que diga que el Usuario A recibió un comentario porque el Usuario B inició la sesión. Con Snowflake, podemos invertir la ecuación y crear un evento pasivo que indique que el usuario A recibió un comentario del usuario B y devolver esa información a Analytics. Esta acción nos da una mejor idea de cómo cambió el comportamiento del Usuario A después de recibir un comentario. Es sorprendente cuánto más podemos aprender con este simple cambio de perspectiva.

Nuestra estrella polar y próximos pasos

En solo siete meses, aumentamos nuestra base de usuarios activos a casi 120 personas y construimos una comunidad Amplitude dentro de Brainly. Tenemos un canal de Slack donde los usuarios de Amplitude pueden participar en debates en tiempo real sobre la plataforma y una página de Confluence con artículos prácticos, consejos y trucos, y otros enlaces importantes. También creamos un grupo de 'Ampliteers', usuarios avanzados que actúan como embajadores y mentores de los empleados de Brainly que son nuevos en Amplitude. Siempre tuvimos una cultura basada en preguntas, pero ahora está democratizada y no se limita a nuestros analistas de datos.

Al segmentar a los usuarios según su actividad en lugar de su demografía, puede crear una experiencia más personalizada.

La amplitud nos ayudó a encontrar nuestra estrella polar. Una vez que nos dimos cuenta de que las respuestas instantáneas impulsaban las conversiones, dimos un giro y adoptamos una nueva estrategia de crecimiento basada en el efecto de red. Cuantas más preguntas respondan nuestros usuarios, más personas se sentirán atraídas por nuestro sitio. El aumento del contenido generado por el usuario también mejora nuestra clasificación de SEO.

Ese no es el único cambio. Estamos creando nuevas cohortes de comportamiento en Amplitude para segmentar a los usuarios por el tipo y la frecuencia de las acciones que realizan en nuestro sitio. Al segmentarlos según su actividad en lugar de su demografía, esperamos crear una experiencia más personalizada que los guíe a través de su educación este año y en los años venideros. Queremos establecer un viaje educativo a largo plazo en lugar de simplemente brindar ayuda individual inmediata. Es un desarrollo emocionante y estoy seguro de que evolucionará hacia nuevas características que distinguirán aún más a Brainly de otros sitios y aplicaciones educativos.

Amplitude ha transformado la capacidad de Brainly para aprovechar los datos. Tenemos un acceso más fácil y rápido a los datos de usuarios y eventos, y podemos visualizarlos de innumerables formas que nos permiten verificar la información y generar conocimientos prácticos. Nuestra gente tiene las herramientas para hacer preguntas pertinentes que satisfagan su curiosidad y conduzcan a mejores resultados para los estudiantes que dependen de nuestra plataforma.