Criando uma cultura de experimentação e dados de autoatendimento para uma melhor tomada de decisão

Quando se trata de projetar um aplicativo ou site, a simplicidade é melhor. Levar os usuários dos pontos A ao B no menor número de etapas e com a interface mais limpa é a marca de uma experiência excepcional. Mas mesmo a jornada do usuário mais direta gera uma sequência de dados de eventos que precisam ser classificados e interpretados. Com as ferramentas certas, esses dados brutos se tornam um tesouro de informações que podem levar sua empresa ao próximo nível.

Sou Gerente Sênior de Produto da SmartRecruiters, um fornecedor de software que permite que as empresas executem seu programa de aquisição de talentos como uma poderosa máquina de marketing e vendas. Nosso pacote de aquisição de talentos B2B facilita a contratação e ajuda as empresas a encontrar e contratar as pessoas de que precisam.

Com as ferramentas certas, os dados brutos se tornam um tesouro de informações que podem levar sua empresa ao próximo nível.

Um complemento recente ao nosso principal produto B2B é nossa solução B2C, Smartr. Smartr é uma plataforma online fácil de usar que combina candidatos a emprego com mais de 4.000 empregadores. Temos dois milhões de usuários ativos procurando trabalho online, gerando centenas de milhões de eventos.

Dar sentido às jornadas do usuário era impossível

Quando entrei na empresa em 2020, era quase impossível entender as jornadas de nossos usuários. Estávamos acessando diretamente nosso banco de dados de eventos e tentando visualizar as coisas usando SQL e Tableau. Escrevemos consultas para cada evento que analisamos e alimentamos os resultados no Tableau. Era demorado, e estávamos pulando de obstáculos para fazer os dados funcionarem porque havia muitas partes móveis.

Na época, o Smartr estava em sua infância – e nossa equipe também era nova. À medida que adicionamos mais pessoas para trabalhar no Smartr, procurávamos simultaneamente novas ferramentas que pudessem nos ajudar a melhorar. Queríamos analisar e visualizar mais eventos e criar nossos relatórios, mas nossas ferramentas de visualização não eram adequadas para análise de rastreamento de eventos. Comecei a procurar a solução perfeita para nos ajudar a entender melhor o comportamento do usuário.

Expandindo na plataforma certa

Durante algumas pesquisas básicas sobre ferramentas de análise, descobri que o lado corporativo do SmartRecruiters estava usando a versão gratuita do Amplitude Analytics. Como já o tínhamos em casa, decidi experimentá-lo e inscrevi-me em alguns workshops com os gestores de contas da Amplitude.

Mesmo com os recursos limitados do pacote Starter gratuito, ficou claro imediatamente que o Analytics era a melhor ferramenta do mercado para rastreamento de eventos. Ele se integra perfeitamente ao nosso banco de dados e sua interface de apontar e clicar, ferramentas de visualização integradas e modelos de relatório nos permitem traduzir dados brutos em informações fáceis de entender. Em menos de um minuto, podemos fazer e responder perguntas que antes levavam meio dia para formular, extrair e interpretar usando consultas SQL e o Tableau.

Rapidamente concluí que não estávamos usando o Analytics em sua capacidade total e defendi nossa mudança para um dos níveis pagos da plataforma para que pudéssemos aproveitar todo o seu poder.

Monitoramento de novos recursos em tempo real

À medida que aumentamos seu uso, o Analytics introduziu o monitoramento em tempo real que nos permite testar um novo recurso no segundo em que o adicionamos ao nosso site ou aplicativo. Com um ID de usuário existente, podemos testar um projeto em tempo real e ver quais eventos estão sendo acionados sem criar um ambiente de teste ou esperar que usuários e clientes façam login.

Os dados em tempo real tornam as equipes e os usuários mais felizes porque há menos obstáculos nos ciclos de desenvolvimento e na decifração das jornadas do cliente.

Minutos depois de lançar um novo recurso, posso dizer aos meus engenheiros se ele está disparando os eventos desejados e eles podem solucionar o problema imediatamente. É uma maneira mais inteligente de trabalhar (desculpe o trocadilho), e minha equipe e nossos usuários estão mais felizes porque há menos obstáculos em nossos ciclos de desenvolvimento e decifração de jornadas do cliente.

Levando a experimentação a novos patamares

O Analytics é poderoso e, à medida que aumentamos a equipe do Smartr, começamos a procurar fazer mais com os dados de eventos. A resposta lógica foi aumentar nossos testes A/B para que pudéssemos experimentar diferentes versões do nosso site e aplicativo.

Comprar uma plataforma de experimentação separada ou construir a nossa custaria facilmente cem mil dólares por ano, e então teríamos que encontrar uma maneira de integrar a nova plataforma com nossos dados e eventos.

Em vez de olhar para uma solução separada, recorremos ao Amplitude Experiment, uma solução robusta de experimentação e gerenciamento de recursos que nos permite testar funcionalidades e aprimoramento de interface. O Experiment integra-se totalmente às ferramentas do Analytics, oferecendo um fluxo de trabalho de experimentação completo.

Um dos maiores sucessos do Experiment foi o lançamento do recurso de favoritos do nosso Smartr. Quando os candidatos encontram uma postagem interessante, eles podem sinalizá-la, continuar sua busca de emprego e voltar e se inscrever mais tarde. Experimentamos duas novas versões do ícone de marcador, uma estrela e um coração, além do ícone de marcador existente como controle. e vi que os usuários preferiam um coração.

Fizemos o teste atribuindo 1/3 do nosso tráfego a cada uma das variantes. Estávamos interessados ​​em testar a taxa de marcação, que é a taxa de conversão dos usuários expostos às diferentes variantes e quantos deles marcaram um trabalho. A taxa de marcação para o botão de coração aumentou em comparação com a opção de controle em 46,6%, enquanto a taxa de marcação para o botão de estrela aumentou apenas 8,78%. Também queríamos testar a taxa de inscrição, que é a porcentagem de vagas marcadas para as quais os candidatos acabaram se candidatando. Para o botão de coração, essa taxa aumentou 58% em relação ao controle, enquanto para o botão de estrela a melhora foi de apenas 23,4%.

Amplitude confirmou a significância estatística dessas melhorias após seis dias de execução do experimento, então a decisão de mudar o antigo botão de favoritos para um coração foi fácil.

Claro, então fizemos mais perguntas. Como os usuários reagiriam se mudássemos parte de nossa experiência de integração ou criássemos uma totalmente nova? Eles se envolveriam mais com o conteúdo? Candidatar-se a mais empregos? E como isso afetaria nossos KPIs? Nós nos vimos fazendo e respondendo mais perguntas relevantes para nosso público.

Uma cultura de dados crescente

É emocionante ver nossa cultura de dados crescer. Nos últimos 12 meses, vimos um aumento de 950% na adoção. E, em vez de ver um pico inicial após a contratação e desistência, o engajamento permanece alto. Ele é introduzido em um modelo de dados de autoatendimento, onde as pessoas se sentem mais confiantes sobre os dados que veem e sua capacidade de tomar decisões com base neles.

Uso o Analytics diariamente para criar novos gráficos e apresentá-los à equipe, liderando pelo exemplo. Todos, de equipes de produto a designers e engenheiros, podem criar gráficos e acessar os dados de que precisam, sempre que precisarem. Embora nem todos usem o Analytics diariamente, menos pessoas me procuram com perguntas ou solicitações de consultas, e a equipe pode se mover mais rapidamente.

Por causa desse crescimento, fui finalista do Amplitude Pioneer Awards na categoria Data Culture Award. É ótimo que nosso trabalho seja reconhecido externamente e internamente.

A flexibilidade para refinar o Smartr

Qualquer ferramenta de análise fornecerá insights para ajudar a tomar decisões mais informadas por dados, mas a flexibilidade do Analytics a diferencia. Isso torna a análise de dados tão fácil. Em vez de gastar tempo, esforço e recursos para construir o que precisamos do zero, tudo está pronto para ser usado e modificado.

Minha equipe refinou nossa oferta de produtos e aprimorou nossa experiência do usuário. Construímos uma comunidade próspera de candidatos a emprego, aproveitando nossa plataforma para dar o próximo – ou primeiro – passo na carreira. Podemos criar novos eventos e rastreá-los e analisá-los instantaneamente usando os painéis integrados. Começamos a tomar decisões com base em dados e nos concentramos em monitorar o desempenho em vez de escrever consultas e gerenciar nossas ferramentas de análise. É fácil ver quais recursos os usuários precisam e seguir seus caminhos enquanto navegam da página inicial para outras páginas em nosso site.

Ao criar um novo produto, você deve responder rapidamente e garantir que todos os detalhes da propriedade do evento estejam corretos. A combinação de Analytics e Experiment garante que a equipe Smartr continue a construir um produto que se equipare à nossa contraparte corporativa.