Quem deve realmente possuir seu plano de rastreamento?

Nota do editor: este artigo foi originalmente publicado no blog Iteratively em 11 de janeiro de 2021.

“Dados são um esporte de equipe” é algo em que acreditamos fortemente e sobre o qual falamos frequentemente na Amplitude. Os planos de rastreamento analítico não são diferentes - os planos de rastreamento (e a instrumentação deles) são colaborativos por natureza. Eles funcionam melhor quando as equipes relevantes se reúnem.

Vamos pegar o exemplo de um novo lançamento de recurso. A equipe de produto definiu as metas e métricas para esse novo recurso e terá uma visão de qual rastreamento de evento é necessário para medir essas métricas. As equipes de desenvolvimento de iOS, Android e Web são responsáveis ​​por instrumentar (e idealmente testar) esses eventos no código e terão uma opinião sobre o que é viável. Um analista ou engenheiro analítico é responsável por modelar os dados e se preocupar com sua estrutura, e você pode ter várias equipes responsáveis ​​por criar relatórios e analisar os dados em várias ferramentas. Em suma, a análise da empresa orientada por dados envolve quase todos.

O exemplo mostra como o rastreamento analítico realmente é complexo e também fala sobre a importância da colaboração ao definir e capturar os eventos certos, implementá-los com precisão e facilitar a exploração dos dados pelos consumidores de dados. Dito isso, com tantas pessoas envolvidas, o rastreamento analítico facilmente se torna uma batata quente.

Se é propriedade de todos, não é propriedade de ninguém

Com tantas partes interessadas envolvidas, o plano de rastreamento geralmente se torna uma responsabilidade compartilhada, sem um responsável claro. E com responsabilidade compartilhada vem pouca responsabilidade.

Conversamos com muitas empresas que desejam (re)criar processos em torno do rastreamento analítico. Geralmente gira em torno de uma planilha ou uma página do Confluence ou Notion. Embora seja basicamente manual e não haja como impor o plano de rastreamento no código, ele se mostra útil no início e força as equipes a pensar mais sobre o rastreamento de eventos.

No entanto, alguns meses depois, a página do Notion ou a Planilha do Google ficam desatualizadas: o rastreamento da versão mais recente foi documentado apenas em uma história do Jira e, para alguns outros lançamentos de recursos, agora não está claro se o rastreamento foi implementado ou não. Ninguém está assumindo a responsabilidade de manter o plano de rastreamento atualizado.

Então, como você muda isso para melhor e quem está em melhor posição para controlar seu rastreamento analítico?

Comece colocando a análise na frente e no centro

Antes de mergulharmos na questão da propriedade, temos que mencionar a base necessária para o sucesso do rastreamento analítico: o rastreamento de eventos é importante e sem ele você fica no escuro. A realidade é que, para a maioria das equipes, a análise é uma reflexão tardia. Aqui está um exemplo que vemos o tempo todo:

• PM trabalha em um lançamento
• A liberação acontece
• CEO pergunta ao PM como está o desempenho
• PM: “Deixe-me perguntar à equipe de dados”
• Equipe de dados: "Você nunca nos trouxe - não há dados sobre esse recurso."
• PM volta ao CEO sem respostas
• Equipe de dados e PM estão perturbados

Se a análise não se tornar parte integrante de cada versão, isso acontecerá repetidamente e não importa se o seu plano de rastreamento está realmente bom e atualizado. Você precisa da adesão de todas as partes interessadas (bem como de suas equipes de liderança) de que o rastreamento analítico é tão importante quanto o próprio recurso. Sem rastreamento, sem liberação.

Você precisa de responsabilidade, tempo e recursos claros para capacitar as equipes relevantes e, em seguida, precisa incorporar o rastreamento de eventos e as métricas de sucesso até o nível do tíquete do Jira (feito só é feito quando o código de rastreamento é enviado junto com o restante do código).

O que aprendemos com mais de 400 entrevistas com profissionais de dados e produtos

Em dois anos, entrevistamos mais de 400 gerentes de produto, equipes de dados e engenheiros. Nós vimos algumas coisas.

Obviamente, seu plano de rastreamento e o processo em torno dele são exclusivos para sua empresa, estrutura de equipe e vertical (e provavelmente é por isso que é tão difícil acertar). Um plano de rastreamento para uma empresa de comércio eletrônico será muito diferente de um plano de rastreamento para uma empresa B2B SaaS. Eles têm diferentes partes interessadas envolvidas e resolvem realidades totalmente separadas. Mais comumente, podemos dividir o que vimos pelo tamanho da empresa.

Iniciantes

Para pequenas empresas, o processo de rastreamento geralmente é ad hoc. É natural, pois poucas pessoas estão envolvidas e torna a complexidade fácil de gerenciar. Na maioria das vezes, vemos um chefe de produto ou chefe de crescimento assumir a responsabilidade nesse estágio da jornada de uma empresa.

PME

Em uma empresa de médio porte, o processo geralmente recai sobre dados/análises. Há mais partes interessadas envolvidas agora, e a complexidade pode facilmente se tornar um problema. Nesta fase, há uma necessidade definitiva de propriedade para limitar os danos e geralmente isso recai sobre alguém da equipe de dados.

Empreendimentos

Em empresas maiores, a pessoa que possui o plano de rastreamento geralmente é o chefe da análise de produto. Para empresas de comércio eletrônico, geralmente será o chefe do comércio eletrônico. Muitas vezes, eles não serão a pessoa do dia-a-dia real mantendo o plano ou aplicando o processo, mas alguém dentro de sua equipe que é responsável.

Vimos vários graus de sucesso com esses tipos de configurações. Então, o que achamos que funciona melhor?

O que funciona: a equipe do produto é o proprietário final

Isto é o que sabemos: o melhor processo de propriedade acontece quando a equipe do produto atua como o proprietário final. Os gerentes de produto devem ser o principal impulsionador e garantir que o rastreamento analítico faça parte de cada lançamento de recurso . Dependendo do tamanho da sua equipe, pode ser um ou mais gerentes de produto ou um analista de produto dedicado. Eles devem ser responsabilizados pelo rastreamento analítico como parte de sua função e OKRs.

Mas, como mencionamos anteriormente, os dados são um esporte de equipe e recomendamos que as equipes se reúnam para definir coisas como nomes de eventos e taxonomia. Engenheiros e equipes de dados terão perspectivas importantes, pois isso também influencia o dia a dia. Embora a equipe do produto seja o executor e o proprietário final, eles nunca devem trabalhar em um silo ou tomar decisões importantes sem envolver as partes interessadas certas.

A criação de um conselho consultivo que representa todas as partes interessadas relevantes funcionou bem para as empresas com as quais trabalhamos. Nem toda decisão vai para o conselho consultivo, mas eles devem ser o condutor no início, definindo sua taxonomia e processo e reunindo-se regularmente, dependendo de quantas mudanças importantes acontecerem ao longo do tempo.

Para que as equipes de produto sejam bem-sucedidas, você precisa de um processo claro:

• Tenha critérios de sucesso claros para métricas qualitativas e quantitativas como parte de cada história de usuário. Estes devem ser definidos pelo PM e discutidos com a equipe de dados ou analistas.
• Falta rastreamento? Falha na construção. A noção de pronto precisa evoluir para incluir o rastreamento analítico como parte de cada versão. Isso não significa bloquear lançamentos logo antes do lançamento, mas sim implementar um processo que inclua considerações de rastreamento desde o início.
• A colaboração é fundamental. Embora o PM seja o proprietário da especificação de rastreamento de eventos, a equipe de dados ou os analistas devem estar disponíveis para intervir e ajudar a definir os detalhes do que deve ser rastreado.

Capacite seus gerentes de produto para assumir a propriedade

Para alguns PMs, possuir o plano de rastreamento é algo natural para eles. Eles querem o controle e têm a experiência. E também não têm medo de pedir ajuda quando precisam. Mas isso não vem naturalmente para todos os PMs.

Primeiro, uma mudança de cultura precisa acontecer: comemore o desempenho e o sucesso de um novo recurso ou lançamento de produto, não o fato de ter sido lançado! Surpreendentemente, para muitos, ainda é o envio que recebe elogios, não se o produto está funcionando ou não.

Então, como você capacita sua equipe de produto para possuir o plano de rastreamento? Esta não é uma lista exaustiva, mas espero que seja um lugar para as pessoas começarem:

• Treinamento regular : acertar o rastreamento de eventos é tanto uma arte quanto uma ciência (ou seja, não é fácil), portanto, certifique-se de que sua equipe esteja capacitada com o conhecimento necessário para assumir confortavelmente a propriedade. O treinamento pode ser no estilo almoço e aprendizado, workshops ou sessões individuais (lembre-se de gravar suas sessões para futuras contratações).
• Horário de expediente : observamos grande sucesso quando as equipes de dados hospedam horários de expediente regulares para outras equipes para aproveitar a experiência e o conhecimento da equipe de dados. Certifique-se de que as equipes venham preparadas com uma agenda ou perguntas específicas para evitar que se transformem em uma reunião “estilo suporte técnico”.
• Processo claro e pontos de verificação: Não podemos enfatizar suficientemente a importância de um processo definido. Certifique-se de ter um processo claro que todos conheçam, entendam e sigam, e inclua pontos de revisão regulares para garantir a qualidade, bem como revisões de código e solicitações de mesclagem no desenvolvimento de software.
• Incorporar um analista : isso nem sempre é uma opção, é claro, mas vimos equipes bem-sucedidas incorporarem um analista de dados em uma equipe de produto em período parcial ou integral para controlar o rastreamento analítico e ajudar os PMs na exploração e análise de dados.
• Análise de autoatendimento: achamos que é uma prática recomendada capacitar os PMs e todos os outros na organização a explorar facilmente conjuntos de dados e obter respostas para perguntas rapidamente. O Amplitude é ótimo para isso e garante altos níveis de alfabetização de dados em toda a sua empresa.

Um lembrete: bons PMs não precisam saber SQL

Por que se preocupar com o rastreamento de eventos se você mesmo não consegue explorar os dados? Para expandir o último ponto acima, vimos empresas com equipes de dados centrais que possuem todos os relatórios e análises de dados. Ele tem seus prós, mas, pela nossa experiência, pode limitar os PMs e outros e eles se importarão menos com o rastreamento analítico ou a qualidade dos dados.

Lembre-se, dar aos PMs e outros acesso ao Redash ou outras ferramentas baseadas em SQL não é igual a capacitar PMs para autoatendimento. Não espere que seus PMs saibam (ou aprendam) SQL. Esse não é o trabalho deles. Em vez disso, capacite-os com uma interface do usuário fácil de usar e muito treinamento para acompanhar a ferramenta e os conjuntos de dados. Obviamente, o conhecimento de SQL tem suas vantagens óbvias e, se você conseguir encontrar ou treinar talentos em toda a empresa (pense em produto, marketing, sucesso do cliente etc.), poderá fazê-lo funcionar, mas terá suas desvantagens e limitações óbvias.

Se os PMs puderem se autoatendimento, é mais provável que explorem dados de, digamos, uma versão recente. À medida que exploram os dados, é mais provável que se preocupem com sua qualidade, riqueza e disponibilidade. Crie uma cultura de capacitação e construa um processo sólido em torno do rastreamento analítico e você terá PMs felizes, analistas felizes, uma equipe de dados feliz e até mesmo desenvolvedores felizes.

Amplitude está aqui para te ajudar

O Amplitude ajuda equipes de dados, gerentes de produto e engenheiros a definir, instrumentar, verificar e colaborar no rastreamento analítico. Resolvemos proativamente os problemas de qualidade de dados que surgem da nomenclatura inconsistente de eventos e rastreamento ausente e fornecemos um fluxo de trabalho para gerenciar a evolução de seu rastreamento.

Capacitamos os gerentes de produto a se apropriar do plano de rastreamento e aumentar o nível de colaboração entre as equipes . Se você estiver interessado em experimentar o Amplitude para sua empresa, crie uma conta hoje ou agende uma demonstração com nossa equipe para saber mais.