Fundamentos de Marketing Analytics

1.1Dados, informação, evidência e decisão

Dados são registros de eventos, características ou comportamentos. Quando organizados em relação a uma pergunta, esses registros tornam-se informação. A informação somente constitui evidência para uma decisão quando a origem dos dados, o método de análise e as explicações alternativas são avaliados de forma explícita.

Uma decisão analítica começa com a definição da ação possível. A análise deve esclarecer qual escolha será modificada pelo resultado, qual consequência será observada e quais custos acompanham um possível erro. Uma correlação entre exposição publicitária e vendas, por exemplo, pode apoiar uma previsão, mas não demonstra necessariamente que a publicidade causou o aumento das vendas.

Toda decisão admite dois tipos de erro: agir quando a ação não se justifica e deixar de agir quando a ação seria vantajosa. A ampliação de uma campanha que não gera vendas incrementais desperdiça orçamento, enquanto o encerramento de uma campanha eficaz sacrifica receita. Como o custo de cada erro raramente é simétrico, essa assimetria determina o volume de evidência necessário antes da decisão.

Em razão dessa assimetria, a ordem das etapas analíticas é relevante. Primeiro são definidas a decisão e as alternativas, depois o critério de sucesso e, em seguida, os dados e o desenho capazes de distinguir as alternativas. Análises iniciadas pelos dados disponíveis tendem a produzir relatórios extensos que não alteram nenhuma escolha.

1.1.1Caso de mercado: expansão do investimento em busca paga

Associação histórica entre investimento e receita e reformulação da pergunta

Uma varejista observa que os períodos com maior investimento em busca paga também apresentam maior receita. Essa relação inicial não permite concluir que o investimento adicional causou o crescimento, pois sazonalidade, promoções e demanda preexistente podem afetar simultaneamente o investimento e as vendas.

Para sustentar a decisão, o problema deve ser reformulado da seguinte maneira: qual margem incremental seria produzida pela ampliação do investimento, em comparação com a manutenção do orçamento atual? A resposta exige um desenho que estabeleça esse contraste e incorpore custos, e não apenas uma associação histórica.

1.1.2Métricas necessárias para decidir sobre a ampliação do investimento

Se a decisão consiste em aumentar o investimento em busca paga, o número de cliques é, isoladamente, insuficiente. Devem ser avaliados o custo incremental, as conversões incrementais e a margem produzida pelas vendas atribuíveis ao investimento adicional. A expansão da campanha pode ser recomendada quando o retorno marginal esperado superar o custo de oportunidade do orçamento.

1.1.3Erros comuns na relação entre análise e decisão

• Iniciar a análise pelos dados disponíveis e somente depois procurar uma pergunta que esses dados respondam.
• Apresentar uma correlação histórica como se representasse o efeito de uma ação.
• Entregar um relatório sem indicar qual decisão poderia ser modificada a partir dele.
• Exigir o mesmo nível de evidência para decisões de baixo custo e reversíveis e para decisões de alto custo e irreversíveis.

1.2Analytics descritivo, diagnóstico, preditivo e prescritivo

As análises de marketing costumam ser classificadas pela pergunta que respondem. A análise descritiva informa o que ocorreu, como o volume vendido, o número de clientes que cancelaram ou o canal que gerou mais visitas. A análise diagnóstica investiga por que o fenômeno ocorreu, comparando segmentos, períodos e hipóteses alternativas. A análise preditiva estima o que provavelmente ocorrerá, como a demanda da semana seguinte ou a probabilidade de cancelamento de um cliente. Por fim, a análise prescritiva recomenda uma ação, considerando objetivos, custos e restrições.

Os quatro níveis não formam uma hierarquia em que o nível mais avançado é sempre preferível. Uma análise descritiva com definições corretas e comparações adequadas responde a grande parte das perguntas gerenciais. Por outro lado, uma previsão sofisticada construída sobre métricas mal definidas tende apenas a automatizar o erro.

Uma distinção adicional atravessa os quatro níveis: prever um resultado não equivale a explicar o efeito de uma ação. Um modelo pode prever com acurácia quais clientes comprarão sem informar se uma oferta provocará a compra. Por essa razão, recomendações prescritivas que envolvem intervenções requerem evidência causal, obtida por experimentos ou por desenhos observacionais rigorosos, tratados nos capítulos 8 e 9.

1.2.1Caso de mercado: queda das vendas on-line de uma rede de moda nos quatro níveis de análise

Uma rede de moda observa queda de 12% nas vendas on-line em um mês. O relatório descritivo localiza essa queda nos pedidos realizados pelo celular. O diagnóstico indica que a taxa de abandono no pagamento dobrou após uma mudança no cálculo do frete. A previsão estima que, mantida a situação, a perda de receita alcançará R$ 2 milhões no trimestre. A prescrição, por sua vez, compara três alternativas, que consistem em reverter a regra de frete, subsidiar parcialmente o frete ou manter a regra e compensar a perda com cupons, considerando a margem de cada alternativa.

1.2.2Identificação do nível de análise exigido pela decisão

Diante de uma demanda analítica, convém identificar o nível em que a demanda foi formulada e o nível que a decisão efetivamente exige. Solicitações como “queremos um modelo preditivo de churn” frequentemente contêm uma pergunta prescritiva, isto é, quais clientes devem receber uma ação de retenção e com qual oferta. O reconhecimento antecipado dessa pergunta evita a entrega de uma previsão correta que não orienta nenhuma ação.

1.2.3Erros comuns na escolha do nível de análise

• Omitir a etapa descritiva e iniciar a modelagem antes de compreender o comportamento básico dos dados.
• Tratar a variável mais importante de um modelo preditivo como causa do resultado.
• Prescrever ações sem considerar custos, capacidade operacional e restrições do negócio.

1.3Tipos de dados de marketing

Os dados de marketing diferem quanto à unidade observada, à frequência de registro e ao mecanismo de geração. Dados transacionais descrevem compras, dados comportamentais registram interações, pesquisas mensuram respostas declaradas e experimentos comparam resultados sob intervenções controladas. A escolha da fonte deve ser determinada pela pergunta, e não apenas pela disponibilidade do registro.

Dados primários são coletados para uma finalidade específica, enquanto dados secundários foram produzidos para outra finalidade e podem exigir adaptações. Além disso, dados observacionais registram o comportamento ocorrido, ao passo que dados experimentais são produzidos por um procedimento que altera deliberadamente uma condição.

Outra classificação relevante considera o agente responsável pela coleta. Dados first-party são coletados pela própria empresa em seus canais, como compras, navegação e cadastro. Dados second-party são compartilhados diretamente por um parceiro, como um varejista que informa vendas a um fabricante. Dados third-party são adquiridos de terceiros e tendem a apresentar cobertura ampla, mas qualidade e base legal de uso mais difíceis de verificar. Dados declarados voluntariamente pelo cliente, como preferências informadas em um cadastro, são por vezes denominados zero-party.

Por fim, os dados podem ser estruturados, isto é, organizados em linhas e colunas, ou não estruturados, como textos, imagens, áudios e vídeos. Avaliações de clientes, conversas de atendimento e publicações em redes sociais contêm informação relevante, mas exigem transformação antes da análise, tema do capítulo 12.

1.3.1Caso de mercado: diagnóstico da queda da recompra em uma empresa de assinatura

Informação oferecida e limitação de cada fonte de dados

Uma empresa de assinatura identifica redução na taxa de recompra trimestral. Quatro fontes oferecem perspectivas complementares sobre essa redução, mas nenhuma fonte isolada descreve integralmente o problema.

A investigação pode começar pelas transações, para localizar o momento da queda, utilizar os dados de navegação para identificar fricções e recorrer a pesquisas para formular explicações. Posteriormente, uma intervenção específica pode ser avaliada por meio de experimento.

1.3.2Integração de fontes com limitações distintas

Uma base de transações permite calcular a frequência de compra e a receita, mas não revela, por si só, a razão da preferência do consumidor. Uma pesquisa pode mensurar avaliações declaradas, embora esteja sujeita a não resposta e a desejabilidade social. A integração das fontes é útil quando as unidades e os períodos são compatíveis e quando as limitações de cada mecanismo de coleta permanecem explícitas.

1.3.3Erros comuns na escolha e no uso de fontes de dados

• Tratar as unidades presentes em uma fonte como representativas de toda a base, como ocorre com respondentes de pesquisa ou usuários identificados por login.
• Adquirir dados de terceiros sem verificar cobertura, atualização e base legal de uso.
• Utilizar a fonte de acesso mais fácil em vez da fonte capaz de responder à pergunta.

1.4Métricas, KPIs e proxies

Uma métrica quantifica um fenômeno. Um indicador-chave de desempenho, ou KPI, é uma métrica selecionada por sua relação direta com um objetivo e uma decisão. Um proxy, por sua vez, substitui um construto que não pode ser observado diretamente. Alcance, receita incremental e intenção de recomendação são métricas, mas somente se tornam KPIs quando vinculados a uma meta e a uma responsabilidade decisória.

A qualidade de uma medida depende de sua validade, confiabilidade, sensibilidade e capacidade de orientar ações. Uma métrica pode ser registrada com elevada precisão técnica e, ainda assim, representar inadequadamente o objetivo. A quantidade de sessões de um site, por exemplo, pode crescer sem produzir aumento da demanda qualificada.

Convém distinguir indicadores antecedentes de indicadores de resultado. Indicadores de resultado, como receita e cancelamentos, registram o desfecho, mas apenas após sua ocorrência. Indicadores antecedentes, como a adição de produtos ao carrinho ou o uso de uma funcionalidade-chave, variam antes do desfecho e permitem correções de rumo, desde que haja evidência de sua relação com o resultado.

Um KPI bem definido possui nome, fórmula, fonte, frequência de atualização, segmento de aplicação e responsável. Na ausência dessa especificação, duas equipes podem reportar a “mesma” taxa de conversão com denominadores diferentes e chegar a conclusões opostas.

1.4.1Escolha da métrica conforme o objetivo de lucro incremental

Se o objetivo for aumentar o lucro incremental, a receita total constitui uma medida incompleta, porque não incorpora custos nem identifica o efeito causal da ação. O lucro incremental apresenta maior proximidade com a decisão, embora sua estimação exija um contrafactual. Cliques podem ser utilizados como indicador operacional intermediário, mas não devem substituir o resultado econômico.

1.4.2Erros comuns na definição de métricas e KPIs

• Escolher o KPI pela facilidade de mensuração, e não pela proximidade com o objetivo.
• Acompanhar dezenas de “KPIs”, o que equivale à ausência de prioridade.
• Alterar a fórmula de uma métrica sem registrar a alteração, o que compromete as comparações históricas.

1.5Árvore de métricas e métrica norte

Uma árvore de métricas decompõe um objetivo em seus componentes. A receita de um comércio eletrônico, por exemplo, pode ser expressa como o produto entre sessões, taxa de conversão e valor médio do pedido. As sessões, por sua vez, dividem-se em orgânicas e pagas, e as sessões pagas dependem do investimento e do custo por clique. Cada ramo corresponde a uma alavanca que pode ser influenciada por uma equipe específica.

A métrica norte é a medida que melhor resume o valor entregue pelo produto ao cliente e que, ao crescer de forma sustentada, tende a produzir resultado financeiro. Em um aplicativo de delivery, essa métrica pode corresponder ao número semanal de pedidos entregues no prazo; em um software por assinatura, ao número de contas que utilizam a funcionalidade principal. A árvore conecta a métrica norte às métricas operacionais de cada equipe.

A árvore constitui uma identidade contábil, pois indica como os números se compõem, mas não como reagem a uma ação. Na prática, as alavancas interagem. O aumento do tráfego pago, por exemplo, costuma atrair visitantes com menor propensão à compra e, consequentemente, reduzir a taxa média de conversão. Desse modo, a árvore indica onde investigar e quanto cada alavanca precisaria variar, mas o efeito de uma intervenção ainda precisa ser mensurado.

1.5.1Caso de mercado: alternativas para aumentar a margem do canal on-line de uma rede de farmácias

Uma rede de farmácias pretende aumentar em 10% a margem do canal on-line. A equipe de mídia propõe dobrar o investimento, enquanto a equipe de produto propõe melhorar a conversão do pagamento. A árvore de métricas indica que dobrar o investimento em mídia aumenta as sessões em apenas um quarto, porque a maior parte do tráfego é orgânica, e ainda dobra o custo de mídia, de modo que a margem líquida aumenta cerca de 5%. Por outro lado, um aumento de 10% na taxa de conversão do pagamento, de 2,5% para 2,75%, eleva a margem líquida em quase 13% sem custo adicional de mídia.

1.5.2Construção da árvore e avaliação da plausibilidade das metas

A construção da árvore deve partir do resultado pretendido pela empresa e avançar até métricas que uma equipe consiga influenciar diretamente. Em seguida, deve-se estimar a variação necessária em cada alavanca para atingir a meta e compará-la com as variações historicamente observadas. Alavancas que exigem variações nunca observadas indicam metas irrealistas ou a necessidade de uma estratégia diferente.

1.5.3Erros comuns no uso de árvores de métricas e métricas norte

• Tratar a árvore como modelo causal e somar os efeitos de cada alavanca como se fossem independentes.
• Escolher como métrica norte um volume que cresce sem gerar valor, como o número de cadastros não ativados.
• Deixar ramos da árvore sem responsável, de modo que nenhuma equipe atue sobre a alavanca mais relevante.

1.6Funil e jornada do cliente

O funil descreve a sequência de etapas entre o primeiro contato e o resultado, como visita, visualização de produto, carrinho, pagamento e compra. Cada etapa possui uma taxa de passagem calculada sobre os clientes que alcançaram a etapa anterior. A conversão total corresponde ao produto dessas taxas, e a etapa com maior perda absoluta de clientes constitui uma candidata natural à investigação.

A jornada real raramente é linear. Clientes pesquisam em vários dispositivos, retornam dias depois, abandonam o carrinho e voltam por meio de e-mails. O funil é uma simplificação útil quando suas etapas e janelas temporais estão bem definidas, o que exige especificar, por exemplo, se uma compra é contabilizada quando ocorre na mesma sessão, em sete dias ou em trinta dias. Cada definição produz uma taxa diferente.

Funis agregados também ocultam diferenças entre segmentos. Uma taxa de passagem no pagamento de 50% pode resultar de 70% no computador e de 40% no celular. Se a participação do celular aumenta, a taxa total diminui mesmo sem piora em nenhum dispositivo. Por essa razão, o funil deve ser analisado também por dispositivo, canal de origem e tipo de cliente.

1.6.1Caso de mercado: queda da conversão total de uma loja de eletrônicos por mudança de composição

Uma loja de eletrônicos registra queda da conversão total de 1,9% para 1,6% em um semestre. A análise por etapa revela estabilidade em todas as taxas quando cada dispositivo é examinado separadamente. A queda decorre, portanto, da mudança de composição, uma vez que a participação do celular, dispositivo em que o pagamento é mais difícil, passou de 50% para 70% das visitas. Assim, a prioridade deixa de ser a recuperação da conversão total e passa a ser a simplificação do pagamento no celular.

1.6.2Priorização de melhorias entre as etapas do funil

A priorização de melhorias deve comparar o ganho esperado em cada etapa com o custo de obtê-lo. Em um funil multiplicativo, uma melhoria relativa de 10% em qualquer etapa aumenta os pedidos nos mesmos 10%, de modo que a diferença entre as etapas reside na dificuldade de cada melhoria. Por outro lado, um ganho de um ponto percentual produz mais pedidos nas etapas com taxa de passagem baixa. A leitura do funil deve ainda ser associada à pergunta de negócio, que pode envolver a atração de visitas, a persuasão de quem chega ao site ou a conclusão da compra.

1.6.3Erros comuns na leitura de funis de conversão

• Comparar taxas de conversão calculadas com janelas temporais ou denominadores diferentes.
• Interpretar uma queda da taxa total como piora de desempenho sem verificar mudanças de composição.
• Concentrar o esforço na etapa com menor taxa de passagem, e não na etapa que oferece o maior ganho por real investido.

1.7Participação, penetração e share of requirements

A participação de mercado compara as vendas de uma marca com as vendas da categoria. A penetração mede a proporção de compradores da categoria que adquiriram a marca. O share of requirements mede a parcela das compras da categoria realizadas pelos clientes da marca que foi destinada à própria marca. As três métricas descrevem dimensões distintas do desempenho competitivo.

Essas métricas relacionam-se por meio de uma decomposição simples: a participação de mercado é igual à penetração multiplicada pelo share of requirements e por um índice de intensidade, que compara o volume adquirido na categoria pelos compradores da marca com o volume médio da categoria. A decomposição permite investigar se a marca é pequena porque poucos consumidores a compram, porque seus compradores também adquirem marcas concorrentes ou porque esses compradores consomem pouco da categoria.

Pesquisas com painéis de consumidores indicam um padrão recorrente, segundo o qual marcas menores tendem a apresentar, simultaneamente, menos compradores e compradores ligeiramente menos leais. Esse padrão sugere que, na maioria das categorias, o crescimento depende mais da conquista de novos compradores do que da intensificação da lealdade dos compradores atuais.

1.7.1Interpretação da combinação entre penetração e intensidade de compra

Uma marca pode apresentar baixa penetração e alta intensidade de compra entre seus clientes atuais. Nesse caso, a expansão da base de compradores pode oferecer maior potencial do que o estímulo adicional à frequência de compra. A interpretação deve considerar o período, a definição da categoria e o canal observado.

1.7.2Erros comuns na análise de participação e penetração

• Definir a categoria de forma conveniente para inflar a participação de mercado.
• Comparar a penetração medida em períodos de duração diferente, uma vez que janelas mais longas sempre registram mais compradores.
• Planejar o crescimento apenas por fidelização quando a penetração é o principal limite.

1.8Margem, ROI e ROMI

Receita não equivale a resultado econômico. A margem de contribuição deduz os custos variáveis associados à venda. O retorno sobre investimento, ou ROI, compara o ganho líquido com o investimento. O retorno sobre investimento em marketing, ou ROMI, restringe a análise aos efeitos e custos atribuídos à atividade de marketing.

O cálculo desses indicadores deve utilizar efeitos incrementais. A receita observada durante uma campanha inclui compras que poderiam ocorrer mesmo na ausência da ação. Consequentemente, a inclusão integral dessa receita tende a superestimar o retorno.

No marketing digital, é comum o uso do ROAS, definido como a receita atribuída dividida pelo investimento em mídia. Um ROAS de 4 não significa lucro equivalente a quatro vezes o investimento, pois, com margem de contribuição de 25%, um ROAS de 4 apenas recupera o valor investido. Além disso, o custo da campanha deve incluir produção, agência, ferramentas e descontos concedidos, e não somente a mídia.

O horizonte de avaliação também altera o resultado. Campanhas de marca podem apresentar retorno baixo na semana da veiculação e retorno relevante ao longo de meses, enquanto promoções podem apresentar retorno alto na semana e retorno negativo quando se considera a queda de vendas subsequente. Por essa razão, o período de avaliação deve ser definido antes da análise.

1.8.1Interpretação do ROMI positivo e comparação entre campanhas

Um ROMI positivo indica que a margem incremental estimada excedeu o investimento considerado. Contudo, a recomendação de continuidade também depende do risco da estimativa, do horizonte temporal e das alternativas disponíveis para o orçamento. Comparações entre campanhas requerem definições consistentes de custo, receita incremental e janela de observação.

1.8.2Erros comuns no cálculo de margem, ROI, ROMI e ROAS

• Tratar o ROAS como lucro, sem aplicar a margem de contribuição.
• Utilizar a receita total do período como se toda ela tivesse sido causada pela campanha.
• Omitir do investimento os custos de produção, agência e descontos.
• Comparar campanhas avaliadas em janelas temporais diferentes.

1.9Métricas de vaidade

Métricas de vaidade apresentam crescimento aparente, mas possuem relação incerta com resultados relevantes. Impressões, seguidores, visualizações e downloads podem ser informativos para a operação, mas tornam-se problemáticos quando interpretados como evidência de valor econômico sem a demonstração das etapas intermediárias.

Três características auxiliam a identificação dessas métricas. Em geral, são cumulativas e, portanto, apenas crescem; podem ser facilmente infladas por investimento ou por mudanças de critério; e não indicam qual ação deve ser tomada. A alternativa costuma consistir em transformar o volume em taxa ou em análise de coorte, substituindo, por exemplo, os downloads acumulados pela proporção de usuários que ainda utilizam o aplicativo trinta dias após a instalação.

Uma métrica não é de vaidade por natureza. O alcance de uma campanha de lançamento pode ser exatamente o fenômeno que se pretende mensurar, desde que exista uma hipótese clara sobre a conversão desse alcance em conhecimento de marca e em vendas. O problema surge quando o volume é apresentado como resultado final.

1.9.1Relação entre volume de impressões e margem

Uma campanha pode duplicar o número de impressões e, ainda assim, produzir margem inferior se a audiência adicional apresentar menor propensão à compra. O encadeamento entre exposição, resposta, conversão e margem deve ser examinado antes que o volume de atenção seja tratado como desempenho de negócio.

1.9.2Erros comuns no uso de métricas de volume

• Celebrar recordes de impressões ou de seguidores sem demonstrar efeito sobre vendas ou sobre a marca.
• Apresentar totais acumulados, que apenas podem crescer, em vez de taxas por período.
• Ampliar a audiência sem acompanhar a queda de qualidade dos novos públicos.

1.10Lei de Goodhart

A Lei de Goodhart descreve a deterioração de uma medida quando ela se transforma em alvo. Uma organização que recompensa exclusivamente o número de leads pode estimular a aquisição de contatos de baixa qualidade. Nesse caso, o indicador melhora, mas a finalidade original pode ser prejudicada.

O fenômeno ocorre porque os agentes avaliados encontram formas menos custosas de alterar o indicador do que de alterar o objetivo. Equipes de atendimento avaliadas pelo tempo médio de ligação, por exemplo, encerram chamadas antes de resolver o problema, enquanto equipes de retenção avaliadas por cancelamentos evitados oferecem descontos a clientes que não cancelariam.

A proteção mais comum consiste em combinar cada métrica de desempenho com uma contramétrica que capte o efeito colateral provável. O volume de leads pode ser acompanhado da taxa de qualificação, o tempo de atendimento da resolução no primeiro contato e os cancelamentos evitados da margem preservada. Além disso, convém revisar periodicamente se a relação entre a métrica e o objetivo permanece válida.

1.10.1Composição de indicadores para metas de geração de leads

A remuneração baseada exclusivamente em leads registrados pode incentivar critérios permissivos de qualificação. Um conjunto equilibrado de indicadores deve incluir volume, qualidade, conversão posterior e custo. Essa composição reduz a possibilidade de otimização local em detrimento do resultado comercial.

1.10.2Erros comuns na definição de metas baseadas em indicadores

• Vincular metas e remuneração a uma única métrica operacional.
• Celebrar a melhora de um indicador sem verificar se o resultado final apresentou melhora correspondente.
• Manter uma meta por anos sem verificar se ela ainda representa o objetivo.

1.11Metas, benchmarks e sazonalidade

Um número isolado não informa se o desempenho foi satisfatório. Vendas de R$ 2 milhões em uma semana precisam ser comparadas com alguma referência, como a semana anterior, a mesma semana do ano anterior, a meta orçamentária, o crescimento do mercado ou um valor esperado que considere a época do ano. Cada referência responde a uma pergunta diferente, e a escolha da referência pode inverter a conclusão.

A sazonalidade constitui a principal fonte de erro nessas comparações. A comparação entre dezembro e novembro indica crescimento em quase todo o varejo, enquanto a comparação entre janeiro e dezembro indica queda. A comparação com o mesmo período do ano anterior reduz esse problema, mas exige atenção a efeitos de calendário, como o número de fins de semana, feriados de data móvel, eventos como a Black Friday e mudanças no próprio negócio, como a abertura de lojas.

O crescimento também precisa ser interpretado em relação ao mercado. Uma marca que cresce 8% em um mercado que cresce 15% perde participação. Benchmarks externos são úteis para essa interpretação, mas as definições costumam variar entre fontes, pois a “taxa de conversão média do setor” pode ser calculada sobre sessões, usuários ou visitas qualificadas.

Metas bem definidas indicam a métrica, o valor, o prazo, o segmento e a referência utilizada para obter o número. Uma meta derivada da árvore de métricas, com a variação esperada de cada alavanca, é mais fácil de acompanhar e de revisar do que um percentual aplicado sobre o resultado do ano anterior.

1.11.1Caso de mercado: crescimento das vendas de uma rede de cosméticos comparado a três referências

Uma rede de cosméticos celebra vendas 25% superiores em novembro em relação a outubro. A comparação com novembro do ano anterior, contudo, indica crescimento de apenas 6%, enquanto o mercado de beleza cresceu 11% no mesmo período, segundo um painel de varejo. Portanto, a marca vendeu mais, mas perdeu participação de mercado. A meta do ano seguinte passa a ser definida em relação ao crescimento esperado do mercado, e não em relação ao mês anterior.

1.11.2Declaração da referência e combinação de comparações em relatórios

Toda variação apresentada deve ser acompanhada da referência utilizada. Em relatórios recorrentes, convém apresentar a comparação com o período anterior para a leitura de curto prazo, a comparação anual para neutralizar a sazonalidade e a comparação com o mercado ou com a meta para avaliar o desempenho relativo. Quando as três comparações apontam em direções diferentes, essa divergência constitui parte da informação.

1.11.3Erros comuns na comparação com metas e benchmarks

• Comparar meses consecutivos em negócios fortemente sazonais.
• Desconsiderar diferenças de calendário, como feriados e número de fins de semana.
• Avaliar o crescimento da marca sem compará-lo ao crescimento do mercado.
• Utilizar benchmarks externos sem verificar o método de cálculo.

1.12Perguntas e hipóteses testáveis

Uma pergunta testável identifica a população, a intervenção ou exposição, o resultado e o contraste relevante. Formulações vagas, como “a campanha funcionou?”, devem ser substituídas por afirmações que indiquem o que será comparado, em qual período e por qual medida.

Uma hipótese estatística não deve ser confundida com uma previsão gerencial. A hipótese nula descreve uma referência contra a qual a evidência será avaliada, enquanto a hipótese alternativa representa uma diferença de interesse. A decisão final ainda deve considerar magnitude, incerteza, custos e viabilidade.

Antes da coleta de dados, convém registrar três elementos: a métrica principal, o efeito mínimo que justificaria a decisão e o critério de decisão. Esse registro protege a análise contra a escolha, após a observação dos resultados, da métrica ou do segmento que parecem mais favoráveis.

1.12.1Formulação de uma hipótese com efeito mínimo relevante

Uma hipótese adequada poderia estabelecer que a oferta de frete grátis aumenta a taxa de conversão de novos visitantes durante um período definido, em comparação com a experiência sem a oferta. A magnitude mínima relevante também deve ser especificada, para impedir que diferenças pequenas, embora estatisticamente detectáveis, sejam interpretadas como economicamente importantes.

1.12.2Erros comuns na formulação de perguntas e hipóteses

• Formular perguntas sem definir população, contraste ou período.
• Deixar de definir o efeito mínimo relevante e aceitar qualquer diferença “significativa”.
• Escolher a métrica ou o segmento após a observação dos resultados.