Experimentação e testes A/B

8.1Justificativa para a experimentação em marketing

A maior parte das ideias de marketing apresenta efeito pequeno, nulo ou até negativo. Empresas que testam sistematicamente costumam relatar que apenas uma minoria das mudanças melhora efetivamente a métrica principal. Na ausência de testes, a organização lança todas as ideias que parecem promissoras e acumula, sem perceber, mudanças que se anulam ou prejudicam o resultado.

O experimento resolve um problema que nenhuma análise de dados históricos resolve completamente, que consiste em separar o efeito da ação de todos os fatores que ocorrem simultaneamente. Ao sortear quem recebe a mudança, a empresa assegura que os grupos sejam comparáveis em todas as características, inclusive nas não mensuradas, e qualquer diferença sistemática passa a ser atribuível à ação.

A experimentação também envolve custos, como tempo, tráfego, risco de expor clientes a uma versão inferior e complexidade operacional. Por essa razão, o teste se justifica quando a decisão é relevante, reversível e mensurável em prazo razoável. Mudanças obrigatórias, efeitos de longuíssimo prazo ou situações com pouquíssimas unidades exigem outros métodos, tratados no capítulo 9.

8.1.1Caso de mercado: proporção de testes com melhora e com piora no processo de reserva de uma plataforma de viagens

Uma plataforma de viagens passou a testar todas as mudanças no processo de reserva. No primeiro ano, apenas um terço dos testes indicou melhora, e outro terço indicou piora. A empresa estimou que, caso tivesse lançado todas as ideias sem teste, a conversão teria apresentado leve queda, em vez do aumento de 6% efetivamente observado.

8.1.2Priorização de testes por valor esperado e registro dos resultados

Os testes devem ser priorizados por valor esperado, considerando a magnitude da decisão, a incerteza sobre o efeito e o custo do teste. Todas as hipóteses testadas e seus resultados, inclusive os negativos, devem ser registrados, a fim de constituir uma memória organizacional sobre as ações eficazes e ineficazes.

8.1.3Erros comuns na decisão de experimentar

• Lançar mudanças porque “fazem sentido”, sem medir o efeito.
• Testar apenas ideias de baixo risco e deixar as decisões de maior impacto sem evidência.
• Descartar resultados negativos sem registrá-los.

8.2Desenho do experimento

Um teste A/B exige uma unidade de randomização, uma população elegível, uma intervenção, um grupo de comparação e um resultado definido antes da observação. A unidade pode ser o usuário, o domicílio, a loja ou a região. A escolha deve impedir que a intervenção destinada a um grupo afete o outro.

A randomização deve ser realizada por um mecanismo que nenhum agente controle, como um sorteio executado pelo sistema, e não pela escolha de um gerente ou pela ordem de chegada. Escolhas humanas tendem a favorecer clientes, lojas ou regiões com melhor perspectiva, e a diferença resultante é atribuída indevidamente à intervenção.

O período do teste deve abranger o ciclo necessário para que o resultado se manifeste e, de preferência, semanas completas, para que dias de maior e menor movimento estejam representados igualmente nos dois grupos.

8.2.1Plano do teste e verificação do equilíbrio inicial entre os grupos

O plano deve ser redigido antes do início do teste e especificar população, unidade, proporção de alocação, métricas, duração e critério de decisão. No início do teste, deve-se verificar se os grupos estão equilibrados em variáveis anteriores à intervenção.

8.2.2Erros comuns no desenho de experimentos

• Permitir que um agente escolha quem integra o grupo de tratamento.
• Encerrar o teste no meio de uma semana ou antes do ciclo do resultado.
• Alterar a população ou a intervenção durante o teste.

8.3Métricas primárias e de proteção

A métrica primária é a que define a decisão. Essa métrica deve estar ligada ao objetivo, ser sensível à mudança testada e ser mensurável no prazo do teste. Quando o objetivo de longo prazo é de difícil mensuração, utiliza-se uma métrica intermediária com relação conhecida, como a conversão em lugar da receita anual.

Métricas de proteção monitoram efeitos colaterais, como devoluções, cancelamentos, reclamações, tempo de carregamento e margem. Uma variante que aumenta a conversão por meio de desconto pode reduzir a margem, e uma variante que aumenta cliques pode aumentar devoluções. A regra de decisão deve especificar, antes do teste, a piora tolerável em cada métrica de proteção.

Algumas empresas combinam várias métricas em um critério geral de avaliação, com pesos definidos previamente. Esse procedimento exige a discussão sobre o valor relativo de cada resultado antes do início do teste, quando ainda não se sabe qual variante obterá melhor desempenho.

8.3.1Caso de mercado: aumento da conversão e duplicação da inadimplência com a opção “compre agora, pague depois” em uma loja de moda

Uma loja de moda testou o destaque da opção “compre agora, pague depois”. A conversão aumentou 4%, mas a métrica de proteção de inadimplência dobrou no grupo de tratamento. Considerada a perda com inadimplência, o resultado econômico era negativo. A variante foi descartada, e a equipe passou a incluir a inadimplência como métrica de proteção em todos os testes de pagamento.

8.3.2Definição prévia da métrica primária, das métricas de proteção e de seus limites

Antes do início do teste, devem ser definidos uma métrica primária, de duas a quatro métricas de proteção e o limite tolerável para cada uma. Na leitura dos resultados, a variante somente é aprovada se melhorar a métrica primária sem ultrapassar nenhum limite de proteção.

8.3.3Erros comuns na escolha de métricas primárias e de proteção

• Escolher a métrica principal após verificar qual métrica apresentou maior variação.
• Deixar de acompanhar efeitos colaterais, como devoluções e cancelamentos.
• Utilizar métricas intermediárias sem evidência de sua relação com o resultado final.

8.4Poder e efeito mínimo detectável

O tamanho da amostra deve ser planejado em relação à taxa de referência, à magnitude mínima relevante e ao nível de incerteza tolerado. Efeitos pequenos exigem amostras maiores. Um resultado estatisticamente detectável pode permanecer economicamente irrelevante.

O poder corresponde à probabilidade de o teste detectar um efeito existente. Um teste com poder de 30% deixa de detectar a maioria dos efeitos reais e, quando detecta algum efeito, tende a superestimar sua magnitude, porque apenas as amostras com diferença exagerada atingem significância. Um poder de 80% é uma referência comum.

O efeito mínimo detectável é o menor efeito que o teste consegue identificar com o poder desejado. Seu cálculo antes do início do teste responde a uma pergunta prática, que consiste em verificar se, com o tráfego disponível, o teste consegue detectar efeitos da magnitude relevante. Caso contrário, convém testar uma mudança mais ambiciosa, prolongar o teste ou utilizar uma métrica mais sensível.

8.4.1Cálculo prévio do efeito mínimo detectável e leitura de resultados não significativos

Antes do início do teste, deve ser calculado o efeito mínimo detectável com o tráfego e a duração previstos. Se esse efeito for superior ao efeito plausível da mudança, o desenho deve ser revisto. Na leitura de um resultado não significativo, deve-se considerar que a ausência de evidência não constitui evidência de ausência de efeito.

8.4.2Erros comuns no planejamento do poder e do tamanho da amostra

• Iniciar testes sem calcular o tamanho de amostra necessário.
• Concluir que a mudança não funciona a partir de um teste com poder insuficiente.
• Celebrar efeitos de grande magnitude encontrados em testes pequenos.

8.5Checagens de qualidade: teste A/A e SRM

Antes de confiar no resultado de um teste, é necessário confiar no próprio sistema de testes. O teste A/A compara dois grupos que recebem exatamente a mesma experiência. Se o sistema estiver correto, as diferenças observadas decorrem apenas do acaso e aparecem como significativas em 5% das vezes. Taxas muito superiores indicam problemas de randomização, de registro ou de cálculo.

O desequilíbrio na divisão dos grupos, conhecido pela sigla em inglês SRM, constitui o sinal de alerta mais relevante. Se o plano previa a divisão do tráfego em partes iguais e um grupo recebeu 52% dos usuários em um teste com centenas de milhares de participantes, há uma falha, como um redirecionamento defeituoso, um filtro de robôs aplicado a apenas uma versão ou um erro de carregamento. Os usuários perdidos raramente são aleatórios, e o resultado torna-se enviesado.

Um teste estatístico simples compara a divisão observada com a divisão planejada. Quando esse teste indica desequilíbrio, o resultado do experimento não deve ser utilizado até que a causa seja identificada e corrigida.

8.5.1Caso de mercado: desequilíbrio de 51,8% contra 48,2% na divisão dos grupos em um teste de checkout de uma plataforma de cursos

Uma plataforma de cursos testou uma nova página de checkout e observou aumento de 9% na conversão. A divisão dos grupos, porém, era de 51,8% contra 48,2% em 200 mil visitantes. A investigação revelou que a nova página demorava mais para carregar em celulares antigos, e parte desses usuários, que apresentavam baixa conversão, saía antes de ser registrada. Após a correção do problema, o efeito real era de 1%.

8.5.2Execução periódica de testes A/A e verificação automática do SRM

Testes A/A devem ser executados periodicamente, e o SRM deve ser verificado em todo teste antes da análise da métrica primária. Essas verificações devem ser incluídas de forma automática no painel de experimentos.

8.5.3Erros comuns na verificação da qualidade da alocação

• Desconsiderar pequenas diferenças na divisão dos grupos em testes grandes.
• Analisar o resultado antes de verificar a qualidade da alocação.
• Nunca executar testes A/A para validar a plataforma de experimentos.

8.6Leitura de resultados: significância e relevância

O resultado de um teste deve ser interpretado em três camadas. A primeira é a estimativa do efeito, isto é, a variação da métrica. A segunda é a incerteza, expressa pelo intervalo de confiança, que indica a faixa de efeitos compatíveis com os dados. A terceira é a relevância, que verifica se o efeito, mesmo no cenário pessimista do intervalo, justifica a decisão.

A significância estatística indica apenas se o intervalo exclui o zero. Com amostras muito grandes, efeitos minúsculos tornam-se significativos, enquanto, com amostras pequenas, efeitos relevantes permanecem não significativos. Por essa razão, o intervalo também deve ser comparado com o efeito mínimo relevante para o negócio.

Quatro situações são frequentes. Na primeira, o intervalo está integralmente acima do mínimo relevante, e a decisão é clara. Na segunda, o intervalo exclui o zero, mas permanece abaixo do mínimo relevante, de modo que o efeito existe, mas não compensa. Na terceira, o intervalo é largo e inclui o zero e o mínimo relevante, e o teste é inconclusivo. Na quarta, o intervalo está integralmente próximo de zero, o que indica que um eventual efeito é pequeno.

8.6.1Caso de mercado: efeito significativo de 0,3% inferior ao ganho mínimo necessário em um teste de ordenação de um marketplace

Um marketplace testou uma nova ordenação de resultados com 4 milhões de visitantes. A conversão aumentou 0,3%, com significância estatística. A mudança, porém, exigia servidores mais caros, e o ganho mínimo para cobrir o custo era de 1%. O intervalo situava-se entre 0,1% e 0,5%, o que indicava que o efeito existia, mas não compensava o custo. A equipe decidiu não lançar a mudança.

8.6.2Comparação do intervalo com o efeito mínimo relevante e formulação da decisão

O efeito mínimo relevante deve ser definido antes do teste. Na leitura, devem ser apresentados a estimativa, o intervalo e a comparação com esse mínimo, em linguagem de decisão, que pode consistir em lançar, não lançar ou testar novamente com amostra maior.

8.6.3Erros comuns na leitura de significância e relevância

• Tratar “significativo” como sinônimo de “importante”.
• Interpretar um resultado não significativo como prova de ausência de efeito.
• Reportar apenas o p-valor, sem o tamanho do efeito e o intervalo.

8.7Peeking e multiplicidade

Interromper repetidamente o teste assim que o resultado parece favorável aumenta a frequência de conclusões equivocadas. Testar numerosas métricas, públicos ou variantes produz problema semelhante. O plano de análise deve definir antecipadamente as comparações principais e o critério de decisão.

A razão é que cada consulta ou comparação constitui uma nova oportunidade para que o acaso produza uma diferença aparente. Com vinte métricas independentes e nenhuma diferença real, a probabilidade de que pelo menos uma pareça significativa ao nível de 5% ultrapassa 60%.

Há formas de acompanhar o teste durante a execução sem inflar os erros, como métodos sequenciais que ajustam o critério a cada consulta ou regras de parada definidas previamente, como o encerramento apenas em datas fixas. Para múltiplas comparações, ajustes que exigem significância mais rigorosa protegem contra falsos positivos.

8.7.1Conteúdo do memorando de decisão de um experimento

O memorando de decisão deve apresentar o efeito estimado, a incerteza, a relevância econômica, as métricas de proteção e as limitações. A ausência de evidência suficiente não equivale à demonstração de ausência de efeito.

8.7.2Erros comuns associados a consultas antecipadas e comparações múltiplas

• Encerrar o teste no primeiro dia em que o resultado parece favorável.
• Reportar a métrica que se mostrou significativa entre muitas analisadas.
• Testar dez variantes contra o controle sem nenhum ajuste.

8.8Interferência, testes por cluster e testes geográficos

A interferência ocorre quando a intervenção de uma unidade afeta o resultado de outra. Promoções em redes sociais, mercados com estoque compartilhado e programas de indicação exigem desenhos que considerem conexões ou agreguem a randomização em grupos.

Quando um cliente tratado informa um amigo do grupo de controle sobre a promoção, o controle deixa de representar o cenário sem intervenção, e o efeito estimado diminui. Em marketplaces, a concessão de desconto a parte dos compradores pode esgotar o estoque disponível para os demais e fazer com que o controle pareça pior do que seria. A solução consiste em randomizar unidades maiores e mais isoladas, como grupos de amigos, cidades, lojas, regiões ou períodos de tempo.

Testes geográficos sorteiam regiões para receber ou não uma campanha. Esses testes são comuns na mensuração de mídia offline e na prevenção da interferência, mas envolvem poucas unidades e grande variação entre elas. Por essa razão, exigem regiões semelhantes, períodos de observação anteriores ao teste e métodos de comparação rigorosos, como os apresentados no capítulo 9.

8.8.1Caso de mercado: subestimação do efeito de um desconto por interferência entre passageiros em um aplicativo de transporte

Um aplicativo de transporte testou um desconto para passageiros sorteados. O efeito estimado foi pequeno, porque o desconto aumentou a demanda e reduziu o número de motoristas disponíveis para o grupo de controle, o que elevou o tempo de espera desse grupo. Na repetição do teste com sorteio de cidades inteiras, o efeito estimado foi três vezes maior.

8.8.2Escolha de uma unidade de randomização que contenha a interferência

Antes do teste, deve-se verificar se o tratamento de uma unidade pode afetar outra. Em caso afirmativo, deve ser escolhida uma unidade de randomização que contenha a maior parte da interferência, e o tamanho da amostra deve ser planejado considerando que unidades maiores e menos numerosas aumentam a incerteza.

8.8.3Erros comuns em situações de interferência e em testes por cluster ou geográficos

• Randomizar usuários individuais em produtos com forte efeito de rede.
• Analisar um teste por cluster como se cada usuário constituísse uma unidade independente.
• Realizar testes geográficos com poucas regiões muito diferentes entre si.

8.9Efeitos heterogêneos e garimpagem de segmentos

O efeito médio de uma mudança oculta a variação entre clientes. Uma nova página pode funcionar melhor no celular, e um desconto pode atrair novos clientes sem alterar o comportamento dos recorrentes. A identificação dessas diferenças, denominadas efeitos heterogêneos, permite direcionar a mudança aos clientes que se beneficiam dela.

O risco associado é a garimpagem de segmentos. Após um teste sem efeito, a equipe divide os resultados por dispositivo, região, idade, canal e dia da semana até encontrar um segmento em que a variante “funcionou”. Com muitos recortes, alguns parecem significativos por puro acaso, e a recomendação de lançar a mudança apenas para esses segmentos baseia-se em ruído.

A proteção consiste em tratar os recortes posteriores ao teste como hipóteses, e não como conclusões. Recortes definidos antes do teste, com base em uma razão plausível, merecem maior confiança, enquanto recortes identificados posteriormente devem ser confirmados em um novo teste focado no segmento.

8.9.1Caso de mercado: ganho em usuários de tablet nos fins de semana não confirmado em novo teste de vitrine

Um teste de nova vitrine não indicou efeito no total. A análise por 24 segmentos encontrou um ganho de 15% entre usuários de tablet em fins de semana, significativo ao nível de 5%. A equipe repetiu o teste apenas com esse público, e o efeito desapareceu. O resultado inicial era um dos falsos positivos esperados entre 24 comparações.

8.9.2Declaração prévia de segmentos e confirmação de achados exploratórios

O plano do teste deve declarar os poucos segmentos em que se espera diferença e a justificativa correspondente. Na leitura, os demais recortes devem ser apresentados como exploratórios, com ajuste para múltiplas comparações, e os achados promissores devem ser confirmados em testes dedicados.

8.9.3Erros comuns na análise de efeitos heterogêneos

• Buscar o segmento em que a variante venceu após um resultado geral nulo.
• Lançar a mudança apenas para um segmento identificado por garimpagem.
• Desconsiderar que segmentos pequenos apresentam intervalos muito largos.

8.10Efeito novidade, longo prazo e grupos de controle permanentes

Alguns efeitos variam com o tempo. O efeito novidade ocorre quando clientes reagem a uma mudança apenas por ela ser nova, clicando mais em um botão redesenhado nas primeiras semanas e retornando ao comportamento usual posteriormente. O efeito oposto, de aprendizado, ocorre quando os clientes precisam de tempo para se adaptar e a variante somente revela seu valor depois.

Testes curtos captam apenas o início dessas curvas e podem conduzir a decisões equivocadas. O acompanhamento semanal do efeito ao longo do teste indica se o efeito está estável, crescente ou decrescente. Quando há tendência, convém prolongar o teste ou analisar separadamente os clientes novos, que não conheciam a versão anterior.

Grupos de controle permanentes, ou holdouts, correspondem a uma pequena parcela de clientes que não recebe um conjunto de mudanças ou campanhas por um período longo. A comparação desse grupo com os demais mede o efeito acumulado de muitas decisões, incluindo efeitos de longo prazo não captados por testes individuais, como a fadiga de comunicações.

8.10.1Caso de mercado: queda do efeito de notificações mais frequentes ao longo de dois meses em um aplicativo de notícias

Um aplicativo de notícias testou notificações mais frequentes. Nas duas primeiras semanas, o número de sessões aumentou 8%. Com a manutenção do teste por dois meses, o efeito caiu para 1%, e o grupo de tratamento passou a desativar notificações com maior frequência. Um holdout de 5% dos usuários sem a nova política revelou, após seis meses, retenção levemente menor no grupo tratado.

8.10.2Acompanhamento semanal do efeito e uso de grupos de controle permanentes

O efeito deve ser representado graficamente por semana em todo teste, e resultados decrescentes ao longo do tempo devem ser tratados com cautela. Para mudanças com possível efeito acumulado, como a frequência de comunicação, deve ser mantido um grupo de controle permanente, com revisão periódica do efeito combinado.

8.10.3Erros comuns na avaliação de efeitos que variam com o tempo

• Encerrar testes em poucos dias e projetar o efeito inicial para o ano.
• Desconsiderar a tendência do efeito ao longo do teste.
• Não manter nenhum grupo de controle para avaliar o efeito acumulado das campanhas.

8.11Bandits e testes multivariados

No teste A/B tradicional, o tráfego é dividido em proporções fixas até o fim, e somente então a melhor variante é escolhida. Esse procedimento maximiza o aprendizado, mas implica um custo, pois, durante o teste, metade do tráfego recebe a versão inferior. Os algoritmos de bandit alteram a alocação durante o teste, enviando gradualmente mais tráfego para as variantes com melhor desempenho.

O trade-off ocorre entre explorar e aproveitar. Um bandit perde menos conversões durante o teste, mas aprende menos sobre as variantes inferiores e produz estimativas menos precisas da magnitude dos efeitos. O método é útil quando o objetivo é maximizar o resultado em um período curto, como na escolha do título de uma campanha com duração de uma semana, e menos útil quando se pretende compreender o efeito para decisões futuras.

Testes multivariados combinam vários elementos simultaneamente, como título, imagem e botão, para medir o efeito de cada elemento e de suas combinações. Esses testes exigem muito mais tráfego, porque o número de combinações cresce rapidamente, de modo que três elementos com três versões cada geram 27 combinações.

8.11.1Caso de mercado: escolha da imagem de ofertas semanais por bandit em uma rede de supermercados

Uma rede de supermercados escolhia por teste A/B a imagem principal de suas ofertas semanais. Como cada oferta durava sete dias, metade do tráfego visualizava a imagem inferior durante quase todo o período. Com um bandit, a imagem vencedora passou a receber a maior parte do tráfego a partir do segundo dia, e os cliques da semana aumentaram 11%.

8.11.2Escolha entre teste A/B, bandit e teste multivariado conforme o objetivo

O teste A/B é indicado quando o objetivo é aprender e medir efeitos com precisão, enquanto o bandit é indicado quando o objetivo é maximizar o resultado de uma decisão de curta duração. Em testes multivariados, o tráfego necessário deve ser calculado antes do início, e o número de combinações deve ser limitado.

8.11.3Erros comuns no uso de bandits e testes multivariados

• Utilizar bandits para medir a magnitude exata de um efeito.
• Montar testes multivariados com dezenas de combinações e pouco tráfego.
• Permitir que o bandit convirja prematuramente com base em poucos dados.