Inferência causal

9.1Causalidade e contrafactual

Afirmar que uma ação causou um resultado equivale a afirmar que o resultado teria sido diferente na ausência da ação. Esse resultado alternativo, que não ocorreu, é denominado contrafactual. O efeito causal da abertura de uma loja em uma região corresponde à diferença entre as vendas com a loja e as vendas que a mesma região teria registrado, no mesmo período, sem a loja. Como apenas um dos dois cenários é observado, todo método causal constitui uma forma de estimar o cenário ausente.

Endogeneidade ocorre quando a variável interpretada como causa está associada a fatores que também influenciam o resultado. Campanhas podem ser concentradas em regiões com maior potencial de vendas, e clientes mais engajados podem receber mais comunicações. A associação observada combina o efeito da ação e o mecanismo de seleção.

O experimento resolve esse problema por construção, pois o sorteio assegura que o grupo de controle represente o contrafactual do grupo tratado. Na ausência de sorteio, é necessário compreender como a ação foi atribuída e escolher um desenho que compare unidades efetivamente comparáveis. Os subitens seguintes apresentam os desenhos mais utilizados em marketing.

9.1.1Caso de mercado: efeito da abertura de lojas superestimado pela escolha de regiões em crescimento

Uma marca atribui o crescimento regional à abertura de novas lojas. As lojas foram abertas em regiões que já apresentavam crescimento superior. A comparação simples com regiões sem expansão superestima o efeito porque confunde a decisão de localização com o resultado posterior.

9.1.2Descrição do mecanismo de atribuição da ação antes da estimação do efeito

Antes da estimação de qualquer efeito, deve ser descrito o mecanismo de atribuição da ação, isto é, quem decidiu, com base em quais critérios e em que momento. Essa descrição indica os fatores que podem confundir a comparação e o desenho plausível.

9.1.3Erros comuns na formulação de comparações causais

• Comparar unidades que receberam a ação com unidades que não a receberam sem investigar o motivo da diferença de atribuição.
• Utilizar o resultado antes e depois da ação como se nenhum outro fator tivesse mudado no período.
• Tratar uma análise causal sofisticada como prova, sem discutir suas hipóteses.

9.2Diagramas causais: confundidor, mediador e colisor

Diagramas causais representam as relações supostamente existentes entre as variáveis, com setas que vão da causa para o efeito. Esses diagramas auxiliam a decisão sobre as variáveis que devem ser incluídas em uma análise e aquelas que devem ser excluídas. Três estruturas são recorrentes.

No confundidor, uma variável Z afeta tanto a ação X quanto o resultado Y, como a sazonalidade, que aumenta o investimento em mídia e as vendas. Sem o controle de Z, a associação entre X e Y combina o efeito real com o efeito de Z. No mediador, X afeta Y por meio de Z, como um desconto que aumenta as vendas porque aumenta o tráfego na loja, e o controle do mediador remove precisamente parte do efeito que se pretende medir. No colisor, X e Y afetam Z, como a qualidade do produto e o preço baixo, que conduzem a uma boa avaliação. A análise restrita aos casos com boa avaliação, ou o controle de Z, cria uma associação espúria entre X e Y.

A regra prática consiste em controlar confundidores, não controlar mediadores quando se pretende estimar o efeito total e nunca condicionar a análise em colisores. A inclusão de todas as variáveis disponíveis não constitui, portanto, uma estratégia segura.

9.2.1Caso de mercado: controle indevido da satisfação como mediadora entre tempo de espera e gorjeta em uma rede de restaurantes

Uma rede de restaurantes pretende verificar se o tempo de espera afeta a gorjeta. A analista inclui no modelo a nota de satisfação do cliente, que depende do tempo de espera e influencia a gorjeta. Como a nota é uma variável mediadora, o efeito estimado do tempo de espera cai quase a zero. Com a retirada da nota, o modelo revela o efeito total, que é relevante e orienta a contratação de mais garçons nos horários de pico.

9.2.2Classificação das variáveis candidatas a controle segundo seu papel causal

O diagrama deve ser construído antes da modelagem, em conjunto com a equipe de negócio. Para cada variável candidata a controle, deve-se verificar se ela antecede a ação e afeta o resultado (confundidor), se é consequência da ação (mediador) ou se é consequência tanto da ação quanto do resultado (colisor).

9.2.3Erros comuns na escolha de variáveis de controle

• Controlar variáveis que são consequência da ação.
• Analisar apenas os casos selecionados por um resultado, como clientes que realizaram avaliações positivas.
• Incluir no modelo todas as variáveis disponíveis sem considerar seu papel causal.

9.3Viés de seleção e de sobrevivência

O viés de seleção ocorre quando os dados analisados não constituem uma amostra representativa da população de interesse e a regra que determinou a inclusão nos dados está relacionada às variáveis estudadas. O viés de sobrevivência é um caso particular, no qual apenas as unidades que sobreviveram a um filtro são observadas, como clientes ainda ativos, campanhas que não foram pausadas ou produtos que permanecem no catálogo.

Esse viés pode produzir conclusões enganosas de formas não intuitivas. Se os clientes permanecem ativos quando estão satisfeitos ou quando recebem descontos generosos, haverá entre os ativos muitos clientes pouco satisfeitos com desconto alto e muitos clientes satisfeitos com desconto baixo. Na análise restrita a esses clientes, o desconto parece reduzir a satisfação, embora as duas variáveis não apresentem relação na população completa.

As bases de marketing contêm muitos desses filtros, pois cadastros antigos são apagados, anúncios de baixo desempenho são pausados precocemente e respostas de pesquisa provêm de quem optou por responder. Antes da análise, deve-se investigar quais unidades estão ausentes e por qual motivo.

9.3.1Caso de mercado: vantagem aparente de vídeos curtos em uma base restrita a anúncios mantidos por 30 dias

Uma agência estudou os anúncios de melhor desempenho de um cliente e concluiu que anúncios com vídeo curto apresentavam maior conversão. A base, porém, continha apenas anúncios veiculados por pelo menos 30 dias, enquanto os vídeos curtos de baixo desempenho haviam sido pausados na primeira semana. Com a inclusão dos anúncios pausados, a vantagem dos vídeos curtos desaparecia.

9.3.2Reconstrução do caminho de cada registro até a base e recuperação dos casos excluídos

Deve ser descrito o caminho de cada registro até a base, isto é, as condições necessárias para sua inclusão. Sempre que possível, os casos excluídos, como clientes cancelados e anúncios pausados, devem ser recuperados, ou a conclusão deve ser restrita ao grupo selecionado.

9.3.3Erros comuns associados ao viés de seleção e de sobrevivência

• Estudar apenas casos de sucesso para identificar as causas do sucesso.
• Analisar apenas a base de clientes ativos sem considerar os clientes que saíram.
• Generalizar resultados de respondentes voluntários para toda a base.

9.4Antes e depois e séries interrompidas

A comparação mais simples ocorre entre o período anterior e o período posterior a uma mudança. Essa comparação é intuitiva, mas quase sempre enganosa, porque atribui à ação todas as mudanças ocorridas entre os períodos, como tendência, sazonalidade, ações de concorrentes e mudanças econômicas.

A série temporal interrompida aprimora essa comparação ao utilizar muitos períodos anteriores à mudança para estimar a trajetória que a série seguiria sem ela. O contrafactual corresponde à projeção da tendência e da sazonalidade anteriores, e o efeito, à diferença entre o valor observado e essa projeção. Quanto mais longa e estável a série anterior, mais confiável a projeção.

O desenho depende ainda de uma hipótese forte, segundo a qual nenhum outro evento relevante ocorreu simultaneamente à mudança. Quando há um grupo que não recebeu a mudança, sua combinação com a série interrompida, como ocorre na diferença em diferenças, torna a análise mais robusta.

9.4.1Caso de mercado: efeito da redução da taxa de entrega descontada a projeção sazonal em um aplicativo de delivery

Um aplicativo de delivery reduziu a taxa de entrega em março e observou aumento de 12% nos pedidos em relação a fevereiro. A série dos dois anos anteriores indicava que março sempre crescia cerca de 7% em relação a fevereiro e que havia uma tendência de alta de 1% ao mês. Descontada a projeção, o efeito da redução foi de cerca de 4%.

9.4.2Duração mínima da série anterior e verificação de eventos coincidentes

Deve ser utilizado pelo menos um ciclo sazonal completo anterior à mudança para estimar a projeção. Deve-se verificar se outros eventos coincidem com a data da mudança e, quando possível, comparar o resultado com uma série de controle que não recebeu a intervenção.

9.4.3Erros comuns em comparações antes e depois e em séries interrompidas

• Comparar o mês posterior com o mês anterior à mudança em negócios sazonais.
• Projetar a tendência com poucos períodos anteriores.
• Desconsiderar outros eventos ocorridos na mesma data.

9.5Diferenças em diferenças

O método de diferenças em diferenças compara a mudança temporal de um grupo exposto com a mudança de um grupo de comparação. Primeiro, calcula-se a variação do grupo tratado entre o período anterior e o posterior; em seguida, a variação do grupo de controle no mesmo período. O efeito estimado corresponde à diferença entre as duas variações.

A lógica do método é que a variação do grupo de controle representa o que teria ocorrido com o grupo tratado na ausência da intervenção, incluindo sazonalidade, tendência do mercado e eventos que afetaram ambos. O grupo de controle não precisa apresentar o mesmo nível de vendas que o grupo tratado, mas precisa ter seguido a mesma trajetória.

Esse método é muito utilizado em marketing para avaliar ações aplicadas a algumas lojas, regiões ou períodos, como reformas, campanhas regionais e mudanças de sortimento. Outros métodos baseiam-se em mecanismos de identificação distintos. O matching procura unidades semelhantes em características observadas, as variáveis instrumentais exploram uma fonte de variação que altera a exposição sem afetar diretamente o resultado e a regressão descontínua utiliza regras de elegibilidade definidas por um limite.

9.5.1Caso de mercado: efeito da reforma de 20 lojas estimado por diferenças em diferenças em uma rede de supermercados

Uma rede de supermercados reformou 20 lojas e comparou as vendas antes e depois da reforma com as de 40 lojas não reformadas da mesma região. As lojas reformadas cresceram 9%, e as demais, 4% no mesmo período. O efeito estimado da reforma, de cerca de 5 pontos percentuais, foi utilizado para priorizar as reformas seguintes.

9.5.2Escolha de unidades de controle com trajetória anterior paralela

Devem ser escolhidas como controle unidades que seguiam a mesma trajetória antes da intervenção e que não foram afetadas por ela. As duas variações devem ser apresentadas separadamente, além da diferença, para que a lógica da estimativa seja explícita.

9.5.3Erros comuns na aplicação de diferenças em diferenças

• Escolher como controle unidades com tendências diferentes antes da intervenção.
• Utilizar um controle também afetado pela intervenção, como lojas vizinhas.
• Apresentar apenas o crescimento do grupo tratado.

9.6Controle sintético

Quando a intervenção atinge uma única unidade, como uma cidade, um estado ou um país, raramente existe outra unidade suficientemente semelhante para servir de controle. O controle sintético constrói esse controle pela combinação de várias unidades não tratadas, com pesos escolhidos para que a combinação reproduza, com a maior fidelidade possível, a trajetória da unidade tratada antes da intervenção.

Após a intervenção, o controle sintético continua a ser calculado com os mesmos pesos e passa a representar o contrafactual. O efeito corresponde à distância entre a unidade tratada e o controle sintético. Quanto melhor o ajuste anterior à intervenção, mais crível é o contrafactual posterior.

O método é muito útil para avaliar campanhas regionais, lançamentos em uma praça e mudanças de preço em um mercado. Sua credibilidade é testada pela aplicação do mesmo procedimento a unidades não tratadas, como se tivessem sido tratadas. Se essas unidades também apresentarem “efeitos” elevados, o efeito encontrado na unidade real pode decorrer de ruído.

9.6.1Caso de mercado: efeito de uma campanha de TV em Curitiba estimado com cidade escolhida e com controle sintético

Uma operadora de telefonia lançou uma campanha de TV apenas em Curitiba. A comparação com Porto Alegre, cidade escolhida pela equipe, sugeria efeito de 15% nas ativações. O controle sintético, que combinava cinco cidades com pesos ajustados ao histórico de Curitiba, reproduzia adequadamente as ativações anteriores à campanha e indicava efeito de 6%.

9.6.2Ajuste dos pesos, composição do grupo doador e testes de placebo

Deve ser utilizado um período anterior longo para ajustar os pesos, devem ser incluídas apenas unidades não afetadas pela intervenção e o erro de ajuste anterior à intervenção deve ser apresentado ao lado do efeito estimado. Recomenda-se ainda realizar testes de placebo com as unidades do grupo doador.

9.6.3Erros comuns na construção do controle sintético

• Escolher uma única cidade de comparação por semelhança percebida.
• Confiar no efeito estimado quando o controle sintético não reproduz adequadamente o período anterior.
• Incluir no grupo doador unidades também expostas à campanha.

9.7Pareamento

O pareamento, ou matching, compara cada unidade tratada com uma ou mais unidades não tratadas semelhantes nas características observadas antes do tratamento. Se os clientes que aderiram a um programa eram mais engajados, cada aderente é comparado com um não aderente de engajamento semelhante, e a diferença média entre os pares estima o efeito.

Quando há muitas características, costuma-se resumi-las em uma única pontuação, a probabilidade de receber o tratamento, estimada a partir dessas características. Clientes com pontuações semelhantes são comparáveis nas variáveis utilizadas no cálculo. Após o pareamento, deve-se verificar se os grupos efetivamente se tornaram equilibrados.

A limitação central do pareamento é que ele equilibra apenas as características observadas. Se a adesão também depende de um fator não registrado, como a intenção de compra no momento, os pares continuam diferentes nesse aspecto, e o efeito estimado permanece enviesado.

9.7.1Caso de mercado: efeito do aplicativo de controle de gastos sobre o uso do cartão estimado por pareamento

Uma operadora de cartões pretendia medir o efeito de um aplicativo de controle de gastos sobre o uso do cartão. Os usuários do aplicativo gastavam 40% mais, mas eram clientes mais antigos e de maior renda. Com o pareamento de cada usuário com um não usuário da mesma faixa de renda, tempo de relacionamento e gasto anterior, a diferença reduziu-se para 8%.

9.7.2Uso de variáveis anteriores ao tratamento e verificação do equilíbrio após o pareamento

Devem ser utilizadas apenas variáveis medidas antes do tratamento, o equilíbrio deve ser verificado após o pareamento e os fatores relevantes não observados devem ser discutidos explicitamente. Quando houver forte suspeita de fatores não observados, outro desenho deve ser preferido.

9.7.3Erros comuns na aplicação do pareamento

• Realizar o pareamento com variáveis afetadas pelo próprio tratamento.
• Deixar de verificar se os grupos se tornaram equilibrados após o pareamento.
• Tratar o resultado como causal sem discutir fatores não observados.

9.8Regressão descontínua

Muitas regras de marketing utilizam limites, como a classificação de clientes acima de determinada pontuação como VIP, a concessão de frete grátis a pedidos acima de um valor ou a alocação de um gerente adicional a lojas acima de um faturamento. A regressão descontínua explora esses limites, pois clientes logo acima e logo abaixo do limite são muito semelhantes entre si, e a principal diferença entre eles consiste no recebimento do tratamento.

O efeito é estimado pelo salto no resultado exatamente no limite. Ajusta-se a relação entre a pontuação e o resultado em cada lado do limite e mede-se a distância entre as duas linhas no ponto de corte. A largura da faixa ao redor do limite constitui uma escolha, pois faixas estreitas comparam clientes mais semelhantes, mas utilizam menos dados, enquanto faixas largas utilizam mais dados, mas combinam clientes diferentes.

O efeito estimado aplica-se a clientes próximos do limite, e não necessariamente a todos os clientes. O desenho também exige que os clientes não consigam manipular a pontuação para se posicionar do lado desejado.

9.8.1Caso de mercado: efeito do status prata sobre os voos no ano seguinte estimado no limite de 25 mil pontos de uma companhia aérea

Uma companhia aérea concede o status prata aos clientes que acumulam 25 mil pontos no ano. Pela comparação entre clientes que encerraram o ano logo acima e logo abaixo do limite, a empresa estimou que o status aumentava em 18% os voos no ano seguinte. O resultado justificou a manutenção do benefício, mas não permitia concluir que um status equivalente produziria o mesmo efeito em clientes com 5 mil pontos.

9.8.2Verificação de manipulação, sensibilidade à largura da faixa e caráter local do efeito

Deve-se verificar a existência de acúmulo suspeito de clientes logo acima do limite, testar diferentes larguras de faixa e apresentar o efeito como local ao limite. Gráficos com o resultado médio por faixa de pontuação tornam o salto visível e convincente.

9.8.3Erros comuns na aplicação da regressão descontínua

• Generalizar o efeito local para clientes muito distantes do limite.
• Desconsiderar sinais de manipulação da pontuação pelos clientes.
• Escolher a largura da faixa que produz o maior efeito.

9.9Experimentos naturais e variáveis instrumentais

Em algumas situações, não é possível sortear a ação de interesse, mas é possível sortear, ou identificar, um fator que induz as pessoas a adotá-la. Um e-mail sorteado que incentiva o uso do aplicativo não obriga ninguém a utilizá-lo, mas aumenta o uso entre os destinatários. Esse fator indutor é denominado instrumento, e o desenho, incentivo aleatório.

A lógica do método é a seguinte. A comparação entre quem recebeu o e-mail e quem não o recebeu fornece o efeito do e-mail sobre as compras. A comparação dos mesmos grupos quanto ao uso do aplicativo fornece o efeito do e-mail sobre o uso. A divisão do primeiro efeito pelo segundo resulta no efeito do uso do aplicativo sobre as compras para as pessoas que passaram a utilizá-lo em razão do e-mail. Como o e-mail foi sorteado, essa estimativa não é contaminada pelo fato de que os usuários do aplicativo já eram clientes mais valiosos.

O desenho exige duas condições, a saber, o instrumento precisa alterar efetivamente o comportamento de interesse e não pode afetar o resultado por nenhum outro caminho. Experimentos naturais, como mudanças regulatórias, falhas técnicas aleatórias e sorteios, por vezes oferecem instrumentos sem que a empresa precise criá-los.

9.9.1Caso de mercado: efeito do uso do aplicativo sobre a contratação de investimentos estimado com incentivo sorteado em um banco

Um banco pretendia estimar o aumento da contratação de investimentos decorrente do uso do aplicativo. Os usuários do aplicativo contratavam três vezes mais, mas eram clientes de maior renda. O banco sorteou clientes para receber um incentivo para instalar o aplicativo, e o uso aumentou 20 pontos percentuais no grupo incentivado, enquanto as contratações aumentaram 1,4 ponto percentual. A estimativa do efeito do uso, obtida pela divisão entre esses valores, foi de 7 pontos percentuais, valor muito inferior ao sugerido pela comparação ingênua.

9.9.2Sorteio de incentivos e apresentação do efeito do incentivo, da adesão e da estimativa combinada

Quando não for possível sortear a ação, deve-se verificar a possibilidade de sortear um incentivo para ela. Devem ser reportados o efeito do incentivo, o efeito sobre a adesão e a estimativa combinada, e deve ser discutida a possibilidade de que o incentivo afete o resultado por outro caminho.

9.9.3Erros comuns no uso de experimentos naturais e variáveis instrumentais

• Utilizar como instrumento um fator que também afeta diretamente o resultado.
• Utilizar instrumentos que alteram muito pouco o comportamento de interesse.
• Interpretar o efeito estimado como válido para clientes que nunca reagiriam ao incentivo.

9.10Diagnóstico, placebos e robustez

Todo desenho causal observacional depende de hipóteses que não podem ser totalmente verificadas. Em diferenças em diferenças, a hipótese central estabelece que os grupos teriam seguido tendências paralelas na ausência da intervenção. Em matching, fatores não observados ainda podem diferenciar os grupos. Em regressão descontínua, a interpretação costuma ser local ao limite de elegibilidade.

Testes de placebo verificam se o método identifica efeitos onde eles não deveriam existir. A análise é aplicada a uma data anterior à intervenção, a um grupo não tratado ou a um resultado que a intervenção não poderia afetar. Se surgirem “efeitos” relevantes nesses casos, a estimativa principal perde credibilidade.

A robustez avalia se a conclusão se mantém sob escolhas razoáveis alternativas, como outro grupo de controle, outra janela temporal ou outra especificação do modelo. Uma conclusão que surge apenas em uma combinação específica de escolhas deve ser tratada com cautela.

9.10.1Elementos que uma análise causal deve explicitar e testes que avaliam sua credibilidade

Uma análise causal deve explicitar a fonte de variação, a população à qual o efeito se aplica e as ameaças restantes. Placebos, tendências anteriores, especificações alternativas e resultados de proteção ajudam a avaliar se a conclusão depende de escolhas específicas.

9.10.2Erros comuns no diagnóstico de análises causais

• Apresentar a estimativa causal sem nenhum teste de placebo.
• Desconsiderar diferenças de tendência entre os grupos antes da intervenção.
• Apresentar apenas a especificação mais favorável.