Marketing-mix modeling e atribuição

10.1O problema da mensuração de mídia

A mensuração de mídia consiste em responder a uma pergunta contrafactual, que se refere ao número de vendas adicionais ocorridas em razão do investimento, em comparação com o que teria ocorrido sem ele. Parte das vendas ocorreria de qualquer forma, em razão da demanda existente, da marca, da distribuição e da sazonalidade, e apenas o excedente é incremental.

As plataformas de mídia reportam conversões atribuídas, isto é, compras de pessoas que visualizaram ou clicaram em um anúncio dentro de uma janela de tempo. Esse número não é incremental. Ele inclui compradores que comprariam sem o anúncio e, como cada plataforma contabiliza conversões com suas próprias regras, a mesma compra pode ser reivindicada por várias plataformas. Na soma dos relatórios, é comum que as vendas “atribuídas” superem o total de vendas da empresa.

Três famílias de métodos procuram estimar a incrementalidade em níveis diferentes. O marketing-mix modeling trabalha com dados agregados ao longo do tempo, a atribuição multitoque trabalha com jornadas individuais e os testes de incrementalidade trabalham com experimentos. Cada família capta parte do problema, e o restante do capítulo trata de cada uma delas e de sua combinação.

10.1.1Caso de mercado: soma dos relatórios de três plataformas equivalente a 130% das vendas on-line de uma marca de moda

Uma marca de moda somou os relatórios de três plataformas e encontrou 130% das vendas on-line atribuídas a anúncios. Um teste com grupo de controle em uma das plataformas indicou que apenas um terço das conversões atribuídas a ela era incremental. Em consequência, a empresa passou a utilizar os relatórios das plataformas apenas para otimizações dentro de cada canal, e não para comparar canais nem para definir o orçamento total.

10.1.2Distinção entre vendas totais, atribuídas e incrementais conforme o tipo de decisão

Devem ser sempre distinguidos três números: as vendas totais, as vendas atribuídas e as vendas incrementais estimadas. Os relatórios das plataformas são adequados para decisões táticas dentro de cada canal, enquanto os métodos de incrementalidade são adequados para decisões de orçamento entre canais.

10.1.3Erros comuns na interpretação de conversões reportadas pelas plataformas

• Somar as conversões reportadas por cada plataforma.
• Tratar conversões atribuídas como vendas causadas pela mídia.
• Definir o orçamento total a partir do ROAS reportado pelas plataformas.

10.2Dados para marketing-mix modeling

O marketing-mix modeling, ou MMM, relaciona vendas semanais ou mensais aos investimentos em cada canal, ao preço, às promoções, à distribuição, à sazonalidade e a fatores externos, como clima e economia. O método não depende do rastreamento de pessoas e, por isso, abrange mídia offline e não é afetado por restrições de cookies. Em contrapartida, depende inteiramente da variação histórica dos dados agregados.

Um modelo somente consegue estimar o efeito de um canal se o investimento nesse canal variou suficientemente e de forma não idêntica aos demais. Um investimento quase constante não permite distinguir o efeito do canal da base de vendas, e canais que aumentam e diminuem sempre simultaneamente não podem ser separados, problema discutido no subitem 6.4. Dois anos de dados semanais constituem uma referência comum, mas o fator determinante é a variação contida nesses dados.

A preparação inclui o alinhamento de todas as fontes ao mesmo período e à mesma geografia, o registro de eventos como promoções e rupturas e a verificação da qualidade das séries de investimento, que costumam provir de fontes diferentes, com definições diferentes.

10.2.1Caso de mercado: investimento simultâneo em TV e digital impede a separação dos efeitos no MMM de uma marca de bebidas

Uma marca de bebidas investia em TV e em digital nas mesmas semanas, sempre na mesma proporção. O MMM não conseguia separar os dois canais, e o crédito alternava entre eles a cada atualização. No ano seguinte, a empresa planejou semanas apenas com TV e semanas apenas com digital em algumas regiões. Com essa variação, as estimativas tornaram-se estáveis.

10.2.2Avaliação da variação do investimento e planejamento de variação deliberada

Antes da modelagem, devem ser avaliadas a variação do investimento em cada canal e as correlações entre canais. Se a variação for insuficiente, deve ser planejada uma variação deliberada, como pausas e picos em regiões ou períodos, como parte da estratégia de mensuração.

10.2.3Erros comuns na preparação de dados para o MMM

• Esperar que o modelo separe canais que sempre variaram simultaneamente.
• Estimar o efeito de um canal com investimento quase constante.
• Combinar séries de investimento com definições e períodos diferentes.

10.3Adstock: persistência do efeito da mídia após a veiculação

O efeito de um anúncio não termina com o fim da veiculação, pois as pessoas lembram da marca, pesquisam dias depois e compram na visita seguinte à loja. O adstock representa essa persistência, segundo a qual o efeito de cada semana de investimento se distribui pelas semanas seguintes e diminui gradualmente.

A forma mais simples supõe que, a cada semana, permanece uma fração fixa do efeito da semana anterior. Com persistência de 60%, uma semana de investimento gera 100% do efeito na própria semana, 60% na semana seguinte, 36% na subsequente, e assim sucessivamente. O efeito total acumulado é muito superior ao efeito imediato, e sua omissão subestima canais de construção de marca, como TV e vídeo.

Alguns canais apresentam efeito com atraso, de modo que o pico de vendas ocorre uma ou duas semanas após a veiculação. A persistência e o atraso variam por canal e precisam ser estimados ou, pelo menos, testados com valores plausíveis.

10.3.1Caso de mercado: efeito da TV nas semanas posteriores à campanha em uma rede de lojas de móveis

Uma rede de lojas de móveis avaliava a TV pela comparação entre as vendas da semana da campanha e as da semana anterior, e o retorno parecia baixo. O MMM com adstock revelou que cerca de metade do efeito ocorria nas três semanas seguintes ao fim da campanha. Com o efeito completo, o retorno da TV dobrou.

10.3.2Avaliação do canal na janela completa do efeito e sensibilidade à persistência

A avaliação de um canal deve considerar a janela completa em que o efeito se manifesta. No MMM, devem ser testadas diferentes persistências e verificada a sensibilidade do resultado a essa escolha; quando houver sensibilidade, o conhecimento do negócio ou testes devem ser utilizados para restringir os valores plausíveis.

10.3.3Erros comuns na especificação do adstock

• Avaliar campanhas apenas pelo resultado da semana de veiculação.
• Utilizar a mesma persistência para todos os canais.
• Escolher a persistência que produz o resultado mais favorável a um canal.

10.4Saturação e retornos decrescentes do investimento em mídia

Cada real adicional investido em um canal gera retorno inferior ao real anterior. Os primeiros investimentos alcançam as pessoas mais propensas e os espaços mais eficientes, enquanto os seguintes repetem a mensagem para quem já a recebeu ou alcançam públicos menos interessados. A curva de saturação descreve essa relação entre investimento e resultado.

Duas medidas derivam da curva. O retorno médio corresponde ao resultado total dividido pelo investimento total. O retorno marginal corresponde ao resultado do próximo real investido, dado pela inclinação da curva no ponto atual. Em um canal saturado, o retorno médio pode permanecer alto enquanto o retorno marginal já se encontra abaixo de um real, o que significa que o próximo investimento não se paga.

A forma da curva constitui uma hipótese do modelo. Curvas em forma de S supõem a existência de um investimento mínimo antes de qualquer efeito, enquanto curvas côncavas supõem retorno decrescente desde o início. Assim como em qualquer curva de resposta, estimativas fora da faixa de investimento observada são pouco confiáveis.

10.4.1Caso de mercado: retorno marginal da busca paga saturada e do vídeo em uma empresa de educação on-line

Uma empresa de educação on-line destinava 70% do investimento à busca paga, o canal de maior retorno médio. O MMM indicou que a busca estava saturada, com retorno marginal de R$ 0,60 por real, enquanto o vídeo, com retorno médio menor, apresentava retorno marginal de R$ 1,80. A transferência de 15% do investimento de busca para vídeo aumentou as matrículas sem aumento do orçamento.

10.4.2Decisão de alocação pelo retorno marginal e delimitação da região observada

As decisões de alocação devem basear-se no retorno marginal, e não no retorno médio. As curvas devem ser apresentadas com faixa de incerteza e com destaque para a região de investimento já observada, de modo a evidenciar onde a curva é sustentada por dados.

10.4.3Erros comuns na interpretação de curvas de saturação

• Aumentar o investimento no canal de maior retorno médio sem verificar o retorno marginal.
• Projetar retornos para investimentos muito superiores ao histórico.
• Tratar a forma da curva como fato, e não como hipótese.

10.5Decomposição das vendas em base, sazonalidade, preço, promoções e mídia

O principal produto de um MMM é a decomposição das vendas em contribuições, isto é, a base, que ocorreria sem nenhuma ação de marketing, e os efeitos de sazonalidade, preço, promoções e de cada canal de mídia. A soma das contribuições, semana a semana, reproduz a série de vendas.

A base costuma representar a maior parte das vendas, frequentemente entre 60% e 80%, e reflete marca, distribuição, hábito e demanda da categoria. Uma base grande não significa que o marketing seja pouco relevante, pois parte dela é construída por investimentos anteriores em marca, efeito que modelos de curto prazo não captam.

A decomposição permite calcular o retorno de cada canal, pela divisão de sua contribuição pelo investimento, e identificar a parcela da variação semanal das vendas atribuível a cada fator. A decomposição também apresenta incerteza, pois as contribuições de canais pequenos ou muito correlacionados são estimadas com pouca precisão.

10.5.1Caso de mercado: contribuição líquida das promoções descontada a antecipação de compras em uma rede de farmácias

Uma rede de farmácias identificou, pela decomposição, que as promoções respondiam por 18% das vendas, mas que metade desse volume correspondia à antecipação de compras das semanas seguintes. A mídia digital respondia por 6% das vendas, e a TV, por 9%. A empresa reduziu a frequência das promoções e reforçou a TV nos períodos de menor demanda.

10.5.2Apresentação das contribuições com incerteza e verificação de plausibilidade

A decomposição deve ser apresentada com as contribuições em valor e em percentual, acompanhadas de faixas de incerteza. A contribuição de cada canal deve ser comparada com o investimento para obter o retorno, e a plausibilidade das contribuições deve ser verificada com profissionais que conhecem o negócio.

10.5.3Erros comuns na interpretação da decomposição de vendas

• Interpretar a base como vendas independentes de qualquer ação de marketing anterior.
• Apresentar contribuições sem incerteza.
• Aceitar contribuições negativas de mídia sem investigar a causa.

10.6Retorno marginal e otimização do orçamento

Com as curvas de resposta de cada canal, o orçamento pode ser redistribuído para maximizar o resultado total. A regra central consiste em igualar os retornos marginais, pois, enquanto o próximo real gera mais resultado no canal A do que no canal B, a transferência de investimento de B para A se justifica. No ponto ótimo, nenhuma transferência aumenta o resultado.

A otimização requer restrições realistas, como limites mínimos e máximos por canal, compromissos contratuais, sazonalidade e capacidade de execução. Na ausência dessas restrições, o otimizador costuma propor mudanças extremas, como a eliminação de canais, que conduzem o investimento a regiões sem dados e com curvas pouco confiáveis.

A variação histórica limita o que pode ser identificado. Canais que se movem juntos ou investimentos quase constantes dificultam a separação de contribuições. Priors, experimentos e conhecimento do negócio podem estabilizar o modelo, mas não substituem informação ausente.

10.6.1Realocações graduais e apresentação de cenários de orçamento

Recomenda-se propor realocações graduais, dentro da faixa observada, e acompanhar o resultado. A apresentação de cenários, como manter o orçamento ou transferir 10% ou 20% do investimento, com resultados esperados e faixas de incerteza, é preferível à apresentação de uma única alocação “ótima”.

10.6.2Erros comuns na otimização do orçamento de mídia

• Aplicar integralmente e de uma só vez a alocação ótima sugerida pelo modelo.
• Otimizar sem restrições mínimas e máximas por canal.
• Desconsiderar a incerteza das curvas na comparação dos retornos marginais.

10.7Calibração com experimentos e conhecimento prévio

Os modelos de MMM costumam produzir estimativas imprecisas para alguns canais, e uma forma de aprimorá-las consiste em combinar o modelo com outras evidências. Em abordagens bayesianas, o conhecimento prévio sobre um canal, como o resultado de um teste de incrementalidade, é incorporado ao modelo como uma distribuição inicial, denominada priori, que é atualizada pelos dados históricos.

A lógica da combinação corresponde a uma média ponderada pela precisão. Se o teste indica retorno de R$ 1,20 com pouca incerteza e o modelo histórico indica R$ 2,00 com muita incerteza, a estimativa combinada aproxima-se de R$ 1,20, e sua incerteza é inferior à de cada fonte isoladamente. Quanto mais precisa uma fonte, maior seu peso.

A calibração envolve riscos. Prioris muito estreitas, baseadas em opinião e não em evidência, podem dominar os dados e levar o modelo apenas a confirmar crenças preexistentes. Além disso, os resultados de testes aplicam-se ao período, à região e ao nível de investimento em que foram realizados.

10.7.1Caso de mercado: calibração do retorno do social pago com um teste geográfico em uma varejista

Uma varejista dispunha de um MMM que indicava retorno alto para o social pago, com intervalo muito largo. Um teste geográfico de seis semanas estimou retorno menor, com intervalo estreito. Com a calibração do modelo pelo teste, o retorno do social pago caiu 35% e o intervalo reduziu-se à metade, o que alterou a recomendação de aumentar o investimento para a de mantê-lo.

10.7.2Calibração dos canais de maior investimento ou incerteza e documentação das prioris

Testes de incrementalidade devem ser utilizados para calibrar os canais de maior investimento ou de maior incerteza no MMM. As prioris e sua origem devem ser documentadas, e deve ser apresentada a variação da estimativa com e sem a calibração.

10.7.3Erros comuns na calibração do MMM com experimentos e prioris

• Utilizar prioris estreitas baseadas apenas em opinião.
• Calibrar o modelo com um teste realizado em condições muito diferentes das atuais.
• Deixar de reportar a parcela da estimativa final que decorre da priori e a parcela que decorre dos dados.

10.8Regras de atribuição

A atribuição multitoque distribui crédito entre contatos individuais observados antes da conversão. Regras como primeiro clique, último clique ou distribuição linear são de fácil comunicação, mas refletem convenções. O último clique favorece canais próximos da compra, como busca de marca e e-mail, o primeiro clique favorece canais de descoberta, como vídeo e social, e as regras lineares e por posição distribuem o crédito de forma intermediária.

Atribuição não equivale a incrementalidade. Um contato pode aparecer com frequência antes da compra porque captura demanda já existente. A busca pela marca, por exemplo, aparece em muitas jornadas porque pessoas que já decidiram comprar procuram a loja pelo nome.

Apesar dessas limitações, a atribuição é útil para decisões táticas dentro de um canal, como a escolha entre criativos ou palavras-chave, desde que as comparações sejam realizadas com a mesma regra e a mesma janela.

10.8.1Uso consistente de uma regra de atribuição e combinação com MMM e testes

Deve ser escolhida e documentada uma regra, utilizada de forma consistente nas comparações dentro de um canal. Para comparar canais entre si e definir o orçamento, a atribuição deve ser combinada com o MMM e com testes.

10.8.2Erros comuns no uso de regras de atribuição

• Reduzir o investimento em canais de descoberta porque recebem pouco crédito no último clique.
• Alterar a regra de atribuição e comparar os resultados com os do período anterior.
• Utilizar a atribuição como medida de incrementalidade.

10.9Atribuição baseada em dados e limites de privacidade

Métodos de atribuição baseados em dados distribuem o crédito pela comparação entre jornadas que converteram e jornadas que não converteram, com o objetivo de estimar o aumento da probabilidade de conversão associado à presença de um canal. Um método comum é o efeito de remoção, que calcula quantas conversões seriam perdidas caso um canal fosse retirado das jornadas observadas.

Esses métodos dependem da observação das jornadas completas, e restrições de identificação, cookies, consentimento e múltiplos dispositivos ampliam a incerteza. Quando um cliente visualiza um anúncio no celular e compra no computador, a jornada aparece dividida em duas. Quando o cliente recusa cookies, seus contatos desaparecem. Essas perdas não são aleatórias, pois atingem mais alguns canais, navegadores e dispositivos.

Em consequência, a atribuição tende a favorecer canais de fácil rastreamento, como busca e e-mail, e a subestimar canais de alcance amplo, visualizados em outros dispositivos ou sem clique, como vídeo e mídia social.

10.9.1Caso de mercado: queda do crédito atribuído ao vídeo causada pela perda de rastreamento em uma empresa de turismo

Uma empresa de turismo observou queda da participação do vídeo na atribuição de 18% para 7% em um ano, sem mudança no investimento. A queda coincidiu com o aumento da recusa de cookies e com a migração do público para aplicativos. O MMM e um teste geográfico indicaram que o efeito do vídeo não se havia alterado.

10.9.2Monitoramento da cobertura das jornadas e ajuste do peso dos métodos

Deve ser acompanhada a cobertura das jornadas, como a proporção de conversões com histórico completo, e as mudanças de crédito devem ser interpretadas à luz dessa cobertura. Quando a cobertura diminui, deve ser ampliado o peso dos métodos agregados e experimentais nas decisões.

10.9.3Erros comuns na atribuição sob limites de rastreamento e privacidade

• Interpretar a queda de crédito como queda de desempenho quando a cobertura do rastreamento diminuiu.
• Supor que as jornadas observadas representam todas as jornadas.
• Comparar canais com níveis muito diferentes de rastreabilidade.

10.10Testes de incrementalidade

Testes de incrementalidade medem diretamente o efeito causal da mídia. No teste de conversão, ou conversion lift, uma parte do público-alvo é sorteada para não visualizar os anúncios. A diferença na taxa de conversão entre o grupo exposto e o grupo de controle, multiplicada pelo tamanho do público, corresponde ao número de conversões incrementais.

No teste geográfico, ou geo lift, regiões são sorteadas para receber ou não a campanha, ou para receber níveis diferentes de investimento. Esse teste aplica-se a qualquer canal, inclusive offline, e não depende do rastreamento de pessoas, mas exige regiões comparáveis e período suficiente, em razão do pequeno número de unidades.

O resultado desses testes permite calcular o ROAS incremental, que divide a receita incremental pelo investimento. A comparação com o ROAS reportado pela plataforma indica a parcela das conversões atribuídas que ocorreria de qualquer forma. Esses testes constituem a principal fonte para a calibração do MMM.

10.10.1Caso de mercado: ROAS reportado de 6 e ROAS incremental de 1,8 em um teste de conversão de um aplicativo de delivery

Um aplicativo de delivery realizou um teste de conversão com 10% do público em controle. A plataforma reportava ROAS de 6, mas o teste indicou que o grupo exposto convertia 0,4 ponto percentual a mais do que o controle, o que correspondia a ROAS incremental de 1,8. A campanha foi mantida, mas com orçamento menor e foco em públicos de clientes novos, nos quais o efeito era maior.

10.10.2Dimensionamento do grupo de controle, duração e repetição dos testes

O tamanho do grupo de controle deve ser planejado para obter precisão suficiente, o teste deve durar pelo menos um ciclo de compra e o ROAS incremental deve ser comparado com o ROAS reportado. Os testes devem ser repetidos periodicamente, porque o efeito varia com o nível de investimento e com o público.

10.10.3Erros comuns no planejamento e no uso de testes de incrementalidade

• Utilizar grupos de controle pequenos demais para detectar o efeito.
• Generalizar o resultado de um teste para níveis de investimento muito diferentes.
• Realizar o teste uma única vez e utilizar o resultado por anos.

10.11Triangulação entre MMM, atribuição e experimentos na decisão de orçamento

O MMM oferece visão agregada e adequada a canais offline, a MTA oferece granularidade de jornada em ambientes identificáveis e os experimentos estimam efeitos incrementais em contextos delimitados. Divergências entre os métodos devem ser investigadas quanto ao escopo, ao período e à definição do resultado.

A triangulação utiliza cada método em sua aplicação mais adequada. Os experimentos fornecem as estimativas mais confiáveis para canais e períodos específicos e servem para calibrar o MMM. O MMM fornece a visão completa do orçamento, com todos os canais e efeitos de longo prazo, e a atribuição orienta otimizações rápidas dentro de cada canal. Quando os três métodos concordam, a decisão é mais segura; quando divergem, a divergência indica onde investigar.

Na prática, empresas maduras mantêm um calendário de testes que abrange os principais canais ao longo do ano, atualizam o MMM periodicamente com esses testes e utilizam a atribuição nas decisões cotidianas.

10.11.1Critérios para a alocação do orçamento e formato das recomendações

A alocação deve considerar curvas marginais, incerteza e restrições operacionais. O canal com maior retorno médio histórico pode não oferecer o melhor retorno para o próximo real investido. Recomendações devem ser apresentadas como faixas e cenários, não como uma precisão inexistente.

10.11.2Erros comuns na triangulação de métodos de mensuração

• Escolher, para cada canal, o método que produz o resultado mais conveniente.
• Desconsiderar divergências grandes entre métodos em vez de investigá-las.
• Decidir o orçamento com base em um único método.