Regressão e modelos de resposta

6.1Objetivos de uma regressão: descrição, previsão e estimação de efeitos

A regressão relaciona um resultado, como vendas, a uma ou mais variáveis explicativas, como investimento em mídia, preço e sazonalidade. A mesma técnica é utilizada para três objetivos diferentes, e cada objetivo exige cuidados próprios.

Para fins descritivos, a regressão resume a variação do resultado associada a cada variável, mantidas as demais constantes. Essa condição, entretanto, aplica-se apenas às variáveis incluídas no modelo. Para fins preditivos, o critério relevante é o erro em dados novos, de modo que um modelo pode apresentar coeficientes de difícil interpretação e, ainda assim, prever adequadamente. Para estimar o efeito de uma ação, como o aumento da receita decorrente de maior investimento, é necessário que o investimento não esteja associado a outros fatores que também afetam a receita e que foram omitidos do modelo.

A confusão entre esses objetivos constitui uma das fontes mais comuns de recomendações equivocadas em marketing. Um modelo que prevê com precisão as vendas semanais pode atribuir à mídia um efeito que pertence à sazonalidade, e o uso desse coeficiente na definição do orçamento conduz a investimento excessivo.

6.1.1Caso de mercado: coeficiente do rádio confundido com o efeito dos feriados em uma rede de lojas de material de construção

Uma rede de lojas de material de construção ajusta um modelo de vendas semanais com investimento em rádio, preço médio e temperatura. O modelo prevê as vendas com erro de 4%, e a diretoria pretende utilizar o coeficiente do rádio para dobrar o orçamento. A análise revela que o rádio era veiculado precisamente nas semanas de feriado prolongado, quando as vendas aumentam independentemente da mídia. Desse modo, o modelo é adequado para prever, mas não para estimar o retorno do rádio.

6.1.2Declaração do objetivo do modelo e critérios de avaliação correspondentes

Antes do ajuste de um modelo, deve ser registrado o objetivo que ele atende. Se o objetivo for prever, a avaliação deve ser realizada em dados não utilizados no ajuste. Se o objetivo for estimar um efeito, deve-se investigar o que determinou a variação histórica da variável de interesse e se esse mecanismo também afeta o resultado.

6.1.3Erros comuns na definição do objetivo de uma regressão

• Utilizar um bom ajuste aos dados como prova de que os coeficientes representam efeitos causais.
• Descartar um modelo preditivo útil porque seus coeficientes parecem contraintuitivos.
• Omitir o objetivo do modelo na apresentação dos resultados.

6.2Regressão linear e leitura dos coeficientes

A regressão linear é utilizada quando o resultado de interesse é quantitativo, como receita, demanda ou valor do pedido. O método identifica a reta, ou o plano, quando há várias variáveis, que minimiza a soma dos quadrados das distâncias verticais entre os pontos e a reta. Essas distâncias são os resíduos, isto é, a parcela do resultado que o modelo não explica.

Cada coeficiente indica a variação média do resultado quando a variável correspondente aumenta uma unidade e as demais variáveis do modelo permanecem fixas. O intercepto é o valor previsto quando todas as variáveis são iguais a zero, o que frequentemente não possui interpretação prática. O R² mede a proporção da variação do resultado explicada pelo modelo, mas um R² alto não indica que o modelo esteja correto nem que os coeficientes sejam causais.

Como os quadrados crescem rapidamente, pontos distantes da reta exercem grande influência sobre o ajuste. Uma única semana atípica pode alterar substancialmente a inclinação, o que torna necessário examinar os dados e os resíduos, e não apenas os coeficientes.

6.2.1Caso de mercado: redução da associação entre busca paga e receita após a inclusão de sazonalidade e promoções

Uma varejista utiliza dados semanais para relacionar investimento em busca paga e receita. O modelo inicial ignora sazonalidade e promoções. Após a inclusão dessas variáveis, a associação atribuída à busca diminui, sugerindo que parte do resultado anterior refletia períodos comercialmente mais fortes.

6.2.2Apresentação de um coeficiente com unidade, faixa observada e variáveis mantidas constantes

A apresentação de um coeficiente deve informar a unidade, o intervalo de valores observado e as variáveis mantidas constantes, como em: “cada R$ 1 mil adicional em busca está associado a R$ 1,5 mil de receita, considerando semanas com o mesmo nível de promoção e sazonalidade, na faixa entre R$ 20 mil e R$ 80 mil de investimento”.

6.2.3Erros comuns na leitura dos coeficientes da regressão linear

• Interpretar o coeficiente sem informar quais variáveis estavam no modelo.
• Tratar um R² alto como evidência de que o modelo está correto.
• Desconsiderar pontos que, isoladamente, alteram a inclinação da reta.

6.3Variáveis categóricas e interações

Muitas variáveis de marketing são categóricas, como região, canal, tipo de cliente e presença de promoção. Para incluí-las em uma regressão, cada categoria, exceto a de referência, é transformada em uma variável indicadora que assume valor 1 quando a observação pertence àquela categoria e 0 caso contrário. O coeficiente de cada indicadora representa a diferença média em relação à categoria de referência.

As indicadoras deslocam a reta para cima ou para baixo, mas mantêm a mesma inclinação para todos os grupos. Quando o efeito de uma variável depende do grupo, como no caso de um desconto que aumenta muito as vendas em um segmento e pouco em outro, é necessária uma interação, definida como o produto entre a variável e a indicadora do grupo. A interação permite que cada grupo apresente sua própria inclinação.

As interações permitem responder, no âmbito de uma regressão, à pergunta sobre os grupos em que uma ação apresenta melhor desempenho. Contudo, também aumentam o número de coeficientes estimados e, com poucos dados por grupo, tornam as estimativas instáveis.

6.3.1Caso de mercado: efeito do desconto por tipo de loja estimado com interação em uma rede de cafeterias

Uma rede de cafeterias estima o efeito de descontos sobre as vendas de lanches. O modelo sem interação indica um aumento modesto por ponto de desconto. Com a interação entre desconto e tipo de loja, o efeito é elevado nas lojas de bairro e quase nulo nas lojas de aeroporto, nas quais o cliente compra por conveniência. Em consequência, a rede passa a concentrar os descontos nas lojas de bairro.

6.3.2Uso de indicadoras e interações e apresentação do efeito por grupo

Indicadoras devem ser incluídas para grupos com níveis diferentes de resultado, e interações, quando houver razão para esperar efeitos diferentes por grupo. Recomenda-se apresentar o efeito estimado para cada grupo, e não apenas os coeficientes, que se tornam de difícil leitura quando há interações.

6.3.3Erros comuns no uso de variáveis categóricas e interações

• Codificar categorias como números e incluí-las como uma variável contínua.
• Assumir o mesmo efeito para todos os grupos sem testar interações.
• Incluir muitas interações com poucos dados por grupo.

6.4Multicolinearidade

A multicolinearidade ocorre quando duas ou mais variáveis explicativas variam conjuntamente. Esse fenômeno é muito comum em marketing, pois campanhas de TV e de mídia digital costumam ser lançadas nas mesmas semanas, e preço e promoção variam juntos. Nessas situações, o modelo encontra dificuldade para separar a contribuição de cada variável.

A previsão do resultado não é afetada, mas os coeficientes individuais tornam-se instáveis. Pequenas mudanças nos dados transferem crédito de uma variável para outra, e os intervalos de confiança tornam-se largos. Em casos extremos, um coeficiente pode apresentar sinal negativo, como se a mídia reduzisse as vendas, apenas porque a outra variável absorveu todo o efeito.

Há poucas soluções puramente estatísticas para esse problema. As soluções mais úteis decorrem do desenho, como variar os canais de forma independente em alguns períodos ou regiões, utilizar experimentos para fixar o efeito de um deles ou combinar as variáveis em um único indicador quando a pergunta o permite.

6.4.1Caso de mercado: separação dos efeitos da TV e do patrocínio de eventos por variação regional independente em uma marca de cerveja

Uma marca de cerveja busca separar o efeito da TV e do patrocínio de eventos, sempre ativados simultaneamente no verão. A cada atualização do modelo, o crédito alterna entre as duas variáveis. No ano seguinte, a empresa programa duas regiões com TV sem patrocínio e duas regiões com patrocínio sem TV. Com essa variação independente, as estimativas estabilizam-se.

6.4.2Verificação das correlações e apresentação do efeito combinado dos canais

Antes da interpretação dos coeficientes, devem ser verificadas as correlações entre as variáveis explicativas. Quando essas correlações forem altas, o efeito combinado pode ser apresentado com maior confiança do que os efeitos individuais, e deve ser planejada uma variação independente para separar as contribuições.

6.4.3Erros comuns na presença de multicolinearidade

• Reduzir o investimento em um canal porque seu coeficiente se tornou negativo em um modelo com canais muito correlacionados.
• Interpretar mudanças no crédito atribuído aos canais como mudanças reais de desempenho.
• Remover variáveis relevantes do modelo apenas para estabilizar os coeficientes.

6.5Resíduos, pontos influentes e diagnóstico

Após o ajuste de um modelo, a etapa seguinte consiste em examinar a parcela não explicada. O gráfico de resíduos contra valores previstos constitui o diagnóstico mais simples. Se o modelo for adequado, os resíduos distribuem-se sem padrão em torno de zero, e a presença de padrões indica problemas.

Uma curva nos resíduos sugere que a relação não é linear, como ocorre com retornos decrescentes de mídia. Um funil, com resíduos progressivamente maiores, sugere que a variação cresce com o nível do resultado, situação comum em vendas de lojas de tamanhos muito diferentes, e indica a necessidade de transformações como o logaritmo. Um ponto isolado e distante pode representar um erro ou um evento especial.

Pontos influentes são observações que, isoladamente, alteram muito o ajuste. Esses pontos costumam combinar um valor extremo na variável explicativa com um resultado fora do padrão. A verificação prática consiste em reajustar o modelo sem o ponto e comparar os resultados, pois, se a conclusão se altera, ela depende de uma única observação.

6.5.1Caso de mercado: inclinação entre mídia e ingressos determinada por um único show em uma empresa de eventos

Uma empresa de eventos relaciona investimento em mídia e ingressos vendidos para 30 shows. A inclinação estimada é alta, mas o diagnóstico revela que um único show, de um artista muito famoso e com grande investimento, determina a inclinação da reta. Sem esse show, a inclinação cai pela metade. A recomendação passa a ser apresentada com e sem o show, e a decisão de investimento passa a considerar o perfil de cada artista.

6.5.2Exame dos resíduos e da sensibilidade da conclusão a pontos influentes

O gráfico de resíduos deve ser sempre examinado, e os pontos de maior influência devem ser identificados. Quando houver curvatura, a variável deve ser transformada ou deve ser adotada uma forma funcional adequada; quando houver influência excessiva, o ponto deve ser investigado e a sensibilidade da conclusão deve ser reportada.

6.5.3Erros comuns no diagnóstico de resíduos e pontos influentes

• Avaliar o modelo apenas pelo R², sem examinar os resíduos.
• Remover pontos influentes sem investigar se representam erros ou eventos reais.
• Ajustar uma reta a uma relação claramente curva.

6.6Regressão logística

A regressão logística é utilizada quando o resultado representa uma ocorrência, como compra, resposta ou cancelamento. Em vez de prever o valor do resultado, o modelo prevê a probabilidade de ocorrência do evento, sempre entre 0 e 1. A relação entre as variáveis e a probabilidade possui forma de S, de modo que mudanças nas variáveis produzem pouco efeito quando a probabilidade já está muito baixa ou muito alta e efeito maior na faixa intermediária.

Os coeficientes são expressos em log-odds, escala pouco intuitiva. A tradução mais útil é a razão de chances, obtida pela exponencial do coeficiente, que indica o fator de multiplicação das chances do evento quando a variável aumenta uma unidade. Uma razão de chances de 1,3 significa chances 30% maiores. Para a comunicação com gestores, costuma ser preferível apresentar a probabilidade prevista em alguns cenários concretos.

A regressão logística fundamenta muitos modelos de propensão, tratados no capítulo 7. Assim como na regressão linear, seus coeficientes descrevem associações condicionais às variáveis incluídas, e não efeitos causais.

6.6.1Comunicação de resultados da regressão logística como probabilidades para perfis concretos

Os resultados devem ser apresentados como probabilidades para perfis concretos, como em: “um visitante com cinco visitas à página do produto tem 40% de chance de comprar, contra 12% de um visitante com uma visita”. Deve-se ainda verificar se as probabilidades previstas correspondem às taxas observadas em grupos de clientes, tema da calibração tratado no capítulo 7.

6.6.2Erros comuns na interpretação da regressão logística

• Interpretar o coeficiente da regressão logística como variação direta na probabilidade.
• Utilizar regressão linear para um resultado binário e obter probabilidades superiores a 100%.
• Comunicar razões de chances a gestores sem traduzi-las em probabilidades.

6.7Validação, viés e variância

A avaliação preditiva deve ser realizada em dados que não foram utilizados no ajuste. A separação entre treino e teste aproxima o desempenho esperado em novas observações. Quando decisões sucessivas são orientadas pelo mesmo conjunto de teste, o teste também passa a influenciar o modelo e perde parte de sua função independente.

Modelos muito simples podem omitir padrões relevantes, enquanto modelos excessivamente flexíveis podem reproduzir ruído específico da amostra. Regularização, validação cruzada e comparação com referências simples reduzem o risco de selecionar complexidade sem benefício preditivo estável.

A validação cruzada divide os dados em várias partes, ajusta o modelo em todas as partes exceto uma e avalia o desempenho na parte excluída, repetindo o processo para cada parte. A média dos erros constitui uma estimativa do desempenho mais estável do que uma única divisão. Em dados ordenados no tempo, a divisão deve respeitar a ordem cronológica, com treinamento no passado e avaliação no futuro.

6.7.1Comparação com referências simples e uso único do conjunto de teste

O modelo escolhido deve ser sempre comparado com uma referência simples, como a média histórica ou o valor da semana anterior. Se o ganho em relação à referência for pequeno, a complexidade adicional raramente se justifica. Uma parte dos dados deve ser reservada para a avaliação final e utilizada uma única vez.

6.7.2Erros comuns na validação de modelos preditivos

• Reportar o erro calculado no próprio conjunto de treino.
• Testar dezenas de modelos no mesmo conjunto de teste e escolher o melhor resultado.
• Embaralhar dados temporais antes da separação entre treino e teste.

6.8Curvas de resposta e elasticidade

Modelos de resposta relacionam níveis de investimento, preço ou exposição a resultados de marketing. Relações de saturação são frequentes porque os primeiros incrementos alcançam oportunidades mais produtivas e os incrementos posteriores encontram retornos menores.

A forma da curva constitui uma hipótese. Uma reta supõe retorno constante, uma curva logarítmica supõe retornos sempre decrescentes e uma curva em S supõe a existência de um nível mínimo de investimento antes de qualquer efeito e de um teto posterior. Dentro da faixa de dados observada, formas diferentes costumam produzir previsões semelhantes, mas fora dessa faixa as previsões divergem substancialmente.

A elasticidade expressa a resposta em termos relativos, como a variação percentual do resultado associada a uma variação de 1% na variável. Essa medida permite comparar alavancas medidas em unidades diferentes, como preço e investimento em mídia, e é retomada no capítulo 11.

6.8.1Limite da previsão à faixa de investimento sustentada pelos dados

A previsão deve ser utilizada dentro da região sustentada pelos dados. A extrapolação para níveis de investimento nunca observados depende fortemente da forma escolhida para a curva, e recomendações de orçamento devem informar essa limitação.

6.8.2Erros comuns no uso de curvas de resposta e elasticidades

• Projetar o retorno de um orçamento muito superior a qualquer valor histórico.
• Utilizar o retorno médio, e não o retorno marginal, para decidir o próximo investimento.
• Escolher a forma da curva conforme o resultado que se deseja obter.

6.9Séries temporais: tendência, sazonalidade e ruído

Vendas, visitas e buscas medidas ao longo do tempo formam séries temporais. Essas séries podem ser decompostas em componentes, a saber, a tendência, que indica a direção de longo prazo, a sazonalidade, que repete padrões em períodos fixos, como dias da semana, meses ou datas comemorativas, e o ruído, que corresponde à variação restante sem padrão.

A decomposição auxilia a responder perguntas que os dados brutos ocultam. Uma queda em janeiro pode decorrer apenas da sazonalidade, e um crescimento em dezembro pode ocultar uma tendência de queda. As médias móveis constituem a ferramenta mais simples para estimar a tendência, pois cada ponto corresponde à média de um número fixo de períodos ao seu redor. Janelas curtas acompanham mudanças rapidamente, mas incorporam ruído, enquanto janelas longas suavizam a série, mas reagem com atraso.

Séries de marketing também apresentam eventos pontuais, como promoções, rupturas de estoque e campanhas, que precisam ser identificados para não contaminar as estimativas de tendência e de sazonalidade.

6.9.1Caso de mercado: aumento sazonal das vendas e tendência negativa em uma marca de protetor solar

Uma marca de protetor solar celebra vendas 40% superiores em dezembro em relação a outubro. A decomposição dos últimos quatro anos indica que a sazonalidade explica quase todo o aumento e que a tendência é levemente negativa desde o ano anterior, período que coincide com a entrada de um concorrente. Em consequência, a celebração é substituída por um plano de defesa da participação de mercado.

6.9.2Separação entre sazonalidade e tendência e escolha da janela de suavização

Antes da avaliação de uma variação, deve-se separar o componente sazonal da tendência. Recomenda-se utilizar pelo menos dois ciclos completos de dados para estimar a sazonalidade e registrar os eventos especiais. Na comparação entre estratégias de suavização, a janela deve ser escolhida conforme a pergunta, que pode envolver a detecção de mudanças rápidas ou o acompanhamento da direção de longo prazo.

6.9.3Erros comuns na análise de séries temporais

• Interpretar movimentos sazonais como mudanças de tendência.
• Estimar a sazonalidade com menos de dois ciclos completos.
• Permitir que promoções e rupturas de estoque contaminem a estimativa da tendência.

6.10Previsão de demanda e erro de previsão

Previsões de demanda orientam compras, estoques, escalas de equipes e metas comerciais. Métodos simples costumam ser referências difíceis de superar: a previsão ingênua repete o último valor, a ingênua sazonal repete o valor do mesmo período do ciclo anterior e a média móvel utiliza a média recente. Métodos que combinam tendência e sazonalidade estimadas tendem a apresentar melhor desempenho em séries com padrões claros.

A qualidade da previsão é medida em períodos não utilizados em sua construção. O MAPE, erro percentual absoluto médio, é de fácil comunicação, pois um MAPE de 8% indica erro médio de 8% em relação ao valor real. O viés indica se o método erra sistematicamente para cima ou para baixo, aspecto tão relevante quanto a magnitude do erro, porque gera excesso ou falta recorrente de estoque.

O erro cresce com o horizonte, pois prever a semana seguinte é mais fácil do que prever o trimestre seguinte. Por essa razão, as previsões devem ser acompanhadas de faixas de incerteza e revisadas à medida que novos dados se tornam disponíveis.

6.10.1Caso de mercado: substituição da média de quatro semanas por um método sazonal ajustado por temperatura em uma distribuidora de bebidas

Uma distribuidora de bebidas utilizava a média das últimas quatro semanas para prever a demanda. O método subestimava sistematicamente as semanas de calor e de feriados, o que gerava ruptura nos períodos de maior venda. Um método com sazonalidade anual e ajuste por temperatura reduziu o MAPE de 18% para 9% e eliminou o viés nas semanas de pico.

6.10.2Comparação com a referência ingênua sazonal e escolha do método pelo custo do erro

Qualquer método de previsão deve ser comparado com a referência ingênua sazonal, avaliado em um período reservado e acompanhado do MAPE e do viés por horizonte. A escolha do método deve considerar o custo do erro: em produtos perecíveis, o viés para cima é mais custoso, enquanto em produtos com ruptura de alto custo o viés para baixo é mais prejudicial.

6.10.3Erros comuns na previsão de demanda e na mensuração do erro

• Avaliar a previsão nos mesmos dados utilizados em seu ajuste.
• Considerar apenas a magnitude média do erro e desconsiderar o viés.
• Apresentar previsões de longo prazo sem faixa de incerteza.