Classificação, churn e propensão

7.1Definição do evento-alvo e das janelas de observação e de previsão

Todo modelo de classificação começa com a definição do que constitui um evento positivo. No caso do churn, essa definição parece evidente em assinaturas, mas não no varejo. Cancelamento formal, ausência de compras por 60 dias e redução do gasto à metade são definições diferentes, que identificam clientes diferentes e produzem modelos diferentes.

Duas janelas precisam ser fixadas. A janela de observação define o período de dados utilizado para descrever o cliente, como os últimos 12 meses de compras. A janela de previsão define o prazo em que o evento deve ocorrer para ser contabilizado, como os próximos 30 ou 90 dias. Janelas curtas produzem poucos casos positivos e pouco tempo para a ação, enquanto janelas longas produzem mais casos positivos, mas combinam saídas iminentes com saídas distantes.

A definição deve partir da ação. Se a equipe de retenção necessita de duas semanas para contatar um cliente, um modelo que identifica clientes já perdidos não contribui para a decisão. O evento-alvo útil é aquele que ainda pode ser evitado no momento em que o modelo emite o alerta.

7.1.1Caso de mercado: redefinição do evento de churn para antecipar alertas em uma rede de academias

Uma rede de academias treinou um modelo para prever cancelamentos formais. O modelo era preciso, mas a maioria dos alertas era emitida quando o aluno já havia deixado de frequentar a academia havia semanas. A equipe redefiniu o evento como a queda da frequência para menos de uma visita por semana durante três semanas, o que antecipou os alertas em cerca de um mês e tornou viáveis as ações de retenção.

7.1.2Registro do evento, das janelas e do tempo necessário para a ação

Antes da modelagem, devem ser registrados a definição do evento, a janela de observação, a janela de previsão e o tempo necessário para agir. Definições alternativas devem ser comparadas pela proporção de casos positivos, pela concordância entre elas e pela antecedência que oferecem.

7.1.3Erros comuns na definição do evento-alvo e das janelas

• Escolher uma definição de churn sem considerar o momento em que a ação ocorre.
• Alterar a definição do evento e comparar o desempenho com o do modelo anterior.
• Utilizar na descrição do cliente informações posteriores ao início da janela de previsão.

7.2Modelos de propensão

Um modelo de propensão atribui a cada cliente uma pontuação que indica a chance de um evento, como comprar, responder ou cancelar. Regressão logística, árvores, florestas aleatórias e gradient boosting podem ser utilizados para ordenar clientes por probabilidade estimada. A maior complexidade não garante melhor decisão. O modelo deve ser comparado em dados futuros ou separados e avaliado com métricas compatíveis com a ação.

O uso mais comum da pontuação é a ordenação. Os clientes são divididos em decis, do mais provável ao menos provável, e a ação é aplicada aos primeiros decis. A tabela de decis apresenta, para cada faixa, a taxa observada do evento. Um bom modelo concentra os eventos nos primeiros decis, enquanto um modelo fraco produz taxas semelhantes em todas as faixas.

A qualidade da ordenação depende da capacidade das variáveis de separar os clientes que terão o evento daqueles que não o terão. Variáveis de comportamento recente, como queda de uso, reclamações e visitas a páginas de cancelamento, costumam ser mais informativas do que dados cadastrais.

7.2.1Caso de mercado: concentração de adesões ao cartão de crédito nos primeiros decis de propensão em um banco digital

Um banco digital constrói um modelo de propensão para o cartão de crédito. Os 10% de clientes com maior pontuação aderem à oferta a uma taxa de 14%, contra 1,5% na média da base. A campanha passa a ser enviada apenas aos três primeiros decis, o que reduz o custo de envio em 70% e preserva 65% das adesões.

7.2.2Avaliação pela tabela de decis e escolha do número de decis acionados

O modelo deve ser avaliado pela tabela de decis em dados não utilizados no ajuste e comparado com a referência de seleção aleatória. O número de decis acionados deve ser definido com base no custo da ação e no valor esperado de cada faixa.

7.2.3Erros comuns na construção e no uso de modelos de propensão

• Escolher o modelo mais complexo sem compará-lo com uma regressão logística simples.
• Avaliar a ordenação nos mesmos dados utilizados no treinamento.
• Acionar decis cuja taxa de resposta não cobre o custo do contato.

7.3Matriz de confusão, precisão e sensibilidade

Quando a pontuação é transformada em decisão, como “contatar” ou “não contatar”, cada cliente é classificado em uma das quatro casas da matriz de confusão: verdadeiro positivo (contatado e que teria o evento), falso positivo (contatado sem necessidade), falso negativo (não contatado, mas que teve o evento) e verdadeiro negativo.

As métricas usuais derivam dessas casas. A precisão é a proporção de positivos entre os clientes contatados e indica o desperdício de contatos. A sensibilidade, ou cobertura, é a proporção dos positivos que foi identificada. A acurácia é a proporção total de acertos.

A acurácia pode ser enganosa quando o evento é raro. Se apenas 3% dos clientes cancelarem, um modelo que prevê permanência para todos alcança 97% de acurácia e não identifica nenhum cliente em risco. Precisão, sensibilidade, lift e valor esperado fornecem diagnósticos mais adequados.

7.3.1Escolha das métricas conforme o custo de cada tipo de erro

As métricas devem ser escolhidas conforme o custo de cada erro. Quando o contato é caro e a capacidade é reduzida, a precisão é mais relevante. Quando a perda de um caso é custosa, como uma fraude ou um cliente de alto valor, a sensibilidade é mais relevante. A matriz completa deve ser sempre apresentada junto com as métricas.

7.3.2Erros comuns na avaliação de classificadores pela matriz de confusão

• Reportar a acurácia em problemas com eventos raros.
• Comparar modelos pela precisão sem fixar a quantidade de clientes contatados.
• Omitir a matriz de confusão e apresentar apenas uma métrica resumida.

7.4Curvas ROC, de ganho e de lift

As métricas da matriz de confusão dependem do limiar escolhido, enquanto as curvas resumem o desempenho em todos os limiares simultaneamente. A curva ROC apresenta, para cada limiar, a proporção de positivos encontrados contra a proporção de negativos contatados por engano. A área sob essa curva, a AUC, varia de 0,5, valor equivalente a um sorteio, a 1, que corresponde a uma ordenação perfeita.

A curva de ganho é mais intuitiva para gestores, pois apresenta no eixo horizontal a proporção da base contatada, ordenada pela pontuação, e no eixo vertical a proporção dos eventos encontrados. Se o contato com 20% da base encontra 55% dos cancelamentos, a curva passa por esse ponto. A curva de lift divide o ganho pela seleção aleatória, de modo que, no exemplo, 55% dividido por 20% resulta em um lift de 2,75.

As curvas comparam modelos e auxiliam a escolha do número de clientes acionados, mas não incluem custos e valores. A decisão final ainda depende do resultado econômico de cada ponto, tema do subitem 7.6.

7.4.1Caso de mercado: escolha entre dois modelos de inadimplência pela curva de ganho na faixa de atuação em uma empresa de energia

Uma empresa de energia avalia dois modelos de inadimplência. O modelo A apresenta AUC de 0,78, e o modelo B, de 0,80. A curva de ganho indica que, nos 10% iniciais da ordenação, faixa em que a equipe de cobrança consegue atuar, o modelo A identifica mais inadimplentes. A empresa escolhe o modelo A, porque a diferença de AUC decorria de regiões da curva que não seriam utilizadas.

7.4.2Uso da AUC e da curva de ganho na faixa de contato suportada pela operação

A AUC pode ser utilizada para uma primeira comparação, mas a decisão deve considerar a curva de ganho na faixa de contato que a operação comporta. O ponto escolhido deve ser traduzido em números concretos, como a quantidade de clientes, a quantidade de eventos encontrados e o ganho em relação ao acaso.

7.4.3Erros comuns na interpretação de curvas ROC, de ganho e de lift

• Escolher o modelo apenas pela AUC.
• Apresentar a curva ROC a gestores sem traduzi-la em ganho ou lift.
• Comparar AUCs calculadas em bases com taxas de evento muito diferentes sem contextualização.

7.5Calibração das probabilidades

Um modelo pode ordenar adequadamente e, ainda assim, produzir probabilidades incorretas. A calibração verifica se as probabilidades previstas correspondem às frequências observadas, de modo que, entre os clientes que receberam 30% de probabilidade de cancelar, cerca de 30% deveriam cancelar. Um diagrama de calibração compara, faixa a faixa, os valores previstos com os observados.

Modelos mal calibrados surgem por várias razões. Modelos muito flexíveis tendem a produzir probabilidades excessivamente extremas. Mudanças no mercado alteram a taxa do evento, de modo que um modelo treinado quando o churn era de 10% subestima o risco quando o churn aumenta para 20%. Amostragens que balanceiam artificialmente as classes no treino também distorcem as probabilidades.

A calibração é relevante sempre que a probabilidade é utilizada em um cálculo, como valor esperado, previsão de volume ou definição de limiar econômico, e menos relevante quando o objetivo é apenas ordenar clientes. A recalibração ajusta as probabilidades a partir de dados recentes, sem alterar a ordenação.

7.5.1Caso de mercado: recalibração das probabilidades de renovação para a projeção de receita de uma seguradora

Uma seguradora utilizava a probabilidade de renovação prevista para estimar a receita do ano seguinte. O modelo ordenava adequadamente, mas superestimava as renovações em 8 pontos percentuais, porque havia sido treinado em um período de menor concorrência. Após a recalibração com dados dos últimos seis meses, o erro da projeção de receita reduziu-se para menos de 2%.

7.5.2Verificação da calibração antes do uso de probabilidades em cálculos

Antes do uso de probabilidades em cálculos, deve ser construído o diagrama de calibração em dados recentes. Se houver desvio sistemático, as probabilidades devem ser recalibradas. A calibração deve ser monitorada ao longo do tempo, porque costuma deteriorar-se antes da ordenação.

7.5.3Erros comuns no uso de probabilidades previstas

• Utilizar pontuações de modelos como probabilidades sem verificar a calibração.
• Avaliar apenas a AUC e não identificar que as probabilidades estão deslocadas.
• Treinar com classes balanceadas artificialmente e utilizar as probabilidades sem correção.

7.6Limiar de decisão e resultado econômico

O limiar transforma probabilidades em decisões. Um limiar mais baixo inclui mais clientes, aumenta a cobertura dos casos positivos e também amplia intervenções desnecessárias. A escolha deve considerar restrições de orçamento e consequências de falsos positivos e falsos negativos.

O limiar economicamente ótimo é aquele em que o valor esperado do próximo cliente contatado deixa de cobrir o custo do contato. Esse limiar depende de quatro valores: o custo da ação, o valor preservado quando a ação é eficaz, a taxa de sucesso da ação e a probabilidade do evento. Não há razão para que o limiar seja de 50%, pois, com contato barato e valor alto, o limiar ótimo pode ser bastante baixo.

Restrições operacionais também definem o limiar. Se a equipe consegue realizar 500 contatos por semana, o limiar prático corresponde à pontuação do 500º cliente da lista, e a pergunta passa a ser se a ampliação da capacidade se justifica.

7.6.1Cálculo do resultado esperado por limiar sob restrições de capacidade

O resultado esperado deve ser calculado para vários limiares, e deve ser escolhido o limiar que maximiza o resultado sob as restrições existentes. Recomenda-se também apresentar a perda decorrente da operação fora do ótimo por limitação de capacidade, o que auxilia a justificar, ou não, a expansão da equipe.

7.6.2Erros comuns na escolha do limiar de decisão

• Utilizar 50% como limiar por convenção.
• Definir o limiar sem incluir o custo do contato e a taxa de sucesso da ação.
• Desconsiderar a capacidade operacional e gerar listas maiores do que a equipe consegue atender.

7.7Lead scoring em B2B

Em vendas B2B, o lead scoring atribui pontos a contatos e empresas para priorizar os leads que a equipe comercial deve abordar. A pontuação combina a aderência ao perfil de cliente ideal, como setor, porte e cargo do contato, com sinais de interesse, como visitas a páginas de preço, download de materiais e participação em eventos. Leads acima de um limiar tornam-se leads qualificados pelo marketing e são encaminhados a vendas.

O ponto crítico é a passagem entre marketing e vendas. Se o limiar é baixo, a equipe de vendas recebe mais leads do que consegue atender, e leads promissores perdem interesse enquanto aguardam contato. Se o limiar é alto, a equipe permanece ociosa e oportunidades permanecem no marketing. O limiar deve ser calibrado com a capacidade real da equipe comercial e revisado com base na conversão observada em cada faixa de pontuação.

A ordem de atendimento é tão relevante quanto o limiar. O atendimento por ordem de chegada desperdiça a pontuação, enquanto o atendimento prioritário dos leads de maior pontuação, dentro da capacidade, aproveita a ordenação. O tempo até o primeiro contato também afeta a conversão, especialmente em leads que demonstraram interesse recente.

7.7.1Caso de mercado: limiar de qualificação incompatível com a capacidade de vendas em uma empresa de software de gestão

Uma empresa de software de gestão encaminhava a vendas todos os leads com mais de 50 pontos, cerca de 400 por semana, para uma equipe que atendia 150. Os vendedores escolhiam os leads de empresas conhecidas, e leads de alta pontuação permaneciam dias sem contato. Com a elevação do limiar para 70 pontos e a ordenação da fila pela pontuação, o número de reuniões agendadas aumentou 35% com a mesma equipe.

7.7.2Definição conjunta do limiar com vendas e ordenação da fila pela pontuação

O limiar de qualificação deve ser definido em conjunto com vendas, a partir da capacidade semanal e da conversão por faixa de pontuação. A fila deve ser ordenada pela pontuação, o tempo até o primeiro contato deve ser acompanhado e os pesos do modelo devem ser revisados com os resultados reais de cada trimestre.

7.7.3Erros comuns na operação do lead scoring

• Definir o limiar sem considerar a capacidade da equipe de vendas.
• Atender leads por ordem de chegada, desconsiderando a pontuação.
• Manter pesos de pontuação definidos por opinião, sem validação com conversões reais.

7.8Churn e uplift

Um modelo de churn identifica clientes com maior risco, mas risco elevado não significa que uma oferta evitará o cancelamento. Uplift modeling busca estimar a diferença de comportamento causada pela intervenção. O alvo economicamente relevante é o cliente persuadível, e não necessariamente o cliente de maior risco.

Os clientes podem ser classificados em quatro tipos: os que permanecem de qualquer forma, os que saem de qualquer forma, os persuadíveis, que permanecem apenas se receberem a ação, e os que reagem negativamente, que saem precisamente por terem sido contatados. Modelos de risco combinam os três primeiros tipos, enquanto modelos de uplift buscam isolar os persuadíveis.

A estimação do uplift exige dados de experimentos ou de campanhas com grupo de controle, porque o efeito individual nunca é observado diretamente, uma vez que cada cliente recebe ou não recebe a ação. Por essa razão, a construção de grupos de controle nas campanhas de retenção constitui um investimento em dados para decisões futuras.

7.8.1Caso de mercado: ganho incremental de um desconto de retenção concentrado em clientes de risco intermediário em uma operadora

Uma operadora oferece desconto aos clientes com maior probabilidade de cancelamento. Parte dos clientes permaneceria sem desconto e outra parte cancelaria mesmo com a oferta. Um experimento mostra que o ganho incremental se concentra em um grupo intermediário de risco com histórico recente de reclamação resolvida.

7.8.2Ordenação de clientes pelo valor incremental esperado da ação

A recomendação deve combinar probabilidade, efeito esperado da ação, margem preservada e custo de contato. A ordenação por valor incremental esperado é mais informativa do que a ordenação por risco isolado.

7.8.3Erros comuns na seleção de clientes para ações de retenção

• Direcionar ofertas de retenção aos clientes de maior risco por padrão.
• Executar campanhas de retenção sem grupo de controle.
• Medir o sucesso pela taxa de permanência dos contatados, sem compará-la com a dos clientes não contatados.

7.9Próxima melhor ação

A próxima melhor ação escolhe, para cada cliente, a ação a ser aplicada entre várias opções, como um desconto, frete grátis, um conteúdo exclusivo ou nenhum contato. Em vez de um modelo por campanha, a decisão compara, cliente a cliente, o valor esperado de cada alternativa, definido como a probabilidade de efeito da ação multiplicada pelo valor do resultado, subtraído o custo da ação.

Três regras costumam ser comparadas. A escolha da ação com maior probabilidade de resposta desconsidera custos e favorece ações caras. A escolha da ação de maior valor esperado por cliente é preferível, mas pode exceder o orçamento. A escolha sob restrições, como orçamento total, limites de estoque e frequência máxima de contatos, é a que mais se aproxima da operação real.

A qualidade da decisão depende de estimativas do efeito incremental de cada ação para cada tipo de cliente, obtidas a partir de experimentos. Na ausência dessas estimativas, a próxima melhor ação reduz-se a uma regra de priorização por propensão.

7.9.1Caso de mercado: substituição do cupom único por quatro ações alternativas na reativação de clientes de uma varejista de moda

Uma varejista de moda enviava um cupom de 20% a todos os clientes inativos. Um sistema de próxima melhor ação passou a escolher entre cupom, frete grátis, aviso de novidades da marca preferida ou nenhum contato. Metade dos clientes passou a receber ações sem desconto, e a margem da campanha aumentou 28% com o mesmo número de reativações.

7.9.2Alocação de ações sob orçamento com base no efeito incremental estimado

Devem ser listadas as ações possíveis, com custos e restrições, estimado o efeito incremental de cada ação por segmento e alocadas as ações de modo a maximizar o valor total dentro do orçamento. Recomenda-se manter uma pequena fração de escolhas aleatórias para continuar estimando o efeito de cada ação.

7.9.3Erros comuns na implementação da próxima melhor ação

• Escolher a ação de maior taxa de resposta sem considerar o custo.
• Desconsiderar a opção de não contatar, que frequentemente apresenta o maior valor.
• Interromper o teste de alternativas após a entrada do sistema em operação.