Personalização e recomendação

13.1Níveis de personalização

Personalizar consiste em adaptar a experiência a quem a recebe, e há vários níveis possíveis. No nível mais simples, todos recebem a mesma mensagem. No nível seguinte, a mensagem varia por segmento, como clientes novos e recorrentes. Em seguida, aplicam-se regras de negócio, como a recomendação de acessórios para quem comprou um aparelho. No nível mais alto, modelos estatísticos escolhem conteúdo diferente para cada pessoa.

Cada nível exige mais dados, tecnologia e manutenção. O ganho também cresce, mas com retornos decrescentes, pois a passagem de uma mensagem única para alguns segmentos costuma gerar a maior parte do benefício, enquanto a passagem para modelos individuais gera ganhos menores e mais custosos. O nível adequado depende do grau de diferença entre os clientes e do volume de interações disponível para o aprendizado.

A personalização também envolve riscos, pois mensagens muito específicas podem parecer invasivas, e sistemas automáticos podem cometer erros visíveis ao cliente. A pergunta relevante, portanto, não se refere ao grau máximo de personalização possível, mas ao nível que gera maior valor líquido para a decisão em questão.

13.1.1Caso de mercado: ganho da segmentação e ganho adicional das recomendações individuais em uma rede de farmácias

Uma rede de farmácias substituiu um e-mail único por quatro versões por segmento de compra e observou aumento de 30% na conversão. Um projeto seguinte, com recomendações individuais por modelo, aumentou a conversão em mais 6%, com custo de desenvolvimento dez vezes maior. A empresa manteve o modelo apenas nas campanhas de maior volume.

13.1.2Progressão entre níveis de personalização condicionada ao ganho incremental medido

A personalização deve começar pelo nível mais simples que diferencie os clientes de forma relevante, com mensuração do ganho por meio de grupo de controle, e avançar para níveis mais complexos apenas quando o ganho incremental justificar o custo.

13.1.3Erros comuns na escolha do nível de personalização

• Iniciar por modelos individuais sem testar segmentações simples.
• Medir o ganho da personalização sem grupo de controle.
• Desconsiderar os custos de manutenção e de dados na comparação entre níveis.

13.2Dados próprios e consentimento

A personalização depende de dados sobre o cliente. Dados próprios, também denominados primários, são coletados diretamente pela empresa em suas interações, como compras, navegação no site e no aplicativo, atendimento e respostas a campanhas. Dados declarados são fornecidos intencionalmente pelo cliente, como preferências, tamanhos e interesses. Dados de terceiros, adquiridos ou obtidos de parceiros, estão sujeitos a restrições crescentes.

A cobertura dos dados é tão relevante quanto sua qualidade. Se apenas parte dos clientes aceitou o uso de dados de navegação, a personalização baseada em navegação alcança somente essa parcela. Clientes sem histórico, como novos visitantes, requerem alternativas, como recomendações por popularidade ou preferências declaradas.

O consentimento define o que pode ser utilizado e com qual finalidade. Ele deve ser específico, informado e revogável, e o uso deve corresponder à finalidade informada. A troca de valor favorece o compartilhamento, pois os clientes compartilham mais dados quando percebem benefício claro, como recomendações melhores ou ofertas relevantes.

13.2.1Caso de mercado: preferências declaradas no cadastro e cobertura da personalização na primeira visita em uma marca de moda

Uma marca de moda solicitava, no cadastro, que os clientes informassem estilo preferido e tamanhos. Com essas informações, 45% dos novos clientes recebiam recomendações relevantes já na primeira visita, contra 8% com base apenas na navegação, que muitos recusavam no aviso de cookies. A taxa de compra na primeira semana aumentou 18%.

13.2.2Mapeamento da cobertura de dados e do consentimento por grupo de clientes

Deve ser mapeada a disponibilidade de cada tipo de dado por parcela de clientes e o consentimento correspondente. A personalização deve ser planejada para cada grupo de cobertura, e deve-se investir em dados declarados quando os dados comportamentais forem escassos.

13.2.3Erros comuns no uso de dados próprios e consentimento

• Desenhar a personalização supondo que todos os clientes dispõem de dados completos.
• Utilizar dados para finalidades diferentes das informadas ao cliente.
• Solicitar dados sem oferecer benefício claro em troca.

13.3Filtragem colaborativa

A filtragem colaborativa utiliza padrões de comportamento entre usuários e itens, recomendando a cada cliente os itens preferidos por clientes semelhantes a ele. A semelhança é calculada a partir das avaliações, compras ou cliques que os clientes têm em comum, sem necessidade de informação sobre o conteúdo dos itens.

A matriz de clientes por itens é quase sempre muito esparsa, pois cada cliente interage com uma fração mínima do catálogo. Métodos de fatoração resumem essa matriz em poucos fatores latentes, que representam gostos e características, e permitem prever as células vazias. Os fatores não possuem nome, mas costumam corresponder a dimensões reconhecíveis, como estilo, faixa de preço ou ocasião de uso.

A principal limitação é o início frio, pois itens novos, sem interações, nunca são recomendados, e clientes novos, sem histórico, não possuem vizinhos. A filtragem colaborativa também tende a favorecer itens populares, que aparecem em muitas interações.

13.3.1Condições de uso da filtragem colaborativa e monitoramento da concentração

A filtragem colaborativa é adequada quando há muitas interações por cliente e por item. O método deve ser combinado com outras fontes para itens e clientes novos, e a concentração das recomendações nos itens mais populares deve ser acompanhada.

13.3.2Erros comuns na aplicação da filtragem colaborativa

• Tratar a ausência de interação como avaliação negativa.
• Utilizar filtragem colaborativa pura em um catálogo com muitos lançamentos.
• Deixar de monitorar a concentração das recomendações em poucos itens.

13.4Recomendação por conteúdo e sistemas híbridos

Métodos baseados em conteúdo utilizam atributos dos itens e do perfil. Um cliente que comprou tênis de corrida e relógio esportivo possui um perfil com peso em corrida e esporte, e itens com esses atributos recebem pontuação maior. O método aplica-se a itens novos, desde que seus atributos estejam cadastrados, e é de fácil explicação.

Sua limitação reside na ausência de surpresa, pois o método recomenda sempre itens semelhantes aos já consumidos, o que pode restringir o cliente a uma parcela estreita do catálogo. O método também depende da qualidade do cadastro de atributos, que costuma ser incompleto.

Sistemas híbridos combinam as fontes para reduzir limitações como início frio, pouca diversidade e dependência de popularidade. Uma forma simples consiste em combinar as pontuações de filtragem colaborativa, conteúdo e popularidade com pesos que variam conforme a quantidade de dados disponível para cada cliente e item.

13.4.1Caso de mercado: inclusão de uma pontuação colaborativa e aumento das matrículas cruzadas em uma plataforma de cursos

Uma plataforma de cursos recomendava cursos semelhantes aos já realizados pelo aluno, de modo que os alunos de programação recebiam apenas cursos de programação e as matrículas em outras áreas eram baixas. Com a inclusão de uma pontuação colaborativa, que trazia cursos realizados por alunos semelhantes, cursos de dados e de produto passaram a aparecer nas recomendações, e as matrículas cruzadas dobraram.

13.4.2Ponderação entre conteúdo e comportamento conforme os dados disponíveis

Conteúdo e comportamento devem ser combinados, com peso de cada fonte ajustado à quantidade de dados disponível. Uma medida de diversidade deve ser incluída entre os objetivos, e deve-se investir na qualidade do cadastro de atributos.

13.4.3Erros comuns na recomendação por conteúdo e em sistemas híbridos

• Recomendar sempre itens muito semelhantes aos anteriores.
• Depender de atributos de catálogo incompletos ou inconsistentes.
• Utilizar pesos fixos para clientes com muito e com pouco histórico.

13.5Início frio: personalização para clientes e itens sem histórico

O início frio é o problema de personalizar para quem ainda não possui histórico, como visitantes novos, clientes recém-cadastrados ou itens recém-lançados. Como a maioria dos métodos aprende com interações passadas, a qualidade da personalização começa baixa e melhora à medida que os dados se acumulam.

Métodos diferentes apresentam desempenho diferente conforme o histórico. Recomendações por popularidade não dependem do cliente e funcionam igualmente para todos, mas nunca melhoram. Métodos por conteúdo funcionam com poucas interações e com preferências declaradas. A filtragem colaborativa apresenta desempenho inicial inferior, mas supera as alternativas quando há histórico suficiente.

Por essa razão, sistemas maduros alternam a estratégia conforme o histórico do cliente, utilizando popularidade e preferências declaradas na chegada, conteúdo nas primeiras interações e filtragem colaborativa posteriormente. Para itens novos, uma pequena exposição garantida permite coletar as primeiras interações.

13.5.1Caso de mercado: transição do conteúdo para a filtragem colaborativa após 20 músicas em um serviço de streaming

Um serviço de streaming de música solicitava, no primeiro acesso, três artistas favoritos e, a partir dessa resposta, montava uma playlist por semelhança de conteúdo. Após 20 músicas ouvidas, a recomendação passava a utilizar o comportamento de usuários semelhantes. A retenção de novos usuários na primeira semana aumentou 9%.

13.5.2Avaliação por faixa de histórico e exposição mínima a itens novos

A qualidade da personalização deve ser avaliada separadamente por faixa de histórico, e deve ser definido o número de interações a partir do qual cada método apresenta o melhor desempenho. Deve-se garantir exposição mínima a itens novos para que eles possam ser aprendidos.

13.5.3Erros comuns no tratamento do início frio

• Avaliar o sistema apenas pela média, que oculta a experiência inadequada dos novos clientes.
• Utilizar o mesmo método para clientes com e sem histórico.
• Deixar itens novos sem nenhuma exposição até que acumulem interações.

13.6Avaliação offline e online

A avaliação offline mede a capacidade de recuperar escolhas históricas, mas não demonstra melhoria incremental na experiência. Nesse procedimento, parte das compras de cada cliente é ocultada e verifica-se se o sistema as recomendaria. Métricas como a precisão entre os primeiros itens e a cobertura do catálogo são calculadas dessa forma, com rapidez e baixo custo.

O problema é que acertar compras que o cliente realizaria de qualquer forma não gera valor. Um sistema que recomenda ração a quem sempre compra ração apresenta ótima avaliação offline e nenhum efeito incremental, enquanto um sistema que sugere itens desconhecidos pelo cliente pode apresentar avaliação offline inferior e efeito real maior.

Testes controlados devem observar conversão, diversidade, descoberta, devoluções e satisfação de longo prazo. A avaliação offline serve para filtrar candidatos antes do teste, mas a decisão deve resultar do teste online, com grupo de controle.

13.6.1Caso de mercado: precisão offline superior e ausência de efeito incremental em um modelo de recomendação de um supermercado on-line

Um supermercado on-line comparou dois modelos de recomendação. O modelo A apresentava precisão offline 40% maior, porque recomendava os itens que cada cliente comprava semanalmente. Em um teste com clientes sorteados, o modelo B, que sugeria itens complementares e novidades, gerou 3% mais receita por cliente, enquanto o modelo A não apresentou efeito mensurável.

13.6.2Uso das métricas offline para triagem e dos testes online para decisão

As métricas offline devem ser utilizadas para comparar candidatos e eliminar os piores, mas a decisão deve basear-se em testes online. O teste deve incluir métricas de valor incremental e de longo prazo, e não apenas cliques nas recomendações.

13.6.3Erros comuns na avaliação de sistemas de recomendação

• Escolher o modelo de recomendação apenas pela avaliação offline.
• Medir o sucesso pela taxa de clique nas recomendações.
• Comparar modelos sem um grupo de controle que não receba recomendação personalizada.

13.7Exploração e explotação na política de recomendação

Uma previsão identifica o que provavelmente ocorrerá, enquanto uma política decide qual ação será aplicada. A recomendação do item de maior probabilidade pode concentrar a exposição em produtos já populares. Itens pouco exibidos nunca acumulam dados suficientes para demonstrar seu potencial, e o sistema permanece restrito às escolhas iniciais.

Esse é o dilema entre explotação, que consiste em aproveitar o conhecimento disponível, e exploração, que consiste em testar alternativas para aprender. Políticas como as de bandit, apresentadas no capítulo 8, reservam uma parcela da exposição para itens incertos em proporção à incerteza, de modo que quanto menor o conhecimento sobre um item, maior a justificativa para testá-lo.

A política precisa incorporar objetivos econômicos, estoque, margem, diversidade e limites de frequência. A exploração implica custo de curto prazo, porque alguns itens testados revelam-se inferiores, mas evita perdas maiores no longo prazo.

13.7.1Caso de mercado: aumento de cliques e redução da diversidade exposta pela repetição de produtos semelhantes

Uma plataforma aumenta os cliques ao repetir produtos semelhantes aos já comprados. A receita incremental permanece estável, e a diversidade do catálogo exposto diminui. O sistema melhora a métrica intermediária, mas limita a descoberta e pode reduzir o valor futuro.

13.7.2Erros comuns no equilíbrio entre exploração e explotação

• Exibir sempre os itens com maior desempenho observado.
• Avaliar itens novos com pouquíssimas exibições.
• Desativar a exploração quando o sistema parece ter convergido.

13.8Políticas com restrições e frequência de contato

Em CRM, a personalização decide quem recebe cada mensagem, por qual canal e com qual frequência. Cada contato adicional tende a gerar menos resposta do que o anterior e aumenta o risco de fadiga, que se manifesta em clientes que ignoram as mensagens, as marcam como spam ou cancelam a inscrição. Um cliente que sai da base deixa de gerar valor em todas as campanhas futuras.

Por essa razão, as políticas de contato requerem restrições, como limites de frequência por cliente, prioridades entre campanhas concorrentes, janelas de silêncio após uma compra e regras por canal. Quando várias áreas enviam mensagens para a mesma base sem coordenação, a frequência total torna-se descontrolada, mesmo que cada área respeite seu próprio limite.

O limite ótimo de frequência é aquele em que o ganho da próxima mensagem deixa de compensar a perda esperada por descadastros e fadiga. Esse limite varia entre clientes, pois os mais engajados toleram mais contatos.

13.8.1Caso de mercado: limite central de quatro e-mails semanais e preservação da base ativa de uma varejista

Uma varejista enviava, em média, nove e-mails por semana a cada cliente, considerando as campanhas de cinco áreas, e a taxa de descadastro mensal era de 2,5%. Com um limite central de quatro mensagens semanais e prioridade por valor esperado, a receita de e-mail caiu 4% no primeiro mês, mas a base ativa deixou de diminuir e, em seis meses, a receita total do canal superou a anterior.

13.8.2Controle centralizado da frequência e escolha do limite pelo valor de longo prazo

O controle de frequência deve ser centralizado, a resposta e o descadastro devem ser estimados por número de contatos e deve ser escolhido o limite que maximiza o valor ao longo de vários meses, e não o valor da próxima campanha. Os limites devem ser diferenciados por nível de engajamento.

13.8.3Erros comuns na definição de políticas de frequência de contato

• Avaliar campanhas isoladamente, sem considerar a fadiga acumulada.
• Permitir que cada área defina sua própria frequência sem coordenação.
• Desconsiderar o valor futuro perdido a cada descadastro.

13.9Grupo de controle global

A mensuração separada de cada campanha não revela o efeito do programa de CRM em seu conjunto, pois as campanhas se sobrepõem, disputam a atenção do mesmo cliente e podem apenas deslocar compras entre si. O grupo de controle global é uma parcela sorteada de clientes que não recebe nenhuma comunicação de marketing personalizada por um período longo, como seis meses ou um ano.

A comparação entre o grupo de controle global e o restante da base mede o efeito incremental total do programa, isto é, o gasto adicional dos clientes em razão do conjunto das comunicações recebidas. Esse número costuma ser muito inferior à soma dos efeitos atribuídos a cada campanha, porque elimina a dupla contagem.

O tamanho do grupo envolve um trade-off. Grupos maiores fornecem estimativas mais precisas, mas deixam mais clientes sem comunicações e implicam perda de receita, enquanto grupos muito pequenos têm baixo custo, mas não permitem distinguir o efeito do ruído.

13.9.1Caso de mercado: efeito total de 6% medido por grupo de controle global e soma de 14% das campanhas em uma companhia aérea

Uma companhia aérea manteve 5% dos membros do programa de fidelidade sem e-mails promocionais por um ano. Os relatórios de campanha somavam receita incremental equivalente a 14% das vendas dos membros, enquanto a comparação com o grupo de controle global indicou efeito total de 6%. Essa diferença levou a empresa a eliminar campanhas redundantes e a reforçar as campanhas com efeito comprovado.

13.9.2Manutenção, renovação e dimensionamento do grupo de controle global

Deve ser mantido um grupo de controle global permanente, renovado periodicamente e com tamanho suficiente para estimar o efeito total com a precisão necessária. O efeito total deve ser reportado juntamente com os efeitos por campanha.

13.9.3Erros comuns no uso do grupo de controle global

• Somar os efeitos atribuídos a cada campanha como se representassem o efeito do programa.
• Utilizar um grupo de controle tão pequeno que nenhum efeito possa ser detectado.
• Manter os mesmos clientes no grupo de controle indefinidamente.

13.10Privacidade, viés e confiança

Consentimento deve ser específico, compreensível e compatível com a finalidade do uso. A disponibilidade técnica de um dado não implica legitimidade para utilizá-lo. Segmentos sensíveis podem ser inferidos indiretamente por localização, dispositivo ou padrão de consumo.

Viés pode surgir nos dados históricos, na definição do objetivo e na distribuição da intervenção. Um sistema treinado em decisões anteriores pode reproduzir exclusões. A avaliação deve examinar desempenho e consequências entre grupos relevantes.

A confiança do cliente constitui um ativo que a personalização pode construir ou destruir. Recomendações que revelam inferências sensíveis, ofertas que parecem explorar vulnerabilidades e preços diferentes sem justificativa clara deterioram a relação, mesmo quando são legais.

13.10.1Requisitos de transparência, controle e minimização na personalização

Uma personalização responsável informa o benefício ao cliente, oferece controle proporcional e restringe o uso ao necessário. A decisão deve considerar se a mesma experiência seria aceitável caso o cliente compreendesse os dados e as regras utilizados.

13.10.2Erros comuns associados à privacidade, ao viés e à confiança

• Utilizar variáveis que funcionam como substitutas de características sensíveis.
• Avaliar o sistema apenas pela média, sem comparar grupos.
• Personalizar de forma que o cliente consideraria invasiva caso compreendesse seu funcionamento.