Preparação e qualidade dos dados

3.1Unidade de análise e granularidade

A unidade de análise é a entidade sobre a qual uma medida é interpretada. Uma linha da base pode representar um cliente, uma visita, um pedido, um item do pedido ou uma exposição publicitária. A granularidade descreve o nível de detalhe desses registros. Antes de qualquer agregação, deve ser estabelecido se a pergunta gerencial se refere ao cliente, à campanha, ao produto ou a outra entidade.

A escolha inadequada da granularidade produz resultados formalmente calculáveis, mas substantivamente incorretos. Quando uma tabela de pedidos é combinada com uma tabela de itens, por exemplo, o valor total do pedido pode ser repetido em cada item. A soma posterior superestima a receita, embora nenhuma fórmula esteja tecnicamente errada, porque o problema decorre da incompatibilidade entre as unidades registradas.

Uma verificação simples evita grande parte desses erros: antes e depois de cada junção, devem ser contadas as linhas e somadas as métricas principais. Se a receita total se altera após a junção de uma tabela de atributos, alguma linha foi duplicada. Além disso, a nomeação das bases pela unidade, como “pedidos_por_dia” ou “clientes_ativos”, torna evidente o nível de cada linha.

3.1.1Correspondência entre o denominador e a unidade de análise

Na análise do valor médio do pedido, o denominador deve corresponder ao número de pedidos, e não ao número de itens ou de clientes. Se o objetivo passar a ser a frequência de compra, a base deve ser reorganizada no nível do cliente. A unidade de análise deve ser registrada no dicionário de dados e confirmada antes da produção de qualquer indicador.

3.1.2Erros comuns na definição da unidade de análise

• Somar uma coluna de valor do pedido após a junção com a tabela de itens.
• Calcular médias por cliente a partir da tabela de pedidos sem agregá-la previamente ao nível do cliente.
• Deixar de conferir contagens e totais antes e depois de cada junção.

3.2Instrumentação e taxonomia de eventos

Grande parte dos dados de marketing digital origina-se da instrumentação, isto é, de códigos instalados em sites e aplicativos que registram eventos, como a visualização de um produto, a adição ao carrinho ou a conclusão de uma compra. A qualidade da análise depende das decisões tomadas nessa etapa, que definem quais eventos são registrados, com quais atributos e com quais nomes.

Uma taxonomia de eventos é o dicionário que define esses nomes e atributos. Na ausência de uma taxonomia, equipes diferentes criam eventos semelhantes com nomes distintos, como “add_to_cart”, “adicionar_carrinho” e “cart_add”, e os relatórios passam a somar eventos diferentes ou a ignorar parte dos dados.

A origem do tráfego costuma ser identificada por parâmetros incluídos nos links das campanhas, conhecidos como UTMs: origem (utm_source), meio (utm_medium), campanha (utm_campaign) e, opcionalmente, conteúdo e termo. Links sem esses parâmetros, ou com valores grafados de formas diferentes, fazem com que o tráfego seja classificado em categorias genéricas, como “direto” ou “outros”, o que distorce a comparação entre canais.

Restrições de privacidade, bloqueadores de anúncios e a exigência de consentimento para cookies também reduzem o volume de eventos registrados. Parte das visitas deixa de ser mensurada, e essa parcela não é aleatória, pois depende do navegador, do dispositivo e do perfil do usuário.

3.2.1Caso de mercado: tráfego direto inflado por falhas de UTM em uma marca de cosméticos

Uma marca de cosméticos observa que o tráfego “direto” representa 38% das visitas, proporção muito superior à histórica. A auditoria identifica três causas: links de e-mail enviados sem UTM, a mesma rede social registrada com cinco grafias diferentes e um aplicativo de mensagens que remove os parâmetros dos links. Após a padronização da taxonomia e a correção dos links, a participação do tráfego direto cai para 14% das visitas e o e-mail passa a ser o segundo canal em vendas.

3.2.2Padronização de nomes e monitoramento de categorias genéricas de tráfego

Recomenda-se manter um documento único com os nomes permitidos de eventos e de parâmetros de campanha, acompanhados de exemplos, e validar os links antes de cada envio. A participação de categorias genéricas, como direto e outros, deve ser monitorada, pois aumentos abruptos costumam indicar problemas de instrumentação, e não mudanças no comportamento do público.

3.2.3Erros comuns na instrumentação e na nomeação de eventos e campanhas

• Permitir que cada equipe crie seus próprios nomes de eventos e de campanhas.
• Interpretar o crescimento do tráfego direto como fortalecimento da marca sem auditar os links.
• Supor que os eventos registrados cobrem todos os usuários, desconsiderando bloqueios e ausência de consentimento.

3.3Modelo de dados e visão única do cliente

Os dados de marketing encontram-se distribuídos entre sistemas, como a plataforma de comércio eletrônico, o CRM, as ferramentas de mídia, o atendimento e as pesquisas. Para a análise conjunta, costuma-se organizar um modelo de dados com dois tipos de tabela. Tabelas de fatos registram eventos mensuráveis, como pedidos, visitas e contatos de mídia, cada um com data e valores. Tabelas de dimensões descrevem as entidades envolvidas, como clientes, produtos, campanhas e datas.

Esse arranjo, denominado modelo em estrela, facilita a resposta a perguntas que combinam fatos e dimensões, como a receita por categoria de produto e mês ou a conversão por campanha e região. Cada pergunta exige um caminho específico de junções, e o conhecimento desse caminho evita duplicações e ausências.

A visão única do cliente é uma tabela com uma linha por cliente que reúne atributos e comportamentos provenientes de várias fontes, como dados cadastrais, histórico de compras, uso de canais, contatos de atendimento e consentimentos. Essa tabela fundamenta segmentações, modelos de propensão e personalização, e depende das regras de identidade discutidas no subitem 3.4.

3.3.1Caso de mercado: integração de vendas, mídia e atendimento em um modelo de dados de uma rede de eletrodomésticos

Uma rede de eletrodomésticos mantinha relatórios de vendas, de mídia e de atendimento em planilhas separadas, com totais diferentes para o mesmo mês. A equipe construiu um modelo com fatos de pedidos, de atendimentos e de investimento em mídia, ligados às dimensões de cliente, produto, campanha e data. Com esse modelo, tornou-se possível relacionar clientes que registraram reclamações com suas compras posteriores e demonstrar que a recompra caía pela metade após um atendimento não resolvido.

3.3.2Definição do caminho de junções entre a pergunta e as tabelas

Antes da análise, deve ser definido o caminho entre a pergunta e as tabelas necessárias, o que inclui identificar o fato que contém a métrica, as dimensões que fornecem os cortes e a chave que liga cada par. Quando duas tabelas de fatos precisam ser combinadas, como pedidos e investimento em mídia, cada uma deve ser agregada ao nível comum antes da junção, como campanha e dia.

3.3.3Erros comuns na construção do modelo de dados e da visão única do cliente

• Juntar duas tabelas de fatos diretamente, o que multiplica as linhas.
• Manter definições diferentes de cliente em cada sistema e comparar os totais resultantes.
• Construir a visão única do cliente sem registrar a origem e a data de atualização de cada atributo.

3.4Integração, chaves e duplicidade

A integração combina registros provenientes de fontes como plataforma de comércio eletrônico, sistema de relacionamento com clientes, mídia e atendimento. A combinação depende de chaves que identifiquem entidades de maneira consistente. Identificadores persistentes, como código do cliente ou número do pedido, são preferíveis a campos instáveis, como nome, telefone ou endereço digitado livremente.

A duplicidade surge quando mais de um registro representa a mesma entidade ou quando uma junção entre tabelas cria correspondências múltiplas não previstas. A remoção automática de linhas idênticas não resolve necessariamente o problema. Devem ser definidos o critério de identidade, o registro prioritário e o tratamento de atributos conflitantes.

As regras de correspondência variam em rigor. Regras determinísticas exigem a igualdade de uma chave, como CPF ou e-mail, enquanto regras aproximadas comparam nomes, telefones e endereços e aceitam pequenas diferenças. Regras rígidas mantêm a mesma pessoa fragmentada em vários perfis, ao passo que regras permissivas unem pessoas diferentes. Desse modo, nenhuma regra é neutra, pois cada uma substitui um tipo de erro pelo outro.

3.4.1Caso de mercado: identificação de clientes entre aplicativo e lojas físicas em uma rede varejista

Uma rede varejista integra compras realizadas no aplicativo e nas lojas físicas. No aplicativo, o consumidor é identificado pelo endereço eletrônico; na loja, a identificação depende do CPF informado no caixa. Um mesmo consumidor pode aparecer como dois clientes quando utiliza endereços eletrônicos diferentes ou deixa de fornecer o CPF. Em sentido contrário, uma conta compartilhada por membros de uma família pode reunir pessoas distintas em um único perfil.

3.4.2Efeito das regras de identidade sobre a taxa de recompra

Uma taxa de recompra calculada após a integração pode aumentar apenas porque perfis antes separados foram consolidados. Portanto, mudanças em regras de identidade devem ser tratadas como alterações metodológicas, e não como variações de comportamento do mercado. A base final deve manter indicadores da fonte, da regra de correspondência e do grau de confiança de cada vínculo.

3.4.3Erros comuns na integração de registros e no tratamento de duplicidades

• Utilizar nome e telefone como chave sem nenhum controle de qualidade.
• Remover registros duplicados mantendo arbitrariamente o primeiro registro.
• Alterar a regra de identidade sem reprocessar a série histórica.

3.5Tempo, janelas e coortes

Quase toda métrica de marketing possui uma dimensão temporal implícita. A taxa de conversão depende da janela em que a compra é contabilizada, a taxa de recompra depende do período de observação e o total semanal depende dos dias de início e de término da semana. As decisões sobre tempo devem ser explícitas e idênticas entre as comparações.

Coortes agrupam clientes pelo momento em que um evento ocorreu, como o primeiro cadastro ou a primeira compra. O acompanhamento de cada coorte ao longo do tempo permite separar mudanças de comportamento de mudanças de composição. A principal precaução refere-se à maturidade, pois uma coorte cadastrada há cinco dias ainda não teve 30 dias para converter, e sua taxa de conversão em 30 dias parecerá baixa apenas por falta de tempo de observação.

Há também problemas operacionais. Pedidos realizados próximo à meia-noite podem ser registrados no dia seguinte quando os sistemas utilizam fusos horários diferentes. A semana ou o mês corrente aparecem incompletos nos painéis. Devoluções e cancelamentos são registrados dias após a venda e alteram números já reportados. Cada um desses efeitos pode criar quedas ou picos artificiais.

3.5.1Caso de mercado: queda aparente da conversão em coortes imaturas de um aplicativo de finanças pessoais

Um aplicativo de finanças pessoais alerta a diretoria para uma queda acentuada na conversão de cadastros em assinantes nas últimas semanas. A análise revela que a métrica utilizava uma janela de 30 dias e incluía coortes ainda imaturas. Quando apenas coortes com pelo menos 30 dias de observação são consideradas, a conversão permanece estável. Em consequência, o painel passou a exibir as coortes recentes em cinza, com a indicação de que ainda estavam em formação.

3.5.2Registro de janelas, fusos horários e maturidade das coortes

A definição de uma métrica deve registrar a janela de observação, o fuso horário de referência e o tratamento de devoluções. Em análises de coortes, devem ser comparadas apenas coortes com o mesmo tempo de observação, ou as coortes incompletas devem ser identificadas. Nos painéis, deve estar explícito quando o período atual ainda não foi encerrado.

3.5.3Erros comuns no tratamento do tempo e das coortes

• Comparar coortes recentes com coortes antigas usando a mesma janela sem considerar a maturidade.
• Comparar a semana corrente, ainda incompleta, com semanas encerradas.
• Combinar dados de sistemas com fusos horários diferentes.

3.6Dados ausentes e viés de seleção

Um dado ausente não equivale automaticamente a zero, ausência de comportamento ou resposta negativa. O campo pode estar vazio porque o evento não ocorreu, porque o sistema não registrou o evento ou porque a informação não foi solicitada. O significado da ausência deve ser investigado antes de qualquer substituição ou exclusão.

A proporção de valores ausentes é insuficiente para avaliar o risco analítico. Também deve ser examinado se a ausência se concentra em determinados canais, períodos ou grupos de clientes. Quando a probabilidade de observação está associada ao comportamento estudado, a base disponível pode representar apenas uma parcela selecionada da população.

Três situações costumam ser distinguidas. A ausência pode ser aleatória, sem relação com nenhuma variável relevante. Pode depender de variáveis observadas, como o canal de compra, caso em que o tratamento por grupo é útil. Pode ainda depender do próprio valor ausente, como ocorre quando clientes insatisfeitos deixam de responder; nesse caso, nenhum tratamento estatístico recupera a informação, e o viés precisa ser reconhecido.

3.6.1Caso de mercado: satisfação média estimada apenas com respostas voluntárias por e-mail

Uma empresa estima a satisfação média somente com respostas voluntárias recebidas por correio eletrônico. Clientes muito satisfeitos ou muito insatisfeitos podem apresentar maior propensão a responder, enquanto clientes indiferentes permanecem sub-representados. A média calculada descreve os respondentes, mas não necessariamente a base completa de clientes.

3.6.2Diagnóstico do padrão de ausência e escolha entre exclusão e imputação

O diagnóstico deve comparar a presença da informação entre segmentos relevantes e documentar o motivo operacional provável para cada ausência. A exclusão pode ser aceitável quando o volume é pequeno e não apresenta padrão sistemático. A imputação pode preservar o tamanho da base, mas introduz hipóteses adicionais e não recupera informação inexistente. Em ambos os casos, a análise deve informar como o tratamento altera a população efetivamente representada.

3.6.3Erros comuns no tratamento de dados ausentes

• Substituir valores ausentes por zero sem verificar o significado da ausência.
• Imputar a média geral e, desse modo, reduzir artificialmente a variação dos dados.
• Reportar a taxa de preenchimento sem examinar onde as ausências se concentram.

3.7Validação, consistência e valores extremos

A validação verifica se os valores obedecem a regras compatíveis com o processo de negócio. As verificações podem abranger domínio, intervalo, sequência temporal e coerência entre campos. Uma data de cancelamento anterior à contratação, uma quantidade negativa sem indicação de devolução ou uma campanha registrada após a conversão constituem sinais de inconsistência.

Valores extremos também exigem interpretação substantiva. Um pedido de alto valor pode representar erro de digitação, transação corporativa legítima ou fraude. A exclusão baseada apenas na distância em relação à média pode remover observações economicamente importantes. O tratamento deve considerar a origem do registro, a pergunta analítica e a sensibilidade do resultado.

As regras de validação funcionam melhor quando automatizadas e executadas a cada carga de dados, com alertas para mudanças no número de violações. Uma regra que identifica 0,1% dos registros por dia e passa a identificar 5% indica uma mudança no processo de coleta que deve ser investigada antes de qualquer análise.

3.7.1Caso de mercado: compra corporativa de R$ 85.000 em uma categoria de pedidos individuais

Uma plataforma identifica uma compra de R$ 85.000 em uma categoria cujo pedido típico permanece abaixo de R$ 500. A inspeção revela que o valor corresponde a uma aquisição corporativa válida. Para a previsão de demanda total, a transação deve ser preservada. Para descrever o comportamento do consumidor individual, a compra corporativa deve ser analisada separadamente, pois pertence a outro processo de decisão.

3.7.2Regras de negócio e regras estatísticas para o tratamento de valores extremos

Regras derivadas do processo de negócio, como a coerência entre quantidade, preço e total ou a identificação de compras corporativas, são preferíveis a regras puramente estatísticas. Quando a exclusão de valores extremos for necessária, o resultado deve ser comparado com e sem os registros excluídos, e as duas versões devem ser reportadas caso a conclusão se altere.

3.7.3Erros comuns na validação de dados e no tratamento de valores extremos

• Excluir automaticamente valores situados a mais de três desvios-padrão da média.
• Corrigir manualmente registros inconsistentes sem documentar a correção.
• Executar as validações uma única vez, e não a cada atualização dos dados.

3.8Transformação de variáveis

Os dados brutos raramente se encontram no formato exigido pela análise. A transformação de variáveis consiste em criar, a partir dos registros, medidas que descrevam melhor o comportamento de interesse. Exemplos comuns em marketing incluem o gasto dos últimos 90 dias, o número de categorias compradas, os dias desde a última compra e a participação de compras com desconto.

Três escolhas são frequentes. A primeira refere-se à janela de agregação, pois uma janela curta capta mudanças recentes, mas é ruidosa, enquanto uma janela longa é estável, mas reage lentamente. A segunda refere-se à forma da variável, uma vez que valores muito assimétricos, como gasto e número de visitas, costumam ser mais úteis em escala logarítmica, em percentis ou em faixas, porque assim poucos clientes extremos deixam de dominar a análise. A terceira refere-se ao tratamento de categorias raras, como cidades ou produtos com pouquíssimas observações, que podem ser agrupadas em “outros”.

Toda transformação deve utilizar apenas informação disponível no momento em que a análise ou o modelo será aplicado. Uma variável calculada com dados posteriores ao evento que se pretende prever produz resultados excelentes no histórico e inúteis na prática, problema conhecido como vazamento e tratado no capítulo 15.

3.8.1Caso de mercado: escolha da janela e da escala do gasto para prever a adesão à assinatura em uma rede de pet shops

Uma rede de pet shops pretende identificar os clientes com maior probabilidade de comprar ração por assinatura. A variável “gasto total desde o cadastro” apresenta pouca relação com a adesão, porque combina clientes antigos de baixo gasto mensal com clientes recentes muito ativos. Por outro lado, a variável “gasto mensal médio nos últimos 90 dias”, em escala logarítmica, apresenta relação clara com a adesão e passa a orientar a seleção dos clientes que recebem a oferta.

3.8.2Documentação e escolha das variáveis transformadas

A definição de cada variável criada deve registrar a fonte, a janela, a regra de cálculo e a data de referência. Devem ser testadas mais de uma janela e mais de uma forma, e a escolha deve ser orientada pela utilidade para a pergunta, e não pelo resultado mais favorável. Recomenda-se ainda armazenar as variáveis em uma base reutilizável, para que análises diferentes utilizem as mesmas definições.

3.8.3Erros comuns na transformação de variáveis

• Utilizar totais acumulados desde o cadastro, que favorecem clientes antigos.
• Calcular variáveis com dados posteriores ao momento da decisão.
• Criar dezenas de versões da mesma variável e escolher, sem validação, a versão que produz o melhor resultado.

3.9Governança, LGPD, consentimento e rastreabilidade

Governança de dados é o conjunto de regras que define quem pode acessar cada dado, com qual finalidade, por quanto tempo e com qual registro. Em marketing, a governança relaciona-se com a Lei Geral de Proteção de Dados (LGPD), que exige uma base legal para cada tratamento de dados pessoais, como o consentimento do titular, a execução de um contrato ou o legítimo interesse da empresa, e estabelece cuidados adicionais para dados sensíveis, como informações de saúde, religião ou origem racial.

Três princípios são especialmente relevantes para analistas. O princípio da finalidade estabelece que dados coletados para entregar um pedido não estão automaticamente liberados para qualquer outro uso. O princípio da necessidade restringe o tratamento aos dados indispensáveis ao objetivo. O princípio da transparência exige que o cliente consiga compreender como seus dados são utilizados. As inferências também estão sujeitas a esses princípios, pois um modelo que deduz uma condição de saúde a partir de compras produz um dado sensível, ainda que esse dado não tenha sido informado pelo titular.

A rastreabilidade complementa a governança do ponto de vista analítico. Uma base preparada deve permitir a reprodução das decisões adotadas, o que requer dados de origem preservados, transformações registradas em sequência e um relatório de qualidade com contagens de linhas, chaves duplicadas, valores ausentes e regras violadas. Esse registro permite distinguir uma mudança real no mercado de uma alteração causada por filtros, integrações ou correções posteriores.

3.9.1Caso de mercado: segmentação que infere condição de saúde em uma rede de farmácias

Uma rede de farmácias planeja enviar ofertas de produtos para pessoas com diabetes com base no histórico de compras. A área jurídica aponta que a segmentação infere uma condição de saúde, o que configura tratamento de dado sensível e exige base legal específica. A empresa, então, reformula a ação, passando a oferecer a inscrição voluntária em um programa de acompanhamento, com consentimento explícito e finalidade descrita, e somente depois personaliza as comunicações para os clientes que aderiram.

3.9.2Verificação da finalidade e da base legal antes de um novo uso dos dados

Antes da utilização de um dado em uma nova análise ou campanha, devem ser verificados a finalidade para a qual o dado foi coletado, a base legal registrada e a eventual inclusão de dados sensíveis ou de inferências sobre eles. Em caso de dúvida, o encarregado de proteção de dados da empresa deve ser consultado. O conteúdo deste subitem tem caráter didático e não substitui orientação jurídica.

3.9.3Erros comuns na governança, no uso de dados pessoais e na rastreabilidade

• Supor que um dado disponível na base pode ser utilizado para qualquer finalidade.
• Desconsiderar que inferências produzidas por modelos podem gerar dados sensíveis.
• Entregar uma análise sem registro das fontes, dos filtros e das transformações aplicadas.