Mensuração e fundamentos estatísticos

2.1Mensuração, construtos e variáveis

Mensuração é o processo de atribuir registros observáveis a um fenômeno de interesse segundo regras explícitas. Alguns fenômenos, como receita e quantidade de pedidos, são observados diretamente nos sistemas transacionais. Outros, como satisfação, confiança e intenção de compra, constituem construtos: conceitos abstratos que precisam ser representados por perguntas, escalas ou comportamentos observáveis.

A operacionalização estabelece como o construto será transformado em variável. A intenção de recompra, por exemplo, pode ser representada por uma resposta declarada em pesquisa, pela inclusão de um produto em uma lista de desejos ou por uma nova compra efetivamente realizada. As três variáveis descrevem manifestações distintas e não devem ser tratadas como equivalentes.

Toda medida combina três componentes: o fenômeno que se pretende mensurar, um erro aleatório que varia entre observações e, eventualmente, um erro sistemático que desloca as observações na mesma direção. O erro aleatório reduz a precisão da medida, enquanto o erro sistemático introduz viés. Desse modo, uma medida pode apresentar elevada estabilidade e, ainda assim, representar inadequadamente o construto de interesse.

Consequentemente, construtos relevantes costumam ser mensurados por mais de um indicador. A combinação entre comportamento observado, como o uso de funcionalidades, e percepção declarada, como a avaliação da experiência, reduz a dependência de uma única fonte de erro. O capítulo 14 retoma essa discussão por meio de escalas compostas por múltiplos itens.

2.1.1Caso de mercado: mensuração do engajamento em uma empresa de assinatura

Uma empresa de assinatura deseja mensurar engajamento. A equipe utiliza o número de acessos ao aplicativo como indicador principal. Entretanto, acessos frequentes podem refletir dificuldade para concluir uma tarefa, e não envolvimento positivo. Para melhorar a mensuração, o construto é decomposto em uso de funcionalidades centrais, conclusão de tarefas, recorrência e avaliação declarada da experiência.

2.1.2Avaliação da variável conforme a decisão que pretende informar

Uma variável deve ser avaliada pela proximidade com a decisão que pretende informar. Se o objetivo consiste em prever renovação, os acessos podem ser úteis mesmo sem representar integralmente o engajamento. Se o objetivo consiste em avaliar a qualidade da experiência, o mesmo indicador é insuficiente. A definição operacional, o período e a unidade observada devem acompanhar o valor reportado.

2.1.3Erros comuns na operacionalização de construtos

• Atribuir o nome do construto a um indicador que representa apenas parte do fenômeno, como denominar o número de acessos de engajamento.
• Comparar indicadores de períodos ou unidades diferentes como se representassem a mesma variável.
• Considerar uma medida válida apenas porque ela apresenta estabilidade entre meses consecutivos.

2.2Escalas de mensuração

A escala de mensuração determina quais comparações podem ser realizadas de forma substantivamente válida. Categorias nominais distinguem grupos sem estabelecer ordem. Categorias ordinais permitem ordenar respostas, mas não garantem que a distância entre posições sucessivas seja constante. Escalas intervalares admitem diferenças comparáveis entre valores, enquanto escalas de razão também possuem um zero interpretável como ausência da quantidade medida.

Nominal

Canal de aquisição, região e categoria do produto. Os valores identificam grupos, mas não expressam hierarquia.

Ordinal

Classificação de satisfação de “muito insatisfeito” a “muito satisfeito”. A ordem é informativa, mas os intervalos não são observados diretamente.

Intervalar

Índices construídos com distâncias interpretadas como equivalentes. Diferenças podem ser comparadas, mas razões dependem da origem adotada.

Razão

Receita, quantidade comprada e tempo desde a última compra. O zero representa ausência da quantidade mensurada.

A escala de mensuração também orienta a escolha das estatísticas-resumo e das representações gráficas. Variáveis nominais devem ser descritas por frequências e proporções; variáveis ordinais, por mediana, percentis e distribuição completa das respostas; variáveis intervalares e de razão, por médias, medidas de dispersão e comparações de diferenças. Somente nas escalas de razão é substantivamente válido afirmar, por exemplo, que o valor comprado por um cliente corresponde ao dobro do valor comprado por outro.

2.2.1Codificação numérica e natureza da escala

A codificação numérica não altera a natureza da escala. Atribuir os números 1, 2 e 3 aos canais “loja”, “aplicativo” e “site” não cria uma ordem nem torna significativa a média desses códigos. De modo semelhante, a média de uma escala ordinal pode ser utilizada como aproximação em determinados contextos, mas a interpretação deve reconhecer que a igualdade entre intervalos foi assumida, e não observada.

2.2.2Erros comuns no tratamento de escalas de mensuração

• Calcular a média de códigos numéricos atribuídos a categorias nominais.
• Afirmar que uma nota média de 4 corresponde ao “dobro” de uma nota média de 2.
• Reportar apenas a média de uma escala de satisfação, sem apresentar a distribuição das respostas.

2.3Desenho de questionários

Em uma pesquisa, a resposta depende tanto do conteúdo quanto da forma da pergunta. A redação, a ordem dos itens, o número de opções da escala e a presença de uma categoria neutra podem alterar a distribuição das respostas. Portanto, duas pesquisas sobre o mesmo tema podem produzir resultados distintos mesmo quando a opinião dos clientes permanece inalterada.

Alguns efeitos de mensuração são amplamente documentados. Perguntas sugestivas, como “o quanto você gostou do nosso novo atendimento?”, tendem a deslocar as respostas na direção positiva. A ordem dos itens também é relevante: perguntar sobre um aspecto específico, como a entrega, antes da avaliação geral pode influenciar a nota global. Escalas sem categoria neutra obrigam o respondente a adotar uma direção, enquanto questionários excessivamente longos aumentam a fadiga e a taxa de abandono.

Há ainda vieses atribuíveis ao respondente. A desejabilidade social conduz a respostas percebidas como socialmente aceitáveis, a aquiescência conduz à concordância com afirmações independentemente de seu conteúdo e a memória torna-se imprecisa quando a pergunta se refere a comportamentos distantes no tempo. Por essa razão, perguntas sobre comportamentos recentes e concretos tendem a ser mais confiáveis do que perguntas sobre intenções futuras.

As boas práticas incluem a formulação de uma única ideia por pergunta, o uso de linguagem simples e neutra, a adoção de opções de resposta exaustivas e mutuamente exclusivas, a organização dos itens do geral para o específico e a realização de um teste-piloto antes da aplicação definitiva.

2.3.1Caso de mercado: efeito da ordem das perguntas sobre a satisfação medida por um banco digital

Um banco digital mensura a satisfação com o aplicativo por meio de duas versões de questionário. Na primeira versão, a avaliação geral aparece após cinco perguntas sobre problemas de acesso; na segunda, aparece no início. A proporção de clientes satisfeitos é 9 pontos percentuais menor na primeira versão. Em consequência, o banco passa a fixar a pergunta geral no início e a manter a mesma estrutura em todas as ondas da pesquisa, a fim de preservar a comparabilidade da série histórica.

2.3.2Comparabilidade entre pesquisas e tratamento de quebras de série

Na comparação entre pesquisas, devem ser verificadas a redação, a escala e a ordem das perguntas. Alterações no questionário devem ser tratadas como quebras de série, de forma análoga às mudanças na definição de uma métrica. Quando a decisão depende de uma estimativa específica, como a proporção de clientes satisfeitos, versões alternativas do questionário podem ser avaliadas em amostras aleatórias para estimar o efeito da redação.

2.3.3Erros comuns na redação e na aplicação de questionários

• Formular perguntas duplas, como “o atendimento foi rápido e cordial?”.
• Alterar o questionário entre ondas de pesquisa e comparar os resultados sem considerar a quebra de comparabilidade.
• Utilizar a intenção declarada de compra como previsão direta de vendas.

2.4NPS, CSAT e CES

Três métricas são frequentemente utilizadas para mensurar a experiência do cliente. O Net Promoter Score (NPS) solicita a probabilidade de recomendação da empresa em uma escala de 0 a 10; respostas 9 e 10 são classificadas como promotoras, respostas 7 e 8 como neutras e respostas de 0 a 6 como detratoras. O NPS corresponde à porcentagem de promotores menos a porcentagem de detratores e varia de −100 a +100. O CSAT, derivado de customer satisfaction, costuma representar a proporção de clientes satisfeitos ou muito satisfeitos com uma interação. O CES, derivado de customer effort score, mensura o esforço exigido do cliente para resolver uma demanda.

Cada métrica responde a uma pergunta diferente. O NPS é utilizado como indicador geral da relação com a marca, o CSAT avalia interações específicas, como uma entrega ou um atendimento, e o CES é útil em processos de serviço, nos quais a redução do esforço tende a reduzir cancelamentos.

Por resultar da diferença entre duas proporções, o NPS descarta parte da informação disponível. Uma base com elevada proporção de promotores e detratores pode apresentar o mesmo NPS que uma base composta predominantemente por clientes neutros, embora as duas distribuições exijam ações distintas. Além disso, o NPS apresenta elevada variabilidade em amostras pequenas: com 100 respostas, diferenças mensais de 10 pontos podem decorrer exclusivamente da variação amostral.

2.4.1Caso de mercado: aumento do NPS de uma operadora de internet por mudança na composição dos respondentes

Uma operadora de internet observa aumento do NPS regional de 18 para 24. A distribuição completa revela que a proporção de promotores permaneceu estável, enquanto a proporção de detratores diminuiu porque clientes insatisfeitos deixaram de responder após uma alteração no envio da pesquisa por SMS. O aumento do NPS decorreu da composição dos respondentes, e não de uma melhoria demonstrada na experiência.

2.4.2Relato do NPS com distribuição das respostas, tamanho da amostra e margem de erro

O NPS deve ser reportado com a distribuição de promotores, neutros e detratores, o número de respostas e a margem de erro. Para apoiar decisões, a métrica deve ser combinada com perguntas abertas sobre os motivos das avaliações e relacionada a comportamentos observados, como recompra e cancelamento, a fim de verificar sua capacidade preditiva na população analisada.

2.4.3Erros comuns na interpretação de NPS, CSAT e CES

• Comparar o NPS entre meses ou regiões sem considerar a margem de erro.
• Interpretar variações do NPS sem verificar mudanças na composição dos respondentes.
• Utilizar o NPS para avaliar uma interação específica, para a qual o CSAT ou o CES seriam mais adequados.

2.5Tendência central e dispersão

Medidas de tendência central resumem a posição de uma distribuição. A média utiliza todos os valores e responde intensamente a observações extremas. A mediana identifica o ponto que separa a metade inferior da metade superior dos registros e tende a permanecer mais estável em distribuições assimétricas. A moda identifica o valor ou a categoria mais frequente.

Medidas de dispersão descrevem o grau de heterogeneidade. Duas campanhas podem apresentar o mesmo valor médio de pedido e distribuições muito diferentes: uma pode concentrar vendas próximas da média, enquanto a outra combina muitos pedidos pequenos com poucas compras de valor elevado. A interpretação gerencial requer a posição e a variabilidade.

As medidas de dispersão mais utilizadas são a amplitude, que considera apenas os valores extremos; o desvio-padrão, que resume a distância típica das observações em relação à média; e o intervalo interquartil, que contém os 50% centrais dos dados e apresenta baixa sensibilidade a poucos valores extremos. Percentis, como o 90º percentil, são úteis para descrever as caudas da distribuição: o tempo de entrega não excedido por 90% dos pedidos, por exemplo, pode ser mais informativo para o cliente do que o tempo médio.

2.5.1Escolha entre média e mediana em distribuições assimétricas

Quando a distribuição de valores de pedido apresenta forte assimetria, a mediana pode descrever melhor a compra típica. A média permanece necessária para estimar receita agregada e valor econômico esperado. A escolha entre medidas não deve ser orientada pela aparência mais favorável do resultado, mas pela pergunta que será respondida.

2.5.2Erros comuns na descrição de tendência central e dispersão

• Reportar somente a média de variáveis com distribuições fortemente assimétricas, como o valor do pedido ou o tempo de sessão.
• Comparar grupos exclusivamente pela média, sem considerar a dispersão.
• Excluir valores extremos para “melhorar” a média sem justificar a exclusão.

2.6Visualização de distribuições

A inspeção gráfica deve anteceder o cálculo das estatísticas-resumo. O histograma divide os valores em intervalos e apresenta a frequência de observações em cada faixa, permitindo identificar assimetria, concentrações e grupos distintos. O boxplot resume a distribuição por meio de cinco medidas: mínimo, primeiro quartil, mediana, terceiro quartil e máximo, além de destacar valores afastados. O gráfico de pontos representa cada observação individual e é especialmente adequado para amostras pequenas.

Cada representação gráfica omite determinadas características. O histograma depende da largura dos intervalos: faixas excessivamente largas ocultam detalhes, enquanto faixas muito estreitas ampliam o ruído visual. O boxplot é compacto, mas não evidencia uma distribuição bimodal, como pode ocorrer quando clientes de varejo e de atacado são agregados. Por essa razão, análises exploratórias devem combinar representações complementares.

A forma da distribuição orienta as decisões analíticas subsequentes. Uma assimetria acentuada sugere o uso da mediana e de percentis, dois picos sugerem a existência de grupos que deveriam ser analisados separadamente e uma cauda longa sugere que poucos clientes concentram grande parte do valor.

2.6.1Caso de mercado: distribuição bimodal do valor dos pedidos de uma distribuidora de alimentos

Uma distribuidora de alimentos analisa o valor dos pedidos de seus clientes. O boxplot sugere uma distribuição unimodal, com mediana de R$ 900. Entretanto, o histograma revela dois picos: restaurantes pequenos, com pedidos em torno de R$ 400, e redes, com pedidos superiores a R$ 2.500. A política de frete mínimo, definida com base na mediana agregada, mostrou-se inadequada para ambos os grupos.

2.6.2Procedimento de exploração visual de uma nova variável

A exploração de uma nova variável deve começar pela comparação de histogramas construídos com diferentes larguras de faixa, seguida da análise do boxplot e da distribuição por segmento. Devem ser registrados a assimetria, os picos, os valores extremos e o número de observações. Esses registros fundamentam a escolha subsequente das estatísticas-resumo e dos métodos analíticos.

2.6.3Erros comuns na visualização de distribuições

• Concluir sobre a forma da distribuição a partir de um único histograma, com faixas definidas pelo padrão do software.
• Utilizar apenas o boxplot para dados que podem conter mais de um grupo.
• Omitir a inspeção visual e iniciar diretamente o cálculo de médias ou a modelagem.

2.7Correlação, associação e paradoxo de Simpson

A correlação mensura o grau em que duas variáveis numéricas variam conjuntamente. O coeficiente varia de −1 a +1: valores próximos de +1 indicam associação linear positiva; valores próximos de −1 indicam associação linear negativa; e valores próximos de zero indicam ausência de associação linear evidente. A correlação não demonstra causalidade, e um coeficiente próximo de zero não exclui relações não lineares ou associações restritas a determinados segmentos.

Associações entre taxas e grupos podem produzir interpretações igualmente inadequadas. O paradoxo de Simpson ocorre quando uma comparação agregada indica uma direção, enquanto as comparações realizadas dentro de cada segmento indicam a direção oposta. O fenômeno surge quando os grupos comparados apresentam composições distintas e a variável de segmentação afeta o resultado.

Em marketing, o caso típico envolve campanhas ou canais direcionados a públicos com propensões distintas. Uma campanha voltada principalmente a clientes recorrentes, cuja taxa de conversão é elevada, pode apresentar melhor desempenho agregado mesmo quando sua conversão é inferior à da campanha concorrente tanto entre clientes novos quanto entre recorrentes.

2.7.1Caso de mercado: paradoxo de Simpson na comparação entre canais de captação de uma rede de academias

Uma rede de academias compara dois canais de captação de matrículas. No total, o canal de indicação converte 12% dos interessados, enquanto o canal de mídia paga converte 9%. Na análise por unidade, entretanto, a mídia paga apresenta conversão superior em todas as unidades. A diferença agregada ocorre porque as indicações se concentram nas unidades centrais, nas quais a conversão é naturalmente mais elevada. Consequentemente, a redução do investimento em mídia paga com base no número agregado teria diminuído as matrículas.

2.7.2Verificação da composição dos grupos antes da comparação de taxas

Antes da comparação de taxas entre grupos, deve-se verificar se a composição é semelhante nas variáveis que afetam o resultado, como tipo de cliente, região, dispositivo ou período. Caso essa condição não seja atendida, a comparação deve ser apresentada por segmento ou ajustada pela composição. Para avaliar o desempenho de um canal, por exemplo, a comparação entre unidades pertencentes a segmentos semelhantes tende a ser mais adequada.

2.7.3Erros comuns na interpretação de correlações e de taxas agregadas

• Comparar taxas agregadas entre grupos com composições muito diferentes.
• Interpretar uma correlação forte como evidência de que uma variável causa a outra.
• Concluir que não há relação entre as variáveis porque a correlação geral é próxima de zero.

2.8População, amostra e representatividade

A população reúne todas as unidades às quais a conclusão pretende ser aplicada. A amostra contém as unidades efetivamente observadas. Uma amostra é representativa quando o procedimento de seleção preserva, em grau adequado, as características relevantes da população para a pergunta analisada.

O aumento do tamanho da amostra reduz parte da incerteza produzida pela variação aleatória, mas não corrige um mecanismo sistemático de seleção. Uma pesquisa respondida por milhares de clientes altamente engajados pode estimar com precisão a opinião desse grupo e, ainda assim, representar inadequadamente o conjunto da base.

Entre a população e os dados existem várias etapas em que unidades podem ser perdidas, como o alcance do canal de contato, o envio efetivo do convite e a decisão de responder. Cada etapa pode introduzir um viés diferente. O erro total de uma pesquisa combina esses vieses com a variação aleatória da amostra.

2.8.1Caso de mercado: questionário de experiência de compra exibido apenas após a confirmação do pedido

Uma plataforma avalia a experiência de compra por meio de um questionário exibido apenas após a confirmação do pedido. Visitantes que abandonaram o carrinho não recebem o questionário. Os resultados descrevem compradores que concluíram a jornada e não podem ser generalizados diretamente para todos os visitantes expostos ao processo de compra.

2.8.2Descrição da cobertura e do procedimento de seleção da amostra

A descrição da amostra deve indicar quem poderia ser selecionado, como o contato foi realizado, qual período foi coberto e quais grupos ficaram ausentes. A representatividade decorre do desenho de seleção e da cobertura da população, não apenas da quantidade de observações.

2.8.3Erros comuns na avaliação da representatividade da amostra

• Considerar que uma amostra grande é automaticamente representativa.
• Generalizar para todos os clientes resultados obtidos apenas com clientes que concluíram uma compra.
• Omitir a taxa de resposta e a comparação entre o perfil dos respondentes e o perfil da base.

2.9Métodos de amostragem

Os métodos de amostragem diferem quanto ao procedimento de seleção das unidades. Na amostragem aleatória simples, todas as unidades apresentam a mesma probabilidade de seleção. Na amostragem estratificada, a população é dividida em grupos, como regiões ou faixas de valor, e uma amostra é sorteada em cada estrato. Esse procedimento assegura a presença dos grupos definidos e tende a reduzir a incerteza quando há elevada heterogeneidade entre eles.

Na amostragem por conglomerados, grupos inteiros, como lojas ou cidades, são sorteados, e todas as unidades de cada grupo sorteado são observadas. O método reduz o custo de campo, mas aumenta a incerteza quando as unidades de um mesmo grupo são muito semelhantes entre si. Na amostragem por cotas, o pesquisador preenche cotas por perfil, mas escolhe livremente os entrevistados dentro de cada cota. Na amostragem por conveniência, por sua vez, são observadas as unidades mais acessíveis.

Os dois últimos métodos não são probabilísticos: não é possível calcular a probabilidade de inclusão de cada unidade e, consequentemente, a margem de erro amostral convencional não é aplicável. Esses métodos podem ser adequados à exploração de hipóteses e ao teste de questionários. Entretanto, seu uso para estimar parâmetros populacionais requer o reconhecimento explícito do risco de viés de seleção.

2.9.1Caso de mercado: estimação do preço médio no varejo por uma fabricante de bebidas

Uma fabricante de bebidas pretende estimar o preço médio praticado no varejo. Uma coleta inicial, realizada nas lojas mais próximas do escritório, estima preços 7% superiores ao valor populacional porque se concentra em bairros de renda alta. Na coleta subsequente, as lojas são estratificadas por formato e região, e unidades são sorteadas em cada estrato. A nova estimativa aproxima-se do preço observado nos dados de varejo e apresenta menor variação entre coletas.

2.9.2Escolha do método de amostragem conforme o uso pretendido do resultado

O método deve ser selecionado de acordo com o uso pretendido do resultado. A estimação de uma proporção ou média populacional requer, preferencialmente, métodos probabilísticos e estratificação pelas variáveis mais associadas ao resultado. Para explorar motivos ou testar um questionário, amostras por conveniência podem ser suficientes. Em todos os casos, o procedimento de seleção das unidades deve ser documentado.

2.9.3Erros comuns na escolha e na análise de métodos de amostragem

• Calcular a margem de erro de amostras por conveniência como se fossem aleatórias.
• Tratar uma amostra por conglomerados como amostra aleatória simples e, em consequência, subestimar a incerteza.
• Estratificar por variáveis não relacionadas ao resultado e, desse modo, reduzir a eficiência da amostragem.

2.10Distribuições amostrais

Uma população contém todas as unidades relevantes para uma investigação. Em marketing, a população pode corresponder a todos os clientes ativos, a todas as visitas recebidas por um site durante determinado período ou a todas as compras realizadas em uma categoria. Como a observação integral dessa população nem sempre é viável, uma amostra é utilizada para estimar características populacionais.

Cada amostra produz uma estatística, como a média do valor dos pedidos ou a proporção de visitantes que concluíram uma compra. Se o procedimento de amostragem fosse repetido muitas vezes, seriam obtidos valores ligeiramente diferentes para a mesma estatística. A distribuição formada por esses valores é denominada distribuição amostral.

A distribuição amostral não deve ser confundida com a distribuição dos dados individuais. A primeira descreve a variação de uma estatística entre amostras; a segunda descreve a variação das observações dentro da população. Essa distinção sustenta a construção de intervalos de confiança, testes de hipóteses e avaliações da precisão de métricas de marketing.

Duas regularidades conferem aplicabilidade prática a esse conceito. A variabilidade das médias diminui na proporção inversa da raiz quadrada do tamanho da amostra; portanto, a redução da incerteza pela metade requer a quadruplicação do tamanho amostral. Além disso, em amostras suficientemente grandes, a distribuição das médias tende à normalidade mesmo quando os dados individuais apresentam forte assimetria, resultado conhecido como teorema central do limite.

2.10.1Precisão da média do valor dos pedidos em função do tamanho da amostra

Considere uma empresa de comércio eletrônico interessada em estimar o valor médio dos pedidos realizados durante uma campanha. Uma única média amostral constitui uma estimativa do valor médio populacional, mas não informa, isoladamente, o grau de precisão dessa estimativa. A distribuição amostral permite quantificar a variação esperada entre amostras e, por consequência, avaliar se diferenças observadas entre campanhas podem refletir apenas variação amostral.

Os valores da tabela são ilustrativos. A estimativa obtida com 400 pedidos apresenta erro-padrão menor, razão pela qual tende a variar menos entre amostras equivalentes. Entretanto, o aumento do tamanho da amostra não corrige problemas de seleção.

2.10.2Erros comuns na interpretação de distribuições amostrais

• Confundir a dispersão dos dados individuais com a precisão da média.
• Esperar que a duplicação do tamanho da amostra reduza a incerteza pela metade.
• Tratar diferenças entre duas amostras pequenas como diferenças reais sem considerar a variação amostral.

2.11Intervalo de confiança e margem de erro

Uma estimativa amostral deve ser acompanhada de uma indicação de sua precisão. O intervalo de confiança é uma faixa calculada a partir da amostra por um procedimento que, em repetições sucessivas, contém o parâmetro populacional em uma proporção conhecida dos casos. Um procedimento com nível de confiança de 95% significa que, caso a pesquisa fosse repetida muitas vezes, aproximadamente 95 em cada 100 intervalos construídos dessa forma conteriam o parâmetro populacional.

A margem de erro corresponde à metade da largura do intervalo. Em pesquisas de proporções, como a porcentagem de clientes satisfeitos, uma aproximação é útil: com aproximadamente 1.000 respostas, a margem de erro máxima é de cerca de 3 pontos percentuais para um nível de confiança de 95%; com 100 respostas, a margem máxima é de aproximadamente 10 pontos percentuais. A margem de erro aumenta quando se exige maior nível de confiança e diminui à medida que o tamanho da amostra cresce.

O intervalo de confiança descreve apenas a incerteza associada à variação aleatória da amostragem. Vieses de cobertura, não resposta ou redação das perguntas não são incorporados à estimativa. Assim, uma pesquisa com margem de erro de 2 pontos percentuais pode apresentar viés de 10 pontos percentuais caso o procedimento de seleção seja inadequado.

2.11.1Caso de mercado: comparação da satisfação entre duas lojas com amostras de tamanhos diferentes

Uma rede de supermercados recebe duas estimativas de satisfação por loja: a loja A apresenta 82% de clientes satisfeitos com 60 respostas, enquanto a loja B apresenta 76% de clientes satisfeitos com 900 respostas. A diretoria considera premiar a loja A. Entretanto, os intervalos indicam que a estimativa da loja A varia aproximadamente de 72% a 92%, enquanto a estimativa da loja B varia de 73% a 79%. Com os dados disponíveis, não é possível concluir que a satisfação seja superior na loja A; a decisão deve incorporar novas ondas de pesquisa e indicadores adicionais.

2.11.2Relato da incerteza e planejamento do tamanho amostral

Sempre que uma proporção ou média amostral for reportada, devem ser informados o tamanho da amostra e o intervalo de confiança ou a margem de erro. Na comparação entre dois grupos, deve-se avaliar se a diferença observada é elevada em relação à incerteza combinada, tema examinado com maior detalhe no capítulo 8. No planejamento da pesquisa, a margem de erro desejada deve orientar a definição do tamanho amostral.

2.11.3Erros comuns na interpretação de intervalos de confiança e margens de erro

• Afirmar que há 95% de probabilidade de o valor real estar contido em um intervalo específico já calculado.
• Desconsiderar a margem de erro de segmentos pequenos, que costuma ser muito superior à margem de erro do total.
• Tratar a margem de erro como medida de toda a incerteza da pesquisa, incluindo os vieses.