O que é teste t? Guia para analisar resultados de pesquisa

Embora qualquer pessoa possa ver a diferença entre dois números, descobrir se essa diferença é estatisticamente significativa exige mais trabalho.

Suponhamos que você aplicou uma pesquisa de satisfação de clientes no trabalho. Seu chefe quer analisar se homens dão um Net Promoter Score® (NPS) mais baixo para a empresa do que as mulheres. 

Nos dados, você percebe que a média das avaliações dos homens foi 9, enquanto a média das mulheres foi 12. Como saber se 9 é realmente diferente de 12? É aí que entram os testes t.

Neste artigo, vamos explicar o que é o teste t e em quais situações ele é usado, mostrar exemplos práticos e ensinar como interpretar os resultados. 

O teste t é um teste estatístico que avalia se a diferença entre duas médias é significativa usando a distribuição t. Ele ajuda a identificar se a diferença observada entre dois grupos reflete um efeito real ou se provavelmente ocorreu por acaso.

Testar a significância estatística é comum em testes de conceito e testes de produto. Em testes de conceito, testes A/B são frequentemente usados para determinar se um conceito de anúncio tem melhor desempenho que outro. Da mesma forma, os testes de produto podem mostrar se um produto terá bom desempenho ao ser lançado no mercado. 

Os testes t usam fórmulas específicas para comparar médias e verificar se a diferença é estatisticamente significativa. O teste t de duas amostras é o mais comum em análises de pesquisa:

Veja as fórmulas para o teste t de amostra única e o teste t pareado:

Tanto no teste t de amostra única quanto no teste t pareado, o valor t calculado é comparado a um valor crítico da distribuição t para avaliar a significância.

O teste t é usando quando se quer saber se duas médias são significativamente diferentes e não apenas numericamente distintas nos resultados de uma pesquisa. Ele ajuda a comparar médias de grupos, avaliar diferenças entre amostras e decidir se uma diferença é estatisticamente significativa com base no valor de p e no nível de confiança.

Entre alguns cenários comuns de pesquisa, temos:

Use o teste t quando precisar avaliar diferenças entre médias, comparar resultados com um parâmetro de referência ou validar hipóteses em amostras pequenas. O teste t é uma escolha confiável para análise de pesquisas, testes A/B e qualquer situação em que seja necessário comprovar que uma diferença nos seus dados é real.

Antes de aplicar o teste t, verifique se seus dados atendem a algumas premissas básicas para garantir resultados confiáveis.

Fazer essa checagem básica ajuda a garantir que qualquer diferença observada represente um sinal real e não apenas ruído nos dados.

Existem três tipos de teste t usados com frequência por pesquisadores, cada um com finalidades diferentes que explicaremos a seguir.

O teste t de amostra única verifica se a média dos dados de um grupo (neste caso, o CES geral) é diferente de um valor que você determinar.

Exemplo: a média atual do índice de esforço de clientes (CES) da sua empresa é 4,2. Esse CES de 4,2 representa de forma significativa maior esforço do que o padrão do setor, que é 5,0?

O teste t para duas amostras avalia se as médias de dois grupos independentes são significativamente diferentes entre si. Se as variâncias dos grupos forem desiguais ou os tamanhos das amostras estiverem desbalanceados, use o teste t de Welch (disponível na maioria das ferramentas), pois ele não presume variâncias iguais.

Exemplo: sua hipótese é que homens atribuem um NPS menor à sua empresa do que as mulheres. A média do NPS entre homens é de 9, enquanto entre mulheres é de 12. A média 9 é significativamente diferente da de 12?

Esse teste é usado quando você aplica a mesma pesquisa ao mesmo grupo de pessoas duas vezes. O teste t pareado mostra se a média mudou entre a primeira e a segunda aplicação da pesquisa.

Exemplo: você entrevistou o mesmo grupo de clientes duas vezes: uma em abril e outra em maio, após eles verem um anúncio da sua empresa. O NPS da sua empresa mudou depois que os clientes viram o anúncio?

Existem quatro etapas para realizar um teste t.

Nesta seção, vamos conhecer as quatro etapas usando como exemplo as avaliações de NPS mencionadas no início: 

Sua hipótese é que homens dão um NPS menor para sua empresa do que as mulheres. A média do NPS entre homens é 9, enquanto para mulheres é 12. O 9 é significativamente diferente de 12? Esse é um exemplo de aplicação do teste t de duas amostras.

Vamos nos aprofundar nas etapas e no exemplo do teste t.

Cada tipo de teste t tem uma fórmula específica para calcular a estatística t. Neste exemplo, usaremos a fórmula do teste t de duas amostras, em que: 

Provavelmente, você fará os testes t em uma planilha ou um programa estatístico (como Excel ou SPSS). No entanto, se quiser calcular manualmente, as fórmulas dos outros dois tipos de teste t estão descritas a seguir.

Os graus de liberdade representam o número de maneiras como a média pode variar. Neste caso, correspondem ao número de avaliações de NPS que você pode ter em um grupo de respondentes. Assim como a estatística t, a fórmula dos graus de liberdade varia conforme o tipo de teste t realizado. 

Essa fórmula deve ser usada para determinar os graus de liberdade em testes t de duas amostras.

O valor crítico é o limite a partir do qual a diferença entre dois números é considerada estatisticamente significativa. 

De acordo com esta tabela, para um teste bicaudal com nível de alfa de 0,05 e 41 graus de liberdade, o valor crítico é 2,02. Vale destacar que a maioria dos analistas prefere o teste bicaudal ao unicaudal, pois é uma abordagem mais conservadora. 

Para saber mais sobre as diferenças entre testes unicaudais e bicaudais, confira este vídeo da Khan Academy.

Se sua estatística t for maior que o valor crítico, a diferença é significativa. Se for menor, os dois números são, do ponto de vista estatístico, indistinguíveis.

No nosso exemplo, o valor absoluto da estatística t é 0,86, que não é maior do que o valor crítico de 2,02. Portanto, podemos concluir que homens não dão notas de NPS significativamente menores do que as mulheres.

Interpretar os resultados do teste t envolve analisar a estatística t, o valor de p e o intervalo de confiança para entender se a diferença entre seus grupos reflete um efeito real ou apenas uma variação aleatória. Essas métricas mostram juntas o tamanho da diferença, a força das evidências e o nível de confiança que você pode ter no resultado. O quadro de dúvidas e respostas abaixo explica o que cada métrica indica e como analisar os resultados do teste t.

O valor t indica o tamanho da diferença entre as médias dos grupos em relação à variabilidade dos seus dados. Um t absoluto maior significa que há um sinal acima do nível de ruído, enquanto um t menor sugere que a diferença pode ser apenas fruto do acaso.

O valor de p indica a probabilidade de obter os mesmos resultados obtidos se a hipótese nula (ou seja, nenhuma diferença real) for verdadeira. Muitas equipes adotam o limite de 0,05: p ≤ 0,05 sugere uma diferença estatisticamente significativa, enquanto p > 0,05 indica que não há diferença significativa nessa amostra.

O intervalo de confiança (IC) fornece uma faixa provável para a diferença real entre as médias, oferecendo mais contexto que um simples “sim ou não” sobre a significância. Se o IC passar pelo zero, o efeito não é conclusivo; se ficar todo acima ou todo abaixo de zero, o resultado é significativo no nível de confiança escolhido.

Uma diferença significativa é aquela que é estatisticamente significativa e também tem valor prático. Analise o tamanho do efeito estimado e o intervalo de confiança para entender o tamanho que essa diferença pode ter e se realmente importará para sua decisão.

Amostras maiores reduzem a variabilidade, estreitam os intervalos de confiança e facilitam a detecção de diferenças reais. Amostras pequenas geram mais incerteza, tornando mais difícil interpretar efeitos próximos ao limite da significância.

Um bom resumo dos resultados do teste t deixa claro por que a comparação foi realizada, o que o teste revelou e qual o seu grau de confiança na diferença entre os grupos. Sua função é traduzir os resultados estatísticos para linguagem simples, vinculá-los à pergunta original e destacar o que as descobertas sugerem para as decisões futuras.

Ao resumir os resultados do teste t, inclua estes elementos essenciais:

Evitar alguns erros simples pode ajudar você a obter resultados de teste t mais claros e confiáveis dos dados da pesquisa.

Os testes t são usados para determinar se a diferença entre as médias de dois grupos amostrais é estatisticamente significativa. Você pode usar o teste t na análise de dados de uma pesquisa para validar a confiabilidade dos seus dados. 

A SurveyMonkey facilita o processo de criação e envio de pesquisas para grupos amostrais, atendendo às necessidades de pesquisa da sua organização. Com a SurveyMonkey, você pode criar pesquisas de mercado e questionários do zero ou aproveitar nossa seleção com mais de 400 modelos prontos.

Comece já a coletar dados de pesquisa para análise e ajude sua organização a tomar decisões melhores para crescer. Crie sua conta gratuita hoje mesmo!

NPS, Net Promoter e Net Promoter Score são marcas registradas da Satmetrix Systems, Inc., Bain & Company e Fred Reichheld.