Calculadora de teste A/B

Seus resultados são estatisticamente relevantes?

Calcule sua relevância estatística

Visitantes

Conversões

Taxa de conversão

A

1.00%

B

1.14%

HipóteseUm teste bidirecional considera a possibilidade de sua variante ter um impacto negativo no resultado.

ConfiançaO nível de confiança de que seus resultados não são por acaso.

Resultado significativo!

A taxa de conversão da variante B (1.14%) foi 14% maior que a taxa de conversão da variante A (1%). Você pode ter 95% de confiança de que a variante B obterá melhores resultados que a variante A.

Potência

86.69%

Valor de p

0.0157

O que é significância estatística?

No contexto de experimentos de teste A/B, significância estatística é a probabilidade de a diferença entre a versão de controle e a de teste do seu experimento não ser resultado de erro ou acaso.

Por exemplo, se você fizer um teste com um nível de significância estatística de 95%, essa é a probabilidade de as diferenças serem reais.

Ela é normalmente usada nos negócios para observar como seus experimentos afetam as taxas de conversão da sua empresa. Em pesquisas, a significância estatística é normalmente usada como forma de garantir a confiabilidade dos resultados. Por exemplo, se você perguntou às pessoas se elas preferem o conceito de anúncio A ou B em uma pesquisa, será preciso garantir que a diferença nos resultados seja estatisticamente relevante antes de decidir qual usar.

Não se preocupe com os cálculos, nós fazemos essa parte para você. Obtenha significância estatística automática com um plano AVANÇADO. Veja os preços.

Como calcular a significância estatística

A primeira etapa é formar uma hipótese. Em qualquer experimento, há uma hipótese nula, que indica não haver uma relação entre os dois conceitos sendo comparados, e uma hipótese alternativa. A hipótese alternativa normalmente tenta provar a existência de uma relação entre dois conceitos. Ela é a afirmação que você está tentando comprovar. Se você estiver realizando um teste A/B de taxa de conversão, sua hipótese poderá envolver a inclusão de um botão, imagem ou texto em uma página para descobrir se isso afeta a taxa de conversão. Ao usar pesquisas para testes de conceito, como no exemplo acima, sua hipótese poderá envolver o teste de diferentes anúncios para descobrir de qual as pessoas gostam mais.

Depois de formular a hipótese nula e a hipótese alternativa, os estatísticos às vezes as testam para verificar se são sólidas. O escore z mede a validade da hipótese nula. Ele avalia se realmente não há relação entre os conceitos sendo comparados. O valor de p informa se a evidência que comprova sua hipótese alternativa é forte.

Ao realizar um teste de significância estatística, decida se ele será unidirecional ou bidirecional (também conhecidos como unicaudal ou bicaudal). O teste unidirecional pressupõe que sua hipótese alternativa terá um efeito direcional. Já o teste bidirecional considera se a sua hipótese também pode ter um efeito negativo nos resultados. O teste bidirecional é normalmente a opção mais conservadora.

Até mesmo estatísticos profissionais usam softwares de modelos estatísticos para calcular a significância e os testes que a sustentam. Portanto, não exploraremos muito esse tema. No entanto, se você estiver realizando um teste A/B, use a calculadora na parte superior desta página para calcular a significância estatística dos seus resultados. Se você estiver tentando calcular a significância dos resultados da sua pesquisa, a SurveyMonkey pode fazer isso automaticamente.

Não sabe por que não está conseguindo obter resultados relevantes?

Envie uma pesquisa para seus clientes e descubra o que eles querem.