Calculadora de teste A/B

No contexto de experimentos de teste A/B, significância estatística é a probabilidade de a diferença entre a versão de controle e a de teste do seu experimento não ser resultado de erro ou acaso.

Por exemplo, se você fizer um teste com um nível de significância estatística de 95%, essa é a probabilidade de as diferenças serem reais.

Ela é normalmente usada nos negócios para observar como seus experimentos afetam as taxas de conversão da sua empresa. Em pesquisas, a significância estatística é normalmente usada como forma de garantir a confiabilidade dos resultados. Por exemplo, se você perguntou às pessoas se elas preferem o conceito de anúncio A ou B em uma pesquisa, será preciso garantir que a diferença nos resultados seja estatisticamente relevante antes de decidir qual usar.

A primeira etapa é formar uma hipótese. Em qualquer experimento, há uma hipótese nula, que indica não haver uma relação entre os dois conceitos sendo comparados, e uma hipótese alternativa. A hipótese alternativa normalmente tenta provar a existência de uma relação entre dois conceitos. Ela é a afirmação que você está tentando comprovar. Se você estiver realizando um teste A/B de taxa de conversão, sua hipótese poderá envolver a inclusão de um botão, imagem ou texto em uma página para descobrir se isso afeta a taxa de conversão. Ao usar pesquisas para testes de conceito, como no exemplo acima, sua hipótese poderá envolver o teste de diferentes anúncios para descobrir de qual as pessoas gostam mais.

Depois de formular a hipótese nula e a hipótese alternativa, os estatísticos às vezes as testam para verificar se são sólidas. O escore z mede a validade da hipótese nula. Ele avalia se realmente não há relação entre os conceitos sendo comparados. O valor de p informa se a evidência que comprova sua hipótese alternativa é forte.

Ao realizar um teste de significância estatística, decida se ele será unidirecional ou bidirecional (também conhecidos como unicaudal ou bicaudal). O teste unidirecional pressupõe que sua hipótese alternativa terá um efeito direcional. Já o teste bidirecional considera se a sua hipótese também pode ter um efeito negativo nos resultados. O teste bidirecional é normalmente a opção mais conservadora.

Até mesmo estatísticos profissionais usam softwares de modelos estatísticos para calcular a significância e os testes que a sustentam. Portanto, não exploraremos muito esse tema. No entanto, se você estiver realizando um teste A/B, use a calculadora na parte superior desta página para calcular a significância estatística dos seus resultados. Se você estiver tentando calcular a significância dos resultados da sua pesquisa, a SurveyMonkey pode fazer isso automaticamente.