Por que as lojas desenvolvem seus layouts de uma determinada maneira? Por que pessoas simpáticas e de confiança imitam o comportamento de outras pessoas? Por que as pessoas conversam de forma positiva consigo mesmas para melhorar a autoestima?
A resposta a cada uma dessas perguntas é a mesma: para influenciar pessoas no nível subconsciente a fim de que acreditem ou se comportem da forma desejável.
Ao elaborar questionários, é trabalho do criador do questionário evitar influenciar os respondentes e criar um questionário que instigue respostas sinceras e ponderadas. Caso contrário, os dados das respostas não serão tão precisos e valiosos quanto necessário.
Para evitar um viés no questionário, mostraremos formas comuns de limitar sua influência no subconsciente dos respondentes.
Vamos começar com uma causa comum de viés em questionários: a ordem das opções de resposta em uma pergunta.
Viés de ordem nas opções de resposta
Qual é o tipo de pergunta mais usado?
Como as perguntas de múltipla escolha usam opções de resposta, vale a pena saber identificar e evitar o viés de ordem nas opções de resposta.
Esse tipo de viés ocorre quando a ordem das suas opções de resposta influencia o respondente a selecionar uma resposta específica ou uma combinação de respostas. Suas duas formas mais comuns são:
- Viés de primazia: tendência a o respondente escolher uma das primeiras opções apresentadas. Isso normalmente ocorre porque é a primeira opção que ele lê e com a qual concorda ou porque está respondendo ao questionário com pressa e sempre escolhe uma das primeiras opções.
- Viés de recência: tendência a escolher uma opção de resposta apresentada no fim da lista (mais fácil de lembrar para o respondente ao selecionar uma resposta).
Como evitar esses vieses de questionário? A melhor forma é randomizar as opções de resposta das perguntas.
Para ilustrar o impacto da aleatoriedade no viés de ordem das opções de resposta, a equipe de pesquisa da SurveyMonkey realizou um experimento. Perguntamos a 400 respondentes sobre o que mais os incomoda no trabalho. Metade dos respondentes recebeu opções de resposta randomizadas e a outra metade, não.
Observação: a ordem das opções de resposta no gráfico acima é igual à da pergunta original, sem aleatoriedade. As barras azuis mostram os resultados das perguntas quando as opções de resposta não estavam randomizadas. Já as barras verdes representam os resultados das perguntas randomizadas.
Os resultados entre os dois grupos tiveram uma diferença significativa. Sem aleatoriedade, a probabilidade de as opções acima da linha tracejada serem escolhidas foi maior, resultando em dados de resposta enviesados e ilusórios.
Já quando as opções de resposta foram randomizadas, cada uma delas teve probabilidade igual de ser selecionada. Consequentemente, a opção "Colegas grosseiros" passou do segundo para o primeiro lugar com grande diferença.
Implementar aleatoriedade de opções de resposta em questionários é fácil. Basta seguir as etapas deste artigo.
Dicas profissionais:
- Em alguns casos, as opções de resposta não devem ser randomizadas. Por exemplo, em opções de resposta ordinais (extremamente satisfeito → extremamente insatisfeito) e quando os respondentes estão acostumados com uma ordem específica (estados em ordem alfabética).
- Quer testar um anúncio ou conceito usando imagens como opções de resposta? Teste nosso tipo de pergunta de opção de imagem e randomize facilmente a ordem delas.
Viés de ordem de pergunta
Esse tipo de viés de questionário tem duas formas. Uma delas se trata da relação entre a ordem das perguntas e o nível de especificidade delas. A outra está relacionada ao viés inerente em perguntas não randomizadas, especificamente ao testar um anúncio ou conceito.
Comece de forma geral e especifique posteriormente
Ao perguntar aos respondentes sobre a experiência deles em um tema específico, é comum fazer uma pergunta sobre a experiência geral seguida por uma série de perguntas mais específicas.
Suas perguntas devem fluir do geral para o específico.
Por que a ordem das perguntas é importante? Se você começar com perguntas específicas, isso resultará em um viés de resposta e, possivelmente, respondentes desconfortáveis.
Por exemplo, em um experimento, os respondentes foram solicitados a contar sobre sua felicidade na vida e no casamento. Quando solicitados a classificar a felicidade na vida em geral primeiro, houve uma pequena correlação entre as respostas e as perguntas. No entanto, quando a ordem das duas perguntas foi invertida, descobriu-se que as pessoas felizes no casamento são muito mais satisfeitas com suas vidas. Como fazer primeiro a pergunta sobre a felicidade no casamento influenciou as respostas à pergunta seguinte, os dados colhidos sobre a felicidade com a vida em geral se tornaram enviesados.
Randomize as perguntas ao testar conceitos
Outra situação comum em que ocorre um viés de ordem de pergunta é em testes de conceito. Testes de conceito servem para aprimorar um conceito (campanha publicitária, conceito de produto, novo logotipo, etc.) coletando feedback do mercado-alvo.
Quer realizar sua própria pesquisa?
Obtenha feedback do consumidor sobre seu anúncio e conceito de produto usando o SurveyMonkey Audience.
Vejamos três outras táticas comuns de resolver vieses de ordem de pergunta em testes de conceito: randomizando a ordem das perguntas, páginas e blocos (várias páginas de questionário consecutivas relacionadas).
Suponhamos que você esteja testando dois anúncios. Se você mostrá-los de forma consistente para todos os respondentes, o primeiro anúncio sempre influenciará a opinião das pessoas sobre o segundo, não o contrário. Isso torna a comparação entre os dois anúncios enviesada.
Se, em vez disso, você randomizar a ordem de exibição de cada anúncio, você obterá uma comparação real. Como a ordem em que os respondentes veem os anúncios muda, é possível eliminar o viés.
2) Aleatoriedade de páginas: em vez de mostrar todos os anúncios de uma vez, é possível adicioná-los em diferentes páginas do questionário com perguntas de follow-up correspondentes em cada uma delas.
Em seguida, randomize a ordem das páginas. Quando as respostas chegarem, é possível comparar a popularidade relativa de cada imagem/vídeo analisando os resultados gerais.
3) Aleatoriedade de blocos: se você estiver testando uma imagem ou vídeo com mais de uma página com perguntas, use este recurso.
Para usar a aleatoriedade de blocos, agrupe as páginas em blocos. Em seguida, opte por mostrar todos os blocos e randomizar a ordem deles ou mostrar um único bloco aleatório para cada respondente.
Esta imagem mostra como funciona a aleatoriedade de blocos na prática:
A elaboração de questionários é repleta de nuances. Seja um bloco, página, pergunta ou opção de resposta, essas áreas podem resultar em diferentes tipos de viés. Por isso, tente seguir as dicas deste artigo para evitar vieses nas respostas. Assim que as respostas começarem a chegar, você ficará feliz por ter tomado as precauções certas.
