Você acreditava que respondentes desinteressados fossem seu pior pesadelo na hora de analisar dados de questionários… até surgirem os robôs!
Por anos, bots alimentados por IA se infiltraram em conversas online se passando por humanos: desde fóruns de discussão até redes sociais (e o Elon Musk pode confirmar esse fato). Agora, eles também estão invadindo os dados de pesquisas.
Os motivos mais comuns incluem a monetização direta com o incentivo de pesquisas ou a facilitação de fraudes e golpes. Ainda mais alarmante: eles podem ser usados para distorcer dados, classificações e opinião pública de forma intencional, tanto para vantagem política quanto para ganhos comerciais.
No entanto, nem tudo são espinhos. IA e aprendizado de máquina também têm sido úteis para os negócios, principalmente para profissionais de marketing. Desde o uso de chatbots para geração de leads e atendimento a clientes até a automatização de campanhas de marketing, profissionais de marketing têm acolhido amplamente a IA. De acordo com um estudo recente da SurveyMonkey, 73% dos profissionais de marketing acreditam que a IA ajuda a melhorar seu trabalho.
No entanto, para pesquisadores de mercado, bots gerados por IA usados para preencher formulários de pesquisas só geram dados de má qualidade. Considerando que dados de pesquisas são tão bons quanto a qualidade de suas respostas, desenvolvemos um bot alimentado pelo ChatGPT para testar a plataforma da SurveyMonkey. Nosso objetivo: entender como bots alimentados por IA podem superar métodos comuns usados por pesquisadores de questionários para identificar respostas falsas de bots.
Como bots alimentados por IA estão impactando dados de questionários
Confira abaixo algumas das nossas descobertas iniciais sobre as capacidades de bots e os possíveis desafios que pesquisadores de mercado podem ter para detectá-los:
- Eles pulam perguntas honeypot. Nossa pesquisa de teste continha uma pergunta honeypot: com texto branco em fundo branco, elas são normalmente usadas para detectar bots e não são visíveis para humanos. No entanto, foi fácil instruir nosso bot para detectar e pular essas perguntas.
- Eles diminuem o ritmo. Como bots podem responder a pesquisas de forma muito rápida, pesquisadores de mercado poderiam criar “sinalizadores de velocidade” como métrica de qualidade, medindo o tempo por página ou na pesquisa em geral. Nosso bot conseguiu contornar sinalizadores de velocidade adicionando atrasos em toda a pesquisa, incluindo entre perguntas, ao selecionar várias opções de resposta em perguntas de múltipla escolha e ao digitar respostas abertas, replicando o comportamento humano.
- Eles replicam a consistência humana. Nosso bot conseguiu usar o ChatGPT para entender o contexto da pesquisa, respondendo às perguntas fazendo uma leitura geral das informações da pesquisa, em vez de selecionar as respostas de forma aleatória. Por exemplo, ele identificou “pesquisa de mercado” no título da pesquisa, aumentando as chances de selecionar esse assunto em uma pergunta de triagem. Também instruímos o bot a responder a perguntas abertas como humanos, usando uma variedade de respostas que não se parecem com a típica “linguagem de bot” (como longos parágrafos de texto, pontuação consistentemente correta ou uso de palavras ou frases incomuns). Por exemplo, a pergunta “Ao usar IA em pesquisa de mercado, quais fatores você acredita ser mais promissores?” gerou respostas como:
- Aumento de produtividade
- Insights mais profundos de clientes
- Melhoria na análise de dados e na tomada de decisões
- Rapidez no fornecimento de insights por IA
Práticas recomendadas para a detecção de bots de IA em pesquisas
Embora nenhuma solução seja infalível, o uso de estratégicas adaptativas e de atrito, como os exemplos abaixo, pode ajudar a detectar e limitar o impacto de bots em dados de pesquisas:
- Limite o contexto da pesquisa antes das perguntas de triagem. Como mostramos, nosso bot teve um ótimo desempenho no uso do ChatGPT para obter contexto e fornecer respostas lógicas parecidas com as de humanos. Para que os bots não consigam prever e manipular as perguntas de triagem com tanta facilidade, oculte o título da pesquisa e apresente o tema somente depois delas.
- Dificulte o processamento de elementos da pesquisa por bots. Nosso bot identificou facilmente o título, as perguntas e as opções de resposta exibidos no código subjacente da página da pesquisa. Para evitar que bots consigam digerir e interpretar as perguntas, use imagens em vez de texto.
- Implemente verificações de comportamento humano complexo. Nosso bot conseguiu imitar o comportamento humano ao responder a pesquisas, rolando pelas páginas, digitando de forma mais lenta e demorando mais entre as perguntas. Para conseguir identificar melhor a atividade de bots em pesquisas, implemente medidas avançadas de detecção de bots, como CAPTCHA, ou analise a movimentação do mouse e os padrões de digitação.
- Restrinja o número de envios. Também identificamos que nosso bot consegue responder à mesma pesquisa várias vezes. Embora alguns bots consigam usar diferentes endereços IP, você pode restringir a pesquisa a apenas uma resposta por endereço IP, evitando o recebimento de várias respostas por respondente.
- Use verificações de lógica e perguntas de armadilha. Outra forma de identificar bots é adicionar perguntas que ajudam a garantir que as pessoas estejam prestando atenção e respondendo de forma consistente. Veja exemplos de perguntas de armadinha.
Conforme demonstrado por nosso experimento, bots modernos alimentados por IA conseguem imitar o comportamento humano e contornar métodos típicos de detecção de bots usados por pesquisadores de mercado.
Fraudes em pesquisas possibilitadas por bots são uma séria ameaça à área de pesquisa de mercado. Se eles não forem controlados, a integridade dos dados pode ser comprometida, afetando negativamente a confiança em seus insights e resultando em erros dispendiosos. No entanto, quanto mais você “conhecer seu inimigo”, mais poderá inovar e se adaptar, gerando dados de pesquisas sem bots para embasar insights e ações.
