Les reddits gérés par les panélistes d'enquête sont terrifiants. Ce sont des personnes qui se vantent d'avoir complété plus de 10 000 tâches et de gagner leur vie sur Prolific.

Que faisons-nous concernant la contamination par l'IA dans la recherche par sondage ? Quelques réflexions sur l'avenir : 1) @YouGov et @Prolific travaillent à garantir des réponses de haute qualité. (Divulgation : je n'ai aucune relation financière personnelle avec l'une ou l'autre des entreprises, mais j'ai utilisé les deux pour collecter des données.) D'autres comme @pewresearch maintiennent des panels qui sont soigneusement vérifiés. 2) Les fournisseurs de panels avec des outils de collecte propriétaires ont un avantage majeur. YouGov, par exemple, peut surveiller directement les modèles de réponse de manière que les entreprises s'appuyant sur des plateformes tierces comme Qualtrics ne peuvent pas. 3) Qualtrics est devenu une vulnérabilité (à mon avis). Leur détection de bots est faible : ils m'ont signalé (un humain) comme un bot tout en manquant mon véritable bot. La plateforme manque également de la flexibilité dont les chercheurs ont besoin pour mettre en œuvre des protocoles de détection de bots personnalisés sans passer par des processus complexes. Pour un produit à prix premium qui a à peine évolué ces dernières années, la proposition de valeur devient de plus en plus discutable. 4) Les réseaux de revendeurs opaques nuisent à la qualité. Lorsque les panels se contentent de courtier les répondants les moins chers disponibles provenant de sources inconnues, comment les chercheurs peuvent-ils vérifier l'intégrité des données ? 5) Envisagez des méthodes d'échantillonnage plus sécurisées : les échantillons d'étudiants, les panels personnalisés construits par le recrutement par SMS, l'échantillonnage basé sur l'adresse et l'appariement des fichiers électoraux offrent une meilleure vérification des répondants. 6) Nous devrions apprendre des comparatistes qui ont longtemps accepté que la collecte de données rigoureuse nécessite souvent un travail de terrain intensif en temps et en face à face. 7) Nous ne pouvons pas attendre des chercheurs en début de carrière qu'ils construisent des carrières sur des expériences simples utilisant des échantillons de convenance à bas prix. Nos normes pour les thèses, les recrutements et la titularisation doivent évoluer pour refléter le véritable coût de la collecte de données de qualité.

L'IA représente une menace fondamentale pour notre capacité à utiliser des sondages pour évaluer l'opinion publique. Des acteurs malveillants capables d'infiltrer des panels peuvent faire basculer des sondages électoraux serrés pour moins que le coût d'un café Starbucks. Les modèles vont également inférer et confirmer des hypothèses dans des expériences. Les contrôles de qualité actuels échouent. Des temps sombres pour le travail d'enquête.