Reddit-forumen som drivs av paneldeltagare är skrämmande. Det här är personer som skryter om att ha klarat 10 000+ uppgifter och försörjt sig på Prolific.

Vad gör vi åt AI-kontaminering i enkätforskning? Några tankar om att gå vidare: 1) @YouGov och @Prolific arbetar för att säkerställa svar av hög kvalitet. (Upplysning: Jag har ingen personlig ekonomisk relation med något av företagen, men har använt båda för att samla in data.) Andra som @pewresearch underhåller paneler som är noggrant granskade. 2) Panelleverantörer med proprietära insamlingsverktyg har en stor fördel. YouGov kan till exempel direkt övervaka responsmönster på sätt som företag som förlitar sig på tredjepartsplattformar som Qualtrics inte kan. 3) Qualtrics har blivit en sårbarhet (enligt min åsikt). Deras bot-detektering är svag – den flaggade mig (en människa) som bot medan den missade min riktiga bot. Plattformen saknar också den flexibilitet forskare behöver för att implementera anpassade botdetekteringsprotokoll utan att behöva gå igenom komplicerade hinder. För en premiumprodukt som knappt utvecklats de senaste åren är värdeerbjudandet alltmer tveksamt. 4) Opaka återförsäljarnätverk undergräver kvaliteten. När paneler helt enkelt förmedlar de billigaste tillgängliga respondenterna från okända källor, hur kan forskare verifiera dataintegriteten? 5) Överväg säkrare urvalsmetoder: Studenturval, specialpaneler byggda genom SMS-rekrytering, adressbaserad urval och matchning av väljarfiler ger bättre verifiering av respondenterna. 6) Vi bör lära oss av jämförande forskare som länge har accepterat att rigorös datainsamling ofta kräver tidskrävande, ansikte-mot-ansikte-fältarbete. 7) Vi kan inte förvänta oss att forskare i början av karriären bygger karriärer på enkla experiment med billiga bekvämlighetspraller. Våra standarder för avhandlingar, anställning och anställning måste utvecklas för att spegla de verkliga kostnaderna för kvalitativ datainsamling.

AI utgör ett grundläggande hot mot vår förmåga att använda opinionsundersökningar för att bedöma allmänhetens åsikt. Dåliga aktörer som lyckas infiltrera paneler kan vända jämna valundersökningar för mindre än kostnaden för ett Starbucks-kaffe. Modeller kommer också att dra slutsatser och bekräfta hypoteser i experiment. Nuvarande kvalitetskontroller misslyckas. Mörka tider för undersökningsarbete.