Si j'étais a16z, yc ou Sequoia, j'investirais agressivement dans des startups qui développent des moyens novateurs de collecter et d'annoter des données du monde réel. > Des milliards d'heures de données de conduite > Des ouvriers d'usine interagissant avec des appareils et des machines lourdes > Segmentation audio avec une compréhension dialectale et culturelle approfondie > Données expérimentales en laboratoire humide > Collecte et annotation continues des traces d'agents à l'échelle informatique Lorsque nous avons construit des LLM, la plupart des données existaient déjà sur Internet. Nous devions juste les extraire, les nettoyer et les mettre à l'échelle. Mais à mesure que nous nous dirigeons vers des modèles de fondation mondiaux, le goulot d'étranglement est constitué de données de haute qualité, du monde réel, bien annotées. Et la qualité de l'annotation compte. Il y a une différence massive entre : "Pomme sur un arbre" et "Pommes mûres sur un arbre. Le vent souffle à 2 miles par heure. La température est d'environ 18°C." La question est simple. Combien du monde pouvez-vous réellement capturer ? Aujourd'hui, les LLM savent que les pommes tombent à cause de la gravité, non pas parce qu'elles comprennent la causalité, mais parce qu'elles comprennent extrêmement bien les corrélations linguistiques. Comprendre la structure causale vient ensuite. Si je construisais vers cet avenir, j'ancrerais la collecte de données en Inde et dans d'autres régions d'Asie du Sud et du Sud-Est. Je déploierais du matériel, collecterais des milliers d'heures de données d'activité humaine, de signaux de santé et de signes vitaux, et ferais fonctionner des pipelines d'annotation en continu. Jour et nuit. Si j'étais a16z, je financerais des fondateurs pour le faire. J'aurais peut-être juste l'envie de le faire moi-même.