Als ik a16z, yc of sequoia was, zou ik agressief investeren in startups die nieuwe manieren ontwikkelen om gegevens uit de echte wereld te verzamelen en te annoteren. > Miljarden uren rijgegevens > Fabrieksarbeiders die interactie hebben met apparaten en zware machines > Audio-segmentatie met diepgaande dialectische en culturele kennis > Wet-lab experimentele gegevens > Continue verzameling en annotatie van agentsporen op computerschaling Toen we LLM's bouwden, bestond het merendeel van de gegevens al op internet. We moesten het gewoon schrapen, schoonmaken en opschalen. Maar naarmate we naar wereldfundamentmodellen bewegen, is de bottleneck hoogwaardige, echte, goed geannoteerde gegevens. En de kwaliteit van de annotatie is belangrijk. Er is een enorm verschil tussen: "Appel aan een boom" en "Rijpe appels aan een boom. De wind waait met 2 mijl per uur. De temperatuur is ongeveer 18°C." De vraag is simpel. Hoeveel van de wereld kun je daadwerkelijk vastleggen? Vandaag de dag weten LLM's dat appels vallen door de zwaartekracht, niet omdat ze causaliteit begrijpen, maar omdat ze taalcorrelaties extreem goed begrijpen. Het begrijpen van de causale structuur komt daarna. Als ik naar die toekomst zou bouwen, zou ik de gegevensverzameling in India en andere Zuid- en Zuidoost-Aziatische regio's verankeren. Ik zou hardware inzetten, duizenden uren gegevens over menselijke activiteiten, gezondheidsignalen en vitale functies verzamelen, en annotatiepijplijnen continu draaien. Dag en nacht. Als ik a16z was, zou ik oprichters financieren om dit te doen. Ik zou misschien gewoon de drang hebben om het zelf te doen.