Een aantal technologieën achter SAM 3D waar ik bijzonder enthousiast over ben: 1⃣ Bestaande 3D-datasets (Objaverse-XL, ProcTHOR, enz.) zijn geweldig voor het onderwijzen van "3D-prioren" (basisvorm en uiterlijk). Maar ze zijn niet genoeg om de kloof naar de echte wereld volledig te overbruggen, waar scènes rommelig zijn, objecten occluded, klein en over het algemeen chaotisch. 2⃣ Komt onze model-in-the-loop 3D-data-engine: model ➜ voorspelt 3D vanuit echte afbeeldingen ➜ mensen controleren snel goede kandidaten (ja/nee alleen) ➜ gecontroleerde 3D gaat terug in training ➜ verbeterd model komt weer in de cyclus. Een deugdzame cyclus die de kwaliteit van 3D-annotatie, labelingssnelheid en modelprestaties verhoogt, zonder dat 3D-tools of ontwerpexpertise vereist zijn. 3⃣ 3D-doelstellingen zijn lastig: geen gesloten vorm differentieerbare verliesfunctie vangt volledig "goede 3D-heid" (symmetrieën, gladheid, volledigheid). Dus we lenen uit het LLM-handboek en trainen na met menselijke voorkeurdata. Deze afstemming komt nauwelijks naar voren in de metrics (die dezelfde beperkingen als de verliezen erven), maar het verbetert dramatisch de waargenomen kwaliteit van de 3D-uitvoer. Meer details in het paper.