Câteva dintre tehnologiile din spatele SAM 3D care mă entuziasmează în mod special: 1⃣ Seturile de date 3D existente (Objaverse-XL, ProcTHOR etc.) sunt excelente pentru a preda "3D priors" (formă și aspect de bază). Dar nu sunt suficiente pentru a face legătura complet cu lumea reală, unde scenele sunt aglomerate, obiectele sunt ocluzionate, mici și, în general, dezordonate. 2⃣Intră în scenă motorul nostru de date 3D model-in-the-loop: modelul ➜ prezice 3D din imagini reale ➜ oamenii verifică rapid candidații buni (doar da/nu) ➜ 3D verificat reintră în antrenament ➜ modelul îmbunătățit reintră în buclă. Un ciclu virtuos care îmbunătățește calitatea adnotării 3D, viteza de etichetare și performanța modelului, fără a necesita unelte 3D sau expertiză în design. 3⃣Obiectivele 3D sunt dificile: nicio pierdere diferențiabilă în formă închisă nu surprinde pe deplin "3D-ul bun" (simetrii, neteziune, completitudine). Așadar, împrumutăm din manualul LLM și post-antrenăm cu date despre preferințele oamenilor. Această aliniere rar se vede în metrici (care moștenesc aceleași limitări ca și pierderile), dar îmbunătățește dramatic calitatea percepută a rezultatelor 3D. Mai multe detalii în ziar.