Einige der Technologien hinter SAM 3D, auf die ich besonders gespannt bin: 1⃣ Bestehende 3D-Datensätze (Objaverse-XL, ProcTHOR usw.) sind großartig, um "3D-Präferenzen" (grundlegende Form und Erscheinung) zu lehren. Aber sie sind nicht genug, um die Lücke zur realen Welt vollständig zu überbrücken, wo Szenen überladen, Objekte verdeckt, winzig und allgemein chaotisch sind. 2⃣Hier kommt unsere Modell-in-der-Schleife 3D-Daten-Engine ins Spiel: Modell ➜ sagt 3D aus echten Bildern voraus ➜ Menschen überprüfen schnell gute Kandidaten (ja/nein nur) ➜ geprüfte 3D-Daten gehen zurück ins Training ➜ verbessertes Modell tritt wieder in die Schleife ein. Ein positiver Kreislauf, der die Qualität der 3D-Anmerkungen, die Geschwindigkeit der Kennzeichnung und die Modellleistung steigert, ohne 3D-Tools oder Designexpertise zu erfordern. 3⃣3D-Ziele sind knifflig: kein geschlossener differenzierbarer Verlust erfasst vollständig "gute 3D-Eigenschaften" (Symmetrien, Glätte, Vollständigkeit). Daher leihen wir uns aus dem LLM-Spielbuch und trainieren nach mit menschlichen Präferenzdaten. Diese Ausrichtung zeigt sich kaum in den Metriken (die die gleichen Einschränkungen wie die Verluste erben), verbessert jedoch dramatisch die wahrgenommene Qualität der 3D-Ausgaben. Weitere Details im Papier.

3Dfy alles aus einem einzigen Bild! Sehr begeistert, SAM 3D anzukündigen. Wählen Sie ein beliebiges Objekt aus einem Eingabebild aus, 3Dfy es! Blog: Demo: