Hari ini, kami menyajikan perubahan langkah dalam @sundayrobotics AI robotik. Memperkenalkan ACT-1: Model fondasi robot perbatasan yang dilatih pada data robot nol. - Tugas cakrawala ultra panjang - Generalisasi tanpa tembakan - Ketangkasan tingkat lanjut 🧵->

Alih-alih teleoperasi, kami hanya berlatih berdasarkan data dari Sarung Tangan Pengambilan Keterampilan kami. Sarung tangan ini dirancang bersama dengan tangan Memo, yang berarti mereka berbagi geometri dan rangkaian sensor yang sama persis. Jika Anda bisa melakukannya dengan mengenakan sarung tangan, Memo bisa mempelajarinya.

Sarung Tangan Pengambilan Keterampilan memberi kita dua urutan efisiensi modal yang lebih tinggi dibandingkan dengan teleoperasi ($200 vs $20.000) Ini juga memungkinkan kami untuk menskalakan keragaman lebih cepat. Anda dapat mengumpulkan data di mana saja tanpa perlu memindahkan robot.

Sarung Tangan Skill Capture menyelaraskan tangan, tetapi bagaimana dengan bagian tubuh lainnya? Kolektor manusia bervariasi dalam tinggi dan panjang lengan, dan juga berbeda secara visual. Kami mengembangkan Skill Transform, metode yang mengubah data sarung tangan menjadi data robot yang setara dengan tingkat keberhasilan 90%+.

Kami membutuhkan waktu lebih dari satu tahun untuk merekayasa infrastruktur inti. Kami kemudian menghabiskan 3 bulan terakhir untuk menghasilkan semua hasil otonom di atas. Di bawah ini, saya menyoroti beberapa bagian favorit saya dari rilis ini.

Tugas meja-ke-mesin pencuci piring adalah skenario mimpi buruk klasik bagi ahli robotik: Cakrawala panjang, sangat cekatan, presisi, manipulasi seluruh tubuh dikombinasikan dengan objek halus, transparan, reflektif, dan dapat dideformasi. Namun Memo menanganinya dengan sangat alami dan elegan.

Secara khusus, pemuatan gelas anggur adalah subtugas yang paling rumit: Tekan ke bawah dengan terlalu banyak kekuatan? Menghancurkan. Masukkan cabang yang salah? Menghancurkan. Kami memecahkan banyak selama pengembangan, tetapi nol lebih dari 20+ sesi demo langsung.

Satu fakta yang kurang diketahui tentang pengumpulan data berbasis sarung tangan: menghasilkan data berkualitas lebih tinggi daripada teleop pada tugas kaya kontak. Teleop jarak jauh tidak dapat memberikan umpan balik gaya yang baik, tetapi sarung tangan melakukannya secara alami, membuat tugas seperti melipat kaus kaki, yang mengandalkan nuansa, jauh lebih mudah untuk ditangkap.

Bahkan lebih menyenangkan melihat bagaimana Memo bereaksi terhadap lingkungan yang tidak terlihat. Kami menerapkannya ke 6 Airbnb yang tidak terlihat dan menugaskan robot dengan tugas-tugas halus seperti mengambil peralatan dari piring. Karena kami berlatih dengan data dari lebih dari 500 rumah, rumah baru langsung akrab bagi Memo.