本日は、ロボットAI@sundayroboticsにおける大きな変化を紹介します。 ACT-1をご紹介します:ゼロのロボットデータで訓練されたフロンティアロボット財団モデルです。 - 超長期課題 - ゼロショット一般化 - 高度な器用さ 🧵->

遠隔操作の代わりに、スキルキャプチャグローブのデータだけでトレーニングしています。 このグローブはメモの手と共同設計されており、全く同じジオメトリとセンサースイートを共有しています。 グローブをはめたままできるなら、メモも覚えられる。

スキルキャプチャーグローブは、遠隔操作($200対$20,000)と比べて、資本効率を2桁も高めてくれます また、多様性の拡大もより速く可能にします。ロボットを動かすことなく、どこでもデータを収集できます。

スキルキャプチャーグローブは手を揃えますが、体の他の部分はどうでしょうか?人間のコレクターは身長や腕の長さが異なり、見た目も異なります。 私たちは、手袋データを同等のロボットデータに変換し、成功率90%+のSkill Transformを開発しました。

コアインフラの設計には1年以上かかりました。その後、過去3か月間で上記の自律的な結果を作成しました。 以下に、このリリースの中で私が特に気に入った部分をいくつか紹介します。

テーブルから食器洗い機への作業は、ロボット工学者にとって典型的な悪夢シナリオです: 長距離で非常に器用で精密な全身操作と、繊細で透明、反射性があり、変形可能な物体を組み合わせています。 それでもメモはそれを非常に自然かつ優雅に扱っています。

具体的には、ワイングラスの装填が最も繊細なサブタスクです: 押しすぎて押し込む?粉々。 間違ったピンを差し込んだ?粉々。 開発中に多くの作品を壊しましたが、20+以上のライブデモセッションはありませんでした。

グローブベースのデータ収集についてあまり知られていない事実があります。それは、接触が多いタスクにおいてテレオプよりも高品質なデータを生成することです。 リモートテレオプは良いフォースフィードバックを提供できませんが、手袋は自然にそうなので、靴下のたたみなど感触に頼る作業がずっと簡単に捉えられます。

メモが見えない環境にどう反応するかを見るのはさらに楽しいです。6つの見えないAirbnbに展開し、皿から食器を拾うなどの細かい作業をロボットに任せます。 500以上の家庭のデータを使ってトレーニングしているため、新しい家はメモにとってすぐに馴染み深いものです。