Ми робимо роботів більш здібними, ніж будь-коли, у фізичному світі. 🤖 Gemini Robotics 1.5 – це прокачана агентна система, яка може краще міркувати, планувати наперед, використовувати цифрові інструменти, такі як @Google пошук, взаємодіяти з людьми та багато іншого. Ось як це працює 🧵

Багато наших повсякденних дій вимагають багато кроків і можуть бути надзвичайно складними для роботів. Уявіть, що ви запитуєте: «Виходячи з мого місцезнаходження, чи можете ви відсортувати ці предмети в правильні контейнери для компосту, переробки та сміття?» 🗑️ Робот має пошукати в Інтернеті місцеві рекомендації, подивитися на об'єкти, з'ясувати, як їх сортувати, а потім виконати завдання. ↓

Щоб задовольнити ці запити, Gemini Robotics 1.5 може забезпечити роботу нових агентських додатків за допомогою двох ключових моделей штучного інтелекту, які працюють разом: 🔹Gemini Robotics-ER 1.5: Це діє як мозок високого рівня, взаємодіючи з людьми, розуміючи своє оточення, оркеструючи інструменти та створюючи детальний план для виконання завдання. 🔹Gemini Robotics 1.5: Відповідає за виконання, переводячи інструкції в точні рухові команди, необхідні для того, щоб робот рухався і діяв загальним чином.

Gemini Robotics-ER 1.5 – це перша модель мислення, оптимізована для втілених міркувань, яка досягає найсучасніших показників за академічними та внутрішніми тестами. 🧠 Його розуміння в реальному світі робить його ідеальним оркестратором високого рівня для роботів. Подивіться, як він справляється з організацією зайнятого письмового столу ↓

Традиційно моделі VLA переводять інструкції безпосередньо в роботизований рух. 🦾 Gemini Robotics 1.5 тепер може думати, перш ніж діяти, генеруючи внутрішню послідовність міркувань за допомогою природної мови. Це робить дії робота більш інтерпретованими та відкриває більше корисних завдань – наприклад, упорядкування білизни за кольорами. ↓

Що станеться, якщо ви скажете роботу «зібрати валізу для моєї поїздки до Лондона»? 🧳 Він може подивитися погоду, подумати, що взяти з собою, де взяти і як упакувати. У цьому процесі модель може розбивати довгі завдання на більш прості і бути адаптивною до змін в навколишньому середовищі. ↓

Роботи бувають різних форм і розмірів, з різними формами, відчуттями і ступенем свободи. 💡 Gemini Robotics 1.5 може навчатися в різних варіантах і може передавати знання, отримані від одного робота до іншого, без необхідності спеціалізації.

Зараз ми виходимо за рамки моделей, які реагують на окремі інструкції, і створюємо системи, які дійсно можуть вирішувати проблеми в загальному вигляді - на шляху до вирішення AGI у фізичному світі. Розробники тепер можуть використовувати Gemini Robotics-ER 1.5 через Gemini API у @GoogleAIStudio. Дізнатися більше →