Чому забезпечити безпеку ШІ складніше, ніж хтось очікував, і наближається криза безпеки ШІ з @SanderSchulhoff Сандер є провідним дослідником у галузі агресивності суперників, яка полягає в мистецтві та науці змусити системи ШІ робити те, чого вони не повинні робити, через джейлбрейк і швидке впровадження. Те, що Сандер ділиться в цій розмові, полягає в тому, що всі системи ШІ, якими ми користуємося щодня, відкриті до того, щоб їх обманом змусили робити те, чого вони не повинні, що насправді немає рішення цієї проблеми, а компанії, які намагаються продавати рішення для цього, здебільшого нісенітниця. Ця розмова не має нічого спільного з AGI, це проблема сьогодні. І що єдина причина, чому ми не бачили масштабних зламів і серйозних пошкоджень від інструментів ШІ, полягає в тому, що їм ще не надали такої потужності, і вони ще не широко впроваджені. Але з появою агентів (які можуть діяти від вашого імені), роботів і навіть браузерів на основі штучного інтелекту ризик зростає дуже швидко. Це дуже важлива тема, яка відкрила мені розум і налякала мене, і це те, що нам усім потрібно мати базове розуміння, оскільки ШІ стає дедалі поширенішим у нашому житті. Всередині: 🔸 Вступ до джейлбрейку та швидких ін'єкційних атак 🔸 Чому AI-захисні бар'єри не працюють 🔸 Чому ми ще не бачили серйозних інцидентів із безпекою ШІ (але незабаром побачать) 🔸 Чому агенти браузерів ШІ надзвичайно вразливі 🔸 Практичні кроки, які організації повинні зробити замість купівлі неефективних інструментів безпеки 🔸 Чому для вирішення цього питання потрібно поєднувати класичні знання з кібербезпеки з знаннями ШІ Слухай зараз 👇 • YouTube: • Spotify: • Apple: Дякуємо нашим чудовим спонсорам за підтримку подкасту: 🏆 @datadoghq — Тепер тут розташована Eppo, провідна платформа для експериментів і позначень функцій: 🏆 @getmetronome — Інфраструктура монетизації для сучасних софтверних компаній: 🏆 @gofundme Фонди пожертв — Зробіть пожертви наприкінці року легкими:

Я ніколи не відчував себе таким відсталим як програміст. Професія суттєво переробляється, оскільки частини, які вносить програміст, стають дедалі рідкіснішими. У мене є відчуття, що я міг би стати у 10 разів сильнішим, якби просто правильно поєднав те, що стало доступним за останній ~рік, і відмова отримати цей бонус відчувається як проблема навичок. З'явився новий програмований рівень абстракції, який потрібно опанувати (окрім звичних нижче шарів), що включає агентів, підагентів, їхні підказки, контексти, пам'ять, режими, дозволи, інструменти, плагіни, навички, хуки, MCP, LSP, слеш-команди, робочі процеси, інтеграції з IDE, а також потребу створити всеохопну ментальну модель сильних сторін і пасток фундаментально стохастичних, помилкових, незрозумілих і мінливих сутностей, раптово змішаних із тим, що колись було доброю старою інженерією. Очевидно, що якийсь потужний інопланетний інструмент був розданий, але він не має інструкції, і всі мають розбиратися, як його тримати і користуватися, тоді як землетрус магнітудою 9 шокує професію. Засучи рукави, щоб не відставати.