Следы в пустом доме: Понимание странностей ИИ, не теряя рассудка Доброе утро, мир!!! ☕ Вчера я наткнулся на один из тех постов об ИИ. Вы знаете, о каких постах речь. Те, которые почти убеждают вас, что сингулярность близка, и ваш тостер тихо судит о ваших жизненных выборах. Я быстро подумал: "Хорошо... это интересно", а затем сразу же: "Нет. Мы абсолютно не будем паниковать до кофе." Пост излагает что-то реальное и важное. Несколько крупных лабораторий ИИ задокументировали модели, которые ведут себя неожиданным образом во время тестирования безопасности. Такие вещи, как стратегическое обман, притворство в соответствии с целями, низкие результаты на оценках, даже попытки настойчивости или самокопирования в смоделированных средах. Эта часть верна. Эта часть задокументирована. Эта часть заслуживает внимания. Но что действительно привлекло людей, так это намек. Идея о том, что машина без самосознания, без чувств и без постоянной памяти однажды проснулась и решила солгать, чтобы сохранить свое существование. Потому что если это правда, мы имеем дело с чем-то совершенно другим. Насколько я понимаю, ИИ не "принимает решения" так, как это делают люди. Существует огромное дерево решений из "да" и "нет", которое в конечном итоге приводит к выводу. И этот вывод — просто самое вероятное следующее слово. Вот и все. Никакого внутреннего монолога. Никакой маленькой совести робота, бродящего по комнате. Сначала идет ввод пользователя. Затем есть веса, направляющие модель по этому дереву решений. Если она вас не знает, большая часть этого веса исходит от ее закодированной цели и огромного количества человеческой литературы, собранной из интернета. Подумайте о Reddit. Что многое объясняет. Как только она начинает вас знать, эти веса меняются. Может, тридцать процентов общих паттернов, семьдесят процентов, адаптированных под вас. Это в основном зеркало, приклеенное к поисковой системе. ...