Google только что опубликовал отличное руководство по эффективной инженерии контекста для многопользовательских систем. Обратите внимание на это, разработчики AI! (добавьте в закладки) Вот мои ключевые выводы: Контекстные окна не являются узким местом. Инженерия контекста — это узкое место. Для более сложных и долгосрочных задач управление контекстом не может рассматриваться как простая проблема "манипуляции строками". Стандартный подход к обработке контекста в агентских системах сегодня остается в том, чтобы запихивать все в подсказку. Больше истории, больше токенов, больше путаницы. Большинство команд рассматривают контекст как проблему конкатенации строк. Но сырые дампы контекста создают три критических сбоя: > взрыв затрат из-за повторяющейся информации > ухудшение производительности из-за эффектов "потерян в середине" > увеличение частоты галлюцинаций, когда агенты неправильно приписывают действия в системе Управление контекстом становится архитектурной проблемой наряду с хранением и вычислениями. Это означает, что явные преобразования заменяют произвольную конкатенацию строк. Агенты по умолчанию получают минимально необходимый контекст и явно запрашивают дополнительную информацию через инструменты. Похоже, что набор инструментов для разработки агентов Google действительно глубоко размышляет о управлении контекстом. Он вводит многоуровневую архитектуру, которая рассматривает контекст как "собранный вид над состоянием системы", а не как деятельность по запихиванию подсказок. Как это выглядит? 1) Структура: Многоуровневая модель Рамка разделяет хранение и представление на четыре различных уровня: 1) Рабочий контекст обрабатывает эфемерные представления на каждую инвокацию. 2) Сессия поддерживает долговечный журнал событий, фиксируя каждое сообщение, вызов инструмента и управляющий сигнал....