Эта статья, подготовленная Стэнфордом и Гарвардом, объясняет, почему большинство систем «агентного ИИ» выглядят впечатляюще на демонстрациях, но полностью разваливаются при реальном использовании.

Она называется «Адаптация агентного ИИ» и является самой важной статьей, которую я прочитал за весь год.
Сейчас все сосредоточены на создании автономных агентов. Мы даем им инструменты, память и цель, и ожидаем, что они выполнят нашу работу.
Но при развертывании в реальном мире они начинают галлюцинировать вызовы инструментов. Они терпят неудачу в долгосрочном планировании. Они ломаются.
Вот почему:
Мы пытаемся втиснуть все обучение в мозг ИИ.
Когда разработчики пытаются исправить сломанного агента, они обычно просто донастраивают основную модель, чтобы она давала лучшие конечные ответы.
Исследователи обнаружили в этом подходе фатальную ошибку.
Если поощрять ИИ только за правильный финальный ответ, он становится ленивым.
Он буквально учится перестать использовать свои инструменты. Он пытается угадать ответ вместо того, чтобы выполнить работу. Он игнорирует калькулятор и пытается посчитать в уме.
Чтобы исправить это, исследователи разработали новую структуру из 4 частей, которая показывает, как агенты должны действительно учиться.
И самое главное, это полностью меняет текущую парадигму.
Вместо постоянного переобучения огромного и дорогого «мозга» агента, наиболее надежные системы делают наоборот.
Они замораживают мозг. И адаптируют инструменты.
Они называют это Агентским Контролируемым Адаптированием Инструментов.