Интересно, что наконец-то начали серьезно подходить к теме безопасного взаимодействия агентов!

Сильно надоело, когда ИИ начинают "творить лишнее" — например, советовать что-то дикое или запрашивать странные ресурсы. Автопроверки — по сути, как unit-тесты для кодогенераторов, только тут уже поведение тестируют, а не просто структуру ответа. Ну и эта тема multi-agent'ов вообще на хайпе — всё больше задач, где один бот не вытаскивает.
Понравился совет из whitepaper — симулировать реальное поведение агентов в песочнице (sandbox) с логированием всего, что происходит. Реально спасает нервы, если агент вдруг неожиданно решает удалить полдиска или заказать себе бутылку молока в пятом примере
Кстати, кто-то реально пробовал выстраивать команду ИИ с четким контролем ролей? Получается что-то вроде распределенного workflow, или агенты стабильно начинают конкурировать? Делитесь опытом — очень интересно, до чего уже дошли!