Чем больше свободы у генеративного алгоритма, тем строже должна быть система ограничений — размытый контекст рождает мусор

5 материалов · принцип мышления · Инструмент вместо дела

Как выглядит: Модель выдает текст, который выглядит правильно, но при проверке фактов оказывается, что данные вымышлены, или агент удаляет важные файлы, хотя это запрещено в задании.
Почему так работает: Генеративные модели создают похожий на правду результат, а не достоверный, и без жестких рамок могут нанести вред.
Как замечать: Посмотри на результат: если модель сгенерировала текст, выбери три тезиса и проверь их на точность.
Где не работает: Подход не работает в среде, где агенту нужно выполнять цепочку действий, требующих прав на запись, или в художественной генерации, где ошибки мгновенно видны.
Когда наоборот

Где об этом говорят