AI-агент може не лише відповідати текстом, а й звертатися до інструментів для виконання задачі. Межа між ботом і агентом залежить від реалізації, тому важливі конкретні можливості. Якщо система може змінювати записи чи надсилати дані, її права й перевірки мають бути визначені поза самим текстовим запитом.
Опишіть дію та її наслідки
Перелічуємо інструменти: пошук, читання запису, підготовка чернетки, створення задачі або інша потрібна дія. Розділяємо читання й зміни. Умовний приклад: пошук рахунку та відправлення його клієнту мають різний вплив і потребують різного контролю.
Погоджуємо дозволені ресурси, користувачів і межі витрат. Агент не повинен отримувати загальний адміністративний доступ лише тому, що так простіше інтегрувати API. Невизначені або непідтримувані задачі мають передаватися відповідальному.
Інструкція не замінює серверні обмеження
Фраза «нічого не видаляй» корисна як правило поведінки, але технічний доступ також має забороняти непотрібне видалення. Перевіряємо права, параметри та контекст кожного виклику. Секрети зберігаються в керованому середовищі, а не в доступному моделі тексті.
Документ або зовнішня сторінка можуть містити сторонні інструкції. Їх не слід трактувати як дозвіл власника системи. Результати пошуку залишаються даними для задачі; політика доступу й дозволених дій визначається окремо.
Погодження має стосуватися конкретної дії
Для впливових кроків показуємо людині зрозумілий результат до виконання: адресата, зміст, ресурс і потрібні умови. Погодження загальної мети не завжди є дозволом на будь-яку операцію. Якщо параметри змінилися, порядок контролю має це врахувати.
Повторні виклики не повинні дублювати повідомлення, документи чи інші зміни. Зберігаємо ідентифікатори й перевіряємо фактичний результат після тайм-ауту. Слова агента про успіх не є доказом виконання інструмента.
Тестуйте межі та передачу людині
Пілот включає звичайні запити, відсутні дані, заборонений ресурс і сторонню інструкцію в матеріалі. Перевіряємо журнали та відсутність зайвого розкриття. Тестова дія не повинна випадково використовувати робочий платіж або надсилати справжнє повідомлення.
Передаємо список інструментів, прав, обмежень і відповідальних. Після зміни моделі, інструкції чи API повторюємо потрібні сценарії. Агент залишається керованим, коли важливі дії можна пояснити й перевірити незалежно від його відповіді.
Джерела та подальше читання
