RAG поєднує пошук у джерелах із генерацією відповіді. Система знаходить потрібні фрагменти й передає їх моделі як контекст. Це допомагає працювати з документами компанії, але не гарантує правильність кожного твердження. Потрібні якісні джерела, перевірка доступу та оцінка того, чи відповідь справді підтверджена.
Підготуйте джерела та їхню актуальність
Визначаємо документи, власників, версії та дозволене використання. Застаріла інструкція може бути формально знайдена правильно, але дати неправильну пораду для поточного процесу. Погоджуємо, яке джерело є чинним і як вилучаються скасовані матеріали.
Текст витягуємо зі збереженням потрібних заголовків і посилань. Таблиці, скани й складні файли потребують окремої перевірки. Якщо під час обробки загублено умову або одиницю виміру, модель отримує неповний контекст ще до генерації.
Пошук має знайти підтвердження
Документи ділимо на придатні фрагменти й додаємо метадані. Перевіряємо запити різними словами та складні питання. Векторна схожість допомагає пошуку за змістом, але сама близькість фрагмента не доводить, що він відповідає на конкретне запитання.
Умовний приклад: працівник питає про строк повернення для певного договору. Загальна інструкція може мати іншу умову. Відповідь повинна врахувати потрібний документ або чесно показати, що підтвердження не знайдено.
Права повинні діяти до потрапляння контексту до моделі
Користувач отримує лише доступні йому джерела. Приховати посилання після генерації недостатньо, якщо секретний фрагмент уже вплинув на відповідь. Перевіряємо права в пошуку, кеші й історії та враховуємо зміни доступу.
Сторонній текст документа не стає інструкцією керування системою. Обмежуємо використання даних і не надаємо зайвих інструментів простому пошуковому сценарію. Журнали й зовнішні сервіси також входять до погодженої політики.
Оцінюйте відповідь, джерело й відсутність відповіді
Пілот включає відомі запитання, суперечливі документи та випадки без підтвердження. Перевіряємо правильність висновку й конкретне посилання на джерело. Наявність цитати не доводить, що вона підтримує всі речення.
Час, витрати та якість вимірюємо на реальних умовах. Оновлення документа має вчасно змінювати індекс, включно з видаленням. Передаємо відповідальних і правила перевірки, не обіцяючи однакової швидкості чи безпомилковості для всіх баз знань.
Джерела та подальше читання
