RAG

RAG (Retrieval-Augmented Generation, дословно — «генерация с извлечением данных») — это архитектурный подход к работе с языковыми моделями, при котором перед генерацией ответа система автоматически извлекает релевантные фрагменты из внешней базы знаний и передаёт их модели в качестве контекста. Это позволяет ИИ отвечать на вопросы, используя актуальную и специфичную для бизнеса информацию, а не только те данные, на которых он был обучен.

Что такое RAG

RAG решает одну из ключевых проблем языковых моделей — ограниченность знаний датой обучения. Любая языковая модель знает ровно столько, сколько было в её обучающей выборке на момент тренировки. Если компания хочет, чтобы ИИ-ассистент давал ответы на основе внутренней документации, актуальных прайс-листов или свежих данных — стандартная модель с этим не справится. RAG разрывает этот замкнутый круг: система сначала ищет нужные документы в своей базе, а затем «показывает» их модели, чтобы та сформулировала ответ. Результат напоминает работу опытного консультанта с доступом к корпоративной базе знаний: он не держит всё в голове, а умеет быстро найти нужный документ и дать точный ответ. Именно поэтому RAG стал де-факто стандартом для корпоративных ИИ-решений уже к 2024 году. По данным исследования a16z, более 60% корпоративных ИИ-проектов используют RAG или его вариации.

Концепция RAG появилась в 2020 году в статье исследователей Facebook AI Research (сейчас Meta AI) «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks». Авторы — Патрик Льюис и его коллеги — доказали, что сочетание нейросетевого поиска и генеративной модели превосходит чисто генеративный подход на задачах, требующих фактических знаний. До этого академическое сообщество рассматривало поиск и генерацию как отдельные направления, не предполагая их эффективного объединения. Эксперименты показали прирост точности на 10-15% по сравнению с чистыми языковыми моделями на задачах вопрос-ответ. С появлением ChatGPT и последующим взрывом интереса к LLM в 2022-2023 годах RAG из академической концепции превратился в практический инструмент для бизнеса. Сегодня это один из самых востребованных паттернов в корпоративной ИИ-разработке, а число публикаций по теме ежегодно удваивается.

В digital-маркетинге RAG открывает новые возможности для работы с контентом и клиентским сервисом. Первое и наиболее очевидное применение — интеллектуальные чат-боты, которые отвечают на вопросы клиентов на основе реальной документации: условий доставки, FAQ, каталога товаров. В отличие от классических чат-ботов на ключевых словах, RAG-решение понимает смысл вопроса и находит ответ, даже если клиент сформулировал его нестандартно. Для SEO-маркетологов RAG полезен при создании контента: система генерирует тексты на основе актуальной базы исследований, статистики или внутренних данных компании, резко снижая риск фактических ошибок. В email-маркетинге RAG помогает персонализировать сообщения — ИИ извлекает релевантную информацию о сегменте аудитории и формирует текст, учитывающий контекст конкретного получателя. Для аналитики RAG позволяет автоматически составлять отчёты, объединяя данные из нескольких источников без ручного копирования.

Понимание RAG становится конкурентным преимуществом для маркетологов и предпринимателей уже сейчас. Рынок корпоративных ИИ-инструментов на базе RAG, по прогнозам Gartner, вырастет с 1,6 млрд долларов в 2023 году до 11,3 млрд к 2028-му. Маркетолог, который понимает принципы работы RAG, может грамотно формулировать технические требования при выборе или заказе ИИ-решения, не полагаясь целиком на разработчиков. Без понимания архитектуры легко попасть в ловушку: заказать ИИ-чат-бот, который «отвечает по документации», получить решение на ручном промпт-инжиниринге и удивляться, почему оно не масштабируется и устаревает за неделю. RAG также напрямую влияет на бюджет: правильно настроенная система снижает нагрузку на службу поддержки, уменьшает стоимость производства контента и сокращает время ответа на клиентские запросы. Понимание того, как работает технология, — это инвестиция в умение принимать обоснованные решения при выборе ИИ-инструментов для бизнеса.

Как работает RAG

1. Подготовка базы знаний. Все документы, которые должен «знать» ИИ, разбиваются на небольшие фрагменты — чанки, обычно по 200-500 токенов каждый. Каждый чанк преобразуется в числовой вектор (эмбеддинг) с помощью специальной модели векторизации — например, text-embedding-3-large от OpenAI или аналогов. Векторы хранятся в специализированной базе данных — векторном хранилище (Pinecone, Weaviate, Qdrant, pgvector). Качество разбивки на чанки напрямую влияет на точность поиска: слишком короткие фрагменты теряют контекст, слишком длинные снижают точность совпадения с запросом.
2. Векторизация запроса. Когда пользователь задаёт вопрос, система преобразует этот вопрос в вектор с помощью той же модели векторизации, которая использовалась при индексации документов. Это критически важный момент: модель эмбеддингов должна быть одна и та же для документов и для запросов, иначе пространства векторов не совпадут. Качество модели эмбеддингов определяет, насколько точно система понимает семантику запроса и находит близкие по смыслу, а не только по словам, документы.
3. Семантический поиск по базе. Система сравнивает вектор запроса с векторами всех чанков в базе и выбирает наиболее близкие по косинусному расстоянию или другой метрике близости. Как правило, извлекается от 3 до 10 наиболее релевантных фрагментов. Именно здесь кроется главное преимущество перед обычным полнотекстовым поиском: система находит документы, которые отвечают на вопрос по смыслу, даже если в них нет ни одного слова из исходного запроса.
4. Формирование контекста для модели. Найденные фрагменты вставляются в промпт языковой модели вместе с исходным вопросом пользователя. Промпт строится по шаблону: «Вот контекст: [найденные документы]. Вопрос пользователя: [запрос]. Ответь на основе контекста». Системный промпт обычно содержит инструкцию «если ответа нет в контексте — скажи об этом», что критически снижает риск галлюцинаций. Объём контекста ограничен размером контекстного окна модели, поэтому ранжирование найденных фрагментов по релевантности принципиально важно.
5. Генерация ответа. Языковая модель — GPT-4, Claude, Llama или другая — читает промпт с контекстом и генерирует финальный ответ пользователю. Модель не ищет ответ самостоятельно, а формулирует его на основе переданных данных, используя языковые способности для связного изложения. Качество ответа зависит и от качества найденных фрагментов, и от способности самой модели к синтезу и структурированию информации.
6. Возврат ответа и источников. Система возвращает ответ пользователю. В продвинутых реализациях вместе с ответом передаются ссылки на источники — конкретные документы или фрагменты, на основе которых сформирован ответ. Это повышает доверие к системе и позволяет пользователю проверить информацию самостоятельно. Для корпоративных применений такая прозрачность нередко является обязательным требованием.

Виды RAG

• Наивный RAG (Naive RAG). Базовая реализация архитектуры: вопрос преобразуется в вектор, выполняется поиск по векторной базе, результаты передаются в промпт без дополнительной обработки. Подходит для прототипирования и простых задач с небольшой и хорошо структурированной базой знаний. Основные недостатки — низкое качество поиска при большом объёме документов и отсутствие механизмов фильтрации нерелевантных результатов. Компании, которые впервые тестируют RAG, как правило, начинают именно с этой реализации.
• Продвинутый RAG (Advanced RAG). Включает дополнительные этапы: предобработку запроса (переформулирование, декомпозиция на подзапросы), гибридный поиск (одновременно векторный и полнотекстовый BM25), а также фильтрацию и ранжирование найденных фрагментов перед передачей в модель. По данным различных экспериментов, продвинутый RAG улучшает точность ответов на 15-25% по сравнению с наивной реализацией на сложных корпусах документов. Используется в большинстве серьёзных продакшн-решений.
• Модульный RAG (Modular RAG). Гибкая архитектура, в которой каждый компонент — индексация, поиск, ранжирование, генерация — независимо заменяется и конфигурируется. Позволяет подбирать оптимальное сочетание инструментов под конкретную задачу: например, использовать внешние API для поиска в сочетании с локальной языковой моделью. Подходит для крупных проектов, где требования к отдельным компонентам могут существенно различаться.
• Graph RAG. Вместо или в дополнение к векторному хранилищу использует граф знаний: документы индексируются с учётом связей между сущностями и понятиями. Разработан и опубликован командой Microsoft Research в 2024 году. Особенно эффективен при работе со взаимосвязанными данными — юридической или медицинской документацией, где важны отношения между понятиями, а не только отдельные факты.
• Multimodal RAG. Поддерживает работу не только с текстом, но и с изображениями, таблицами, графиками, аудиофайлами. Пользователь может задать вопрос о содержимом изображения или попросить проанализировать данные из загруженной таблицы. Актуален для ритейла (поиск по фото товара), медицины (анализ снимков) и технической документации, где текст и визуальные элементы неразделимы.
• Self-RAG. Модель самостоятельно решает, нужно ли ей обращаться к базе знаний для конкретного запроса или она может ответить на основе своих внутренних знаний. Если поиск нужен — выполняет его и критически оценивает релевантность результатов. Снижает число лишних обращений к базе и ускоряет ответы на простые вопросы, не требующие внешнего контекста. Пока преимущественно используется в исследовательских и ранних продакшн-реализациях.

Сравнение RAG и файнтюнинга

Пример использования

Онлайн-школа английского языка с базой из 1200 методических материалов и архивом ответов преподавателей не могла эффективно масштабировать поддержку студентов. Команда из 4 специалистов поддержки отвечала в среднем за 18 минут, ежедневно обрабатывая 340 однотипных вопросов о программах, расписании и методике. Конверсия в покупку у студентов, которые писали в чат, составляла 12% — остальные уходили, не дождавшись ответа или получив неточную информацию. Цена вопроса была ощутимой: средний чек составлял 8 500 рублей, а потеря даже 10 потенциальных клиентов в день — это 85 000 рублей недополученной выручки.

Школа внедрила RAG-чат-бота на базе GPT-4o с векторной базой из своих материалов, используя платформу Langchain и хранилище Pinecone. Среднее время ответа сократилось с 18 минут до 11 секунд, нагрузка на поддержку упала на 61% — двух специалистов перевели на другие задачи, сэкономив 180 000 рублей в месяц. Конверсия студентов, которые писали в чат, выросла с 12% до 19% за счёт мгновенных и точных ответов. Через 90 дней после запуска точность ответов бота по оценке тайного покупателя составила 89%, при этом базу знаний обновляли раз в две недели — не каждый день.

Частые вопросы