Представитель Мегапьютер выступил с докладом «Большая языковая модель + классический text mining: гибридный подход для...
Далее
Инструменты интеллектуального анализа и поиска по текстовым данным с применением технологии RAG.
RAG (Retrieval Augmented Generation, рус. «Генерация с дополненной выборкой») — это технология, которая объединяет силу больших языковых моделей (LLM) с возможностью извлечения информации из внешних источников, таких как базы данных или коллекции документов. Это позволяет модели давать более точные и актуальные ответы, особенно тогда, когда информация в источниках обновляется регулярно.
Почему не получится просто использовать LLM и узел ИИ Ассистент?
Ограниченное контекстное окно
Низкое качество на длинных текстах
Высокие денежные и временные затраты
Сложно валидировать результаты
Протестируйте конструктор должностных инструкций на демо-стенде
Принцип работы RAG
- Импорт локальной коллекции документов. Поскольку LLM ничего не знает о документах пользователя, то текст этих документов нужно подать ей в качестве контекста для извлечения из него нужной информации и выдачи правильного (релевантного) ответа.
- Сегментация. Ввиду того, что размер контекста самой LLM ограничен (существующие нынче модели способны улавливать контекст размером с «Евгения Онегина», но не способны вместить в себя «Войну и Мир»), необходимо провести деление текста на фрагменты, для борьбы с таким поведением, как «галлюцинация». Галлюцинация — заполнение контекста данными, не относящимся к сути вопроса, способными заметно ухудшить качество ответа и даже привести к неправильному результату. Для получения фрагментов, содержащих ответ на вопрос пользователя, используется семантический поиск.
- Модель формирования эмбеддингов. Каждый фрагмент текста кодируется в набор чисел — вектор или эмбеддинг. Для получения эмбеддингов используется более слабая и быстрая модель.
- Формирование векторной базы данных. Полученные эмбеддинги складываются в векторную базу данных. Для запроса пользователя также вычисляется его векторное представление.
- Ранжирование релевантных фрагментов. Далее в векторной базе данных ищутся эмбеддинги, близкие по косинусному расстоянию к эмбеддингу запроса пользователя и соответствующие им фрагменты текста.
- Обработка ответа Большой языковой моделью. Данные фрагменты текста подаются на более сильную модель ранжирования для оценки насколько выбранные фрагменты текста соответствуют запросу пользователя.
- Предоставление ответа пользователю. Наиболее релевантные фрагменты подаются в LLM в качестве источника информации (контекста) для ответа на вопрос пользователя.
Преимущества узла «поисковый ассистент» С использованием RAG-анализа в PolyAnalyst
Узел «Поисковый ассистент» имеет следующие преимущества в сравнении с узлом «ИИ Ассистент» (классический подход к использованию LMM):
- Поиск информации происходит в интерактивном режиме (в режиме диалога);
- Возможность поиска информации по корпусу документов;
- Поиск производится без использования SRL выражений (вопросы задаются в произвольном формате);
- Поиск производится не по всему тексту, а лишь по фрагментам, содержащим релевантную информацию;
- Подсветка релевантных фрагментов текста, которые использовались для генерации ответа.
Запись вебинара
Презентация из вебинара
Запись вебинара
Презентация из вебинара
ДРУГИЕ НОВОСТИ И СТАТЬИ
Третий выпуск “PolyAnalyst Podcast” с Марией Ментовой
Компания Мегапьютер продолжает новую рубрику “PolyAnalyst Podcast” Выпуск 3. PolyAnalyst vs. Excel. Компания «Мегапьютер» продолжает...
Далее
Вебинар: «PolyAnalyst: функция RAG»
Инструменты интеллектуального анализа и поиска по текстовым данным с применением технологии RAG. RAG (Retrieval Augmented...
Далее