3.9 KiB
Лаборатории интеллектуальных систем ВятГУ
Для таких задач используют модели семейства Qwen, Llama и с недавних пор gemma. Размер LLM и глубину квантования можно посоветовать только исходя из понимания имеющейся видеокарты. Вариант - покупать токены у провайдеров опенсорсных LLM, но в таком случае это будет только демо вариант, т.к. выход за контур предприятия и потенциально ИБ может не пропустить. Далее. Обучение LLM на документах никто не делает - есть много исследований, которые ссылаться к тому, что это только портит модель. Грамотно обучить LLM мало кто в РФ может, а железные ресурсы для этого нужны впечатляющие.
Вариант: отдаем вам нашу базовую RAG-систему бесплатно по соглашению, разрешающему ее неограниченное распространение и использование внутри организации, но с запретом на передачу другим юрлицам и на модификацию и использование кода или его частей. Она из коробки хорошо работает с документами, за исключением поиска по сложным таблицам, схемам и графикам. У нас скоро выйдет мультимодальный поиск, который уже умеет.
задача сравнения и актуализации документов
Про НД
- Как сделать RAG для своей компании
- [RAG-технология в действии: как создать интеллектуальную систему поиска по нормативным документам]
RAG
- Архитектура RAG: полный гайд ; Архитектура RAG: часть вторая — Advanced RAG
- Обзор техник RAG: Retrieval Augmented Generation
- Что такое RAG?
- Основная проблема RAG-подхода, на которой многие спотыкаются - это сегментация (чанкинг).
- Создание решения RAG - Azure AI Search другое
- Как мы челленджим бизнес в GenAI: от простых Naive RAG до workflow-агентских систем
- Часть 3. Обзор технологий RAG для LLM: оптимизация извлеченных данных
- RAG (Retrieval Augmented Generation) — простое и понятное объяснение
еще