vrr/llm-translate
2
0
Fork 0
mirror of https://github.com/illian64/llm-translate.git synced 2026-04-29 04:09:56 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions

Parallel processing
Some checks failed
Python application / build (push) Has been cancelled
Details

Browse source
This commit is contained in:
illian64 2025-10-25 11:32:09 +07:00 • committed by GitHub
parent 8c92dcc028
commit 17ade3687f
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
10 changed files with 345 additions and 72 deletions
Download patch file Download diff file Expand all files Collapse all files

25
doc/ru/plugins-translate/lm_studio.md
View file

@ -21,6 +21,18 @@
Формат `"имя_модели_в_нижнем_регистре": "Специальная инструкция для перевода"`. Имя модели выводится в логах при старте плагина в таком формате:
`Success init translation plugin: 'lm_studio'. Model: nemo_12b_gguf`. Имя модели - `nemo_12b_gguf`, обязательно в нижнем регистре.
* группа параметров **use_library** - параметры, включающую интеграцию с LM Studio через библиотеку, а не через REST - дает больше возможностей.
* * enabled - включен или выключен режим работы с использованием библиотеки
* * model - если здесь указана модель, и в LM studio в момент старта приложения не будет эта модель загружена - приложение загрузит модель с указанными ниже параметрами.
Имя модели можно узнать в LM studio, вкладка моделей, столбец `LLM`.
* * model_context_length - длина контекста при загрузке модели. Большой контекст позволяет работать с текстами большего размера, но расходует память.
* группа параметров **parallel_processing** - параметры, позволяющие выполнять параллельный перевод на нескольких видеокартах
* * enabled - включена или выключена параллельная обработка. Более подробно - в этом документе, в разделе _Как работает параллельная обработка на нескольких видеокартах_.
Кроме этого параметра должен быть включен параметр `use_library.enabled` и указана модель в `use_library.model`.
* * enabled_gpu_numbers - номера видеокарт в системе, на которых будет происходить обработка.
Номер и имя видеокарты указывается при старте приложения в логе, вида `INFO GPU #0: NVIDIA GeForce RTX 4090`. `0` - указываемый в параметре номер.
* опциональная группа параметров **text_processing_params**
* опциональная группа параметров **text_split_params**
@ -38,3 +50,16 @@
Про опциональные группы более подробно - [здесь](../options.md), в разделах
**Настройки core** и **Переопределение групп параметров в настройках плагинов переводов**.
### Как работает параллельная обработка на нескольких видеокартах
**Имеет смысл включать только при наличии в системе более одной видеокарты!**
Кроме этого параметра должен быть включен параметр `use_library.enabled` и указана модель в `use_library.model`.
Предположим, что указаны параметры модели `"use_library"."model": "model_name"` и устройства в `enabled_gpu_numbers: [0, 1]`.
Тогда приложение при старте проверит, загружены ли в LM Studio модели `model_name--parallel-gpu#0` и `model_name--parallel-gpu#1`,
если не загружены - попытается загрузить. Параметры загрузки указаны так, чтобы каждая модель приоритетна была загружена на соответсвующую видеокарту.
Очень желательно, чтобы модели и их контекст полностью помещались в памяти видеокарты.