vrr/llm-translate
2
0
Fork 0
mirror of https://github.com/illian64/llm-translate.git synced 2026-04-28 11:49:54 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions

Documentation, docker

Browse source 
* Prepare for docker, documentation.

* Prepare for docker, documentation.

* Prepare for docker, documentation.

---------

Co-authored-by: APodoinikov <APodoynikov@detmir.ru>
This commit is contained in:
illian64 2025-09-21 08:59:55 +07:00 • committed by GitHub
parent 87925146c3
commit 323458ca27
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
44 changed files with 974 additions and 369 deletions
Download patch file Download diff file Expand all files Collapse all files

48
doc/ru/plugins-translate/madlad_400_ctranslate2.md Normal file
View file

@ -0,0 +1,48 @@
# Плагин перевода: madlad-400 Ctranslate2
Для работы плагина необходимо загрузить модель madlad400 в формате ctransate2,
или найти оригинальную модель и сконвертировать.
После этого необходимо положить в папку model проекта (можно выбрать другой, но в дальнейшем предполагается, что использовалась эта папка).
Есть несколько моделей с разным числом параметров, чем больше параметров - тем лучше перевод.
Можно загрузить следующие модели -
[madlad400-7b-mt-ct2-bfloat16](https://huggingface.co/illian64/madlad400-7b-mt-ct2-bfloat16/tree/main),
[madlad400-10b-mt-ct2-bfloat16](https://huggingface.co/illian64/madlad400-10b-mt-ct2-bfloat16/tree/main)
или любые другие подходящего формата.
Шаги по загрузке и запуску модели, на примере `madlad400-10b-mt-ct2-bfloat16`:
* Перейти в папку `models`сервиса.
* Создать папку с именем модели - `madlad400-10b-mt-ct2-bfloat16`.
* Загрузить в эту папку все файлы по ссылке - https://huggingface.co/illian64/madlad400-10b-mt-ct2-bfloat16/tree/main.
* Указать параметры модели **model** и **tokenizer** в настройках плагина - `models/madlad400-10b-mt-ct2-bfloat16`.
## Параметры плагина
* **compute_type** - точность загруженных данных для перевода.
По умолчанию - `bfloat16` - самый лучший вариант, но требует много памяти видеокарты.
Можно указать, например, `int8_bfloat16` - это потребует в 2 раза меньше памяти. Модуль будет загружена в
оперативную память, сделан перерасчет, и после этого результат загружен в память видеокарты.
* **cuda** - `true` - использовать видеокарту (быстрее), `false` - использовать cpu (медленнее).
* **cuda_device_index** - если в системе несколько видеокарт, можно выбрать ту, в которую будет загружена модель.
Номер и имя видеокарты указывается при старте приложения в логе, вида `INFO GPU #0: NVIDIA GeForce RTX 4090`.
`0` - указываемый в параметре номер.
* **max_batch_size** - объединение запросов для ускорения обработки. Повышение параметра ускоряет процесс, но требует больше памяти.
* **model** - путь к модели. `models/model-name` говорит о том, что модель `model-name` находится в папке `models` проекта.
* **text_split_params** - этот параметр переопределяет глобальные параметры (подробнее [здесь](../options.md)),
и задает разбивку текста по предложениям. Очень рекомендуется разбивать именно так,
потому что при отправке нескольких предложений сразу, очень велика вероятность, что часть предложений будет потеряна моделью.
* **tokenizer** - путь к токенизатору модели. Как правило, нужно указать то же значение, что и в параметре **model**.
## Конвертация модели
Чтобы конвертировать модель `google/madlad400-10b-mt`, нужно установить скрипт конвертации `ct2-transformers-converter`
и выполнить в консоли примерно такой запрос:
`ct2-transformers-converter --model google/madlad400-10b-mt --quantization bfloat16 --output_dir madlad400-10b-ct2-bfloat16`