mirror of
https://github.com/illian64/llm-translate.git
synced 2026-04-28 20:00:12 +00:00
323458ca27
* Prepare for docker, documentation. * Prepare for docker, documentation. * Prepare for docker, documentation. --------- Co-authored-by: APodoinikov <APodoynikov@detmir.ru>
37 lines
3.5 KiB
Markdown
37 lines
3.5 KiB
Markdown
# Плагин перевода: KoboldCpp
|
||
|
||
Для работы плагина необходимо загрузить и запустить [KoboldCpp](https://github.com/LostRuins/koboldcpp),
|
||
загрузить модель, которая будет использоваться для перевода, настроить параметры модели и открыть модель.
|
||
|
||
При выборе параметров для модели необходимо обратить внимание на `количество токенов в ответе` и `длину контекста`.
|
||
Значение параметра `количество токенов в ответе` (`Tokens` -> `Default Gean Amt`) определяет максимальное число токенов в ответе.
|
||
Если в [параметрах](../options.md) текст будет разбит на крупные части, для генерации ответа может понадобиться больше токенов,
|
||
чем указано в параметре и текст ответа будет обрезан. Токен может вмещать один или более символов, это зависит от модели и языка.
|
||
|
||
Если значение параметра окажется недостаточным для полного вывода, в логах будет выведено уведомление вида
|
||
"Translate text your_text interrupted by max response length."
|
||
|
||
Параметр `длина контекста` определяет, сколько токенов может быть обработано в запросе.
|
||
|
||
## Параметры плагина
|
||
|
||
* **custom_url** - адрес и порт, где запущен KoboldCpp. Если он запущен на том же компьютере, что
|
||
сервис и не изменялся порт (вкладка Network в настройках KoboldCpp), ничего менять не нужно.
|
||
|
||
* **prompt** - инструкция для модели для перевода текста. В общем виде, инструкция определяет, что модель является
|
||
переводчиком, и просит перевести текст с одного языка на другой.
|
||
Подробнее описано [здесь](../faq.md), в пункте **Как составить prompt для модели**.
|
||
|
||
* **prompt_no_think_postfix** - добавляет в запрос постфикс `/no_think`, чтобы выключить режим размышления модели.
|
||
|
||
* **prompt_postfix** - добавляет в запрос указанный в параметре постфикс. Например, если нужно выключить режим размышления,
|
||
но постфикс `/no_think`, который добавляет параметр `prompt_no_think_postfix` не подходит, так как используется другое ключевое слово.
|
||
|
||
* опциональная группа параметров **text_processing_params**
|
||
|
||
* опциональная группа параметров **text_split_params**
|
||
|
||
* опциональная группа параметров **translation_params**
|
||
|
||
Про опциональные группы более подробно - [здесь](../options.md), в разделах
|
||
**Настройки core** и **Переопределение групп параметров в настройках плагинов переводов**.
|