# Плагин перевода: KoboldCpp

Для работы плагина необходимо загрузить и запустить [KoboldCpp](https://github.com/LostRuins/koboldcpp), 
загрузить модель, которая будет использоваться для перевода, настроить параметры модели и открыть модель.

При выборе параметров для модели необходимо обратить внимание на `количество токенов в ответе` и `длину контекста`.
Значение параметра `количество токенов в ответе` (`Tokens` -> `Default Gean Amt`) определяет максимальное число токенов в ответе.
Если в [параметрах](../options.md) текст будет разбит на крупные части, для генерации ответа может понадобиться больше токенов,
чем указано в параметре и текст ответа будет обрезан. Токен может вмещать один или более символов, это зависит от модели и языка.

Если значение параметра окажется недостаточным для полного вывода, в логах будет выведено уведомление вида
"Translate text your_text interrupted by max response length."

Параметр `длина контекста` определяет, сколько токенов может быть обработано в запросе. 

## Параметры плагина

* **custom_url** - адрес и порт, где запущен KoboldCpp. Если он запущен на том же компьютере, что
сервис и не изменялся порт (вкладка Network в настройках KoboldCpp), ничего менять не нужно.

* **prompt** - инструкция для модели для перевода текста. В общем виде, инструкция определяет, что модель является
переводчиком, и просит перевести текст с одного языка на другой.
Подробнее описано [здесь](../faq.md), в пункте **Как составить prompt для модели**.

* **prompt_no_think_postfix** - добавляет в запрос постфикс `/no_think`, чтобы выключить режим размышления модели.

* **prompt_postfix** - добавляет в запрос указанный в параметре постфикс. Например, если нужно выключить режим размышления, 
но постфикс `/no_think`, который добавляет параметр `prompt_no_think_postfix` не подходит, так как используется другое ключевое слово.

* группа параметров **special_prompt_for_model** - можно указать особую инструкцию по переводу для специфичной модели.
Формат `"имя_модели_в_нижнем_регистре": "Специальная инструкция для перевода"`. Имя модели выводится в логах при старте плагина в таком формате:
`Success init translation plugin: 'kobold_cpp'. Model: nemo_12b.q8_0`. Имя модели - `nemo_12b.q8_0`, обязательно в нижнем регистре.

* опциональная группа параметров **text_processing_params**

* опциональная группа параметров **text_split_params**

* опциональная группа параметров **translation_params**

Про опциональные группы более подробно - [здесь](../options.md), в разделах
**Настройки core** и **Переопределение групп параметров в настройках плагинов переводов**.