vrr/llm-translate
2
0
Fork 0
mirror of https://github.com/illian64/llm-translate.git synced 2026-04-28 11:49:54 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions
llm-translate/doc/ru/plugins-translate/kobold_cpp.md
illian64 323458ca27
Documentation, docker 
* Prepare for docker, documentation.

* Prepare for docker, documentation.

* Prepare for docker, documentation.

---------

Co-authored-by: APodoinikov <APodoynikov@detmir.ru>
2025-09-21 08:59:55 +07:00

3.5 KiB
Raw Blame History

Плагин перевода: KoboldCpp

Для работы плагина необходимо загрузить и запустить KoboldCpp, загрузить модель, которая будет использоваться для перевода, настроить параметры модели и открыть модель.

При выборе параметров для модели необходимо обратить внимание на количество токенов в ответе и длину контекста. Значение параметра количество токенов в ответе (Tokens -> Default Gean Amt) определяет максимальное число токенов в ответе. Если в параметрах текст будет разбит на крупные части, для генерации ответа может понадобиться больше токенов, чем указано в параметре и текст ответа будет обрезан. Токен может вмещать один или более символов, это зависит от модели и языка.

Если значение параметра окажется недостаточным для полного вывода, в логах будет выведено уведомление вида "Translate text your_text interrupted by max response length."

Параметр длина контекста определяет, сколько токенов может быть обработано в запросе.

Параметры плагина

  • custom_url - адрес и порт, где запущен KoboldCpp. Если он запущен на том же компьютере, что сервис и не изменялся порт (вкладка Network в настройках KoboldCpp), ничего менять не нужно.

  • prompt - инструкция для модели для перевода текста. В общем виде, инструкция определяет, что модель является переводчиком, и просит перевести текст с одного языка на другой. Подробнее описано здесь, в пункте Как составить prompt для модели.

  • prompt_no_think_postfix - добавляет в запрос постфикс /no_think, чтобы выключить режим размышления модели.

  • prompt_postfix - добавляет в запрос указанный в параметре постфикс. Например, если нужно выключить режим размышления, но постфикс /no_think, который добавляет параметр prompt_no_think_postfix не подходит, так как используется другое ключевое слово.

  • опциональная группа параметров text_processing_params

  • опциональная группа параметров text_split_params

  • опциональная группа параметров translation_params

Про опциональные группы более подробно - здесь, в разделах Настройки core и Переопределение групп параметров в настройках плагинов переводов.