vrr/llm-translate
2
0
Fork 0
mirror of https://github.com/illian64/llm-translate.git synced 2026-04-28 11:49:54 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions
llm-translate/doc/ru/plugins-translate/kobold_cpp.md
illian64 8c92dcc028
Some checks failed
Python application / build (push) Has been cancelled
Details
special prompt for model
2025-10-18 19:37:14 +07:00

4.2 KiB
Raw Blame History

Плагин перевода: KoboldCpp

Для работы плагина необходимо загрузить и запустить KoboldCpp, загрузить модель, которая будет использоваться для перевода, настроить параметры модели и открыть модель.

При выборе параметров для модели необходимо обратить внимание на количество токенов в ответе и длину контекста. Значение параметра количество токенов в ответе (Tokens -> Default Gean Amt) определяет максимальное число токенов в ответе. Если в параметрах текст будет разбит на крупные части, для генерации ответа может понадобиться больше токенов, чем указано в параметре и текст ответа будет обрезан. Токен может вмещать один или более символов, это зависит от модели и языка.

Если значение параметра окажется недостаточным для полного вывода, в логах будет выведено уведомление вида "Translate text your_text interrupted by max response length."

Параметр длина контекста определяет, сколько токенов может быть обработано в запросе.

Параметры плагина

  • custom_url - адрес и порт, где запущен KoboldCpp. Если он запущен на том же компьютере, что сервис и не изменялся порт (вкладка Network в настройках KoboldCpp), ничего менять не нужно.

  • prompt - инструкция для модели для перевода текста. В общем виде, инструкция определяет, что модель является переводчиком, и просит перевести текст с одного языка на другой. Подробнее описано здесь, в пункте Как составить prompt для модели.

  • prompt_no_think_postfix - добавляет в запрос постфикс /no_think, чтобы выключить режим размышления модели.

  • prompt_postfix - добавляет в запрос указанный в параметре постфикс. Например, если нужно выключить режим размышления, но постфикс /no_think, который добавляет параметр prompt_no_think_postfix не подходит, так как используется другое ключевое слово.

  • группа параметров special_prompt_for_model - можно указать особую инструкцию по переводу для специфичной модели. Формат "имя_модели_в_нижнем_регистре": "Специальная инструкция для перевода". Имя модели выводится в логах при старте плагина в таком формате: Success init translation plugin: 'kobold_cpp'. Model: nemo_12b.q8_0. Имя модели - nemo_12b.q8_0, обязательно в нижнем регистре.

  • опциональная группа параметров text_processing_params

  • опциональная группа параметров text_split_params

  • опциональная группа параметров translation_params

Про опциональные группы более подробно - здесь, в разделах Настройки core и Переопределение групп параметров в настройках плагинов переводов.