diff --git a/koboldcpp.py b/koboldcpp.py index 7c5727dba..c55166a2e 100755 --- a/koboldcpp.py +++ b/koboldcpp.py @@ -7794,7 +7794,7 @@ def kcpp_main_process(launch_args, g_memory=None, gui_launcher=False): global maxctx maxctx = args.contextsize - args.defaultgenamt = max(128, min(args.defaultgenamt, 8192)) + args.defaultgenamt = max(64, min(args.defaultgenamt, 8192)) args.defaultgenamt = min(args.defaultgenamt, maxctx / 2) if args.port_param!=defaultport: