diff --git a/common/common.cpp b/common/common.cpp index 96c55b19..76b95d15 100644 --- a/common/common.cpp +++ b/common/common.cpp @@ -1440,7 +1440,6 @@ struct llama_init_result llama_init_from_gpt_params(gpt_params & params) { params.n_gpu_layers = n_gpu_layers[my_rank]; cparams.n_gpu_layers = n_gpu_layers[my_rank]; mparams.n_gpu_layers = n_gpu_layers[my_rank]; - llama_context_n_gpu_layers(lctx)[my_rank] = n_gpu_layers[my_rank]; #ifdef LLAMA_DEBUG device_print_props(dev_info_set, n_world, model, cparams); diff --git a/include/llama.h b/include/llama.h index dc26e9a3..ce968cc7 100644 --- a/include/llama.h +++ b/include/llama.h @@ -465,8 +465,6 @@ extern "C" { LLAMA_API uint32_t * llama_context_n_layer_window(struct llama_context * ctx); - LLAMA_API uint32_t * llama_context_n_gpu_layers(struct llama_context * ctx); - // Frees all allocated memory LLAMA_API void llama_free(struct llama_context * ctx); diff --git a/src/llama.cpp b/src/llama.cpp index b173d043..5b7fb7a0 100644 --- a/src/llama.cpp +++ b/src/llama.cpp @@ -20519,10 +20519,6 @@ uint32_t * llama_context_n_layer_window(struct llama_context * ctx) { return ctx->cparams.n_layer_window; } -uint32_t * llama_context_n_gpu_layers(struct llama_context * ctx) { - return ctx->cparams.n_gpu_layers; -} - void llama_free(struct llama_context * ctx) { delete ctx; }