vrr/prima.cpp
2
0
Fork 0
mirror of https://github.com/Lizonghang/prima.cpp.git synced 2025-09-10 19:34:56 +00:00
Code Issues Projects Releases Packages Wiki Activity Actions

synchronize device info

Browse source
This commit is contained in:
Lizonghang 2024-11-07 22:02:01 +04:00
parent ef7fdf70cc
commit 53cb3a6069
5 changed files with 408 additions and 73 deletions
Download patch file Download diff file Expand all files Collapse all files

7
include/llama.h
View file

@ -432,13 +432,16 @@ extern "C" {
LLAMA_API void llama_free_model(struct llama_model * model);
LLAMA_API void llama_init_sockets(struct llama_context * ctx, uint32_t n_world, uint32_t my_rank);
LLAMA_API void llama_free_sockets(struct llama_context * ctx, char ** msg);
LLAMA_API void llama_init_sockets (struct llama_context * ctx, uint32_t n_world, uint32_t my_rank);
LLAMA_API void llama_free_sockets (struct llama_context * ctx, char ** msg);
LLAMA_API int llama_collect_device_info(struct device_info * dev_info_set, struct llama_context * ctx);
LLAMA_API int llama_send_device_info (struct device_info * dev_info, struct llama_context * ctx);
// TODO: rename to llama_init_from_model
LLAMA_API struct llama_context * llama_new_context_with_model(
struct llama_model * model,
struct llama_context_params params);
LLAMA_API void * llama_context_setup_backend(struct llama_context * ctx);
// Frees all allocated memory
LLAMA_API void llama_free(struct llama_context * ctx);